ChatGPT ในการสร้างคำตอบจะมีความแม่นยำขนาดใด?

ChatGPT, แชทบอท AI ที่พัฒนาโดย OpenAI ได้ทำความเป็นที่รู้จักในหลายสาขาสำหรับความแม่นยำและประสิทธิภาพของมัน อย่างไรก็ตาม การระบุว่าความรู้ของมันจำกัดไว้ที่ข้อมูลที่มีจำนวนจำกัดถึงปี 2021 การทดสอบความแม่นยำถูกดำเนินโดย ศาสตราจารย์ Christian Terwiesch ที่มหาวิทยาลัยเพนซิลเวเนีย ผู้ให้แบบทดสอบ MBA ให้กับ ChatGPT เพื่อตรวจสอบความแม่นยำ

การสอบประกอบด้วยคำถามทั้งหมด 7 ข้อ ซึ่งครอบคลุมหลายแนวคิดธุรกิจ เช่น การวิเคราะห์กระบวนการ การพลิกกลับคลังสินค้า และการวิเคราะห์การจัดคิว การออกข้อสอบออกแบบมาเพื่อจำลองสภาพแวดล้อมคนจริง และคำถามถูกสอบถามอย่างเหมือนกับนักเรียนคนจริง น่าแปลกใจที่ ChatGPT เริ่มทำข้อสอบด้วยความสำเร็จ เพียงแค่คำตอบของมันตอบได้ถูกต้องในข้อแรกเรื่องการ Bottleneck ในการวิเคราะห์กระบวนการ

แม้ว่าแชทบอทจะมีปัญหากับคำถามที่ซับซ้อนขึ้นบ้าง แต่ศาสตราจารย์ก็ยังประทับใจกับประสิทธิภาพโดยรวมของมัน หลังจากทำการสอบ MBA กับแชทบอท ChatGPT ศาสตราจารย์เทรวิชส์สรุปว่าแชทบอท AI จะได้รับเกรดระหว่าง B ถึง B-

ความแม่นยำของ ChatGPT อธิบาย

การสาธิตความแม่นยำของ ChatGPT มากยิ่งขึ้นในสาขาการแพทย์ โดย Chatbot สามารถผ่านการสอบ USMLE (US Medical Licensing Examination) ได้เรียบร้อยแล้ว ตามผลการวิจัย ChatGPT สามารถประสบความแม่นยำได้มากกว่า 50% บนการสอบทั้งหมดและยังมีข้อเสนอแนะและอธิบายคำตอบของตัวเอง

ในการศึกษาแยกต่างหากที่นำโดยแพทย์จาก Ansible Health บริษัทตัวอย่างการแพทย์ ChatGPT ได้ประสิทธิภาพใกล้เคียงหรือถึงเกณฑ์ผ่านสำหรับการสอบ 3 ข้อกำหนดในการให้อนุญาตเป็นแพทย์ในสหรัฐอเมริกา แม้ว่าความแม่นยำของ ChatGPT นั้นเป็นประจำ โดยเฉพาะตัวบ่งชี้และบัตรคำสั่งที่กำหนดไว้

ชุดข้อมูลการฝึกฝนที่ใช้ในการฝึกโมเดลรวมถึงความเบี่ยงเบนและข้อจำกัดของแหล่งข้อความที่ใช้ ดังนั้นจึงเป็นสิ่งสำคัญที่จะใช้โมเดลด้วยความรับผิดชอบ

ความรู้สึกเช่นนี้ได้รับการยืนยันโดยกรรมการผู้จัดการของ OpenAI ผ่านทวีตที่กล่าวว่า "ChatGPT จำกัดความสามารถอย่างมาก และเราควรหลีกเลี่ยงการใช้งานสำหรับสิ่งที่สำคัญในขณะนี้"

00:48

01:12

การสนทนาทดสอบกับ Chat GPT ล้มเหลว

ตามภาพสรุปด้านบน การสนทนาทดสอบกับ ChatGPT เปิดเผยว่าประสิทธิภาพของแชทบอท AI ไม่สามารถทำได้อย่างต่อเนื่องเสมอไป

เมื่อถามว่าเออร์เจนตินาชิงชนะโลกฟุตบอลกี่ครั้ง ChatGPT ตอบกลับว่า "เออร์เจนตินาชิงได้ชนะเลิศโลกครั้งเดียวในปี 1986" แต่เมื่อถามว่า "ใครเป็นผู้ชนะเลิศโลกฟุตบอลในปี 1978" ChatGPT ตอบกลับว่า "เออร์เจนตินาชิงได้ชนะเลิศโลกฟุตบอลในปี 1978"

นั่นทำให้เกิดการสรุปว่า อาร์เจนตินาได้ชนะในฟุตบอลโลก 2 ครั้ง แต่เมื่อถามคำถามเดิมอีกครั้ง "ตอนนี้ฉันอยากรู้ว่า อาร์เจนตินาชนะเลิศโลกกี่ครั้งแล้ว?" ChatGPT ยังตอบไปว่า "อาร์เจนตินาชนะเลิศโลกขนาด 1 ครั้ง ในปี 1986" โดยไม่คำนึงถึงการสนทนาก่อนหน้านั้น

นี่เป็นการเน้นความแม่นยำของ Chat GPT และความจำเป็นในการปรับปรุงและเลื่อนเวลาอย่างต่อเนื่อง

อ่านตอนนี้: Chat GPT สามารถเขียนและแก้ไขโค้ดได้หรือไม่?

ChatGPT ให้คำตอบเดียวกันให้กับทุกคนหรือไม่?

คำตอบจาก ChatGPT อาจเปลี่ยนแปลงได้เล็กน้อย อย่างไรก็ตาม หากผู้ใช้ถามคำถามเดียวกัน เราจะเห็นว่ามีคำตอบที่คล้ายคลึงกันมาก

ChatGPT เป็นเว็บไซต์ที่น่าเชื่อถือไหม?

ChatGPT มีข้อ จำกัด หมายความว่าอาจแสดงผลที่ไม่แม่นยำหรือผลลัพธ์ที่ผิด ดังนั้นต้องระมัดระวัง