รายงานวิเคราะห์การทำงาน AI เผยการประมวลผลของคำตอบบางส่วนใน ChatGPT แสดงให้เห็นว่าความแม่นยำของโมเดลลดลงในช่วง 2-3 เดือนที่ผ่านมา ขณะที่ตัวนักวิจัยเองก็ยังหาสาเหตุไม่ได้
จากการเปิดเผยของ cointelegraph ระบุถึงบทวิเคราะห์ของ ChatGPT แชทบอทที่ขับเคลื่อนด้วยปัญญาประดิษฐ์ของ OpenAI ซึ่งสะท้อนการทำงานที่ดูเหมือนจะแย่ลงเมื่อเวลาผ่านไป และนักวิจัยดูเหมือนจะไม่สามารถหาสาเหตุได้
โดยในการศึกษาเมื่อวันที่ 18 กรกฎาคม นักวิจัยจาก Stanford และ UC Berkeley พบว่าโมเดลใหม่ล่าสุดของ ChatGPT มีความสามารถน้อยลงอย่างมากในการให้คำตอบที่ถูกต้องสำหรับคำถามที่เหมือนกันภายในระยะเวลาไม่กี่เดือน ซึ่งผู้เขียนการศึกษาไม่สามารถให้คำตอบที่ชัดเจนว่าทำไมความสามารถของ AI chatbot จึงแย่ลง
อย่างไรก็ตาม เพื่อทดสอบความน่าเชื่อถือของโมเดลต่างๆ ของ ChatGPT นักวิจัย Lingjiao Chen, Matei Zaharia และ James Zou ได้ถามโมเดล ChatGPT-3.5 และ ChatGPT-4 เพื่อแก้ปัญหาทางคณิตศาสตร์ ตอบคำถามที่ละเอียดอ่อน เขียนโค้ดบรรทัดใหม่ และให้เหตุผลเชิงพื้นที่จากข้อความแจ้ง
และจากการวิจัยในเดือนมีนาคม ChatGPT-4 สามารถระบุจำนวนเฉพาะด้วยอัตราความแม่นยำ 97.6% ในการทดสอบเดียวกันที่ดำเนินการในเดือนมิถุนายน และความแม่นยำของ GPT-4 ลดลงเหลือเพียง 2.4%
ในทางตรงกันข้าม GPT-3.5 รุ่นก่อนหน้าได้รับการปรับปรุงในการระบุหมายเลขเฉพาะภายในกรอบเวลาเดียวกัน
เมื่อพูดถึงการสร้างบรรทัดของโค้ดใหม่ ความสามารถของทั้งสองรุ่นจะลดลงอย่างมากระหว่างเดือนมีนาคมถึงมิถุนายน
การศึกษายังพบคำตอบของ ChatGPT สำหรับคำถามที่ละเอียดอ่อนด้วยบางตัวอย่างที่แสดงให้เห็นการเน้นที่ชาติพันธุ์และเพศ ซึ่งมีการปฏิเสธที่จะตอบอย่างรัดกุมมากขึ้นในภายหลัง
ขณะที่การทำซ้ำของแชทบอทก่อนหน้านี้ให้เหตุผลมากมายว่าเหตุใดจึงไม่สามารถตอบคำถามที่ละเอียดอ่อนบางข้อได้
“พฤติกรรมของบริการที่มีลักษณะคล้ายกัน (โมเดลภาษาขนาดใหญ่) สามารถเปลี่ยนแปลงได้อย่างมากในระยะเวลาอันสั้น โดยจะต้องระบุถึงความจำเป็นในการตรวจสอบคุณภาพของโมเดล AI อย่างต่อเนื่อง” นักวิจัยระบุ
นอกจากนี้นักวิจัยแนะนำให้ผู้ใช้ และบริษัทต่างๆ ที่ใช้บริการ LLM เป็นส่วนประกอบในเวิร์กโฟลว์ของพวกเขา ใช้รูปแบบการวิเคราะห์การตรวจสอบเพื่อให้แน่ใจว่าแชทบอทยังคงทำงานได้อย่างรวดเร็ว โดยเมื่อวันที่ 6 มิถุนายน OpenAI เปิดเผยแผนการสร้างทีมที่จะช่วยจัดการความเสี่ยงที่อาจเกิดขึ้นจากระบบ AI อัจฉริยะ ซึ่งคาดว่าจะเกิดขึ้นภายในทศวรรษนี้