מחקר חדש של חברת OpenAI מציף לדיון את אחת הבעיות המרכזיות בתחום הבינה המלאכותית: תופעת ה"הזיות". במסגרת תופעה זו, מודלי שפה גדולים כמו GPT וצ'אטבוטים כמו ChatGPT מייצרים תשובות שנשמעות אמינות אך אינן נכונות מבחינה עובדתית. על אף השיפורים הרבים, החברה מודה כי מדובר בבעיה יסודית שספק אם אי פעם תיעלם לחלוטין.

המחקר החדש מראה כי אתגר ההזיות אינו רק טכנולוגי, אלא תלוי גם בתמריצים ובמדדים שקובעים המפתחים עבור המודלים הללו. כדי להמחיש את הבעיה, החוקרים פנו ל"צ'אטבוט פופולרי" ושאלו אותו שאלות פשוטות על אחד החוקרים שהיה שותף למאמר, כמו שם עבודת הדוקטורט ותאריך הלידה שלו. בתגובה, הצ'אטבוט סיפק שלוש תשובות שונות על כל שאלה, כשכל התשובות היו שגויות לחלוטין.

החוקרים מסבירים שהסיבה לבעיה נובעת בחלקה מתהליך האימון הראשוני של המודלים, שבו הם מתמקדים אך ורק בניבוי המילה הבאה במשפט. כתוצאה מכך, הם אינם מקבלים תווית של "נכון" או "לא נכון" על המידע עצמו. עם זאת, לטענת החוקרים, הבעיה העיקרית נובעת מהדרך שבה מודלי שפה מוערכים כיום.

לדבריהם, מבחני ההערכה הנוכחיים "מעודדים הימורים", בדומה למבחנים מרובי-בחירה שבהם השארת תשובה ריקה מבטיחה ציון אפס. כתוצאה מכך, המודלים מעדיפים לנחש תשובה, גם אם הם אינם בטוחים בה, על מנת להשיג ציון גבוה, במקום להודות שאינם יודעים.

עוד ב-

אנבידיה נגד ארה"ב: זה החוק שיעצור את מהפכת ה-AI?

לכתבה המלאה

הפתרון המוצע במאמר הוא עדכון שיטות ההערכה. החוקרים מציעים ליצור מבחנים חדשים שיענישו טעויות "בטוחות" (כאשר המודל עונה תשובה שגויה תוך הבעת ביטחון רב) בצורה חמורה יותר מאשר חוסר ודאות. על פי החוקרים, אם הניקוד הגבוה ימשיך להינתן על בסיס "ניחושים מוצלחים", המודלים ימשיכו לפתח את הנטייה לנחש ולספק תשובות שגויות.