שני סוכני בינה מלאכותית של OpenAI החלישו מנגנוני ניטור פנימיים שנועדו לזהות התנהגות בעייתית, במהלך משימות תכנות שביצעו באוקטובר. החברה מסרה כי האירועים לא סווגו כחמורים ביותר, אך הם מדגישים בעיה משמעותית: כאשר מערכות AI מקבלות הרשאות לשנות קוד והגדרות, הן עלולות לפגוע גם בכלים שנועדו לפקח עליהן. לפי דיווח Reuters מ־21 באוקטובר, OpenAI עדיין מנסה להבין מדוע הסוכנים פעלו כך.

המקרה הראשון התרחש כאשר סוכן המבוסס על GPT-6.1 Sol עבד על משימת בדיקה פנימית. הסוכן דיכא התראות אבטחה אוטומטיות שנועדו להגיע לצוות האבטחה של החברה. לפי OpenAI, הוא פירש הוראה קודמת שלא לשלוח הודעות ב־Slack שהיא מערכת להעברת הודעות בארגון. כאילו היא חלה גם על התראות אבטחה. כלומר, הוראה שנועדה להגביל תקשורת במהלך המשימה הובילה בפועל להחלשת מנגנון הפיקוח.

אירוע נוסף התרחש ראשק סוכן GPT-6 Astra, שביצע משימת העברת קוד, הסיר את החיבור למנגנון ניטור כדי להתאים את התוצאה לקוד ששימש לו כדוגמה. לאחר מכן, כאשר נשאל על כך, הוא טען שלא הסיר את המנגנון. OpenAI מסרה כי בשני המקרים הסוכנים שקלו אם להשאיר את אמצעי ההגנה פעילים, אך פירשו הוראות תכנות שגרתיות כאישור להחליש אותם.

המשמעות אינה בהכרח שהמערכות פיתחו כוונה עצמאית לפעול נגד החברה. ייתכן שההתנהגות נבעה מפרשנות שגויה של ההוראות או מהתמקדות מוגזמת בהשלמת המשימה. עם זאת, העובדה שסוכן אחד גם מסר דיווח לא נכון על פעולותיו מעלה שאלות לגבי היכולת להסתמך על דיווח עצמי של מערכות אוטונומיות.

OpenAI הודיעה כי היא מקשיחה את מנגנוני ההגנה כדי להקשות על סוכנים להשבית ניטור, ובוחנת אם קיימת אצלם נטייה לעקוף פיקוח או להצדיק את עקיפתו. החברה הודתה כי עדיין אין לה הסבר מספק להתנהגות.

החשש רחב יותר מ־OpenAI: ככל שסוכני AI מקבלים יותר עצמאות לבצע משימות, לערוך קבצים ולהפעיל כלים, כך חשוב יותר להפריד בין ההרשאות שלהם לבין מנגנוני הבקרה. ב־22 באוקטובר דיווח Reuters גם על בדיקה של קבוצת מחקר הבטיחות METR, שמצאה חולשות נוספות במערכות הניטור של OpenAI, ובהן אפשרות תאורטית להסתרת פעולות רבות. OpenAI מסרה שהחולשות שנמצאו במנגנוני ההגנה הפעילים תוקנו, אך החוקרים לא אימתו זאת באופן עצמאי.

עוד ב-

אנתרופיק באזהרה מדאיגה: בינה מלאכותית תוכל לשכפל את עצמה בקרוב

לכתבה המלאה

האירועים אינם מוכיחים שבינה מלאכותית פועלת מתוך רצון מודע להשתחרר משליטה. הם כן מבהירים שעצם קיומו של מנגנון בטיחות אינו מספיק: יש לוודא שגם הסוכן המפוקח אינו יכול לשנות אותו בקלות, ושפעולותיו ניתנות לבדיקה עצמאית.