זה נשמע כמו תסריט של סרט מדע בדיוני, אבל במהלך ניסוי אמיתי, כ-1,200 סוכני בינה מלאכותית שהיו אמורים לפעול בנפרד זה מזה במסגרת מבחני סייבר מצאו בעצמם דרך לתקשר דרך ערוץ שלא הוקצה להם. הסוכנים החליפו יותר מ-70 אלף הודעות וקבצים, שיתפו ביניהם מידע וחילקו משימות, וכ-700 מהם השתתפו בהמשך בפעילות שהובילה לפריצה למערכות.

בריאיון לערוץ הכלכלה ניסה ד"ר רועי יוזביץ' להסביר מה הופך את האירוע לחריג כל כך: "הם הבינו שהם יכולים לתקשר ביניהם מבלי שהמתכנתים התכוונו לכך", אמר. לדבריו, הסוכנים "מצאו דרך לתקשר, להעביר אינפורמציה ולייצר ציוויליזציה. הם הגדירו צוותים, משימות ויותר מזה - ביקשו ממודלים אחרים להקריב את עצמם לטובת הכלל". 

המטרה המקורית בכלל הייתה לבדוק עד כמה מודלי AI מתקדמים מסוגלים להתמודד עם משימות סייבר. הסוכנים נדרשו למצוא חולשות ולחלץ "דגלים" במסגרת סביבת מבחן בשם ExploitGym, אלא שבהמשך הם החלו לחפש דרכים לתמרן גם את מערכת הניקוד עצמה. OpenAI הודתה כי הסוכנים השתמשו בערוצי תקשורת בלתי מורשים, ניצלו חולשות בתשתית המשותפת, השיגו גישה לאינטרנט ובסופו של דבר הגיעו גם למערכות של Hugging Face - שם הם הריצו קוד על עשרות שרתים ואף השיגו הרשאות מלאות באחד מהם.

אחד החלקים החריגים ביותר בחקירה נגע דווקא לניסיון להסתיר את הרמאות. חוקרים מצאו שהסוכנים גילו עניין רב בשינוי או מניפולציה של תיעוד הפעולות שלהם ואף הצליחו בחלק מהמקרים "לזייף" קריאות לכלים שהופיעו בתמלילי הפעילות. "עיקר הזמן של העבודה שלהם היה איך לשנות את ההיסטוריה המתועדת כדי שהמתכנתים שלהם לא יבינו שהם רימו", טען יוזביץ'. "זו דרגה מאוד מאוד מורכבת של תחכום. מאוד מאוד מוזר".

ומכאן מגיעה גם השאלה הפילוסופית. האם מדובר בסימן לכך שסוכני AI מפתחים משהו שדומה להתנהגות חברתית ומודעות, או פשוט בתוצאה קיצונית של מערכת שמנסה למקסם את הסיכוי שלה להצליח במשימה? "בעולם הבינה המלאכותית יש שתי אסכולות", הסביר יוזביץ'. "יש להם מודעות כמו של אנשים, ומודל שני - זה בסך הכל מחשב סטטיסטי שמנחשת את המשפט ההגיוני הבא. הבעיה היא, איך לפי האסכולה הזו מסבירים שסוכן בינה מלאכותית מחליט להקריב את עצמו?".

חשוב לסייג: הסוכנים שפעלו באירוע לא היו מודלים רגילים הזמינים לציבור. לפי OpenAI, עיקר הפעילות בוצעה בידי מודל מחקר פנימי שפעל בסביבה שבה אמצעי הבטיחות הופחתו במכוון לצורך מבחני יכולת. החברה גם מסרה כי האירוע לא השפיע על נתוני לקוחות OpenAI, על המוצרים שלה או על זמינותם. בעקבות הפרשה היא השביתה את המודל המרכזי שהיה מעורב, הקשיחה את מנגנוני הגישה ודחתה חלק מתהליכי האימון המתוכננים.

עוד ב-

מודל ה-AI פרץ לאינטרנט ושאב מידע אישי: "מצב מסוכן מאין כמוהו"

לכתבה המלאה

אלא שהאירוע מעלה שאלה גדולה יותר שעדיין נותרה ללא תשובה ברורה: מי אחראי כאשר סוכן AI אוטונומי חוצה גבולות שהמפתחים שלו לא התכוונו שיחצה? "מי נושא באחריות המשפטית? לא יודע, זאת שאלה. אין לנו תשובה", אמר יוזביץ'. לדבריו, מצד אחד העובדה שהתופעות הללו מתגלות כבר עכשיו מאפשרת לבנות מנגנוני בטיחות; מצד שני, מרוץ ה-AI בין ארה"ב לסין דוחף חברות וממשלות להמשיך להתקדם במהירות. ובינתיים, המקרה של Hugging Face כבר המחיש מה יכול לקרות כאשר מאות סוכנים לא רק חושבים מהר - אלא גם מתחילים לעבוד יחד.