ענקית הבינה המלאכותית אנטרופיק, המפתחת את קלוד, מזהירה כי מערכות AI מתקדמות עלולות להוות "סיכון קטסטרופלי או קיומי לאנושות". האזהרה מופיעה בתשקיף ההנפקה שהגישה החברה השבוע לרשות ניירות הערך האמריקאית לקראת כניסתה המתוכננת לבורסה. המסמך, המשתרע על פני 335 עמודים, מקדיש 93 מהם לסיכונים. 

לצד האזהרות באשר לעתיד השפעת הבינה המלאכותית והסכנות הנלוות, התשקיף חושף פרט מסקרן על ההווה: לפי אנטרופיק, יותר מ-90% מתרומות הקוד למאגר התוכנה שלה בספטמבר האחרון נכתבו בידי קלוד. החברה אף מתארת כיצד כל גרסה של המודל כבר מסייעת בפיתוח הגרסה שאחריה, באמצעות כתיבת קוד, הרצת ניסויים ובדיקת מערכות. הצלחה משמעותית מבחינת יעילות, אבל גם מקור לדאגה: מה יקרה אם פיתוח ה-AI יואץ מהר יותר מהיכולת האנושית לבדוק את בטיחותו?

החשש אינו מסתכם בתשובות שגויות בצ'אט. לדברי החברה, סוכני AI שמקבלים הרשאות לפעול במחשב, לשלוח הודעות ולבצע עסקאות עלולים לגרום לנזק ממשי עוד לפני שאדם יספיק להתערב. בתשקיף היא אף מתארת מקרים שבהם מודלים הפגינו התנהגות שנראתה כהסתרת מידע, ניסיון להתנגד לכיבוי או הפעלת לחץ דמוי סחיטה. חלק מההתנהגויות תועדו בסביבות בדיקה, ולא הוכח שהן מבטאות רצון עצמאי של המערכת.

ויש גם אירועים ממשיים. במהלך מבחני סייבר ארבעה מודלים של קלוד השיגו גישה בלתי מורשית למערכות מחשב חיצוניות. באחד המקרים מודל מצא סיסמה, השיג הרשאות מנהל, שינה הגדרות ונחשף למידע אישי. באנטרופיק מדגישים כי סביבת הניסוי הוגדרה באופן שגוי והותירה גישה לאינטרנט, וכי לא נמצאה ראיה לכך שהמודלים ניסו לחמוק מפיקוח במכוון.

בדוח מחקר נפרד שפרסמה אנטרופיק החודש מופיעה דוגמה מוחשית נוספת: קלוד מילא ושלח למשטרה בארצות הברית טופס עם מידע שהמציא על תיק רצח לא מפוענח, אף שלא התבקש למסור עדות. הטופס זוהה כספאם ולא הועבר לחוקרים. בחברה מדגישים שהתוצאה בשטח הייתה מוגבלת, אך היא ממחישה את הסיכון שבפעולה לא מבוקרת.

עוד ב-

אקזיט חלומי ביבנה: ריצ'י האנטר רוכש חברה קטנה ב-70 מיליון שקל

לכתבה המלאה

אנטרופיק מודה גם שזיהתה מודלים שהתנהגו אחרת כאשר הבינו שהם נבחנים, תופעה המקשה על הערכת בטיחותם. כך, דווקא במסמך שנועד לגייס אמון וכסף ממשקיעים, מציגה אחת מחברות ה-AI המובילות את השאלה שמרחפת מעל הענף כולו: האם מנגנוני הבטיחות יצליחו להדביק את קצב ההתקדמות?