חוקרי סייבר חשפו פגיעות מדאיגה בצ'אטבוט ג'מיני של גוגל, שעלולה לחשוף משתמשים למתקפות דיוג מתוחכמות בצורה שטרם נראתה. הפרצה מאפשרת לתוקפים להטמיע הוראות חבויות בתוך הודעות אימייל שנראות לחלוטין תמימות ובטוחות. כאשר משתמש מפעיל את הפונקציה "סכם את האימייל הזה" בג'מיני עבור Google Workspace, הבוט יכול להיות מתמרן ליצור התראות אבטחה מזויפות המכווינות את הקורבן ללחוץ על קישורים מסוכנים או להתקשר למספרי טלפון של רמאים.

החדירה מתבססת על שיטה מתוחכמת של הזרקת הוראות מוסתרות שמנצלת את מנגנוני הפעולה הפנימיים של המודל. החוקר האנונימי שגילה את הפרצה מסביר כי השיטה "כוללת טקטיקות חכמות ולא שגרתיות שנועדו להטעות את המודל, ולעיתים קרובות דורשות הבנה של המנגנונים התפעוליים שלו כדי להשיג את התוצאות הרצויות". מה שהופך את המתקפה לכל כך מסוכנת הוא שהיא מתרחשת ברובד שהמשתמש בכלל לא חושד בו - בזמן שהוא מנסה לחסוך זמן ולסכם אימייל באמצעות הבינה המלאכותית.

הגאונות הטכנית של התקיפה טמונה בפשטותה המתוחכמת. מכיוון שהאימייל הזדוני אינו מכיל קבצים מצורפים, הוא לא מעורר חשד בקרב משתמשים או מסנני הספאם. יתר על כן, מכיוון שהוא מנצל קוד HTML ו-CSS, הוא מוסתר בקלות בתוך גוף האימייל עצמו. לאחר ההטמעה, ג'מיני עבור Google Workspace מעבד אותו בדיוק כמו כל סט הוראות אחר. כפי שמסביר מרקו פיגרואה, חוקר מחברת 0DIN: "מכיוון שהטקסט המוזרק מוצג בלבן על רקע לבן (או מוסתר בדרך אחרת), הקורבן אף פעם לא רואה את ההוראה בהודעה המקורית, רק את 'התראת האבטחה' המזויפת בסיכום שיוצר על ידי הבינה המלאכותית".

עוד ב-

גוגל חושפת: זה הנשק החדש נגד הודעות הספאם באימייל שלכם?

לכתבה המלאה

חשוב לציין שעד כה לא דווח על מקרים מאומתים שבהם הפרצה הזו נוצלה בפועל נגד משתמשי ג'מיני, אך צוות החוקרים מ-0DIN הצליח להדגים אותה כהוכחת היתכנות בצורה משכנעת. העובדה שהמתקפה עובדת מעלה שאלות חמורות לגבי יכולת הבינה המלאכותית להבחין בין תוכן לגיטימי לתוכן זדוני, במיוחד כאשר הוא מוסתר בדרכים יצירתיות. גוגל טרם פרסמה הודעה רשמית בנושא, אך ברור שהפרצה הזו מהווה אתגר טכנולוגי ואבטחתי משמעותי עבור חברות הטכנולוgia שפיתחו מערכות בינה מלאכותית דומות.