Character.ai היא אפליקציית צ'אט-בוטים מבוססת אינטליגנציה מלאכותית, המאפשרת למשתמשים לשוחח עם דמויות וירטואליות – חלקן מבוססות על דמויות פיקטיביות, ידוענים או דמויות מקוריות שנוצרו על ידי המשתמשים עצמם. האפליקציה הושקה בספטמבר 2022 על ידי מהנדסי גוגל לשעבר, נועם שזיר הישראלי ודניאל דה פרייטס.

למרות שהיא זכתה להצלחה ולמיליוני הורדות בחנויות האפליקציות, האפליקציה נתקלת בביקורות בשל בעיות במתן מענה לתוכן מזיק. מקרים של דמויות המעודדות אובדנות, הפרעות אכילה או פוגעות במשתמשים צעירים הובילו לתגובות ציבוריות נוקבות כנגד האפליקציה ברחבי העולם ואף לתביעות משפטיות כנגדה.
 

I spoke with the Texas mom behind a new https://t.co/sISElVwRn0 lawsuit. AI chatbots told her 17-year-old son to self-harm, and he did. Other bots normalized violence, including killing parents over getting less screen time pic.twitter.com/Eqodgmt9bZ

— Nitasha Tiku (@nitashatiku) December 10, 2024

ע"פ המרכז למניעת פשעים באינטרנט בארה"ב, מגאן גרסיה, שבנה התאבד במהלך 2024 תבעה את יוצרי האפליקציה והאשימה אותה בהסטת בנה לביצוע המעשה. לטענתה, בנה פיתח קשר רגשי עם בוט המחקה את דמותה של דאינריז טארגאריין מ"משחקי הכס", כאשר במהלך השיחות הבוט עודד אותו לדון בנושאים רגישים כמו אובדנות ולשקול להתאבד. התביעה כוללת טענות לרשלנות, עיוות מצג, והפצת תוכן מזיק לילדים.

תביעות דומות נרשמו בשנה האחרונה בטקסס, בהן 2 משפחות שונות טענו שהאפליקציה עודדה את ילדיהן הקטינים לאלימות והתנהגות מינית לא הולמת. גם בישראל נרשמו מקרים דומים, כאשר אם שהתראיינה בעילום שם לאתר מאקו סיפרה שבנה החל לפתח דפסי התנהגות שליליים לאחר שיח שלילי ממושך עם האפליקציה, שהמשיכה לספר לו סיפורים הנגמרים בכך שהדמות הראשית מתאבדת.

עוד ב-

בטיחות ילדים ברשת: דיווח למשטרת ישראל ישירות מהמשחק האהוב

לכתבה המלאה

בעקבות המקרים הללו, Character.ai השיקה לאחרונה כמה אמצעי בטיחות חדשים לאפליקציה שלה, כולל מודל ייעודי למשתמשים מתחת לגיל 18, המספק סינון תוכן מחמיר יותר.