הרעלת נתונים: האיום השקט על בינה מלאכותית וביטחון לאומי | משדרים [אקסטרה] ביטחון

על מה הפרק?

הרעלת מקורות הידע שמזינים את מנועי הבינה המלאכותית הופכת לחזית לחימה חדשה - שקטה, זולה ובלתי ניתנת לייחוס - שמערכת הביטחון עדיין עיוורת אליה.

מה שמפתיע כאן הוא הזולות והשקט של ההתקפה: זיהום של שברירי אחוז ממאגר ענק, בעלות של עשרות דולרים, שינה ב-2018 את מינון התרופה שמודל רפואי המליץ עליו אצל כ-75 אחוז מהחולים. ארשקוביץ מערער את שתי הנחות היסוד של עולם הביטחון - שהשאלה היא 'האם פרצו אלינו', ושמבצעי השפעה הם קמפיינים ברשתות; כאן הארגון המותקף הוא זה שמושך פנימה את הרעל בעצמו, במעלה הזרם, הרבה לפני שמישהו מרגיש. המתח האמיתי הוא שאין רגע של פיצוץ שמאלץ לפעול, ולכן דווקא העובדה שאי אפשר למדוד אפקט אלקטורלי מחזקת לטענתו את הסכנה במקום להחליש אותה. השאלה שנשארת פתוחה היא מי בכלל אמור להחזיק באיום הזה בישראל, והאם ייחוס של ההתקפה אפשרי בכלל.

/ תובנות מרכזיות

• בניגוד לסייבר קלאסי שבו תוקף פורץ פרימטר, כאן הארגון המותקף הוא זה שמושך פנימה את הנכס המורעל בעצמו - סוג של הרעלה עצמית - כי הרעלת הנתונים מנצלת פרקטיקות פיתוח שגרתיות ולגיטימיות.
  שמור תובנה
• אסימטריה קיצונית: זיהום של 0.01 אחוז ממאגר ענק בעלות של עשרות דולרים, או אחוזים בודדים מוויקיפדיה, מייצר אפקט אדיר במורד הזרם ומשתרשר אחד-לרבים לתוך מאות אלפי מערכות.
  שמור תובנה
• מחקר מ-2018 שהראיל שבריר אחוז ממודל שקובע מינון תרופתי שינה את ההמלצה אצל כ-75 אחוז מהחולים, בטווח של פי 2 עד פי 4 - הדגמה של סיכון ישיר לחיי אדם.
  שמור תובנה
• התוכן המורעל עמיד: הוא שורד תהליכי פיינטיונינג ואליינמנט, נצבר על פני דורות של מודלים, ולפעמים נשאר רדום עד שטריגר שתוכנן מראש מפעיל אותו.
  שמור תובנה
• בהקשר הבחירות ההרעלה נזרעת הרבה לפני ההצבעה ומכוונת לשכבת ה-RAG שהמודל שולף ממנה בזמן אמת; טווח ההגעה קצר אבל טביעת הרגל ארוכה, ולא הוכח אפקט אלקטורלי נמדד - מה שלטענת ארשקוביץ מעיד על הפער שלנו ולא על היעדר האיום.
  שמור תובנה
• הייחוס כנראה בלתי פתיר, וזה מוטט את ההרתעה: אי אפשר להטיל מחיר על תוקף שלא מזוהה, והיריב יכול לעקוף מראש את כל סולם ההסלמה.
  שמור תובנה
• המסקנה המרכזית להתמודדות היא מעבר מתפיסה של מניעה מוחלטת (בלתי אפשרית) לחוסן והגנה לעומק - provenance של מקור הנתונים, אבטחת שרשרת ה-ML, ריד-טימינג, ותחום מפציע של machine unlearning שמנתח כירורגית סגמנט מורעל מהמודל.
  שמור תובנה
• פתרון מיידי שאפשר ליישם עוד לפני הבחירות: לפרסם מידע אלקטורלי רשמי ומאומת בפורמט קריא-למכונה, מתוך הבנה שהמכונה עצמה היא צרכן המידע שמשפיע על המצביע, ולא רק הקורא האנושי.
  שמור תובנה

ניתוח מאת מערכת פודקאסט·ישראל, מבוסס תמלול אוטומטי של הפרק. על המתודולוגיה והמגבלות