הרעלת נתונים: האיום השקט על בינה מלאכותית וביטחון לאומי | משדרים [אקסטרה] ביטחון

/ שאלות נפוצות על הפרק

על מה הפרק הזה?

מה שמפתיע כאן הוא הזולות והשקט של ההתקפה: זיהום של שברירי אחוז ממאגר ענק, בעלות של עשרות דולרים, שינה ב-2018 את מינון התרופה שמודל רפואי המליץ עליו אצל כ-75 אחוז מהחולים. ארשקוביץ מערער את שתי הנחות היסוד של עולם הביטחון - שהשאלה היא 'האם פרצו אלינו', ושמבצעי השפעה הם קמפיינים ברשתות; כאן הארגון המותקף הוא זה שמושך פנימה את הרעל בעצמו, במעלה הזרם, הרבה לפני שמישהו מרגיש. המתח האמיתי הוא שאין רגע של פיצוץ שמאלץ לפעול, ולכן דווקא העובדה שאי אפשר למדוד אפקט אלקטורלי מחזקת לטענתו את הסכנה במקום להחליש אותה. השאלה שנשארת פתוחה היא מי בכלל אמור להחזיק באיום הזה בישראל, והאם ייחוס של ההתקפה אפשרי בכלל.

מהן התובנות המרכזיות מהפרק?

בניגוד לסייבר קלאסי שבו תוקף פורץ פרימטר, כאן הארגון המותקף הוא זה שמושך פנימה את הנכס המורעל בעצמו - סוג של הרעלה עצמית - כי הרעלת הנתונים מנצלת פרקטיקות פיתוח שגרתיות ולגיטימיות. · אסימטריה קיצונית: זיהום של 0.01 אחוז ממאגר ענק בעלות של עשרות דולרים, או אחוזים בודדים מוויקיפדיה, מייצר אפקט אדיר במורד הזרם ומשתרשר אחד-לרבים לתוך מאות אלפי מערכות. · מחקר מ-2018 שהראיל שבריר אחוז ממודל שקובע מינון תרופתי שינה את ההמלצה אצל כ-75 אחוז מהחולים, בטווח של פי 2 עד פי 4 - הדגמה של סיכון ישיר לחיי אדם. · התוכן המורעל עמיד: הוא שורד תהליכי פיינטיונינג ואליינמנט, נצבר על פני דורות של מודלים, ולפעמים נשאר רדום עד שטריגר שתוכנן מראש מפעיל אותו. · בהקשר הבחירות ההרעלה נזרעת הרבה לפני ההצבעה ומכוונת לשכבת ה-RAG שהמודל שולף ממנה בזמן אמת; טווח ההגעה קצר אבל טביעת הרגל ארוכה, ולא הוכח אפקט אלקטורלי נמדד - מה שלטענת ארשקוביץ מעיד על הפער שלנו ולא על היעדר האיום. · הייחוס כנראה בלתי פתיר, וזה מוטט את ההרתעה: אי אפשר להטיל מחיר על תוקף שלא מזוהה, והיריב יכול לעקוף מראש את כל סולם ההסלמה. · המסקנה המרכזית להתמודדות היא מעבר מתפיסה של מניעה מוחלטת (בלתי אפשרית) לחוסן והגנה לעומק - provenance של מקור הנתונים, אבטחת שרשרת ה-ML, ריד-טימינג, ותחום מפציע של machine unlearning שמנתח כירורגית סגמנט מורעל מהמודל. · פתרון מיידי שאפשר ליישם עוד לפני הבחירות: לפרסם מידע אלקטורלי רשמי ומאומת בפורמט קריא-למכונה, מתוך הבנה שהמכונה עצמה היא צרכן המידע שמשפיע על המצביע, ולא רק הקורא האנושי.

מתיאור הפרק

בפרק חדש של משדרים [אקסטרה] ביטחון - רצועה נוספת של התוכנית "משדרים ביטחון" למיטיבי לכת - משוחח החוקר דודי סימן טוב, ראש תחום תודעה והשפעה זרה במכון, עם ד"ר שי הרשקוביץ מאוניברסיטת ג'ורג'טאון על האיום המשמעותי לביטחון הלאומי של ישראל והעולם, הרעלת נתונים - מניפולציה שקטה וזעירה במקורות המידע הגלויים, הגורמת למערכות להסיק מסקנות מעוותות מבלי שהותקפו ישירות. הפרק מנתח מדוע נשק אסטרטגי זה מהווה כיום "נקודת עיוורון" עבור קהילת הביטחון הלאומי, סוקר מקרי בוחן של התערבות זרה במערכות בחירות בעולם באמצעות זיהום מידע, ומדגיש את הצורך הלאומי הדחוף לעבור מתפיסה של מניעה מוחלטת לפיתוח חוסן והגנה רב-שכבתית.