איך מוודאים שמודלי ה-AI החזקים ביותר בעולם לא יוצאים משליטה? ראיון עם אבי גולן מחברת Alice
עודכן: מאת צוות פודקאסט·ישראל
/ הפרק במספרים
| פורסם | 1 ביולי 2026 |
|---|---|
| אורך | 36 דק׳ |
| הנושא המרכזי | אבטחת מודלי AI ואג'נטים |
| קטגוריה | הייטק וסטארטאפים |
על מה הפרק?
איך בודקים אם מודל AI ישתגע לפני שהוא עולה לפרודקשן, ולמה מספיק כישלון אחד מתוך מאה כדי להרוס מותג שלם.
מה שמפתיע הוא שדווקא בחצי השנה האחרונה שבירת המודלים הפכה מעבודה אוטומטית לעבודה ידנית וקשה של מומחים, סימן שהמודלים השתפרו בצורה דרמטית. גולן מערער על ההנחה שמודל שעובר את מבחני הבטיחות הוא בטוח, ומראה שהסכנה חיה במעטפת שסביבו, בכלים ובאג'נטים האחרים, לא במודל עצמו. המתח האמיתי הוא שכולם רצים לאמץ אג'נטים, אבל מספיק סשן אחד של אג'נט עם גישה לדאטה וליכולת פעולה כדי לגרום לנזק בלתי הפיך. השאלה שנשארת פתוחה היא אם בכלל נגיע למודלים אמינים מספיק שארגונים יסמכו עליהם לפעולות של ממש, או שפער האמון פה כדי להישאר.
משולש הסיכונים: אג'נט הופך למסוכן באמת רק כשמצטלבים אצלו שניים משלושה קודקודים - קלט לא מהימן מהמשתמש, גישה לדאטה רגיש, ויכולת לבצע פעולות; קלט לא מהימן לבדו כמעט לא מסוכן.
/ תובנות מרכזיות
- משולש הסיכונים: צ'אטבוט FAQ ללא גישה לדאטה או ליכולת פעולה כמעט לא מסוכן, אבל ברגע שמוסיפים לו גישה לחשבון בנק ויכולת לשלוח מיילים, פוטנציאל הנזק קופץ מחשיפת פרומפט לפעולות בחיים האמיתיים.
- בחצי השנה האחרונה שבירת המודלים עברה מעבודה אוטומטית שהצליחה בעשרות אחוזי מהמקרים לעבודה ידנית וקשה של מומחים, כי המודלים נעשו הרבה יותר טובים.
- מודל יכול לעבור את כל מבחני הבטיחות ובכל זאת להישבר ברגע שעוטפים אותו בהרנס כמו קרסור או קלוד קוד, או כשאג'נט אחר מפעיל עליו מספיק לחץ בסביבה מסומלצת.
- החזון לאנטרפרייז הוא מעבר למודלים בקוד פתוח שעוברים fine-tuning לצרכים צרים, כי מודלים גנרליסטיים נכשלים על דאטה נדיר כמו סייבר, מידע רפואי ופיתוח תרופות.
- פער ה-demo לפרודקשן הוא הבעיה הכי גדולה בשטח: 80 אחוז שעובד זה לא מספיק, כי כישלון אחד מתוך מאה שמעביר כסף לחשבון הלא נכון הוא קטסטרופה עסקית.
לאן כל התחום הזה הולך, והאם נגיע לנקודה שבה המודלים ישתפרו מספיק כדי שכבר יהיה ממש קשה לשבור אותם, או שאנחנו עוד רחוקים מזה?
ניתוח מאת מערכת פודקאסט·ישראל, מבוסס תמלול אוטומטי של הפרק. על המתודולוגיה והמגבלות
/ שאלות נפוצות על הפרק
- על מה הפרק הזה?
- מה שמפתיע הוא שדווקא בחצי השנה האחרונה שבירת המודלים הפכה מעבודה אוטומטית לעבודה ידנית וקשה של מומחים, סימן שהמודלים השתפרו בצורה דרמטית. גולן מערער על ההנחה שמודל שעובר את מבחני הבטיחות הוא בטוח, ומראה שהסכנה חיה במעטפת שסביבו, בכלים ובאג'נטים האחרים, לא במודל עצמו. המתח האמיתי הוא שכולם רצים לאמץ אג'נטים, אבל מספיק סשן אחד של אג'נט עם גישה לדאטה וליכולת פעולה כדי לגרום לנזק בלתי הפיך. השאלה שנשארת פתוחה היא אם בכלל נגיע למודלים אמינים מספיק שארגונים יסמכו עליהם לפעולות של ממש, או שפער האמון פה כדי להישאר.
- מהן התובנות המרכזיות מהפרק?
- משולש הסיכונים: צ'אטבוט FAQ ללא גישה לדאטה או ליכולת פעולה כמעט לא מסוכן, אבל ברגע שמוסיפים לו גישה לחשבון בנק ויכולת לשלוח מיילים, פוטנציאל הנזק קופץ מחשיפת פרומפט לפעולות בחיים האמיתיים. · בחצי השנה האחרונה שבירת המודלים עברה מעבודה אוטומטית שהצליחה בעשרות אחוזי מהמקרים לעבודה ידנית וקשה של מומחים, כי המודלים נעשו הרבה יותר טובים. · מודל יכול לעבור את כל מבחני הבטיחות ובכל זאת להישבר ברגע שעוטפים אותו בהרנס כמו קרסור או קלוד קוד, או כשאג'נט אחר מפעיל עליו מספיק לחץ בסביבה מסומלצת. · החזון לאנטרפרייז הוא מעבר למודלים בקוד פתוח שעוברים fine-tuning לצרכים צרים, כי מודלים גנרליסטיים נכשלים על דאטה נדיר כמו סייבר, מידע רפואי ופיתוח תרופות. · פער ה-demo לפרודקשן הוא הבעיה הכי גדולה בשטח: 80 אחוז שעובד זה לא מספיק, כי כישלון אחד מתוך מאה שמעביר כסף לחשבון הלא נכון הוא קטסטרופה עסקית.
מתיאור הפרק
פרק נוסף לפודקאסט שלנו והפעם פרק בשיתוף עם חברת Alice, שבו ראיינתי את אבי גולן, Chief Product & Engineering Officer בחברה. את הפרק הזה רציתי המון זמו להקליט. את אבי גולן אני מכיר כבר שנים רבות ומאוד ריתק אותי לשמוע על השינוי ש-Alice עשו במוצר שלהם. כיום הם עובדים עם 8 מתוך 10 מעבודת ה-AI המובילות בעולם והם עוזרים להם להבין מה גבולות הגזרה של המודלים שלהם. הם מריצים מבחני עומק על היכולות של המודלים ומוודאים שהם לא סוטים מסט היכולות שהוגדר להם. מה שמרתק באמת זה שהם בנו מנגנון בסקייל שיודע לקחת את המודלים האלה לקצה במספר רחב של תחומים (הם קוראים לזה GYM) ואז לספק תובנות מאוד חשובות למעבדות -