איך מוודאים שמודלי ה-AI החזקים ביותר בעולם לא יוצאים משליטה? ראיון עם אבי גולן מחברת Alice
עודכן: מאת צוות פודקאסט·ישראל
האזינו לפרק המלא
אנחנו עוזרים למצוא את הפרק, ההאזנה המלאה נמצאת אצל היוצרים, בפלטפורמה שלהם.
/ הפרק במספרים
| פורסם | 1 ביולי 2026 |
|---|---|
| אורך | 36 דק׳ |
| הנושא המרכזי | הגנה ובדיקת מודלי AI מתקדמים |
| קטגוריה | הייטק וסטארטאפים |
על מה הפרק?
אליס מסייעת לחברות לאמן, לבדוק ולהגן על מודלי AI כדי למנוע יצירת תכנים בעייתיים ולשמור על בטיחות ועמידה ברגולציה.
אליס החלה כעסק שמסיר תכנים בעייתיים מהאינטרנט, וכיום מתמקדת בהגנה על מודלי AI באמצעות בדיקות, סימולציות ואימון מחדש. החברה מפתחת טכנולוגיות שמאתרות נקודות תורפה במודלים ובמעטפות שלהם, ומספקת כלים לשיפור ו-fine-tuning. אליס עובדת עם רוב חברות המודלים הגדולות ועוזרת לאנטרפרייזים להוציא מוצרים מבוססי AI לפרודקשן בצורה בטוחה ורגולטורית.
שימוש בג'ימים (simulated environments) עם אקספרטים וסימולציות של סצנריו אמיתיים מאפשר זיהוי מדויק של כשלי מודלים ושל נקודות תורפה, ומאפשר למפתחים לבצע fine-tuning יעיל יותר.
/ תובנות מרכזיות
- מודלי AI לומדים גם את התכנים הבעייתיים שקיימים באינטרנט, מה שמגביר את הסיכון ליצירת תכנים לא רצויים.
- הבדיקות כוללות גם את המעטפות (הרנסינג) שמקיפות את המודלים, שכן הן יכולות לחשוף חולשות נוספות שלא קיימות במודל עצמו.
- המעבר מפרודקשן דורש ניטור מתמיד של התנהגות המודל וה-agent, וזיהוי דריפט או תקלות בזמן אמת.
- הגדרת פוליסיות ברורה ומותאמת לארגון היא אתגר מרכזי, במיוחד כשיש רגולציות שונות לפי מדינה ותחום.
- העתיד טמון ב-shift-left ובקסטומיזציה של מודלים פתוחים (open source) לצרכים ספציפיים של ארגונים.
איך ניתן לוודא שהמודלים וה-agentים מבצעים את הפעולות הרצויות תחת מגבלות סייבר, רגולציה ופוליסי ארגון לפני העלאתם לפרודקשן?
- 1להקים צוות מומחים שמבצע בדיקות אדברסיאליות מתמשכות למודלים ולמעטפות שלהם.
- 2לפתח סימולציות (ג'ימים) המדמות סביבות עבודה אמיתיות לצורך איתור כשלי מודלים.
- 3להגדיר ולהטמיע פוליסיות ברורות ומותאמות לארגון ולרגולציה הרלוונטית.
- 4ליישם מערכות ניטור בזמן אמת לזיהוי דריפט ותקלות במודלים לאחר העלאה לפרודקשן.
- 5לבצע פיינטיונינג מתמשך של המודלים בהתבסס על תוצאות הבדיקות והסימולציות.
ניתוח מאת מערכת פודקאסט·ישראל, מבוסס תמלול אוטומטי של הפרק. על המתודולוגיה והמגבלות
שאל את הפרק (Chat with Episode)
קבל תשובות מיידיות מתוך תמלול וניתוח ה-AI
שאלות מומלצות בלחיצה אחת:
/ שאלות נפוצות על הפרק
- כיצד חברת אליס בודקת את המודלים של AI לפני שהם מגיעים לפרודקשן?
- חברת אליס מבצעת בדיקות בשלב שלפני הפרודקשן, כולל בדיקות של המודל עצמו ושל המעטפות (הרנס) שמסביב למודל, באמצעות צוותים של מומחים שמנסים לשבור את המודל ומערכות טכנולוגיות שפיתחו, כדי לאתר נקודות תורפה וסיכונים.
- מהם ה'ג'ימים' וכיצד הם משמשים בתהליך האימון והבדיקה של מודלים ב-AI?
- 'ג'ימים' הם סימולציות של סביבות עבודה אמיתיות שבהן מודלים או סוכנים מבוססי AI מבצעים משימות, כמו ניהול טיקטים או טיפול בבקשות, והם משמשים כדי לבדוק את התפקוד והבטיחות של המודלים ולייצר דאטה לשיפור ואימון מחדש.
- אילו אתגרים קיימים באבטחת מודלים של AI בסביבת אנטרפרייז ואיך אליס מסייעת בהתמודדות איתם?
- האתגרים כוללים אינטראקציות מורכבות בין סוכנים, אי-דטרמיניזם בתגובות המודל, והגדרת מדיניות מורכבת של מה מותר ואסור, כאשר אליס מסייעת בהגדרת פוליסיות, איתור נקודות תורפה, ובניית שכבות הגנה כדי להבטיח שהמודלים פועלים בהתאם לדרישות הארגון.
- מהם הסיכונים במעבר מפרויקט דמו לפרודקשן במודלים מבוססי AI, וכיצד אליס מתמודדת איתם?
- הסיכון המרכזי הוא שהמודל או האג'נט יפעלו בצורה בלתי צפויה או מזיקה בפרודקשן, כולל טעויות חמורות או פגיעה במוניטין, ואליס מסייעת בזיהוי מוקדם של תקלות, ניטור מתמשך, ויצירת תהליכים לתיקון מהיר כדי לצמצם את הפער בין הדמו לפרודקשן.
- כיצד צפוי תחום ה-AI להתפתח מבחינת התאמת מודלים לצרכי ארגונים בשנה הקרובה?
- צפוי שיותר ארגונים יאמצו מודלים פתוחים (open source) ויבצעו פיינטיונינג מותאם אישית לצרכים הספציפיים שלהם, תוך שימוש בג'ימים וסימולציות לשיפור הביצועים והבטיחות, מה שיקדם את היכולת לשלוט ולכוון את המודלים ברזולוציות קטנות ומדויקות.
מתיאור הפרק
פרק נוסף לפודקאסט שלנו והפעם פרק בשיתוף עם חברת Alice, שבו ראיינתי את אבי גולן, Chief Product & Engineering Officer בחברה. את הפרק הזה רציתי המון זמו להקליט. את אבי גולן אני מכיר כבר שנים רבות ומאוד ריתק אותי לשמוע על השינוי ש-Alice עשו במוצר שלהם. כיום הם עובדים עם 8 מתוך 10 מעבודת ה-AI המובילות בעולם והם עוזרים להם להבין מה גבולות הגזרה של המודלים שלהם. הם מריצים מבחני עומק על היכולות של המודלים ומוודאים שהם לא סוטים מסט היכולות שהוגדר להם. מה שמרתק באמת זה שהם בנו מנגנון בסקייל שיודע לקחת את המודלים האלה לקצה במספר רחב של תחומים (הם קוראים לזה GYM) ואז לספק תובנות מאוד חשובות למעבדות -
/ עוד פרקים על סייבר ואבטחה
- מנועי הכסףגיל שויד: מההשוואה לבועת הדוט.קום, דרך החיים כיו״ר ועד השינוי שהכרחי לילדינוגיל שויד, ממייסדי צ'ק פוינט, רואה ב-AI מהפכה שהשקעות הענק בה עוד לא הוכיחו החזר, אך מעריך שהיא תכפיל את כוחם של עובדים ושל ישראל, בתנאי שמערכת החינוך תתעדכן ושלא יוטל על התוכנה עול רגולציה כבד.
- אנשים ומחשביםS1E445: ראיון עם ניסים בראל, ממייסדי תעשיית האבטחה בישראל, יזם חברתי ומחבר הספר ערך מוסףניסים בראל, שעלה ממרוקו בגיל עשר לצריף במעברה והקים את קומסק, מכר את החזקותיו ב-2014 כדי להעביר הלאה את ההזדמנויות שקיבל, דרך יזמות לנשים, לסטודנטים בפריפריה ולתלמידים מצטיינים.
- Playbooksיזם שמכר ב-300 מיליון דולר: ״אם הייתי מתחיל סטארטאפ מחדש, זה מה שהייתי עושה אחרת״יזם צריך להתחיל מבעיה אמיתית שכואבת למספיק אנשים ולא מהיכולת הטכנולוגית שלו, ולדאוג להלימה מלאה בין הבעיה, הסיפור שהוא מספר והמוצר.
- שיחת בוגראיך עוצרים רחפנים עוינים? ואיך בונים מזה חברה של 1.5 מיליארד דולר? | אסף מונסה | פרק 60אסף מונסה, מייסד ו-CTO של DeFend, מסביר איך השתלטות סייבר על תקשורת הרחפן, ולא ג׳אמר ומכ״ם, הפכה סטארט-אפ של שמונה אנשים לחברה שנמכרה למוטורולה סולושנס במיליארד וחצי דולר.
איך נוצר העמוד הזה
40 פרקים של Hidden layers = 40 מאמרים שגוגל מדרג
את התקציר והניתוח בעמוד הזה הפקנו אוטומטית מתוך האודיו של הפרק, בלי שאיש כתב מילה. זה בדיוק מה ש-AuthorityRank עושה לארכיון שלם: כל פרק הופך למאמר עברי איכותי שמדורג בגוגל ומצוטט על ידי ChatGPT ו-Perplexity, ומתפרסם אוטומטית במגזין משלכם.
הארכיון שלכם הוא אודיו מת שמנועי החיפוש לא מוצאים. אנחנו הופכים אותו לנכס שמביא תנועה כל חודש.