האם נמצא התחליף לטרנספורמרים? ראיון עם גלעד לוי מחברת Manifold
עודכן: מאת צוות פודקאסט·ישראל
/ הפרק במספרים
| פורסם | 6 ביולי 2026 |
|---|---|
| אורך | 39 דק׳ (ארוך ב-12% מהממוצע בתוכנית) |
| הנושא המרכזי | ארכיטקטורות AI חדשות ומעבדת בינה מלאכותית ישראלית |
| קטגוריה | הייטק וסטארטאפים |
על מה הפרק?
למה טרנספורמרים הגיעו לתקרה, ולמה השאלה האמיתית היא אם ישראל בכלל מסוגלת להחזיק מעבדת AI ולא רק עוד סטארט-אפ.
גילד, בן 22 שסיים תואר בטכניון בגיל 15, טוען שטרנספורמרים הגיעו לתקרה: עוד קומפיוט עדיין עובד אבל בתשואה פוחתת, וילד בן שלוש עדיין לומד מהר ויעיל יותר מכל מודל. מכאן הוא מנסה לפתח ארכיטקטורה שלומדת מסטרים רציף של מידע, כמו שבני אדם חיים בעולם, במקום לחזות טוקן אחרי טוקן. המתח האמיתי בפרק הוא לא טכנולוגי אלא לאומי: האם ישראל, שבנויה על אקזיטים מהירים, מסוגלת בכלל להחזיק מעבדה שדורשת שנים בלי ROI ברור. השאלה שנשארת פתוחה היא אם מדובר במשימה גדולה על המדינה, כמו פיתוח מטוס קרב, או בהזדמנות להחזיר הביתה טלנט שכבר ברח לוואלי.
ישראל לא צריכה להתחרות ראש בראש בבניית מודל פאונדיישן, כמו שהיא לא מפתחת F35 אלא כיפת ברזל, אלא לבנות ארכיטקטורות חדשות ושווקים עם סטיקינס מובנה, כי בעולם ה-LLM אין כמעט עלות מעבר וכל יתרון נשחק תוך חודשיים.
/ תובנות מרכזיות
- טרנספורמרים עדיין משתפרים עם עוד קומפיוט אבל בתשואה פוחתת - המעבר מ-99% ל-99.9% דיוק עולה פי עשרה, ומתחרה זול יותר עם פרספקטיבה אחרת יכול לקחת אותך מלמטה.
- הפער מול הטבע: ילד בן שלוש לומד מהר ויעיל יותר מכל מודל AI, על הרבה פחות מידע וחישוב, סימן שתפסנו רק גרסה אחת של מה זו למידה.
- משל המערה של אפלטון כדימוי ל-LLM: המודל מקבל רק צל טקסטואלי של העולם, לא יודע מה הטעם של בירה, ונופל בניואנסים שכל אדם היה קולט מיד.
- JEPA חוזה ייצוג בלייטנט ולא טוקן או פריים: במקום להמר על עתיד אחד (האוטו שמגיע לצומת), הוא מחזיק חיזוי הסתברותי מדויק לכל הכיוונים, כמו בן אדם שאומר 'אני לא יודע לאן'.
- בעולם ה-LLM אין כמעט סטיקינס - 'בנייר טואלט יש יותר סטיקינס' - עלות המעבר אפסית, וגם OpenAI יכולה לאבד יתרון דיסטריביושן תוך חודשיים.
- החסם האמיתי בישראל הוא הריסק אפטייט ומודל האקזיט המהיר, שמתנגש עם מעבדה שדורשת שנים בלי ROI; הריטנשן של פוסט-דוקטורנטים בארץ הוא בערך אחד לשניים-שלושה.
המנחה דוחק ושואל אם מעבדת AI ברמה עולמית היא בכלל משימה גדולה על מדינת ישראל, כמו שישראל לא מפתחת F35 אלא כיפת ברזל וטילים, והאם דיפ-טק כזה יכול לצמוח כאן.
ניתוח מאת מערכת פודקאסט·ישראל, מבוסס תמלול אוטומטי של הפרק. על המתודולוגיה והמגבלות
/ שאלות נפוצות על הפרק
- על מה הפרק הזה?
- גילד, בן 22 שסיים תואר בטכניון בגיל 15, טוען שטרנספורמרים הגיעו לתקרה: עוד קומפיוט עדיין עובד אבל בתשואה פוחתת, וילד בן שלוש עדיין לומד מהר ויעיל יותר מכל מודל. מכאן הוא מנסה לפתח ארכיטקטורה שלומדת מסטרים רציף של מידע, כמו שבני אדם חיים בעולם, במקום לחזות טוקן אחרי טוקן. המתח האמיתי בפרק הוא לא טכנולוגי אלא לאומי: האם ישראל, שבנויה על אקזיטים מהירים, מסוגלת בכלל להחזיק מעבדה שדורשת שנים בלי ROI ברור. השאלה שנשארת פתוחה היא אם מדובר במשימה גדולה על המדינה, כמו פיתוח מטוס קרב, או בהזדמנות להחזיר הביתה טלנט שכבר ברח לוואלי.
- מהן התובנות המרכזיות מהפרק?
- טרנספורמרים עדיין משתפרים עם עוד קומפיוט אבל בתשואה פוחתת - המעבר מ-99% ל-99.9% דיוק עולה פי עשרה, ומתחרה זול יותר עם פרספקטיבה אחרת יכול לקחת אותך מלמטה. · הפער מול הטבע: ילד בן שלוש לומד מהר ויעיל יותר מכל מודל AI, על הרבה פחות מידע וחישוב, סימן שתפסנו רק גרסה אחת של מה זו למידה. · משל המערה של אפלטון כדימוי ל-LLM: המודל מקבל רק צל טקסטואלי של העולם, לא יודע מה הטעם של בירה, ונופל בניואנסים שכל אדם היה קולט מיד. · JEPA חוזה ייצוג בלייטנט ולא טוקן או פריים: במקום להמר על עתיד אחד (האוטו שמגיע לצומת), הוא מחזיק חיזוי הסתברותי מדויק לכל הכיוונים, כמו בן אדם שאומר 'אני לא יודע לאן'. · בעולם ה-LLM אין כמעט סטיקינס - 'בנייר טואלט יש יותר סטיקינס' - עלות המעבר אפסית, וגם OpenAI יכולה לאבד יתרון דיסטריביושן תוך חודשיים. · החסם האמיתי בישראל הוא הריסק אפטייט ומודל האקזיט המהיר, שמתנגש עם מעבדה שדורשת שנים בלי ROI; הריטנשן של פוסט-דוקטורנטים בארץ הוא בערך אחד לשניים-שלושה.
מתיאור הפרק
פרק נוסף לפודקאסט שלנו והפעם פרק בשיתוף חברת Manifold, שבו ראיינתי את גלעד לוי, המייסד והמנכל של החברה. לא בכל יום אתה מראיין יזם שרוצה לקרוא תיגר על הטכנולוגיה הכי מוכרת ונפוצה בתחום ה-AI וממש עובד על ארכיטקטורה חדשה שתחליף את הטרנספורמים המפורסמים. גלעד, שאת התואר הראשון שלו עשה בגיל 15 בטכניון, שיתף אותי על למה הוא חושב שטרנספורמרים כבר לא מספיקה, על הגישה שלהם להתמודד עם בעיות AI וגם למה כל כך חשוב לו להקים מעבדה מתקדמת בתחום ה-AI כאן בישראל. פרק טכני מהרגיל אבל מאוד מעניין לכל מי שרוצה לצלול למאחורי הקלעים.
/ עוד פרקים על בינה מלאכותית
- 001 - פודקאסט הצומתהצומת | יומינט ואוסינט: ארגז הכלים של היזם החדש - הודיה בן חמוהודיה בן חמו, בת 24, מנהלת סוכנות שיווק ומיזם הדרכה, מספרת איך תואר שהתחילה בגיל 16 ושבת ששמרה לבד מגיל 6 בנו לה משמעת של יזמית.
- 15-מיליון15-מיליוןפרק הכנה ראשון שמפרק את חוקי משחק הפנטזי של המונדיאל ואת השאלה האמיתית - מתי לוותר על הכוכב הגדול לטובת מיסמאצ' זול.
- 8-דקות-מודעות-קבלית-עם-מאיר-ישורוןפרק 1365: עולם מושלםשיעור בוקר קבלי על למה גם המחלות והרוע לא מיותרים בבריאה, ולמה מה שנראה לנו כחושך הוא בעצם אור שאין לנו עדיין כלים לראות אותו.
- ai-today-בינה-מלאכותיתפרק 1 | שגשוג האנושות או עתיד אכזרשיחה עם חוקר בינה מלאכותית ותיק על הדרך מהטכניון של שנות ה-90 ועד מכונות שכבר יודעות לנחש על מה חשבת - ועל מה חלמת.