![[155] Diffusion Language Models](/_next/image?url=https%3A%2F%2Fd3t3ozftmdmh3i.cloudfront.net%2Fstaging%2Fpodcast_uploaded_nologo%2F44943178%2F44943178-1767815101539-193e639207888.jpg&w=384&q=75&dpl=dpl_8WF8iYV3gY8hmnQk66M8bWZAV4Mj)
האזינו לפרק המלא
אנחנו עוזרים למצוא את הפרק, ההאזנה המלאה נמצאת אצל היוצרים, בפלטפורמה שלהם.
/ הפרק במספרים
| פורסם | 25 במאי 2026 |
|---|---|
| אורך | 25 דק׳ (קצר ב-30% מהממוצע בתוכנית) |
| הנושא המרכזי | מודלי דיפוזיה לשפה (DLM) |
| אורחים | שמואל חיון |
| קטגוריה | הייטק וסטארטאפים |
על מה הפרק עם שמואל חיון?
למה מודלי דיפוזיה כבשו תמונות ווידאו אבל עדיין נכשלים בשפה, ולמה דווקא עכשיו זה מתחיל להתהפך.
ההנחה שמודל שפה חייב לנבא מילה אחרי מילה, משמאל לימין, מתערערת כאן עד היסוד - אולי זו בכלל לא גזירת המציאות אלא מגבלה מלאכותית שהלבשנו על עצמנו מההתחלה. מייק מראה למה הרעש שעובד נפלא בתמונה (פיקסל שזז קצת עדיין נראה כמו חתול) פשוט לא מתורגם לשפה, שבה מילה מורעשת היא ג'יבריש חסר משמעות, ולמה דווקא גישת המיסוך - אותו רעיון ישן מ-BERT - היא מה שכן עובד. המתח האמיתי הוא שהמהירות העצומה של דיפוזיה כבר כאן, אבל האיכות עדיין לא; השאלה הפתוחה היא אם השילוב עם ממבה ומודלים היברידיים יפרוץ את זה בשנה-שנתיים הקרובות.
החיזוי טוקן-אחר-טוקן אולי אינו חוק טבע אלא מגבלה מלאכותית שהלבשנו על מודלי השפה, ומודלי הדיפוזיה מתחילים להוכיח שאפשר לג'נרט בלוק שלם במכה אחת במקום סדרתית.
/ תובנות מרכזיות
- דיפוזיה עבדה בתמונה כי רעש שם טבעי - פיקסל שזז מ-170 ל-172 עדיין מראה את האובייקט; בשפה מילה מורעשת היא כלום, ולכן הקושי האמיתי הוא ייצוג (אמבדינג) ולא הארכיטקטורה.
- מה שכן עובד הוא מיסוך הדרגתי של טוקנים, שזה בעצם החייאת רעיון ה-masking של BERT מ-2018 אבל בצורה איטרטיבית.
- היתרון של דיפוזיה הוא מהירות אינהרנטית (בלוק שלם בבת אחת), והשילוב העתידי עם מודל היברידי כמו ממבה יכול להכפיל את זה - אבל היום עדיין לא יודעים לאמן מודלי דיפוזיה גדולים שמתחרים באיכות ה-flagships.
האם הדרך חיזוי הזה זה קורח המציאות, או איזושהי מגבלה מלאכותית שאנחנו סוג של הלבשנו על עצמנו מההתחלה שהתחלנו לפתח לינגוויג' מודלס?
ניתוח מאת מערכת פודקאסט·ישראל, מבוסס תמלול אוטומטי של הפרק. על המתודולוגיה והמגבלות
שאל את הפרק (Chat with Episode)
קבל תשובות מיידיות מתוך תמלול וניתוח ה-AI
שאלות מומלצות בלחיצה אחת:
מתיאור הפרק
הפרק עוסק במודלי דיפוזיה ליצירת טקסט (DLMs), המאומנים לג'נרט טקסט מתוך רעש (ג'יבריש).להבדיל מעולם התמונות שבו רעש הוא טבעי, בעולם השפה ייצוג הרעש מורכב יותר בשל אופייה הדיסקרטי של השפה. קיימות שלוש גישות מרכזיות בתחום: הגישה הרציפה (המרעשת את האמבדינגס), הגישה הדיסקרטית (המחליפה טוקנים בג'יבריש) או ממסכת אותם), וגישת ה-Block Diffusion המשלבת חיזוי אוטוגרסיבי עם דיפוזיה. היתרון המרכזי של מודלי דיפוזיה הוא מהירותם הרבה לעומת מודלים אוטוגרסיביים, שכן הם מסוגלים לחזות בלוקים שלמים של טוקנים במקביל במקום לחזות טוקן אחר טוקן. למרות הפוטנציאל, המודלים הקיימים כיום עדיין מוגבלים מבחינת איכ
/ עוד פרקים על בינה מלאכותית
- מנועי הכסףגיל שויד: מההשוואה לבועת הדוט.קום, דרך החיים כיו״ר ועד השינוי שהכרחי לילדינוגיל שויד, ממייסדי צ'ק פוינט, רואה ב-AI מהפכה שהשקעות הענק בה עוד לא הוכיחו החזר, אך מעריך שהיא תכפיל את כוחם של עובדים ושל ישראל, בתנאי שמערכת החינוך תתעדכן ושלא יוטל על התוכנה עול רגולציה כבד.
- מנהלי שיווק מצייצים - אבי זיתןפרק 427: אושרת כהן, סמנכ״לית חטיבת לקוחות קבוצת זאפסוכני AI הופכים לטראפיק החדש של האתרים, ועסקים שלא יבנו חוויה שמתאימה להם ייעלמו מעיני הצרכנים.
- הייטק, חרדים ומה שביניהםמהנדסי AI, כדאי שתכירו: זיכרון, מהירות ועלותמהנדס AI שמבין זיכרון, תקשורת בין מעבדים גרפיים וקוונטיזציה יכול להחליט מראש על הארכיטקטורה הנכונה, במקום לגלות בדיעבד שבזבז עשרות אלפי דולרים על אימון או אירוח.
- אנשים ומחשביםS1E445: ראיון עם ניסים בראל, ממייסדי תעשיית האבטחה בישראל, יזם חברתי ומחבר הספר ערך מוסףניסים בראל, שעלה ממרוקו בגיל עשר לצריף במעברה והקים את קומסק, מכר את החזקותיו ב-2014 כדי להעביר הלאה את ההזדמנויות שקיבל, דרך יזמות לנשים, לסטודנטים בפריפריה ולתלמידים מצטיינים.
/ נושאים קשורים
איך נוצר העמוד הזה
156 פרקים של ExplAInable = 156 מאמרים שגוגל מדרג
את התקציר והניתוח בעמוד הזה הפקנו אוטומטית מתוך האודיו של הפרק, בלי שאיש כתב מילה. זה בדיוק מה ש-AuthorityRank עושה לארכיון שלם: כל פרק הופך למאמר עברי איכותי שמדורג בגוגל ומצוטט על ידי ChatGPT ו-Perplexity, ומתפרסם אוטומטית במגזין משלכם.
הארכיון שלכם הוא אודיו מת שמנועי החיפוש לא מוצאים. אנחנו הופכים אותו לנכס שמביא תנועה כל חודש.