![[155] Diffusion Language Models](/_next/image?url=https%3A%2F%2Fd3t3ozftmdmh3i.cloudfront.net%2Fstaging%2Fpodcast_uploaded_nologo%2F44943178%2F44943178-1767815101539-193e639207888.jpg&w=384&q=75&dpl=dpl_De19gkM5g3qdwaWbojgZwwVbwnzp)
[155] Diffusion Language Models
עודכן: מאת צוות פודקאסט·ישראל
/ הפרק במספרים
| פורסם | 25 במאי 2026 |
|---|---|
| אורך | 25 דק׳ (קצר ב-12% מהממוצע בתוכנית) |
| הנושא המרכזי | מודלי דיפוזיה לשפה (DLM) |
| אורחים | אילון, בריין ג'ונסון, רז לפיד |
| קטגוריה | הייטק וסטארטאפים |
על מה הפרק עם אילון?
למה מודלי דיפוזיה כבשו תמונות ווידאו אבל עדיין נכשלים בשפה, ולמה דווקא עכשיו זה מתחיל להתהפך.
ההנחה שמודל שפה חייב לנבא מילה אחרי מילה, משמאל לימין, מתערערת כאן עד היסוד - אולי זו בכלל לא גזירת המציאות אלא מגבלה מלאכותית שהלבשנו על עצמנו מההתחלה. מייק מראה למה הרעש שעובד נפלא בתמונה (פיקסל שזז קצת עדיין נראה כמו חתול) פשוט לא מתורגם לשפה, שבה מילה מורעשת היא ג'יבריש חסר משמעות, ולמה דווקא גישת המיסוך - אותו רעיון ישן מ-BERT - היא מה שכן עובד. המתח האמיתי הוא שהמהירות העצומה של דיפוזיה כבר כאן, אבל האיכות עדיין לא; השאלה הפתוחה היא אם השילוב עם ממבה ומודלים היברידיים יפרוץ את זה בשנה-שנתיים הקרובות.
החיזוי טוקן-אחר-טוקן אולי אינו חוק טבע אלא מגבלה מלאכותית שהלבשנו על מודלי השפה, ומודלי הדיפוזיה מתחילים להוכיח שאפשר לג'נרט בלוק שלם במכה אחת במקום סדרתית.
/ תובנות מרכזיות
- דיפוזיה עבדה בתמונה כי רעש שם טבעי - פיקסל שזז מ-170 ל-172 עדיין מראה את האובייקט; בשפה מילה מורעשת היא כלום, ולכן הקושי האמיתי הוא ייצוג (אמבדינג) ולא הארכיטקטורה.
- מה שכן עובד הוא מיסוך הדרגתי של טוקנים, שזה בעצם החייאת רעיון ה-masking של BERT מ-2018 אבל בצורה איטרטיבית.
- היתרון של דיפוזיה הוא מהירות אינהרנטית (בלוק שלם בבת אחת), והשילוב העתידי עם מודל היברידי כמו ממבה יכול להכפיל את זה - אבל היום עדיין לא יודעים לאמן מודלי דיפוזיה גדולים שמתחרים באיכות ה-flagships.
האם הדרך חיזוי הזה זה קורח המציאות, או איזושהי מגבלה מלאכותית שאנחנו סוג של הלבשנו על עצמנו מההתחלה שהתחלנו לפתח לינגוויג' מודלס?
ניתוח מאת מערכת פודקאסט·ישראל, מבוסס תמלול אוטומטי של הפרק. על המתודולוגיה והמגבלות
/ שאלות נפוצות על הפרק
- על מה הפרק הזה?
- ההנחה שמודל שפה חייב לנבא מילה אחרי מילה, משמאל לימין, מתערערת כאן עד היסוד - אולי זו בכלל לא גזירת המציאות אלא מגבלה מלאכותית שהלבשנו על עצמנו מההתחלה. מייק מראה למה הרעש שעובד נפלא בתמונה (פיקסל שזז קצת עדיין נראה כמו חתול) פשוט לא מתורגם לשפה, שבה מילה מורעשת היא ג'יבריש חסר משמעות, ולמה דווקא גישת המיסוך - אותו רעיון ישן מ-BERT - היא מה שכן עובד. המתח האמיתי הוא שהמהירות העצומה של דיפוזיה כבר כאן, אבל האיכות עדיין לא; השאלה הפתוחה היא אם השילוב עם ממבה ומודלים היברידיים יפרוץ את זה בשנה-שנתיים הקרובות.
- מהן התובנות המרכזיות מהפרק?
- דיפוזיה עבדה בתמונה כי רעש שם טבעי - פיקסל שזז מ-170 ל-172 עדיין מראה את האובייקט; בשפה מילה מורעשת היא כלום, ולכן הקושי האמיתי הוא ייצוג (אמבדינג) ולא הארכיטקטורה. · מה שכן עובד הוא מיסוך הדרגתי של טוקנים, שזה בעצם החייאת רעיון ה-masking של BERT מ-2018 אבל בצורה איטרטיבית. · היתרון של דיפוזיה הוא מהירות אינהרנטית (בלוק שלם בבת אחת), והשילוב העתידי עם מודל היברידי כמו ממבה יכול להכפיל את זה - אבל היום עדיין לא יודעים לאמן מודלי דיפוזיה גדולים שמתחרים באיכות ה-flagships.
מתיאור הפרק
הפרק עוסק במודלי דיפוזיה ליצירת טקסט (DLMs), המאומנים לג'נרט טקסט מתוך רעש (ג'יבריש).להבדיל מעולם התמונות שבו רעש הוא טבעי, בעולם השפה ייצוג הרעש מורכב יותר בשל אופייה הדיסקרטי של השפה. קיימות שלוש גישות מרכזיות בתחום: הגישה הרציפה (המרעשת את האמבדינגס), הגישה הדיסקרטית (המחליפה טוקנים בג'יבריש) או ממסכת אותם), וגישת ה-Block Diffusion המשלבת חיזוי אוטוגרסיבי עם דיפוזיה. היתרון המרכזי של מודלי דיפוזיה הוא מהירותם הרבה לעומת מודלים אוטוגרסיביים, שכן הם מסוגלים לחזות בלוקים שלמים של טוקנים במקביל במקום לחזות טוקן אחר טוקן. למרות הפוטנציאל, המודלים הקיימים כיום עדיין מוגבלים מבחינת איכ
/ עוד פרקים על בינה מלאכותית
- 001 - פודקאסט הצומתהצומת | יומינט ואוסינט: ארגז הכלים של היזם החדש - הודיה בן חמוהודיה בן חמו, בת 24, מנהלת סוכנות שיווק ומיזם הדרכה, מספרת איך תואר שהתחילה בגיל 16 ושבת ששמרה לבד מגיל 6 בנו לה משמעת של יזמית.
- 15-מיליון15-מיליוןפרק הכנה ראשון שמפרק את חוקי משחק הפנטזי של המונדיאל ואת השאלה האמיתית - מתי לוותר על הכוכב הגדול לטובת מיסמאצ' זול.
- 8-דקות-מודעות-קבלית-עם-מאיר-ישורוןפרק 1365: עולם מושלםשיעור בוקר קבלי על למה גם המחלות והרוע לא מיותרים בבריאה, ולמה מה שנראה לנו כחושך הוא בעצם אור שאין לנו עדיין כלים לראות אותו.
- ai-today-בינה-מלאכותיתפרק 1 | שגשוג האנושות או עתיד אכזרשיחה עם חוקר בינה מלאכותית ותיק על הדרך מהטכניון של שנות ה-90 ועד מכונות שכבר יודעות לנחש על מה חשבת - ועל מה חלמת.