![[155] Diffusion Language Models](/_next/image?url=https%3A%2F%2Fd3t3ozftmdmh3i.cloudfront.net%2Fstaging%2Fpodcast_uploaded_nologo%2F44943178%2F44943178-1767815101539-193e639207888.jpg&w=384&q=75&dpl=dpl_6tMfKD1n9FhZvjqugUdV3ZNgVYCv)
[155] Diffusion Language Models
עודכן: מאת צוות פודקאסט·ישראל
/ הפרק במספרים
| פורסם | 25 במאי 2026 |
|---|---|
| אורך | 25 דק׳ (קצר ב-23% מהממוצע בתוכנית) |
| הנושא המרכזי | מודלי דיפוזיה לשפה (DLM) |
| קטגוריה | הייטק וסטארטאפים |
על מה הפרק?
למה מודלי דיפוזיה כבשו תמונות ווידאו אבל עדיין נכשלים בשפה, ולמה דווקא עכשיו זה מתחיל להתהפך.
ההנחה שמודל שפה חייב לנבא מילה אחרי מילה, משמאל לימין, מתערערת כאן עד היסוד - אולי זו בכלל לא גזירת המציאות אלא מגבלה מלאכותית שהלבשנו על עצמנו מההתחלה. מייק מראה למה הרעש שעובד נפלא בתמונה (פיקסל שזז קצת עדיין נראה כמו חתול) פשוט לא מתורגם לשפה, שבה מילה מורעשת היא ג'יבריש חסר משמעות, ולמה דווקא גישת המיסוך - אותו רעיון ישן מ-BERT - היא מה שכן עובד. המתח האמיתי הוא שהמהירות העצומה של דיפוזיה כבר כאן, אבל האיכות עדיין לא; השאלה הפתוחה היא אם השילוב עם ממבה ומודלים היברידיים יפרוץ את זה בשנה-שנתיים הקרובות.
החיזוי טוקן-אחר-טוקן אולי אינו חוק טבע אלא מגבלה מלאכותית שהלבשנו על מודלי השפה, ומודלי הדיפוזיה מתחילים להוכיח שאפשר לג'נרט בלוק שלם במכה אחת במקום סדרתית.
/ תובנות מרכזיות
- דיפוזיה עבדה בתמונה כי רעש שם טבעי - פיקסל שזז מ-170 ל-172 עדיין מראה את האובייקט; בשפה מילה מורעשת היא כלום, ולכן הקושי האמיתי הוא ייצוג (אמבדינג) ולא הארכיטקטורה.
- מה שכן עובד הוא מיסוך הדרגתי של טוקנים, שזה בעצם החייאת רעיון ה-masking של BERT מ-2018 אבל בצורה איטרטיבית.
- היתרון של דיפוזיה הוא מהירות אינהרנטית (בלוק שלם בבת אחת), והשילוב העתידי עם מודל היברידי כמו ממבה יכול להכפיל את זה - אבל היום עדיין לא יודעים לאמן מודלי דיפוזיה גדולים שמתחרים באיכות ה-flagships.
האם הדרך חיזוי הזה זה קורח המציאות, או איזושהי מגבלה מלאכותית שאנחנו סוג של הלבשנו על עצמנו מההתחלה שהתחלנו לפתח לינגוויג' מודלס?
ניתוח מאת מערכת פודקאסט·ישראל, מבוסס תמלול אוטומטי של הפרק. על המתודולוגיה והמגבלות
מתיאור הפרק
הפרק עוסק במודלי דיפוזיה ליצירת טקסט (DLMs), המאומנים לג'נרט טקסט מתוך רעש (ג'יבריש).להבדיל מעולם התמונות שבו רעש הוא טבעי, בעולם השפה ייצוג הרעש מורכב יותר בשל אופייה הדיסקרטי של השפה. קיימות שלוש גישות מרכזיות בתחום: הגישה הרציפה (המרעשת את האמבדינגס), הגישה הדיסקרטית (המחליפה טוקנים בג'יבריש) או ממסכת אותם), וגישת ה-Block Diffusion המשלבת חיזוי אוטוגרסיבי עם דיפוזיה. היתרון המרכזי של מודלי דיפוזיה הוא מהירותם הרבה לעומת מודלים אוטוגרסיביים, שכן הם מסוגלים לחזות בלוקים שלמים של טוקנים במקביל במקום לחזות טוקן אחר טוקן. למרות הפוטנציאל, המודלים הקיימים כיום עדיין מוגבלים מבחינת איכ
/ עוד פרקים על בינה מלאכותית
- תתעלם מההוראותמעובדת מספר 21 למנכ״לית מיקסטיילס: שי אייל | #21שי אייל ואיתן לויט מדברים על חוויותיהם עם בוט המסעדות ואיך טכנולוגיית AI משנה את חוויות הצריכה בבית.
- תתעלם מההוראותאיך הגיעה ואסט דאטה לשווי 30 מיליארד דולר? עם שחר פיינבליט | #22וס דאטה בונה מערכת הפעלה לדאטה של AI.
- תתעלם מההוראותבדרך ל-100 מיליון דולר הכנסות עם רועי ללזר מוונדרפול | #24וונדרפול מתמקדת בהאצת אימוץ AI בארגונים תוך שימוש בטכנולוגיות מתקדמות.
- תתעלם מההוראות״להחליף מנוע של F16 באוויר״: עם רועי מן ממאנדיי | #25רועי מן מציג את השינוי האסטרטגי במאנדיי לעבר פלטפורמת עבודה מבוססת סוכני בינה מלאכותית המבצעים משימות בפועל.
/ נושאים קשורים
איך נוצר העמוד הזה
156 פרקים של ExplAInable = 156 מאמרים שגוגל מדרג
את התקציר והניתוח בעמוד הזה הפקנו אוטומטית מתוך האודיו של הפרק, בלי שאיש כתב מילה. זה בדיוק מה ש-AuthorityRank עושה לארכיון שלם: כל פרק הופך למאמר עברי איכותי שמדורג בגוגל ומצוטט על ידי ChatGPT ו-Perplexity, ומתפרסם אוטומטית במגזין משלכם.
הארכיון שלכם הוא אודיו מת שמנועי החיפוש לא מוצאים. אנחנו הופכים אותו לנכס שמביא תנועה כל חודש.