העלייה השקטה של מודלי State-Space
21 ביוני 202505:26
עודכן: מאת צוות פודקאסט·ישראל
האזן לפרק
/ הפרק במספרים
| פורסם | 21 ביוני 2025 |
|---|---|
| אורך | 5 דק׳ (קצר ב-40% מהממוצע בתוכנית) |
| קטגוריה | הייטק וסטארטאפים |
על הפרק
תחשבו רגע על התלמיד הכי חכם בכיתה. זה שיכול לצטט לכם מילה במילה כל ספר שהוא אי פעם קרא. מרשים, נכון? עכשיו תדמיינו שבשביל לענות על כל שאלה, לא משנה כמה פשוטה, הוא חייב לקרוא מחדש את כל הספרים בספרייה. כל פעם מחדש. פתאום זה נשמע פחות יעיל. ובכן, זה פחות או יותר מודל טרנספורמר. הארכיטקטורה הזו, שהיא הבסיס ל-ChatGPT ולרוב מודלי השפה הגדולים, היא מדהימה, אבל יש לה עקב אכילס רציני. מנגנון ה"קשב" (Attention) שלה, שמאפשר לה להסתכל על כל מילה בהקשר של כל מילה אחרת, דורש כוח חישוב שעולה בריבוע עם אורך הרצף. וזה לא בעיה של אהלן-אהלן. זה חסם אמיתי שמונע מאיתנו להשתמש במודלים האלה כדי לנתח ספר שלם או את כ