איך רועי שנברג שבר שיאים בתחרות NanoGPT? | מאחורי הקלעים של ה-Speedrun, תקציר והקשיים בדרך
עודכן: מאת צוות פודקאסט·ישראל
האזינו לפרק המלא
אנחנו עוזרים למצוא את הפרק, ההאזנה המלאה נמצאת אצל היוצרים, בפלטפורמה שלהם.
/ הפרק במספרים
| פורסם | 13 ביולי 2026 |
|---|---|
| אורך | 41 דק׳ (ארוך ב-17% מהממוצע בתוכנית) |
| הנושא המרכזי | שבירת שיאים באימון מהיר של מודלים שפתיים עם NanoGPT |
| קטגוריה | הייטק וסטארטאפים |
על מה הפרק?
רועי שנברג שיפר משמעותית את זמן האימון במודל NanoGPT ושבר שלושה שיאים בתחרות תוך הבנה עמוקה של האופטימיזציה והאלגוריתמים המעורבים.
התחרות NanoGPT מתמקדת באימון מהיר של מודלים שפתיים קטנים, תוך מדידת זמן אמת לאימון ולא רק FLOPS. רועי שנברג הצליח לשפר את זמן האימון מ-140 שניות לכ-140 שניות עם שיפורים באופטימיזציה, כולל שימוש באופטימייזר מואן ועריכת שינויים במבנה המודל כמו value embeddings ו-skip connections. התחרות מציבה אתגר של להגיע לאותו validation loss בזמן אימון קצר יותר, תוך שמירה על ביצועים טובים בדאטה סט FineWeb 2.
הוספת value embeddings ישירות ל-V בשכבת attention, בשילוב עם שינויים כמו רוטציה חלקית של ערוצי האקטיבציה (RoPE) ו-no positional embeddings (NoPE), מאפשרת שיפור משמעותי בלוס ובזמן האימון, למרות שהמודל גדל בפרמטרים אך לא באופן דרמטי במספר הפרמטרים הפעילים.
/ תובנות מרכזיות
- התחרות מודדת זמן אימון ממשי (wall clock time) ולא רק FLOPS, מה שמדגיש את היעילות המעשית.
- אופטימייזר מואן מבוסס על מציאת מטריצה אורתוגונלית באמצעות SVD למומנטום, ומאפשר צעדים יעילים יותר באימון.
- שימוש ב-skip connections אסטרטגיים ושינויים בפוזישנל אמבדינגס (שילוב RoPE ו-NoPE) משפרים את ביצועי המודל משמעותית.
- המודל גדל בפרמטרים אך כמות הטוקנים שהמודל רואה במהלך האימון קטנה יותר ממספר הפרמטרים, מצב לא שגרתי במידול שפה.
- המעורבות בקהילה המקצועית והאינטראקציה עם חוקרים אחרים בתחרות מייצרת ערך נטוורק משמעותי לצד השיפורים הטכניים.
בעידן שבו יש כמויות עצומות של דאטה וכסף זורם לאימונים, האם שיפור זמן האימון במודלים קטנים ועדכניים עדיין רלוונטי, או שעדיף להתמקד בשיפור המודלים עצמם?
- 1להתחיל ללמוד מהקורס Zero to Hero של קרפטי להבנת הסטאק של מודלים שפתיים.
- 2להתנסות באימון NanoGPT על GPU בענן באמצעות ריפוזיטורי פתוח כדי להבין את התחרות והאתגרים.
- 3להעמיק בלימוד אופטימייזרים מתקדמים כמו מואן ולהבין את יתרונותיהם לעומת Adam.
- 4לחקור את השפעת value embeddings ושיטות positional embedding שונות על ביצועי המודל.
- 5ליצור קשרים עם חוקרים וקהילות בתחום כדי לקבל תמיכה וללמוד מהניסיון שלהם.
ניתוח מאת מערכת פודקאסט·ישראל, מבוסס תמלול אוטומטי של הפרק. על המתודולוגיה והמגבלות
שאל את הפרק (Chat with Episode)
קבל תשובות מיידיות מתוך תמלול וניתוח ה-AI
שאלות מומלצות בלחיצה אחת:
/ שאלות נפוצות על הפרק
- מהו אופטימייזר מואן וכיצד הוא שיפר את ביצועי אימון מודל NanoGPT בתחרות?
- אופטימייזר מואן הוא אופטימייזר חדש שפועל על ידי מציאת מטריצה אורתוגונלית קרובה למומנטום באמצעות סיין פונקשן ו-SVD, מה שמאפשר עדכונים יעילים יותר בפרמטרים. בתחרות NanoGPT הוא הוכח כעובד טוב יותר מאדם, והוא משמש גם במודלים סיניים גדולים כמו קימי ו-GLM, מה שמדגים את היתרון שלו בשיפור מהירות ודיוק האימון.
- כיצד רועי שנברג הצליח לשפר את זמן האימון במודל NanoGPT ומה היו השינויים המרכזיים שהוביל לשבירת השיאים?
- רועי שיפר את זמן האימון מ-140 שניות ל-140 שניות בערך, תוך הפחתת כמות הטוקנים ל-900 מיליון, באמצעות שינויים כמו הוספת סקיפ קונקשיינס אסטרטגיים, שינוי בנורמליזציה מ-RMS לנורמליזציה אחרת, ושימוש בשיטות פוזישנל אמבדינג משולבות של רופ ונופ. בנוסף, הוא הוסיף value embeddings לשכבת האטנשן, מה שהוריד משמעותית את הלוס והאיץ את האימון.
- מהם האתגרים הטכניים והחומרתיים שנתקל בהם רועי במהלך האימון וכיצד הוא פתר אותם?
- רועי נתקל בבעיות של צעדי אימון איטיים ובלתי דטרמיניסטיים שגרמו לעיכובים משמעותיים. הוא בדק את החומרה, הריץ לוגים, והשווה לבייסליין, אך הבעיה נמשכה. לבסוף פתח אישיו בגיטאב וקיבל תמיכה מהקהילה. התהליך כלל גם הבנה עמוקה של שכבות המודל והאופטימיזציה של קוד הפייתון והריצה בענן, כולל התמודדות עם זמני אתחול ארוכים ותקלות לא צפויות.
- כיצד מודל NanoGPT מתמודד עם סוגיית הפוזישנל אמבדינג ואיזה פתרון חדש הוצע בתחרות?
- במודל NanoGPT נעשה שימוש בשיטה משולבת של רופ ונופ לפוזישנל אמבדינג, כאשר רק חלק מהערוצים עוברים רוטציה (רופ) וחלק אחר לא, מה שמאפשר למודל ללמוד מיקומים למרות היעדר פוזישנל אמבדינג מלא. הפתרון הזה, אף שהוא לא אינטואיטיבי, הוכיח שיפור משמעותי בביצועים בזכות ה-Causal Masking שמאפשר למודל להבין את המיקום של הטוקנים.
- מהן התובנות האישיות שרועי שנברג הפיק מהשתתפותו בתחרות NanoGPT ומה הערך של הקהילה סביב התחרות?
- רועי למד רבות על טכניקות מתקדמות באופטימיזציה, קיבל ידע טכני רחב, והופתע מהגישה התומכת והפתוחה של הקהילה, שכללה חוקרים ומפתחים מובילים. הוא הרגיש שהמאמץ הממוקד שלו אפשר לו לשפר את ההישגים של מיטב המומחים, וחווה את הערך של נטוורקינג מקצועי וחברתי שמקנה פרספקטיבה חדשה וקרדיביליות בתחום.
מתיאור הפרק
בפרק מיוחד ומרתק אנחנו מארחים את רועי שנברג, איש Data Science ו-Machine Learning עם מעל 10 שנות ניסיון (ומפתח הפרויקט PUMBEE להקראת טקסט בעברית), לשיחה עמוקה על הצלחתו לשבור שלושה שיאי מהירות בתחרות ה-NanoGPT. תחרות ה-Speedrun, שהתפתחה בעקבות סדרת Zero to Hero של אנדריי קרפתי (ממייסדי OpenAI), מאתגרת מפתחים לאמן מודל שפה שווה ערך ל-GPT-2 על דאטה-סט FineWeb2 בזמן הקצר ביותר, על גבי תשתית של 8 מעבדי H100. רועי משתף אותנו בכל שלבי הדרך - מהרעיונות הטכניים האמיצים ועד למשברים שכמעט גרמו לו לוותר
/ נושאים קשורים
איך נוצר העמוד הזה
156 פרקים של ExplAInable = 156 מאמרים שגוגל מדרג
את התקציר והניתוח בעמוד הזה הפקנו אוטומטית מתוך האודיו של הפרק, בלי שאיש כתב מילה. זה בדיוק מה ש-AuthorityRank עושה לארכיון שלם: כל פרק הופך למאמר עברי איכותי שמדורג בגוגל ומצוטט על ידי ChatGPT ו-Perplexity, ומתפרסם אוטומטית במגזין משלכם.
הארכיון שלכם הוא אודיו מת שמנועי החיפוש לא מוצאים. אנחנו הופכים אותו לנכס שמביא תנועה כל חודש.