איך רועי שנברג שבר שיאים בתחרות NanoGPT? | מאחורי הקלעים של ה-Speedrun, תקציר והקשיים בדרך
13 ביולי 202600:41:40
עודכן: מאת צוות פודקאסט·ישראל
האזן לפרק
/ הפרק במספרים
| פורסם | 13 ביולי 2026 |
|---|---|
| אורך | 41 דק׳ (ארוך ב-45% מהממוצע בתוכנית) |
| אורחים | רועם קייזר, שאול ווינברגר, שאול ויינברגר |
| קטגוריה | הייטק וסטארטאפים |
על הפרק
בפרק מיוחד ומרתק אנחנו מארחים את רועי שנברג, איש Data Science ו-Machine Learning עם מעל 10 שנות ניסיון (ומפתח הפרויקט PUMBEE להקראת טקסט בעברית), לשיחה עמוקה על הצלחתו לשבור שלושה שיאי מהירות בתחרות ה-NanoGPT. תחרות ה-Speedrun, שהתפתחה בעקבות סדרת Zero to Hero של אנדריי קרפתי (ממייסדי OpenAI), מאתגרת מפתחים לאמן מודל שפה שווה ערך ל-GPT-2 על דאטה-סט FineWeb2 בזמן הקצר ביותר, על גבי תשתית של 8 מעבדי H100. רועי משתף אותנו בכל שלבי הדרך - מהרעיונות הטכניים האמיצים ועד למשברים שכמעט גרמו לו לוותר