Hebatron לפצח את העברית: מאחורי הקלעים של אימון של
עודכן: מאת צוות פודקאסט·ישראל
/ הפרק במספרים
| פורסם | 16 ביוני 2026 |
|---|---|
| אורך | 33 דק׳ (ארוך ב-15% מהממוצע בתוכנית) |
| הנושא המרכזי | אימון מודל שפה פתוח בעברית |
| קטגוריה | הייטק וסטארטאפים |
על מה הפרק?
שני אנשים שאימנו מודל שפה ישראלי פתוח מספרים איך גילו שכל מה שחשבו שהם יודעים על אימון מודלים פשוט לא עבד בעברית.
מה שמפתיע פה זה כמה מהאינטואיציות המקובלות התרסקו: המודל החזק ביותר התברר כבחירה הגרועה ביותר לפיינטיונינג, ומדדי ההצלחה הרגילים - ירידת לוס, ציוני בנצמרק - לא ניבאו כלום על מה שקרה בפועל. הפרק מערער על ההנחה שאפשר למדוד שיפור של מודל בצורה מסודרת, ומשאיר פתוחה שאלה מטרידה: אם הסדר שבו מזינים את הדאטה משנה את התוצאה ואי אפשר למצות את כל הסדרים, איך בכלל מבינים מה קורה שם בפנים. המתח האמיתי הוא בין מה שהמדע אומר שצריך לעשות לבין מה שבאמת עובד אחרי 200 ניסויים כושלים.
כשעושים פיינטיונינג לא כדאי לבחור את המודל החזק ביותר אלא מודל שעדיין מסוגל ללמוד - מודל אינסטרקט ספוג מניפולציות וטריקים (כמו אייה של כהיר) פשוט מפסיק להשתפר ואי אפשר לקלף את השכבות אחורה.
/ תובנות מרכזיות
- המודל החזק ביותר בלידרבורד היה דווקא הכי גרוע לאימון - הוא אף פעם לא עלה מעל הקו שהתחיל בו, כי היו בו יותר מדי טריקים שאי אפשר להחזיר אחורה
- ירידת הלוס באימון ובוולידציה כמעט אף פעם לא ניבאה שיפור בבנצמרק, והבנצמרק עצמו לא ניבא את העדפת המשתמשים בארנה - שרשרת של פערים שאיש לא מבין
- בחרו לשחרר גרסה שקיבלה שלוש נקודות פחות בבנצמרק רק כי הקהל העדיף אותה בארנה, מתוך הנחה שהציבור משתמש ולא מריץ מבחנים
- יחס הדחיסה של הטוקנייזר מלמד מראש כמה קשה יהיה לאמן בעברית - 2.5 זה טוב, 5 אומר שכל מילה מתפרקת לחתיכות וגם חלון ההקשר מתקצר
- הפתעה: לא רק איכות הדאטה קובעת אלא גם הסדר שבו מזינים אותה - וזה הופך את האופטימיזציה ללא-אפשרית כי יש יותר סדרים מאטומים ביקום
מה המורכבויות העיקריות של מודל שפה בעברית, מה הכי בעייתי שם?
ניתוח מאת מערכת פודקאסט·ישראל, מבוסס תמלול אוטומטי של הפרק. על המתודולוגיה והמגבלות
/ שאלות נפוצות על הפרק
- על מה הפרק הזה?
- מה שמפתיע פה זה כמה מהאינטואיציות המקובלות התרסקו: המודל החזק ביותר התברר כבחירה הגרועה ביותר לפיינטיונינג, ומדדי ההצלחה הרגילים - ירידת לוס, ציוני בנצמרק - לא ניבאו כלום על מה שקרה בפועל. הפרק מערער על ההנחה שאפשר למדוד שיפור של מודל בצורה מסודרת, ומשאיר פתוחה שאלה מטרידה: אם הסדר שבו מזינים את הדאטה משנה את התוצאה ואי אפשר למצות את כל הסדרים, איך בכלל מבינים מה קורה שם בפנים. המתח האמיתי הוא בין מה שהמדע אומר שצריך לעשות לבין מה שבאמת עובד אחרי 200 ניסויים כושלים.
- מהן התובנות המרכזיות מהפרק?
- המודל החזק ביותר בלידרבורד היה דווקא הכי גרוע לאימון - הוא אף פעם לא עלה מעל הקו שהתחיל בו, כי היו בו יותר מדי טריקים שאי אפשר להחזיר אחורה · ירידת הלוס באימון ובוולידציה כמעט אף פעם לא ניבאה שיפור בבנצמרק, והבנצמרק עצמו לא ניבא את העדפת המשתמשים בארנה - שרשרת של פערים שאיש לא מבין · בחרו לשחרר גרסה שקיבלה שלוש נקודות פחות בבנצמרק רק כי הקהל העדיף אותה בארנה, מתוך הנחה שהציבור משתמש ולא מריץ מבחנים · יחס הדחיסה של הטוקנייזר מלמד מראש כמה קשה יהיה לאמן בעברית - 2.5 זה טוב, 5 אומר שכל מילה מתפרקת לחתיכות וגם חלון ההקשר מתקצר · הפתעה: לא רק איכות הדאטה קובעת אלא גם הסדר שבו מזינים אותה - וזה הופך את האופטימיזציה ללא-אפשרית כי יש יותר סדרים מאטומים ביקום
מתיאור הפרק
איך לוקחים שפה מורכבת ועשירה כמו עברית ומלמדים מודל בינה מלאכותית לדבר אותה שוטף? ולמה דווקא המודל של אינבידיה הוא זה שניצח את Llama ואת המודלים של IBM במבחן העלות-תועלת? בפרק החדש של אקספלינבל , מייק מארח את שארל ויינברגר (מוביל פיתוח ב-AI Next של PWC) ונעם קייזר (מפתח בצוות) לשיחת עומק על מאחורי הקלעים של פרויקט אימון מודל השפה בעברית: פרויקט ששבר את הרשת עם 30,000 הורדות ו-4 שחרורי גרסאות בשבוע אחד בלבד. בפרק נדבר על: אתגר השפה העברית: למה המורפולוגיה העברית עושה צרות לטוקנייזרים הסטנדרטיים, ואיך מנצחים את זה. מלחמת המודלים: למה הצוות בחר דווקא ב-"נימטרון" (Nemotron) של Nvidia, ול