מהו אופטימייזר מואן וכיצד הוא שיפר את ביצועי אימון מודל NanoGPT בתחרות?

אופטימייזר מואן הוא אופטימייזר חדש שפועל על ידי מציאת מטריצה אורתוגונלית קרובה למומנטום באמצעות סיין פונקשן ו-SVD, מה שמאפשר עדכונים יעילים יותר בפרמטרים. בתחרות NanoGPT הוא הוכח כעובד טוב יותר מאדם, והוא משמש גם במודלים סיניים גדולים כמו קימי ו-GLM, מה שמדגים את היתרון שלו בשיפור מהירות ודיוק האימון.

כיצד רועי שנברג הצליח לשפר את זמן האימון במודל NanoGPT ומה היו השינויים המרכזיים שהוביל לשבירת השיאים?

רועי שיפר את זמן האימון מ-140 שניות ל-140 שניות בערך, תוך הפחתת כמות הטוקנים ל-900 מיליון, באמצעות שינויים כמו הוספת סקיפ קונקשיינס אסטרטגיים, שינוי בנורמליזציה מ-RMS לנורמליזציה אחרת, ושימוש בשיטות פוזישנל אמבדינג משולבות של רופ ונופ. בנוסף, הוא הוסיף value embeddings לשכבת האטנשן, מה שהוריד משמעותית את הלוס והאיץ את האימון.

מהם האתגרים הטכניים והחומרתיים שנתקל בהם רועי במהלך האימון וכיצד הוא פתר אותם?

רועי נתקל בבעיות של צעדי אימון איטיים ובלתי דטרמיניסטיים שגרמו לעיכובים משמעותיים. הוא בדק את החומרה, הריץ לוגים, והשווה לבייסליין, אך הבעיה נמשכה. לבסוף פתח אישיו בגיטאב וקיבל תמיכה מהקהילה. התהליך כלל גם הבנה עמוקה של שכבות המודל והאופטימיזציה של קוד הפייתון והריצה בענן, כולל התמודדות עם זמני אתחול ארוכים ותקלות לא צפויות.

כיצד מודל NanoGPT מתמודד עם סוגיית הפוזישנל אמבדינג ואיזה פתרון חדש הוצע בתחרות?

במודל NanoGPT נעשה שימוש בשיטה משולבת של רופ ונופ לפוזישנל אמבדינג, כאשר רק חלק מהערוצים עוברים רוטציה (רופ) וחלק אחר לא, מה שמאפשר למודל ללמוד מיקומים למרות היעדר פוזישנל אמבדינג מלא. הפתרון הזה, אף שהוא לא אינטואיטיבי, הוכיח שיפור משמעותי בביצועים בזכות ה-Causal Masking שמאפשר למודל להבין את המיקום של הטוקנים.

מהן התובנות האישיות שרועי שנברג הפיק מהשתתפותו בתחרות NanoGPT ומה הערך של הקהילה סביב התחרות?

רועי למד רבות על טכניקות מתקדמות באופטימיזציה, קיבל ידע טכני רחב, והופתע מהגישה התומכת והפתוחה של הקהילה, שכללה חוקרים ומפתחים מובילים. הוא הרגיש שהמאמץ הממוקד שלו אפשר לו לשפר את ההישגים של מיטב המומחים, וחווה את הערך של נטוורקינג מקצועי וחברתי שמקנה פרספקטיבה חדשה וקרדיביליות בתחום.

המלצה על פודקאסט: איך ExplAInable מקבל המלצה ונמצא כאן?

פודקאסט·ישראל מושך את הפיד של ExplAInable אוטומטית, ולכן העמוד הזה קיים בלי שביקשתם. מה שקובע אם מאזין חדש מגיע אליו הוא כמה טקסט אמיתי יש עליו: תיאור, תמלול, ניתוח פרקים ונושאים שאפשר לחפש לפיהם בקטגוריית הייטק וסטארטאפים. פרקים שעברו תמלול וניתוח מופיעים גם בעמודי הנושא ובמדריכים שלנו, ולכן הם מקבלים הרבה יותר חשיפה מפרק שיש לו רק כותרת. כך תוסיפו לפודקאסט שלכם את שכבת התוכן שמביאה את ההמלצות.

כיצד לשווק את הפודקאסט שלך בלי תקציב פרסום?

השיווק היחיד שעובד לאורך זמן לפודקאסט הוא להיות התשובה שמישהו חיפש. אודיו לבדו לא נמצא בחיפוש, אבל טקסט שנוצר מתוך האודיו כן, ולכן הדרך הזולה ביותר לשווק את ExplAInable היא להפוך כל פרק לעמוד שאפשר לדרג ולשתף. אותו עמוד משמש גם ברשתות, בניוזלטר ובפניות לאורחים, במקום לינק לנגן שאף אחד לא פותח. הנה איך זה עובד בפועל ליוצרים.

כיצד להרוויח כסף מהפודקאסט שלך?

שלושת המסלולים המעשיים הם חסויות, מכירת השירות או המוצר שלכם דרך הפודקאסט, ומנוי או תוכן בתשלום. לכל אחד מהם מפרסם או לקוח מבקש לראות נכס מסודר, לא רק קובץ שמע: עמוד לכל פרק, נושאים ברורים ותנועה שמגיעה מחיפוש. 156 הפרקים של ExplAInable הם המלאי שממנו בונים את הנכס הזה. ראו את המסלול שאנחנו מציעים ליוצרים.

למה הארכיון של ExplAInable כמעט לא מופיע בגוגל וב-ChatGPT?

מנועי חיפוש ומודלים של AI קוראים טקסט, לא שמע. פרק שקיים רק כקובץ MP3 עם כותרת ושורת תיאור הוא מבחינתם עמוד כמעט ריק, ולכן ארכיון שלם יכול להיות בלתי נראה. ברגע שהפרק מתומלל ונכתב ממנו מאמר מסודר, יש למנוע מה לצטט וגם ל-ChatGPT ולפרפלקסיטי יש מקור להפנות אליו. כך הופכים ארכיון שקוף למקור שמצטטים.

מה מקבלים כש-156 הפרקים של ExplAInable הופכים למגזין?

156 פרקים = 156 מאמרים: אתר מגזין בעברית על הדומיין שלכם, מאמר לכל פרק עם תקציר, נקודות מפתח וציטוטים מתוך השיחה, וקישורים פנימיים בין הפרקים לפי נושא. כל מאמר מפרסם את עצמו אוטומטית ומצרף את נגן הפרק, כך שקורא שהגיע מחיפוש יכול להאזין באותו עמוד. המאמרים בעמודי הפרקים כאן נוצרו בדיוק בשיטה הזו, אז אתם רואים את התוצר לפני שאתם משלמים עליו. לפרטים המלאים ולדוגמאות בעמוד היוצרים.

כמה עבודה זה דורש מכם כמנחים?

אתם ממשיכים להקליט בדיוק כמו היום. התמלול, כתיבת המאמר, ההגהה הטכנית והפרסום רצים אוטומטית מתוך פיד ה-RSS של ExplAInable, וגם פרקים חדשים נכנסים לבד. מה שנשאר לכם הוא לאשר את הטון ואת מה שלא מפרסמים. דברו איתנו דרך עמוד היוצרים.

הייטק וסטארטאפים

ExplAInableפודקאסט של תמיר נווה, מייק ארליכסון, אורי גורן, הילה פז הרשפנג

תמיר נווה, מייק ארליכסון, אורי גורן, הילה פז הרשפנג

156 פרקים

על התוכנית

תמיר נווה, אורי גורן, מייק ארליכסון והילה פז הרשפנג מארחים מומחים מעולם הבינה המלאכותית. האזינו לשיחות עם חוקרי AI, דאטה סיינטסים, מהנדסי ML ומובילים בתעשייה, שמביאים לכם את האתגרים, המחשבות והתובנות המעניינות ביותר מבפנים.

האזנה לפרק הראשי באתר לכל הפרקים באתר (16)

האזינו לפרק המלא

אנחנו עוזרים למצוא את הפרק, ההאזנה המלאה נמצאת אצל היוצרים, בפלטפורמה שלהם. הכפתור הראשון מוביל לפרק האחרון.

קובץ הפרק המקורי Apple Podcasts האתר של התוכנית פיד RSS

מה זה ExplAInable?

ExplAInable הוא פודקאסט ישראלי בקטגוריית הייטק וסטארטאפים מאת תמיר נווה, מייק ארליכסון, אורי גורן, הילה פז הרשפנג. ניתוח טכנולוגי מעמיק של הגבולות המשתנים בין עולם הנתונים, המכונה והאדם. בארכיון 156 פרקים, פרק חדש בערך פעם בשבועיים, אורך פרק ממוצע כ-36 דקות.

התוכנית במספרים
קטגוריה	הייטק וסטארטאפים
פרקים בארכיון	156
תדירות (מהפרקים האחרונים)	פרק חדש בערך פעם בשבועיים
אורך פרק ממוצע (בפרקים האחרונים)	כ-36 דקות
הפרק האחרון	18 באוקטובר 2026
פרקים עם ניתוח עומק	8

עודכן: 31 באוקטובר 2026

תובנות

למה רעש שעובד מצוין על תמונות מסרב לעבוד על טקסט

אחת השיחות כאן צוללת בדיוק לשאלה הזו - למה מודלי דיפוזיה, שמייצרים תמונות מדהימות על ידי הסרת רעש הדרגתית, נתקעים כשמנסים להפעיל אותם על מילים. ההסבר נשאר טכני, אבל מתחיל מהבסיס: איך בכלל מייצגים פיקסל לעומת מילה.

במקום אחר עולה שאלה הורית מאוד - 'איך אתה מצליח להעיר מוטיבציה ללמוד אצל הילדים, כשגם אני כהורה לא תמיד מצליח'. התשובה מחברת בין בינה מלאכותית, חומרה פיזית ולמידה דרך יצירת מוצר שמגיב לסביבה, ולא עוד קוד על מסך.

המנחה בא מרקע של יזמות וטכנולוגיה, והקו החוזר הוא להבין איך דברים עובדים באמת - מאבטחת מודלים מפני הטעיה ועד החלת חשיבת נתונים על גנטיקה ובריאות אישית.

בינה מלאכותיתסייבר ואבטחהחינוךיזמותרפואה ובריאות

לוח בקרה · תובנות הארכיוןכל הפרקים שנותחו מתמלול AI - מאת ExplAInable

פרקים אחרונים שנותחו

תובנות זהב

שאלות בולטות

4.1

תובנות לפרק

ניתוח טכנולוגי מעמיק של הגבולות המשתנים בין עולם הנתונים, המכונה והאדם.

המנחה

המנחה מפגין ידע טכני מעמיק וסקרנות אינטלקטואלית גבוהה, תוך שילוב ניסיון אישי בתחומי יזמות וטכנולוגיה. הוא נוקט בגישה אנליטית, שואף להבין את העקרונות המדעיים וההנדסיים שמאחורי מגמות וטכנולוגיות חדשות.

הסגנון

התוכנית מאופיינת בשיחות מעמיקות, מקצועיות ולימודיות, המשלבות תיאוריה עם יישומים פרקטיים בעולם האמיתי. הטון רציני וממוקד, עם מבנה המשלב הסברים על עקרונות טכנולוגיים מורכבים עם דיון באתגרים ואופקים עתידיים.

בינה מלאכותית ולמידה עמוקההנדסה ורובוטיקהאבטחת מידע וחוסן של מערכות AIגנטיקה וביוהקינגחדשנות בחינוך ומוטיבציהאיכות נתונים ומתודולוגיות מחקר

תובנות הזהב מהארכיון

החדשנות הטכנולוגית דורשת הבנה מעמיקה של הממשק בין תוכנה לחומרה פיזית, ולא רק מיקוד בקוד או באלגוריתמיקה.
פתרון אתגרים טכנולוגיים מורכבים דורש מעבר משיטות עבודה מסורתיות לשיטות המשלבות אופטימיזציה מבוססת נתונים וכלים אוטומטיים.
הטמעת טכנולוגיות בינה מלאכותית מחייבת התייחסות לחוסן אבטחתי של המודלים מפני הטעיה מכוונת.
החלת כלי מחשבה אנליטיים מעולמות הנתונים על החיים האישיים, כמו גנטיקה ובריאות, מאפשרת שיפור משמעותי בקבלת החלטות מושכלות.

למי זה מתאים

התוכנית מתאימה לאנשי טכנולוגיה, יזמים, מדעני נתונים ואנשי חינוך המבקשים להעמיק בהבנת טכנולוגיות מתקדמות והשפעתן על העתיד.

השאלות הבולטות בארכיון

איך רועי שנברג שבר שיאים בתחרות NanoGPT? | מאחורי הקלעים של ה-Speedrun, תקציר והקשיים בדרך

בעידן שבו יש כמויות עצומות של דאטה וכסף זורם לאימונים, האם שיפור זמן האימון במודלים קטנים ועדכניים עדיין רלוונטי, או שעדיף להתמקד בשיפור המודלים עצמם?

פרק 165: ויז'ואל הרנס - כשתמונה יפה מ-AI היא רק ההתחלה

מה ההבדל בין קודקס או קלוד שמקבל פרומפט ומייצר תוכנה, לבין ויז'ואל הרנס שמקבל סט של אילוצים ומייצר תמונה?

[156] בני-נוער ולמידת מכונה: איך יראה הדור הבא של הדאטה סיינטיסטים

מדוע הוספת רעש, שמתפקדת מצוין בתמונות, אינה מתרגמת בקלות לעולם הטקסט?

[155] Diffusion Language Models

האם הדרך חיזוי הזה זה קורח המציאות, או איזושהי מגבלה מלאכותית שאנחנו סוג של הלבשנו על עצמנו מההתחלה שהתחלנו לפתח לינגוויג' מודלס?

[153] למידה אדוורסריאלית

אז במילים אחרות אנחנו מדברים פה על מתקפות סייבר, על מודלים, נכון?

[153] למידה אדוורסריאלית

האם עצם העובדה שנולד ילד אחד שומע, מוריד את הסיכוי של אשתי להיות נשאית של גן החרשות, גם בלי קשר לבדיקות גנטיות?

[151] עקבות של רעשי תיוג עם ד״ר שמואל חיון

כיצד מודל למידה עמוקה שסובל מ-overfitting על דוגמאות שגויות יוכל לזהות בעצמו את השגיאות הללו?

Hebatron לפצח את העברית: מאחורי הקלעים של אימון של

האם דרך החיזוי של מילה אחר מילה במודלים אוטורגרסיביים היא כורח המציאות או מגבלה מלאכותית שהלבשנו על עצמנו?

8 פרקים = 8 מאמרים אפשריים. כל פרק בארכיון יכול להפוך למאמר עברי SEO/GEO שמדורג בגוגל ומצוטט במנועי AI.

כרטיס ביצועי התוכן המלא של ExplAInable זה הפודקאסט שלי - דברו איתי זה הפודקאסט שלך? קבל גישה לדוח

נושאים שהתוכנית עוסקת בהם

תקשורת ופרסום

פרקים עם ניתוח מלא

הפרק האחרון18 באוקטובר 2026

פרק 167: רתמת ה-AI וכוחה של התמדה: יובל אבידני על Agent Harness, עתיד הפיתוח ואיך לא לוותר

פרקים אחרונים

פרק 167: רתמת ה-AI וכוחה של התמדה: יובל אבידני על Agent Harness, עתיד הפיתוח ואיך לא לוותר
18 באוקטובר 202644 דק׳
פרק 166: לבנות AI או להשתמש ב-AI? פרופ' נדב כהן על רשתות עמוקות, מפעלים ומודלי עולם
11 באוקטובר 202645 דק׳
אורחים:גלעד לוי
פרק 165: ויז'ואל הרנס - כשתמונה יפה מ-AI היא רק ההתחלה
4 באוקטובר 202627 דק׳
אמ;לקסיכום הפרק
שחף גב, שעובד בארגמקס בתחום הפרסום, מסביר שהבעיה עברה מיצירת תמונה טובה ליצירת תמונה שנכונה לעסק: המוצר הנכון במקום אייפון כברירת מחדל, הלוגו המדויק, הטקסט והצבעים של המותג. האילוצים מתחלקים לקשיחים, שההחלטה עליהם בינארית, ולרכים, שרק מכוונים את הג'נריישן. חלק מהבדיקות לא דורשות VLM: אפשר לשתול לוגו דרך הקוד ולהריץ OCR כדי לוודא טקסט וגודל פונט בבאנר למובייל. המאמר MIMO מפרק את התהליך לסוכני יצירה, סוכני ולידציה ולופ של וריאציות שמהן בוחרים את הבאנר הטוב ביותר.
קראו עוד ▾הציגו פחות ▴
- ההבדל בין ויז'ואל הרנס להרנס של קוד הוא הטסטים: בדיקות ויזואליות הן אמורפיות ונשענות הרבה על VLM, במקום על יוניט טסטים לוגיים.
- לוגו לא מייצרים מאפס אלא שותלים כאסט דרך הקוד, ולמודל משאירים לכל היותר את ההחלטה על המיקום.
- אפשר להשתמש במודלים כדי לנסח את אילוצי המותג מתוך דוגמאות חיוביות ושליליות, והחוקים נוצרים תוך כדי תהליך היצירה.
- לא לכל בעיה צריך מולטי אג'נט: כשרק פוסלים או מאשרים אפשר לרוץ דטרמיניסטית, ואג'נט נדרש רק כשצריך לתקן תמונה שכמעט עברה.
- המערכת יכולה להפיק סאמרי של הסעיפים שבהם היא נכשלת הכי הרבה, וכך לסמן בעצמה איפה נדרש Human in the Loop.
לניתוח המלא של הפרק ←הדפדפן שלך אינו תומך בנגן השמע.
פרק 164: ילד פלא, טרנספורמרים ולמידה רציפה: עתיד ה-AI עם גלעד לוי
22 בספטמבר 202649 דק׳
פרק 163: מיליון דולר בחודש - הסוד האפל (והיקר) של סוכני הבינה המלאכותית נחשף
13 בספטמבר 202645 דק׳
פרק 161: סירבתי להיות מהעובדים הראשונים בוויקס ומאנדיי - שחר פולק (אימג'ן) פותח הכל
26 באוגוסט 202640 דק׳
מאחורי הקלעים של תעשיית הבינה המלכותית והדברים שחברות הענק מעדיפות שלא נדבר עליהם
23 באוגוסט 202639 דק׳
[158] עובדים מוכרים את הסודות של החברה שלכם לסין? מומחה לאבטחת מידע חושף מה הוא ראה
29 ביוני 202622 דק׳
"חיפוש" בעידן הבינה המלאכותית- פניו לאן?
6 בספטמבר 202627 דק׳
אורחים:רועי שנברג
[147] הוגן או מדויק עם נורית כהן אינגר
25 בינואר 202625 דק׳
איך רועי שנברג שבר שיאים בתחרות NanoGPT? | מאחורי הקלעים של ה-Speedrun, תקציר והקשיים בדרך
13 ביולי 202641 דק׳
אמ;לקסיכום הפרק
התחרות NanoGPT מתמקדת באימון מהיר של מודלים שפתיים קטנים, תוך מדידת זמן אמת לאימון ולא רק FLOPS. רועי שנברג הצליח לשפר את זמן האימון מ-140 שניות לכ-140 שניות עם שיפורים באופטימיזציה, כולל שימוש באופטימייזר מואן ועריכת שינויים במבנה המודל כמו value embeddings ו-skip connections. התחרות מציבה אתגר של להגיע לאותו validation loss בזמן אימון קצר יותר, תוך שמירה על ביצועים טובים בדאטה סט FineWeb 2.
קראו עוד ▾הציגו פחות ▴
- התחרות מודדת זמן אימון ממשי (wall clock time) ולא רק FLOPS, מה שמדגיש את היעילות המעשית.
- אופטימייזר מואן מבוסס על מציאת מטריצה אורתוגונלית באמצעות SVD למומנטום, ומאפשר צעדים יעילים יותר באימון.
- שימוש ב-skip connections אסטרטגיים ושינויים בפוזישנל אמבדינגס (שילוב RoPE ו-NoPE) משפרים את ביצועי המודל משמעותית.
- המודל גדל בפרמטרים אך כמות הטוקנים שהמודל רואה במהלך האימון קטנה יותר ממספר הפרמטרים, מצב לא שגרתי במידול שפה.
- המעורבות בקהילה המקצועית והאינטראקציה עם חוקרים אחרים בתחרות מייצרת ערך נטוורק משמעותי לצד השיפורים הטכניים.
ש&תשאלות ותשובות מהפרק
▾מהו אופטימייזר מואן וכיצד הוא שיפר את ביצועי אימון מודל NanoGPT בתחרות?
אופטימייזר מואן הוא אופטימייזר חדש שפועל על ידי מציאת מטריצה אורתוגונלית קרובה למומנטום באמצעות סיין פונקשן ו-SVD, מה שמאפשר עדכונים יעילים יותר בפרמטרים. בתחרות NanoGPT הוא הוכח כעובד טוב יותר מאדם, והוא משמש גם במודלים סיניים גדולים כמו קימי ו-GLM, מה שמדגים את היתרון שלו בשיפור מהירות ודיוק האימון.
▾כיצד רועי שנברג הצליח לשפר את זמן האימון במודל NanoGPT ומה היו השינויים המרכזיים שהוביל לשבירת השיאים?
רועי שיפר את זמן האימון מ-140 שניות ל-140 שניות בערך, תוך הפחתת כמות הטוקנים ל-900 מיליון, באמצעות שינויים כמו הוספת סקיפ קונקשיינס אסטרטגיים, שינוי בנורמליזציה מ-RMS לנורמליזציה אחרת, ושימוש בשיטות פוזישנל אמבדינג משולבות של רופ ונופ. בנוסף, הוא הוסיף value embeddings לשכבת האטנשן, מה שהוריד משמעותית את הלוס והאיץ את האימון.
▾מהם האתגרים הטכניים והחומרתיים שנתקל בהם רועי במהלך האימון וכיצד הוא פתר אותם?
רועי נתקל בבעיות של צעדי אימון איטיים ובלתי דטרמיניסטיים שגרמו לעיכובים משמעותיים. הוא בדק את החומרה, הריץ לוגים, והשווה לבייסליין, אך הבעיה נמשכה. לבסוף פתח אישיו בגיטאב וקיבל תמיכה מהקהילה. התהליך כלל גם הבנה עמוקה של שכבות המודל והאופטימיזציה של קוד הפייתון והריצה בענן, כולל התמודדות עם זמני אתחול ארוכים ותקלות לא צפויות.
▾כיצד מודל NanoGPT מתמודד עם סוגיית הפוזישנל אמבדינג ואיזה פתרון חדש הוצע בתחרות?
במודל NanoGPT נעשה שימוש בשיטה משולבת של רופ ונופ לפוזישנל אמבדינג, כאשר רק חלק מהערוצים עוברים רוטציה (רופ) וחלק אחר לא, מה שמאפשר למודל ללמוד מיקומים למרות היעדר פוזישנל אמבדינג מלא. הפתרון הזה, אף שהוא לא אינטואיטיבי, הוכיח שיפור משמעותי בביצועים בזכות ה-Causal Masking שמאפשר למודל להבין את המיקום של הטוקנים.
▾מהן התובנות האישיות שרועי שנברג הפיק מהשתתפותו בתחרות NanoGPT ומה הערך של הקהילה סביב התחרות?
רועי למד רבות על טכניקות מתקדמות באופטימיזציה, קיבל ידע טכני רחב, והופתע מהגישה התומכת והפתוחה של הקהילה, שכללה חוקרים ומפתחים מובילים. הוא הרגיש שהמאמץ הממוקד שלו אפשר לו לשפר את ההישגים של מיטב המומחים, וחווה את הערך של נטוורקינג מקצועי וחברתי שמקנה פרספקטיבה חדשה וקרדיביליות בתחום.
לניתוח המלא של הפרק ←הדפדפן שלך אינו תומך בנגן השמע.
[157] לפצח את העברית: מאחורי הקלעים של אימון של הבטרון
16 ביוני 202633 דק׳
אמ;לקסיכום הפרק
מודלי דיפוזיה פועלים על ידי הוספת רעש הדרגתית למידע ואימון המודל בתהליך של ניקוי הרעש. בעולם הטקסט, האתגר המרכזי הוא היעדר מרחב רציף טבעי כמו בתמונות, מה שהוביל לשימוש בטכניקות כמו מיסוך טוקנים. למרות היתרון במהירות האינפרנס, מודלים אלו עדיין מתקשים להגיע לאיכות של מודלי שפה גדולים ומובילים.
קראו עוד ▾הציגו פחות ▴
- מודלי דיפוזיה מאפשרים יצירת טקסט בבלוקים במקום מילה אחר מילה, מה שמנצל טוב יותר את כוח החישוב של מעבדים גרפיים.
- שיטת המיסוך בדומה למודל BERT משמשת כגישה מרכזית במודלי דיפוזיה לשפה כדי להתמודד עם היעדר רציפות.
- האימון של מודלי דיפוזיה לשפה מורכב יותר בשל הצורך לאמן את המודל לבצע שתי משימות במקביל או להתמודד עם מרחב טוקנים בדיד.
- השילוב בין מודלי דיפוזיה למודלים היברידיים כמו ממבה עשוי להוות את פריצת הדרך הבאה ביעילות ובמהירות יצירת טקסט.
לניתוח המלא של הפרק ←הדפדפן שלך אינו תומך בנגן השמע.
[156] בני-נוער ולמידת מכונה: איך יראה הדור הבא של הדאטה סיינטיסטים
8 ביוני 202630 דק׳
אורחים:בריין ג'ונסוןרז לפיד
אמ;לקסיכום הפרק
הפרק עוסק בטכנולוגיית מודלי דיפוזיה ומסביר את עקרון פעולתם הבסיסי המבוסס על תהליך של הסרת רעש. המנחים מנתחים מדוע גישה זו, שהוכיחה את עצמה כעוצמתית בתחומי הראייה הממוחשבת והרובוטיקה, נתקלת בקשיים משמעותיים כשמנסים להחיל אותה על טקסט. הדיון מתמקד באתגרים המובנים בייצוג של מילים לעומת פיקסלים, ומדוע מודלי שפה מסורתיים ממשיכים להוביל בתחום. מדובר בפרק לימודי המיועד לכל מי שמתעניין בעתיד הג'נרטיבי של עולם הבינה המלאכותית.
קראו עוד ▾הציגו פחות ▴
- מודל דיפוזיה פועל על ידי הוספת רעש הדרגתית לדאטה, ולאחר מכן אימון המודל ללמוד כיצד להסיר את הרעש ולשחזר את התוכן המקורי.
- בעוד שבתמונות רעש הוא תופעה טבעית ואינטואיטיבית, בטקסט אין משמעות ברורה דומה להוספת רעש לאמבדינג (ייצוג וקטורי של מילה), דבר שמקשה על יישום הטכנולוגיה.
- קושי באימון מודל אחד למספר משימות מורכבות במקביל, כגון אימון אמבדינג ושחזור שלו, הוביל לזניחת חלק מהגישות הראשוניות לדיפוזיה של שפה.
- התקדמות הטכנולוגיה בתחום התמונות הובילה למעבר ממודלים איטיים המבוססים על אלפי איטרציות, למודלים מהירים ויעילים בהרבה.
לניתוח המלא של הפרק ←הדפדפן שלך אינו תומך בנגן השמע.
[155] Diffusion Language Models
25 במאי 202625 דק׳
אורחים:שמואל חיון
אמ;לקסיכום הפרק
ההנחה שמודל שפה חייב לנבא מילה אחרי מילה, משמאל לימין, מתערערת כאן עד היסוד - אולי זו בכלל לא גזירת המציאות אלא מגבלה מלאכותית שהלבשנו על עצמנו מההתחלה. מייק מראה למה הרעש שעובד נפלא בתמונה (פיקסל שזז קצת עדיין נראה כמו חתול) פשוט לא מתורגם לשפה, שבה מילה מורעשת היא ג'יבריש חסר משמעות, ולמה דווקא גישת המיסוך - אותו רעיון ישן מ-BERT - היא מה שכן עובד. המתח האמיתי הוא שהמהירות העצומה של דיפוזיה כבר כאן, אבל האיכות עדיין לא; השאלה הפתוחה היא אם השילוב עם ממבה ומודלים היברידיים יפרוץ את זה בשנה-שנתיים הקרובות.
קראו עוד ▾הציגו פחות ▴
- דיפוזיה עבדה בתמונה כי רעש שם טבעי - פיקסל שזז מ-170 ל-172 עדיין מראה את האובייקט; בשפה מילה מורעשת היא כלום, ולכן הקושי האמיתי הוא ייצוג (אמבדינג) ולא הארכיטקטורה.
- מה שכן עובד הוא מיסוך הדרגתי של טוקנים, שזה בעצם החייאת רעיון ה-masking של BERT מ-2018 אבל בצורה איטרטיבית.
- היתרון של דיפוזיה הוא מהירות אינהרנטית (בלוק שלם בבת אחת), והשילוב העתידי עם מודל היברידי כמו ממבה יכול להכפיל את זה - אבל היום עדיין לא יודעים לאמן מודלי דיפוזיה גדולים שמתחרים באיכות ה-flagships.
לניתוח המלא של הפרק ←הדפדפן שלך אינו תומך בנגן השמע.
[153] למידה אדוורסריאלית
26 באפריל 202636 דק׳
אמ;לקסיכום הפרק
הפרק בוחן כיצד יכולות ניתוח נתונים וחשיבה ביקורתית, המאפיינות דאטה סיינטיסטים, יכולות להיות מיושמות על הגוף האנושי ועל פרופיל גנטי אישי. המארח משתף בסיפורו האישי על התמודדות עם הבנות גנטיות מורכבות ומסביר את עולם הביוהקינג, מניסויים עצמיים ועד שימוש בכלים כמו ניטור סוכר רציף. הפרק מדגיש את הנגישות הגוברת לריצוף גנטי מלא כאמצעי לקבלת החלטות רפואיות מושכלות ומותאמות אישית. מומלץ למי שמתעניין בשילוב של טכנולוגיה, גנטיקה ושיפור הבריאות האישית.
קראו עוד ▾הציגו פחות ▴
- ניתוח הסתברותי בייסיאני יכול לשפר משמעותית את הבנת הסיכונים הגנטיים מעבר לבדיקות סטנדרטיות.
- ריצוף גנטי שלם הופך לכלי נגיש שמאפשר לתשאל את הגנום האישי בשאלות ספציפיות כמו רגישות לתרופות.
- ביוהקינג אינו רק קיצוניות של אורך חיים, אלא שימוש בכלים טכנולוגיים פשוטים לניטור ומדידה עצמית.
- התאמת טיפול רפואי, כמו סטטינים או תרופות אחרות, על בסיס גנטי יכולה לחסוך תהליכי ניסוי וטעייה מיותרים.
לניתוח המלא של הפרק ←הדפדפן שלך אינו תומך בנגן השמע.
[151] עקבות של רעשי תיוג עם ד״ר שמואל חיון
30 במרץ 202636 דק׳
אמ;לקסיכום הפרק
הפרק מארח את דוקטור שמואל חיון, חוקר בכיר בחברת אירונדו, לשיחה על עולם איכות הנתונים בהקשר של למידה עמוקה. הפרק מפרט את הבעיות המרכזיות כמו שגיאות תיוג ואנומליות, ומסביר מדוע זיהוי נתונים איכותיים קריטי לביצועי המודל. המאזינים יזכו להכיר שיטות שונות להתמודדות עם האתגרים הללו, החל מבדיקה ידנית ועד לשיטות אוטומטיות מבוססות מודלים והטמעות.
קראו עוד ▾הציגו פחות ▴
- איכות נתונים אינה רק ניקיון בסיסי, אלא אסטרטגיה לסינון נתונים משמעותיים לצורך התייעלות באימון מודלים.
- בעיית שגיאות התיוג מובילה ישירות לירידה בביצועי המודל ולכן מהווה צוואר בקבוק משמעותי.
- המעבר מאלגוריתמיקה קלאסית ללמידה עמוקה מחייב שינוי תפיסה באופן שבו אנחנו מנתחים ומתקפים את הדאטה.
- שיטות אוטומטיות לזיהוי שגיאות תיוג נשענות לעיתים על הנחות מקדימות כמו גישה למודל מאומן היטב, מה שלא תמיד קיים בדאטה סגור.
לניתוח המלא של הפרק ←הדפדפן שלך אינו תומך בנגן השמע.

כתבות במגזין על התוכנית

לבעלי הפודקאסט

שיווק והכנסות מExplAInable: שאלות נפוצות

העמוד הזה נבנה אוטומטית מהפיד שלכם. אם אתם מנחים את התוכנית, אלה השאלות שאנחנו נשאלים הכי הרבה.

המלצה על פודקאסט: איך ExplAInable מקבל המלצה ונמצא כאן?: פודקאסט·ישראל מושך את הפיד של ExplAInable אוטומטית, ולכן העמוד הזה קיים בלי שביקשתם. מה שקובע אם מאזין חדש מגיע אליו הוא כמה טקסט אמיתי יש עליו: תיאור, תמלול, ניתוח פרקים ונושאים שאפשר לחפש לפיהם בקטגוריית הייטק וסטארטאפים. פרקים שעברו תמלול וניתוח מופיעים גם בעמודי הנושא ובמדריכים שלנו, ולכן הם מקבלים הרבה יותר חשיפה מפרק שיש לו רק כותרת. כך תוסיפו לפודקאסט שלכם את שכבת התוכן שמביאה את ההמלצות.
כיצד לשווק את הפודקאסט שלך בלי תקציב פרסום?: השיווק היחיד שעובד לאורך זמן לפודקאסט הוא להיות התשובה שמישהו חיפש. אודיו לבדו לא נמצא בחיפוש, אבל טקסט שנוצר מתוך האודיו כן, ולכן הדרך הזולה ביותר לשווק את ExplAInable היא להפוך כל פרק לעמוד שאפשר לדרג ולשתף. אותו עמוד משמש גם ברשתות, בניוזלטר ובפניות לאורחים, במקום לינק לנגן שאף אחד לא פותח. הנה איך זה עובד בפועל ליוצרים.
כיצד להרוויח כסף מהפודקאסט שלך?: שלושת המסלולים המעשיים הם חסויות, מכירת השירות או המוצר שלכם דרך הפודקאסט, ומנוי או תוכן בתשלום. לכל אחד מהם מפרסם או לקוח מבקש לראות נכס מסודר, לא רק קובץ שמע: עמוד לכל פרק, נושאים ברורים ותנועה שמגיעה מחיפוש. 156 הפרקים של ExplAInable הם המלאי שממנו בונים את הנכס הזה. ראו את המסלול שאנחנו מציעים ליוצרים.
למה הארכיון של ExplAInable כמעט לא מופיע בגוגל וב-ChatGPT?: מנועי חיפוש ומודלים של AI קוראים טקסט, לא שמע. פרק שקיים רק כקובץ MP3 עם כותרת ושורת תיאור הוא מבחינתם עמוד כמעט ריק, ולכן ארכיון שלם יכול להיות בלתי נראה. ברגע שהפרק מתומלל ונכתב ממנו מאמר מסודר, יש למנוע מה לצטט וגם ל-ChatGPT ולפרפלקסיטי יש מקור להפנות אליו. כך הופכים ארכיון שקוף למקור שמצטטים.
מה מקבלים כש-156 הפרקים של ExplAInable הופכים למגזין?: 156 פרקים = 156 מאמרים: אתר מגזין בעברית על הדומיין שלכם, מאמר לכל פרק עם תקציר, נקודות מפתח וציטוטים מתוך השיחה, וקישורים פנימיים בין הפרקים לפי נושא. כל מאמר מפרסם את עצמו אוטומטית ומצרף את נגן הפרק, כך שקורא שהגיע מחיפוש יכול להאזין באותו עמוד. המאמרים בעמודי הפרקים כאן נוצרו בדיוק בשיטה הזו, אז אתם רואים את התוצר לפני שאתם משלמים עליו. לפרטים המלאים ולדוגמאות בעמוד היוצרים.
כמה עבודה זה דורש מכם כמנחים?: אתם ממשיכים להקליט בדיוק כמו היום. התמלול, כתיבת המאמר, ההגהה הטכנית והפרסום רצים אוטומטית מתוך פיד ה-RSS של ExplAInable, וגם פרקים חדשים נכנסים לבד. מה שנשאר לכם הוא לאשר את הטון ואת מה שלא מפרסמים. דברו איתנו דרך עמוד היוצרים.