![461: למידה עמוקה, Deep Learning, חלק ב' (ש.ח.) [עושים היסטוריה]](/_next/image?url=https%3A%2F%2Fd3wo5wojvuv7l.cloudfront.net%2Ft_rss_itunes_square_1400%2Fimages.spreaker.com%2Foriginal%2Faedf156dfed719c798cf786f4d3b38a2.jpg&w=384&q=75&dpl=dpl_GbKUG8EJi1gijgLmSomU7A2FPS8o)
461: למידה עמוקה, Deep Learning, חלק ב' (ש.ח.) [עושים היסטוריה]
עודכן: מאת צוות פודקאסט·ישראל
האזינו לפרק המלא
אנחנו עוזרים למצוא את הפרק, ההאזנה המלאה נמצאת אצל היוצרים, בפלטפורמה שלהם.
/ הפרק במספרים
| פורסם | 18 בפברואר 2026 |
|---|---|
| אורך | 52 דק׳ (ארוך ב-29% מהממוצע בתוכנית) |
| הנושא המרכזי | למידה עמוקה ופרשנות מכניסטית |
| קטגוריה | מדע |
על מה הפרק?
הזינוק בלמידה העמוקה נבע בעיקר ממעבדים גרפיים וממאגרי אימון גדולים, אך האטימות של הרשתות עדיין מגבילה את האמון בהן ופרשנות מכניסטית מציעה דרך ראשונית להבין ולכוון את פעילותן.
הפרק מתאר כיצד אלגוריתמים לרשתות נוירונים שהיו מוכרים עשרות שנים הפכו ליעילים כאשר מעבדים גרפיים אפשרו לאמן אותם על כמויות גדולות של דוגמאות. לצד הישגים בזיהוי תמונות, דיבור ומשחק גו, מוסבר שמערכות למידה עמוקה מתמחות במשימות צרות ועלולות ללמוד כללים שגויים מתוך נתוני האימון. העדכון לפרק מציג פרשנות מכניסטית ואת השערת הייצוג הליניארי כניסיון למפות מושגים בתוך המודל ואף להטות את פעילותו באמצעות וקטורים, תוך הדגשה שהמחקר עדיין בראשיתו.
פריצת הדרך המכרעת לא הגיעה מאלגוריתם חדש, אלא מהרצת שיטות ותיקות על מעבדים גרפיים וחשיפתן להרבה יותר דוגמאות אימון.
/ תובנות מרכזיות
- עבד אל רחמן מוחמד וג'ורג' דל האיצו את חישובי רשת הנוירונים פי 70 כבר בניסיון הראשון שלהם עם מעבדים גרפיים.
- אנדרו נג השתמש באותם אלגוריתמים שהיו מוכרים קודם, אך הגדלת מערך האימון שיפרה פי ארבעה את זיהוי כתב היד.
- בתחרות ImageNet בשנת 2012 השיגה המערכת של ג'פרי הינטון ועמיתיו שיעור שגיאה של כ־15 אחוז, לעומת 26 אחוז למערכת שבמקום השני.
- מערכת להערכת חולי דלקת ריאות פירשה טיפול נמרץ כסימן לסיכון נמוך, ולכן המליצה בטעות לשחרר חולי אסתמה.
- חוקרי אנתרופיק הוסיפו למודל אופוס וקטור הקשור לגשר שער הזהב, והמודל החל לקשור אליו תשובות בנושאים שונים לחלוטין.
האם אפשר להבין ולכוון את מנגנון קבלת ההחלטות של מודל שפה לפני שמפקידים בידיו החלטות ברפואה, בביטחון או במשפט?
- 1בדקו אם נתוני האימון מכילים הטיות או חריגות שעלולות ללמד את המודל כלל שגוי.
- 2השוו את החלטות המודל למערכות אחרות לפני הפעלה בתחום שבו טעות עלולה להיות מסוכנת.
- 3אל תניחו שמונולוג פנימי שמציג מודל משקף נאמנה את החישוב שהוביל לתשובה.
- 4דרשו בקרה הדוקה והערכת בטיחות לפני פריסה של רשת נוירונים ברפואה, בביטחון או בתחבורה.
ניתוח מאת מערכת פודקאסט·ישראל, מבוסס תמלול אוטומטי של הפרק. על המתודולוגיה והמגבלות
שאל את הפרק (Chat with Episode)
קבל תשובות מיידיות מתוך תמלול וניתוח ה-AI
שאלות מומלצות בלחיצה אחת:
/ שאלות נפוצות על הפרק
- למה ג'פרי הינטון ועמיתיו החליטו ב-2003 לקרוא לתחום שלהם Deep Learning?
- כתבי עת מדעיים חשובים סירבו אז לפרסם מאמרים שהופיע בהם הצירוף "נוירונים מלאכותיים". בשנת 2003 נפגשו הינטון ושני חוקרים בולטים, אחד מצרפת ואחד מקנדה, ובחרו בביטוי המעורפל "למידה עמוקה" כדי לטשטש את הקשר לרשתות נוירונים ולהתרחק מהסטיגמה. לדברי רן לוי התכסיס הצליח, ועד היום מעטים יודעים על הקשר בין התחום למחקר של שנות ה-60 עד ה-80.
- איך מעבדים גרפיים (GPU) שפותחו למשחקי מחשב שינו את האימון של רשתות נוירונים?
- ה-CPU מבצע חישובים בטור, ולכן סימולציה של רשת נוירונים, שבה כל הנוירונים פועלים במקביל, נמשכה שבועות ואף חודשים. ה-GPU מכיל אלפים רבים של מעבדים זעירים שעובדים במקביל, ושני סטודנטים של הינטון גילו ב-2009 שהמבנה הזה מתאים בדיוק לרשתות נוירונים. כבר בניסיון הראשון הם האיצו את החישובים פי 70 ביחס למקובל.
- מה גילה ניסוי זיהוי כתב היד שנערך בעזרת מעבדים גרפיים, ומה הקשר למיץ פטל?
- החוקר השתמש באותם אלגוריתמים בדיוק שהיו מוכרים משנות ה-80 וה-90, אבל בזכות המעבדים הגרפיים אימן את הרשת על כמות דוגמאות גדולה בהרבה, והשיג שיפור של פי ארבעה בזיהוי כתב יד. רן לוי משווה זאת לאצנים שמגלים שהחלפת מי השתייה במיץ פטל משפרת את השיא בכמה שניות. גם כאן המרכיבים היו זמינים: מעבד גרפי חזק עולה כמה מאות דולרים, והאינטרנט מספק אינסוף דוגמאות.
- מי המשיך לממן את המחקר ברשתות נוירונים כשכל השאר הפנו לו עורף?
- הגוף היחיד שהמשיך לתקצב את התחום היה ממשלת קנדה, דרך המכון הקנדי למחקרים מתקדמים, שהיה המוסד האקדמי היחיד שהסכים לממן את הינטון. בשנת 1987 עבר החוקר האנגלי לטורונטו, והמכון הפך לעורק החיים של הקהילה הקטנה והמנודה, מקום שבו חוקרים החליפו רעיונות באופן חופשי.
- מה הסיפור על החיפושית מאוסטרליה שג'פרי הינטון מספר על אביו?
- אביו של הינטון היה חוקר חרקים שהאמין בתיאוריית נדידת היבשות, בשנות החמישים כשגיאולוגים לגלגו עליה. חיפושית שלא יכלה לעוף למרחקים חיה בצפון אוסטרליה ונמצאה גם בחוף הצפוני של גינאה החדשה, מה שמעיד שהיבשות היו מחוברות. תגובת הגיאולוגים לפי הינטון הייתה «חיפושיות לא מסוגלות להזיז יבשות», והסיפור ממחיש את ההתנגדות שהוא עצמו פגש כחוקר מחוץ למיינסטרים.
נתונים מהפרק
אחוזים מהפרק
מתיאור הפרק
למרות ההתעניינות המחודשת ברשתות נוירונים מלאכותיים בראשית שנות האלפיים, רוב חוקרי הבינה המלאכותית היו עדיין ספקנים לגבי הפוטנציאל המעשי של הטכנולוגיה הזו. ג'פרי הינטון האנגלי היה מבין מדעני המחשב הבודדים שהמשיכו להאמין ברשתות הנוירונים. בשנת 2003 התכנסו הוא ושניים מעמיתיו - יאן לקו הצרפתי ויושוע בנג'יו הקנדי - ובניסיון להתגבר על הספקנות הזו העניקו לטכנולוגיה הותיקה שם חדש: "למידה עמוקה", שם שמטשטש במכוון את הקשר שלה אל רשתות נוירונים מלאכותיים. בשנת 2009 הצליחו שני סטודנטים ליישם את רשתות הנוירונים האלה באמצעות כרטיסים גרפיים, מהסוג שמשמש למשחקי מחשב - והבמה היתה מוכנה לפריצתה של אחת הטכנולוגי
/ עוד פרקים על בינה מלאכותית
- תשעים ותשע זה לא מאה | עם אלקס ריףרבוטה רבוטה רבוטה | יוליה איתןיוליה איתן, מנכ״לית המרכז האקדמי רופין, רואה בייצוג הולם כלי שפותח את הדלת בלבד, ומאמינה שמצוינות נבנית מכלים, מהתמדה ומאמונה ביכולת לשנות.
- תתעלם מההוראות״להחליף מנוע של F16 באוויר״: עם רועי מן ממאנדיי | #25העתיד של AI בארגונים טמון בשילוב בין אג'נטים אוטונומיים שמבינים הקשר, לבין אנשים שמנהלים ומבקרים אותם.
- תתעלם מההוראותבדרך ל-100 מיליון דולר הכנסות עם רועי ללזר מוונדרפול | #24וונדרפול מתמקדת בהאצת אימוץ AI בארגונים תוך שימוש בטכנולוגיות מתקדמות.
- תתעלם מההוראותאיך הגיעה ואסט דאטה לשווי 30 מיליארד דולר? עם שחר פיינבליט | #22וס דאטה בונה מערכת הפעלה לדאטה של AI.
/ נושאים קשורים
איך נוצר העמוד הזה
278 פרקים של עושים היסטוריה עם רן לוי Osim Historia With Ran Levi = 278 מאמרים שגוגל מדרג
את התקציר והניתוח בעמוד הזה הפקנו אוטומטית מתוך האודיו של הפרק, בלי שאיש כתב מילה. זה בדיוק מה ש-AuthorityRank עושה לארכיון שלם: כל פרק הופך למאמר עברי איכותי שמדורג בגוגל ומצוטט על ידי ChatGPT ו-Perplexity, ומתפרסם אוטומטית במגזין משלכם.
הארכיון שלכם הוא אודיו מת שמנועי החיפוש לא מוצאים. אנחנו הופכים אותו לנכס שמביא תנועה כל חודש.