461: למידה עמוקה, Deep Learning, חלק ב' (ש.ח.) [עושים היסטוריה]

על מה הפרק?

הזינוק בלמידה העמוקה נבע בעיקר ממעבדים גרפיים וממאגרי אימון גדולים, אך האטימות של הרשתות עדיין מגבילה את האמון בהן ופרשנות מכניסטית מציעה דרך ראשונית להבין ולכוון את פעילותן.

הפרק מתאר כיצד אלגוריתמים לרשתות נוירונים שהיו מוכרים עשרות שנים הפכו ליעילים כאשר מעבדים גרפיים אפשרו לאמן אותם על כמויות גדולות של דוגמאות. לצד הישגים בזיהוי תמונות, דיבור ומשחק גו, מוסבר שמערכות למידה עמוקה מתמחות במשימות צרות ועלולות ללמוד כללים שגויים מתוך נתוני האימון. העדכון לפרק מציג פרשנות מכניסטית ואת השערת הייצוג הליניארי כניסיון למפות מושגים בתוך המודל ואף להטות את פעילותו באמצעות וקטורים, תוך הדגשה שהמחקר עדיין בראשיתו.

/ תובנות מרכזיות

• עבד אל רחמן מוחמד וג'ורג' דל האיצו את חישובי רשת הנוירונים פי 70 כבר בניסיון הראשון שלהם עם מעבדים גרפיים.
• אנדרו נג השתמש באותם אלגוריתמים שהיו מוכרים קודם, אך הגדלת מערך האימון שיפרה פי ארבעה את זיהוי כתב היד.
• בתחרות ImageNet בשנת 2012 השיגה המערכת של ג'פרי הינטון ועמיתיו שיעור שגיאה של כ־15 אחוז, לעומת 26 אחוז למערכת שבמקום השני.
• מערכת להערכת חולי דלקת ריאות פירשה טיפול נמרץ כסימן לסיכון נמוך, ולכן המליצה בטעות לשחרר חולי אסתמה.
• חוקרי אנתרופיק הוסיפו למודל אופוס וקטור הקשור לגשר שער הזהב, והמודל החל לקשור אליו תשובות בנושאים שונים לחלוטין.

ניתוח מאת מערכת פודקאסט·ישראל, מבוסס תמלול אוטומטי של הפרק. על המתודולוגיה והמגבלות