461: למידה עמוקה, Deep Learning, חלק ב' (ש.ח.) [עושים היסטוריה]

שידור חוזר של פרק 461 ב'עושים היסטוריה' על למידה עמוקה — מקורותיה ברשתות נוירונים מלאכותיים והדרך שבה הפכה את הבינה המלאכותית לכלי מנצח.

הפרק עוסק בטכניקת הלמידה העמוקה המשמשת לאימון רשתות נוירונים מלאכותיים, ובדפוס החוזר של הייפ ואכזבה בתחום הבינה המלאכותית. מסופר על ניצחון AlphaGo של גוגל בגו בין 2014 ל-2016 כסימן אפשרי למהפכה אמיתית. החלק ההיסטורי מתמקד בג'פרי הינטון, שדבק ברשתות נוירונים למרות ספקנות הממסד, ובגילוי מחדש של טכניקת ה-Back Propagation בשנות ה-80. כן מתואר כיצד הינטון, לקון ובנג'ו טבעו ב-2003 את המונח 'למידה עמוקה' כדי לטשטש את הקשר לרשתות נוירונים ולהתרחק מהסטיגמה.

תובנות מרכזיות

• תחום הבינה המלאכותית נע בדפוס חוזר של הייפ והבטחות גרנדיוזיות שאחריו אכזבה ונטישת מחקר
• המונח 'למידה עמוקה' נטבע ב-2003 על ידי הינטון, לקון ובנג'ו כמהלך מכוון לטשטש את הקשר לרשתות נוירונים מלאכותיים שנשאו סטיגמה
• ממשלת קנדה והמכון הקנדי למחקרים מתקדמים היו הגוף היחיד שהמשיך לממן מחקר ברשתות נוירונים בתקופת הספקנות
• סימולציה של רשת נוירונים על מעבד CPU טורי איטית מאוד כי הרשת פועלת במקביל בעוד המעבד מבצע פעולה אחת בכל פעם
• ניצחון AlphaGo בגו תוך כשנה, מנחיתות מול אדם לדומיננטיות, הדגים את עוצמת הלמידה העמוקה במשחק שנחשב קשה משחמט