הפרויקט הסודי של הממשל לפיתוח AGI נחשף: האם אנחנו מוכנים לעידן הבינה המלאכותית הכללית?

מה יקרה אם מעצמה אחת תשלוט בבינה מלאכותית כללית כמו שמישהו שלט פעם בנשק הגרעיני? הפרק על תוכנית אמריקנית בסגנון 'פרויקט מנהטן' ל-AGI.

אלי אבסר ודודי נקדימון מנתחים דיווח על שקילה של הממשל האמריקני לפתוח בפרויקט ענק בסגנון 'פרויקט מנהטן' לפיתוח AGI (בינה מלאכותית כללית), בהשקעה מדוברת של עשרות טריליוני דולרים, מתוך רצון להבטיח שארה"ב ולא סין תוביל את הטכנולוגיה. הם משווים את המירוץ למרוץ החימוש הגרעיני: מי שישלוט ב-AGI ישנה את מאזן הכוחות בכלכלה, בצבא, בטכנולוגיה ובפוליטיקה. לצד ההזדמנות הם מצביעים על סכנות ממשיות: ריגול תעשייתי סיני וגניבת קוד ממעבדות AI אמריקניות, הקושי לגייס טאלנטים ממשרות עתק בחברות פרטיות, וסכנות קיומיות אם נפתח AGI שמשפר את עצמו בלי שליטה אנושית ובלי 'ישור ערכים'. הפרק מתאים למי שמתעניין בגיאופוליטיקה של AI, באבטחה ובאתיקה של טכנולוגיה עוצמתית, ולא רק בכלים מעשיים לסטארטאפ.

תובנות מרכזיות

• AGI נתפס כ'הדבר הבא' אחרי הנשק הגרעיני — מי שישלוט בו ישנה את מאזן הכוחות הגלובלי בכלכלה, בצבא ובפוליטיקה, ולכן ארה"ב שוקלת פרויקט לאומי בסגנון מנהטן.
• אחד האתגרים הגדולים של פרויקט ממשלתי כזה הוא גיוס הטאלנטים: קשה לגרום למומחים מובילים לעזוב משכורות עתק בחברות פרטיות לטובת עבודה ממשלתית.
• ריגול תעשייתי הוא איום מרכזי — לפי עובד לשעבר של OpenAI שמוזכר בפרק, קל יחסית לארגוני מודיעין סיניים לחדור למעבדות AI אמריקניות ולגנוב קוד ונתונים קריטיים.
• בלי 'ישור ערכים' (alignment) AGI שמשפר את עצמו בלי התערבות אנושית עלול להוביל לתוצאות קטסטרופליות — נושא שעלה גם בפירוק צוות ה-Superalignment של OpenAI ובעזיבת חוקרים בכירים.
• AGI נבדל מ-AI 'רגיל' (זיהוי תמונה, תרגום, נהיגה אוטונומית) בכך שהוא גמיש, יצירתי ויכול ללמוד לבד ולהתמודד עם משימות אינטלקטואליות שלא הוכן להן מראש.