פרק 4: מודלים גדולים של שפה ולנגצ'יין המלך
עודכן: מאת צוות פודקאסט·ישראל
/ הפרק במספרים
| פורסם | 3 באוקטובר 2023 |
|---|---|
| אורך | 50 דק׳ (ארוך ב-12% מהממוצע בתוכנית) |
| הנושא המרכזי | מודלי שפה גדולים והצורך בספריית Langchain |
| קטגוריה | הייטק וסטארטאפים |
על מה הפרק?
יובל אבידני מסביר ברקע מודלי שפה גדולים וטרנספורמרים את הצורך בספריית הקוד Langchain לבניית אפליקציות מבוססות בינה מלאכותית.
בפרק מסדרת 'מדברים בינה מלאכותית' מבקש יובל אבידני לעשות סדר בכאוס של אפליקציות הבינה המלאכותית, ופותח בכך שרבים מהמיזמים מסתכמים בחיבור פשוט למודל שפה כמו צ'אט GPT ללא חידוש אמיתי. הוא מסביר מהו מודל שפה גדול, את משמעות הראשי תיבות GPT, ואת ארכיטקטורת הטרנספורמרים שמבוססת על מנגנון תשומת לב למילים מתוך מאמר של גוגל בריין מ-2017. בהמשך הוא משווה בין צ'אט GPT של OpenAI לבין ברד של גוגל ומסביר מדוע OpenAI הצליחה יותר. עיקר הדיון נסוב סביב מגבלת הזיכרון של המודלים - הטוקנים וחלון ההקשר - שמהווה את הבעיה שאליה Langchain אמור לתת מענה.
/ תובנות מרכזיות
- רוב המיזמים שמתהדרים בבינה מלאכותית מסתכמים בחיבור תכנותי למודל שפה קיים, ולכן בעיני משקיעים אין בהם חידוש או אלגוריתם ייחודי.
- ראשי התיבות GPT מייצגים Generative Pre-trained Transformer - מודל שאומן מראש ויודע לייצר טקסט.
- עוצמת הטרנספורמר נובעת ממנגנון תשומת הלב, היכולת לתת משקל גבוה יותר למילים מסוימות בטקסט, מתוך מאמר של גוגל בריין מ-2017.
- ההבדל בין OpenAI לגוגל הוא שגוגל עבדה עם ייצוג מספרי של מילים (embedding) בעוד OpenAI התמקדה בהבנת המשמעות, ובכך הצליחה יותר.
- מגבלת הטוקנים וחלון ההקשר היא חסם מרכזי: שיחה ארוכה או מסמך גדול דורסים את זיכרון המודל, ולכל מודל קיבולת שונה (4,000 עד 100,000 טוקנים בקלוד).
מה בעצם הבינה המלאכותית במיזם שלך? - השאלה שמציגים המשקיעים בתוכנית 'הכרישים' וחושפת שרוב הפתרונות הם רק ממשק למודל שפה קיים.
ניתוח מאת מערכת פודקאסט·ישראל, מבוסס תמלול אוטומטי של הפרק. על המתודולוגיה והמגבלות
/ שאלות נפוצות על הפרק
- על מה הפרק הזה?
- בפרק מסדרת 'מדברים בינה מלאכותית' מבקש יובל אבידני לעשות סדר בכאוס של אפליקציות הבינה המלאכותית, ופותח בכך שרבים מהמיזמים מסתכמים בחיבור פשוט למודל שפה כמו צ'אט GPT ללא חידוש אמיתי. הוא מסביר מהו מודל שפה גדול, את משמעות הראשי תיבות GPT, ואת ארכיטקטורת הטרנספורמרים שמבוססת על מנגנון תשומת לב למילים מתוך מאמר של גוגל בריין מ-2017. בהמשך הוא משווה בין צ'אט GPT של OpenAI לבין ברד של גוגל ומסביר מדוע OpenAI הצליחה יותר. עיקר הדיון נסוב סביב מגבלת הזיכרון של המודלים - הטוקנים וחלון ההקשר - שמהווה את הבעיה שאליה Langchain אמור לתת מענה.
- מהן התובנות המרכזיות מהפרק?
- רוב המיזמים שמתהדרים בבינה מלאכותית מסתכמים בחיבור תכנותי למודל שפה קיים, ולכן בעיני משקיעים אין בהם חידוש או אלגוריתם ייחודי. · ראשי התיבות GPT מייצגים Generative Pre-trained Transformer - מודל שאומן מראש ויודע לייצר טקסט. · עוצמת הטרנספורמר נובעת ממנגנון תשומת הלב, היכולת לתת משקל גבוה יותר למילים מסוימות בטקסט, מתוך מאמר של גוגל בריין מ-2017. · ההבדל בין OpenAI לגוגל הוא שגוגל עבדה עם ייצוג מספרי של מילים (embedding) בעוד OpenAI התמקדה בהבנת המשמעות, ובכך הצליחה יותר. · מגבלת הטוקנים וחלון ההקשר היא חסם מרכזי: שיחה ארוכה או מסמך גדול דורסים את זיכרון המודל, ולכל מודל קיבולת שונה (4,000 עד 100,000 טוקנים בקלוד).
מתיאור הפרק
בפרק זה נדבר על מהם מודלים גדולים של שפה, LLMs, מה הופך אפליקציות ל"אפליקציות מבוססות AI", מה זה לנגצ'יין, איך הוא יכול לעזור לנו לבנות אפליקציות מבוססות AI, ובכלל - איך כל זה מתחבר ליצירת סוכנים חכמים שיודעים לשלוח הודעות, מיילים, להתנהג כבוטים, לקבוע פגישות ועוד?הצטרפו אלי בכל הפלטפורמות (ותפרגנו בבירה!): https://linktree.com/hackit.co.il הרשמה למיטאפ ב-17.10.23 בחברת מאנקיטק: https://www.eventbrite.com/e/725567691497?aff=oddtdtcreator
/ עוד פרקים על בינה מלאכותית
- 001 - פודקאסט הצומתהצומת | יומינט ואוסינט: ארגז הכלים של היזם החדש - הודיה בן חמוהודיה בן חמו, בת 24, מנהלת סוכנות שיווק ומיזם הדרכה, מספרת איך תואר שהתחילה בגיל 16 ושבת ששמרה לבד מגיל 6 בנו לה משמעת של יזמית.
- 15-מיליון15-מיליוןפרק הכנה ראשון שמפרק את חוקי משחק הפנטזי של המונדיאל ואת השאלה האמיתית - מתי לוותר על הכוכב הגדול לטובת מיסמאצ' זול.
- 8-דקות-מודעות-קבלית-עם-מאיר-ישורוןפרק 1365: עולם מושלםשיעור בוקר קבלי על למה גם המחלות והרוע לא מיותרים בבריאה, ולמה מה שנראה לנו כחושך הוא בעצם אור שאין לנו עדיין כלים לראות אותו.
- ai-today-בינה-מלאכותיתפרק 1 | שגשוג האנושות או עתיד אכזרשיחה עם חוקר בינה מלאכותית ותיק על הדרך מהטכניון של שנות ה-90 ועד מכונות שכבר יודעות לנחש על מה חשבת - ועל מה חלמת.