![הAI לא טועה אתם פשוט משתמשים בו לא נכון [עושים תוכנה]](/_next/image?url=https%3A%2F%2Fd3wo5wojvuv7l.cloudfront.net%2Ft_rss_itunes_square_1400%2Fimages.spreaker.com%2Foriginal%2F4cf99af1e66f4f82abdfbe2bc10aad3e.jpg&w=384&q=75&dpl=dpl_De19gkM5g3qdwaWbojgZwwVbwnzp)
הAI לא טועה אתם פשוט משתמשים בו לא נכון [עושים תוכנה]
עודכן: מאת צוות פודקאסט·ישראל
/ הפרק במספרים
| פורסם | 1 ביוני 2026 |
|---|---|
| אורך | 1 שע׳ 6 דק׳ (ארוך ב-62% מהממוצע בתוכנית) |
| קטגוריה | הייטק וסטארטאפים |
על מה הפרק?
הפרק דן באתגרי הרצה ואופטימיזציה של מודלי שפה גדולים (LLMs) בסביבות ייצור, תוך התמקדות בחומרה יקרה, פיזור מודלים ואתגרי ביצועים.
הפרק עוסק במורכבות התפעולית והטכנית של פריסה ואופטימיזציה של מודלי למידת מכונה ענקיים (LLMs) על תשתית GPU. המנחה, עמית בנדורף, מארח את מייק ארליקסון, שחולק תובנות על האתגרים הייחודיים של ניהול מודלים עם טריליוני פרמטרים, הדורשים חומרה יקרה מאוד וטכניקות חלוקה מורכבות על פני מספר מעבדים גרפיים ומכונות. הפרק מיועד למהנדסי תוכנה, מומחי למידת מכונה וכל מי שמתעניין ב"מאחורי הקלעים" של הפעלת כלי AI בקנה מידה גדול. שווה להאזין כדי להבין את המורכבות, את עלויות החומרה ואת הפתרונות ההנדסיים והמתמטיים שנדרשים כדי שה-LLMs יהיו נגישים ויעילים.
/ תובנות מרכזיות
- הרצת מודלי שפה גדולים (LLMs) בייצור היא אופרציה מורכבת ביותר, הדורשת התמודדות עם פרמטרים רבים מעבר למודל עצמו.
- מודלים בקנה מידה של טריליוני פרמטרים דורשים חומרה יקרה מאוד (מאות אלפי דולרים לחודש עבור מכונות עם 8 GPU), ולא תמיד נכנסים ל-GPU בודד או אפילו למכונה אחת.
- חלוקת המודל בין מספר GPUs או מכונות מרובות (מודל פרלליזציה) מציבה אתגרים הנדסיים ולוגיים בפיזור חישובים מתמטיים ושיתוף נתונים.
- קיים צורך בזיכרון "ספייר" משמעותי על ה-GPU מעבר לזיכרון המודל, בעיקר כדי לטפל במספר רב של בקשות משתמשים בו-זמנית ולתשתיות הפיימוורק.
- אופטימיזציה של ביצועי מודלים גדולים היא תחום מחקר פעיל וקריטי, הכולל שיטות לייעול ותחיסה, כמו 'קייב' (KV cache).
למה בעצם אני לא יכול עכשיו דרך אגב ואני אשאל אותך למה אני לא יכול עכשיו להקסות את כל הזיכרון שיש לב-GPU'ים רק למודל עצמו? למה אני צריך ספרים אני לא מדבר על ספרים קטנים אני צריך ספרים גדולים
ניתוח מאת מערכת פודקאסט·ישראל, מבוסס תמלול אוטומטי של הפרק. על המתודולוגיה והמגבלות
/ שאלות נפוצות על הפרק
- על מה הפרק הזה?
- הפרק עוסק במורכבות התפעולית והטכנית של פריסה ואופטימיזציה של מודלי למידת מכונה ענקיים (LLMs) על תשתית GPU. המנחה, עמית בנדורף, מארח את מייק ארליקסון, שחולק תובנות על האתגרים הייחודיים של ניהול מודלים עם טריליוני פרמטרים, הדורשים חומרה יקרה מאוד וטכניקות חלוקה מורכבות על פני מספר מעבדים גרפיים ומכונות. הפרק מיועד למהנדסי תוכנה, מומחי למידת מכונה וכל מי שמתעניין ב"מאחורי הקלעים" של הפעלת כלי AI בקנה מידה גדול. שווה להאזין כדי להבין את המורכבות, את עלויות החומרה ואת הפתרונות ההנדסיים והמתמטיים שנדרשים כדי שה-LLMs יהיו נגישים ויעילים.
- מהן התובנות המרכזיות מהפרק?
- הרצת מודלי שפה גדולים (LLMs) בייצור היא אופרציה מורכבת ביותר, הדורשת התמודדות עם פרמטרים רבים מעבר למודל עצמו. · מודלים בקנה מידה של טריליוני פרמטרים דורשים חומרה יקרה מאוד (מאות אלפי דולרים לחודש עבור מכונות עם 8 GPU), ולא תמיד נכנסים ל-GPU בודד או אפילו למכונה אחת. · חלוקת המודל בין מספר GPUs או מכונות מרובות (מודל פרלליזציה) מציבה אתגרים הנדסיים ולוגיים בפיזור חישובים מתמטיים ושיתוף נתונים. · קיים צורך בזיכרון "ספייר" משמעותי על ה-GPU מעבר לזיכרון המודל, בעיקר כדי לטפל במספר רב של בקשות משתמשים בו-זמנית ולתשתיות הפיימוורק. · אופטימיזציה של ביצועי מודלים גדולים היא תחום מחקר פעיל וקריטי, הכולל שיטות לייעול ותחיסה, כמו 'קייב' (KV cache).
מתיאור הפרק
מה קורה כשמפסיקים להתייחס ל-AI כקסם ומתחילים לעבוד איתו כמו שצריך? אירחתי את סהר כרמל, שפירק את ההייפ סביב אייג׳נטים וכלים כמו Claude Code, ודייק את הנקודות החשובות ביותר להצלחה בעידן שלנו. דיברנו על איך לגשת להטמעה של AI בארגונים, מנסיון של 50 סדנאות, איך יוצרים אימפקט גם במחלקות לא טכנולוגית ומה עדיין לא עובד. האזנה נעימה, עמית בן דור