איך באמת מריצים LLM בסקייל עצום? [עושים תוכנה]

/ שאלות נפוצות על הפרק

מהן האתגרים המרכזיים בחלוקה והרצה של מודלים גדולים מאוד של LLM על GPUים מרובים?

מודלים גדולים מאוד, כמו כאלה עם טריליוני פרמטרים, לא נכנסים לזיכרון של GPU בודד ולכן יש צורך לחלק אותם בין כמה GPUים ולעיתים אף בין כמה מכונות. החלוקה הזו מורכבת כי צריך לשמור על חישוב מקבילי נכון, לשתף דאטה בין מכונות ולוודא שהתוצאה זהה למודל שהיה רץ על מכונה אחת. זה כולל שיקולים לוגיים, מערכתיים ואופטימיזציה של העברת מידע בין רכיבים.

מהו תפקיד ה-KVC (key-value cache) בריצה של מודלים גדולים וכיצד הוא משפיע על דרישות הזיכרון?

ה-KVC הוא מנגנון לשמירת תוצאות חלקיות של חישובים חוזרים במהלך חיזוי טוקנים במודל טרנספורמר. הוא תופס מקום עצום בזיכרון, לעיתים טרות של זיכרון, במיוחד כשעובדים עם קונטקסט ארוך ומספר רב של משתמשים במקביל. ניהול יעיל של ה-KVC הוא קריטי לאופטימיזציה וכולל שימוש בזיכרונות שונים כמו GPU ו-SSD כדי לאזן בין ביצועים לדרישות זיכרון.

כיצד ארכיטקטורת ה-MoE (Mixture of Experts) משפיעה על הפעלת מודלים גדולים ומהם האתגרים הנלווים לכך?

בארכיטקטורת MoE, במקום להשתמש בכל הפרמטרים בכל חיזוי טוקן, מופעלים רק חלק מה'אקספרטים' שהם תת-רשתות בתוך המודל. זה מאפשר שימוש יעיל יותר במשאבים אך מציב אתגר של ניתוב נכון (routing) בין האקספרטים השונים, ניהול אופטימלי של חלוקת העבודה בין GPUים ומכונות, והבנה של איך לשלב את האקספרטים בצורה שמייצרת תוצאה מדויקת ויעילה.

אילו כלים ותשתיות תוכנה קיימים להרצת מודלים גדולים ומה ההמלצות למתחילים בתחום זה?

קיימים פריימורקים רבים כמו vLLM, sglang, אטום, מון קייק ועוד, שכל אחד מותאם לסוגי מודלים שונים ולצרכי אופטימיזציה מגוונים. למתחילים מומלץ להתחיל עם מודלים קטנים ולהריץ אותם על המחשב האישי, להשתמש בכלים כמו קלוד או קודקס ללמידה ופתרון בעיות, ולהשתתף בקבוצות תמיכה ישראליות לקבלת מענה מפורט לשאלות.

מהם ההיבטים הכלכליים והאתגרים של הפעלת LLM בסקייל גדול, וכיצד ניתן להתמודד איתם?

הפעלת מכונות עם GPUים מתקדמים ל-LLM היא יקרה מאוד, עם עלויות שעשויות להגיע למאות אלפי דולרים בחודש למכונה אחת. חברות רבות מפסידות כסף בתחום זה. כדי להתמודד עם האתגר יש צורך באופטימיזציה מתקדמת של הרצת המודלים, ניהול יעיל של משאבים, שימוש בכלים כמו קרפנטר לאוטומציה של סקיילינג, והבנת האיזון בין עלויות לניצול משאבים כדי להוריד עלויות מבלי לפגוע ביציבות.

מתיאור הפרק

מה הופך בקשה אחת ל-LLM למורכבת כל כך מאחורי הקלעים? איך מאות מיליארדי פרמטרים נדחסים על עשרות GPUs, ואיך כל ה-cluster הזה משרת אלפי משתמשים במקביל בלי להתפוצץ? אירחתי את מייק ארליכסון, אושייה בעולם הAI, ופירקנו את עולם ה-inference מבפנים: KV cache, batching, ההבדל בין prefill ל-decode, חלוקה של מודל בין GPUs שונים, ו-Mixture of Experts. דיברנו גם על למה זה הפך לאחד התחומים הכי קריטיים בעולם ה-AI - וגם איך נכנסים אליו אם אתם מהנדסים שרוצים להתחיל להריץ מודלים בעצמכם. האזנה נעימה, עמית בן דור.