כשאייג׳נטים נשברים [עושים תוכנה]

/ שאלות נפוצות על הפרק

על מה הפרק הזה?

הפרק מציג שיחה עם מהנדס AI שפיתח מערכת מבוססת LLM ומולטימודל בחברת סייברארק, המספקת פתרון לניתוח מידע ויזואלי ממחשבים רגישים. הוא מיועד למפתחי AI, מהנדסים ומנהלי מוצר המתעניינים באתגרי עולם ה-AI בפרודקשן, מעבר להדגמות. שווה להאזין כדי להבין את הקשיים הפרקטיים כמו הזיות מודל, עלויות בלתי צפויות, בניית דאטה-סטים בסביבות רגישות ובעיות מדידה במערכות לא דטרמיניסטיות, וכיצד להתמודד איתם בעזרת כלים כמו LLM as a Judge.

מהן התובנות המרכזיות מהפרק?

פיתוח מערכות LLM בסקייל גבוה במציאות שונה מאוד מהדמויים המרשימים המוצגים, וכולל קשיים לא צפויים ואתגרים בסביבה עסקית. · מודלי מולטימודל עלולים להזות, לייצר מידע לא רלוונטי או לפרש באופן שגוי קלט ויזואלי, גם מקלט פשוט כמו פיקסל שחור. · קיימת מתיחות בין דיוק המודל לעלותו, במיוחד כשמשלבים מודלים מספקים שונים ונתקלים בעלויות עקיפות כמו egress. · מדידת ביצועים במערכות LLM לא דטרמיניסטיות מחייבת פיתוח כלים פנימיים ושימוש בשיטות כמו LLM as a Judge, תוך צמצום דרגות חופש במדידה. · בניית דאטה-סטים איכותיים ורלוונטיים עבור מערכות AI בסביבות רגישות היא אתגר מהותי בפני עצמו, שכן לא ניתן להשתמש במידע לקוחות ישיר.

מתיאור הפרק

מה עושים כשהאייג׳נט שלכם ממציא ללקוח מוצר שלא קיים? בפרק אירחתי את אלמוג בקו לשיחה על השיטות השונות להתמודד עם בעיות באייג׳נט, על Root cause analysis בעידן הAI, איתור שגיאות וEvals. האזנה נעימה, עמית בן דור