בינה מלאכותית בפרודקשן: מציאות מול דמיון [עושים תוכנה]

הפרק מתאר את האתגרים הלא צפויים בפיתוח והטמעת מערכת AI מבוססת LLM ומולטימודל בסביבה עסקית רגישה, מעבר לדמואים המרשימים.

הפרק מציג שיחה עם מהנדס AI שפיתח מערכת מבוססת LLM ומולטימודל בחברת סייברארק, המספקת פתרון לניתוח מידע ויזואלי ממחשבים רגישים. הוא מיועד למפתחי AI, מהנדסים ומנהלי מוצר המתעניינים באתגרי עולם ה-AI בפרודקשן, מעבר להדגמות. שווה להאזין כדי להבין את הקשיים הפרקטיים כמו הזיות מודל, עלויות בלתי צפויות, בניית דאטה-סטים בסביבות רגישות ובעיות מדידה במערכות לא דטרמיניסטיות, וכיצד להתמודד איתם בעזרת כלים כמו LLM as a Judge.

תובנות מרכזיות

• פיתוח מערכות LLM בסקייל גבוה במציאות שונה מאוד מהדמויים המרשימים המוצגים, וכולל קשיים לא צפויים ואתגרים בסביבה עסקית.
• מודלי מולטימודל עלולים להזות, לייצר מידע לא רלוונטי או לפרש באופן שגוי קלט ויזואלי, גם מקלט פשוט כמו פיקסל שחור.
• קיימת מתיחות בין דיוק המודל לעלותו, במיוחד כשמשלבים מודלים מספקים שונים ונתקלים בעלויות עקיפות כמו egress.
• מדידת ביצועים במערכות LLM לא דטרמיניסטיות מחייבת פיתוח כלים פנימיים ושימוש בשיטות כמו LLM as a Judge, תוך צמצום דרגות חופש במדידה.
• בניית דאטה-סטים איכותיים ורלוונטיים עבור מערכות AI בסביבות רגישות היא אתגר מהותי בפני עצמו, שכן לא ניתן להשתמש במידע לקוחות ישיר.