Agentic AI at scale: Interview with Benjamin Mayr, Vice President, Head of Architecture at NiCE

/ שאלות נפוצות על הפרק

מה הייתה הרעיון ההתחלתי של Cognicy וכיצד הוא התפתח לשימושים עסקיים רחבים יותר?

הרעיון ההתחלתי היה לפתח דובי מדבר עם טכנולוגיות דיבור לטקסט וטקסט לדיבור, שיזכור מידע אישי כמו שם וצבע מועדף. מהר מאוד הבינו שהטכנולוגיה יכולה לשמש לא רק צעצועים אלא גם מערכות כמו מקררים חכמים ושירות לקוחות, ולכן התמקמו בפיתוח פלטפורמת תוכנה לעסקים לבניית סוכנים חכמים.

כיצד פלטפורמת Cognizy AI מתמודדת עם הצורך בסקיילביליות ותמיכה בכמויות גדולות של משתמשים בו זמנית?

הפלטפורמה מתוכננת לסקייל נכון, עם דגש על יכולת להתמודד עם עומסים גבוהים כמו עיבוד אלפי הודעות בדקה, לדוגמה ב-Lufthansa שמטפלת ב-600-700 הודעות בדקה ויכולה לעלות ל-16,000 הודעות בדקה תוך דקות ספורות, תוך שמירה על ביצועים ותגובה מהירה.

מהי חשיבות ה-LLM Gateway בפלטפורמת Cognizy וכיצד הוא תורם לניהול מודלים שונים של למידת מכונה?

LLM Gateway מאפשר לבחור בין מודלים שונים בזמן אמת, לנהל רדונדנציה, לעקוב אחרי פרומפטים ולהבטיח בקרה ואודיט על השימוש במודלים. הוא מאפשר אינטגרציה עם מודלים חיצוניים כמו Azure OpenAI ומאפשר התאמה דינמית של המודל לפי הצורך והמשימה.

כיצד משתמשת Cognicy ב-simulator כדי לבדוק ולשפר את ביצועי הסוכנים החכמים שלה?

ה-simulator מאפשר להגדיר תרחישי בדיקה שונים, כולל ניסיונות תקיפה או ניצול לרעה, ולרוץ עליהם בקנה מידה גדול. כך ניתן לבדוק את התגובות של הסוכן, לנתח עלויות, ולבצע אופטימיזציה של המודל המתאים ביותר לשימוש. בנוסף, ניתן לבדוק תרחישים של שגיאות בממשקים חיצוניים ולוודא תגובות מתאימות.

מהי הגישה של Cognicy לניהול נתונים ואיך היא מבדילה את עצמה בתחום זה?

Cognicy מדגישה לא רק את כמות הנתונים אלא את השימוש בהם, כשהפלטפורמה מתחילה לא מהתחלה אלא מניצול תוצאות שיחות קיימות, תרחישי סימולציה ונתוני אינטראקציה מצטברים. כך ניתן לבנות סוכנים מותאמים ומדויקים יותר, עם יכולת למידה מתמשכת ושיפור מתמיד, תוך שימוש בנתונים אגרגטיביים ממספר לקוחות.

מתיאור הפרק

In this episode I had the honor to interview Benjamin Mayr, Vice President, Head of Architecture at NiCE Cognigy. Benjamin took me deep into what it really takes to run enterprise-grade conversational and agentic AI at scale. We talked about the "harness" around the model - the layer that turns a raw LLM into a reliable agent in a live contact center. He also broke down the LLM Gateway, which pools and load-balances across many model endpoints to keep everything fast and always-on. We also explored why picking the right model for the right job beats raw reasoning power, and looked ahead to a f