
טוב AI לא מספיק טובים כדי לבנות Evals למה
עודכן: מאת צוות פודקאסט·ישראל
האזינו לפרק המלא
אנחנו עוזרים למצוא את הפרק, ההאזנה המלאה נמצאת אצל היוצרים, בפלטפורמה שלהם.
/ הפרק במספרים
| פורסם | 18 בנובמבר 2026 |
|---|---|
| אורך | 41 דק׳ |
| הנושא המרכזי | שיפור ואירוול של אג'נטים |
| קטגוריה | הייטק וסטארטאפים |
על מה הפרק?
קורן ואורי מ-Monday מפרטים על שיפור אג'נטים באמצעות בנצ'מרקים, אירוולים (Evals) ומדידת חוויית משתמש.
בפודקאסט AI אנג׳נירינג, קורן מצוות וייב ואורי מצוות סיידקיק מ-Monday מדברים על האתגרים בבניית אג'נטים שמתאימים להמוני משתמשים. הם מסבירים איך משתמשים בבנצ'מרקים אופליין ואונליין כדי למנוע דגרגציה באיכות ואיך מודדים Delightfulness. השיחה נוגעת גם בשינויים בתפקיד הדאטה סיינטיסט בעולם ה-AI.
בניית אפליקציות AI דורשת שילוב של פונקציונליות עם עיצוב (UI) שגורם למשתמש להרגיש שהמוצר מקצועי, גם אם הוא לא מושלם טכנית.
/ תובנות מרכזיות
- קורן מציין כי במוצר וייב, למשתמשים לעיתים אכפת יותר מהמראה המקצועי של האפליקציה מאשר מהפונקציונליות המדויקת שלה.
- אורי מסביר שסיידקיק משתמש בבנצ'מרקים ייעודיים כדי לוודא שהאג'נט שומר על קונטקסט לאורך זמן ומתמודד עם שאלות מורכבות.
- בבדיקות אונליין, מנטרים את שיעור הטרייסים הלא יעילים כדי לזהות חוסר יעילות או צורך בשיפור ה-LLM.
- קורן מדגיש כי תפקיד הדאטה סיינטיסט השתנה ממי שמאמן מודלים למי שמביא חשיבה מחקרית (Research Mindset) לבנייה של מוצרים מבוססי אג'נטים.
- אורי מציע להשתמש במטריקת frustration rate כדי לזהות תסכול של משתמשים דרך זיהוי קללות או סימני קריאה בשיחות.
איך יודעים אם אג'נט עושה עבודה טובה ומה זה עבודה טובה בעולמות האלו?
- 1הגדירו מטרות ברורות ומה אתם רוצים להיות טובים בו לפני שמתחילים לבנות סביבת בדיקות.
- 2בנו בנצ'מרקים מגוונים: אחד שעוקב אחרי דרישות חוזרות ואחד שבודק שמירה על קונטקסט בשאלות מורכבות.
- 3פרקו את התשובה המצופה למספר רב של בדיקות בינאריות כדי לקבל דיוק גבוה יותר בהערכה.
- 4שלבו בבדיקות גם יכולות קריאה (Read) וגם יכולות שינוי (Mutation) כדי לוודא שהאג'נט פועל הלכה למעשה.
- 5בצעו קליברציה (Calibration) של ה-LLM Judge על ידי כך שתנו לו דוגמאות וסבירו לו איך לתת ציון נכון.
ניתוח מאת מערכת פודקאסט·ישראל, מבוסס תמלול אוטומטי של הפרק. על המתודולוגיה והמגבלות
שאל את הפרק (Chat with Episode)
קבל תשובות מיידיות מתוך תמלול וניתוח ה-AI
שאלות מומלצות בלחיצה אחת:
מתיאור הפרק
כולם מדברים על AI Agents. אבל איך יודעים שהם באמת עושים עבודה טובה? ואיך משפרים אייג׳נט שמשרת מאות אלפי משתמשים, בלי לשבור משהו בדרך? בפרק הזה אירחנו את אורי מור חיים מצוות Sidekick וקורן גאסט מצוות Vibe ב-monday.com, לשיחה על מה שבאמת קורה מאחורי הקלעים של מוצרי AI בפרודקשן. דיברנו על איך בונים Evals שבאמת מודדים איכות, למה משתמשים לפעמים מעדיפים אפליקציה יפה על פני אפליקציה שעובדת מושלם, ואיך החלפת מודל שנראה טוב יותר בכל הבנצ׳מרקים דווקא פגעה בביצועים. צללנו ל-Offline & Online Evals, ניתוח Traces, זיהוי תסכול של משתמשים, ואיך הופכים דאטה אמיתי לשיפורים במוצר. ולקינוח - האם אנחנו מתקרבים לעו
איך נוצר העמוד הזה
9 פרקים של AI אנג׳נירינג = 9 מאמרים שגוגל מדרג
את התקציר והניתוח בעמוד הזה הפקנו אוטומטית מתוך האודיו של הפרק, בלי שאיש כתב מילה. זה בדיוק מה ש-AuthorityRank עושה לארכיון שלם: כל פרק הופך למאמר עברי איכותי שמדורג בגוגל ומצוטט על ידי ChatGPT ו-Perplexity, ומתפרסם אוטומטית במגזין משלכם.
הארכיון שלכם הוא אודיו מת שמנועי החיפוש לא מוצאים. אנחנו הופכים אותו לנכס שמביא תנועה כל חודש.