61: איך לוודא שהמודלים הגדולים לא אוכלים לנו את המוצר?
10 ביוני 20261938
האזן לפרק
על הפרק
מהפכת ה-AI הציבה אתגר מורכב בפני חברות מוצר רבות: כיצד משמרים את הערך המוצרי מול מודלי שפה גנריים שהולכים ומשתכללים במהירות. בפרק זה, נדב לוי, Senior Product Manager בסולה סקיוריטי (Sola Security), משתף בדילמה שפגשה החברה, כאשר לקוחות תהו מדוע לא לבנות את הפתרון בעצמם באמצעות חיבור ישיר ל-API של מודל Frontier קלאסי. במקום להילחם בפידבק באופן שיווקי, הצוות הוכיח כי המעטפת המוצרית משפרת את רמת הדיוק מ-50% ל-85% ומייעלת את צריכת הטוקנים ב-300%. נדב מפרק את שלוש שכבות הקונטקסט ההכרחיות לפיצוח הבעיה, דן בטרייד-אוף המורכב שבין עודף גמישות לדטרמיניזם מוצרי, ומציג כלים מעשיים להתמודדות עם עלויות הכלכל