348: דמוקרטיזציה של דאטה - איך בנינו אייג׳נט שמנגיש מידע לכל עובד בחברה

מנהלי הדאטה במאנדי מספרים איך בנו את 'קרמר', אייג'נט דאטה שמאפשר לכל עובד לשאול שאלות עסקיות ולקבל תובנות בלי תלות באנליסט.

בפרק מארחים את מיקי רוזן, דאטה דיירקטור במאנדי, ואת בן חבבו, דאטה אינג'ינר, שמספרים על בניית 'קרמר' — אייג'נט דאטה אישי לכל עובד בחברה. הם מתארים את הצורך בהנגשת דאטה לכולם (Data Democratization), ואת המסע בן השנה-שנה וחצי שכלל ניסיון נאיבי של הזרקת מבנה הטבלאות ל-AI, מעבר לשכבה סמנטית ידנית שלא הצליחה להחזיק בסקייל, ולבסוף קפיצת מדרגה עם השתפרות המודלים. המסר המרכזי הוא שהאתגר הגדול ביותר הוא איסוף קונטקסט ארגוני מסודר, ושבלעדיו שום כלי לא יצליח לענות על שאלות עסקיות.

תובנות מרכזיות

• האתגר הקריטי באייג'נט דאטה הוא קונטקסט מסודר, לא חוכמת המודל — בלי קונטקסט ארגוני אפילו הכלי הטוב ביותר ייכשל.
• הזרקת מבנה הטבלאות (metadata) בלבד אינה מספיקה: המודל לא יודע איך טבלאות מתחברות ואיך מחושבות מטריקות, ולכן החזיר תשובות שגויות כמו 'אפס' למוצר שלא זיהה בשמו המלא.
• מטריקה אחת יכולה להיות מחושבת אחרת אצל מחלקות שונות (מרקטינג מול פיננסים), ושני הצדדים צודקים — הפרשנות הזו היא בדיוק מה שדורש שכבת קונטקסט.
• הטעות הנפוצה בעבודה עם AI היא לוותר אחרי ניסיון ראשון כושל; צריך להבין שזו רק ההתחלה ומכאן מתחילים לאמן וללמד את המודל.
• בניית שכבה סמנטית ידנית בה אנליסטים מסבירים כל דומיין אינה ניתנת לסקייל — חצי שנה של עבודה הוכיחה שזה לא מחזיק את עצמו, בטח לא בארגון בגודל מאנדי.
• הקמת כלי כזה מחייבת שיתוף פעולה של BI, דאטה אינג'ינרים ואנליסטים יחד — אי אפשר לבנות אותו לבד.
• תפקיד האנליסט אינו נעלם אלא מתרחב; אנליסט עם יכולות אנליטיות בלבד לא יישאר לאורך זמן.