הAI לא טועה אתם פשוט משתמשים בו לא נכון [עושים תוכנה]

כדי להוביל את מהפכת ה-AI בארגון מתחילים לא מבניית אייג'נטים אלא מהבנה תיאורטית של מודלי שפה ומ-education לעובדים.

עמית בן דור מארח את שר כרמל, דיירקטור של AI Enablement במיקסטיילס ומייסד קהילת סקוויד קלאב, לשיחה על איך מטמיעים AI ואייג'נטים בארגונים ומביאים אותם לפרודקשן. שר מסביר שהצעד הראשון אינו בניית אייג'נטים או פלטפורמות אלא education — סדנאות קצרות שמלמדות עובדים, כולל לא-טכניים, לעבוד עם הכלים, וכי האימפקט הגדול ביותר שהיה לו בחברות קודמות כמו פלר נבע דווקא מהדרכת המהנדסים. בלב השיחה עומדת הטענה שכדי להיות טוב באמת חייבים ידע תיאורטי על LLM-ים: context window, knowledge cut-off ונתוני האימון, כי כל בעיות האייג'נטים מתנקזות בסוף לשאלה מה נכנס לחלון הקונטקסט. הפרק מתאים למהנדסים, מובילי AI בארגונים ומי שרוצה להבין כיצד להעריך פיצ'רים חדשים של כלים כמו קלוד קוד וקודקס. שר גם מביע אופטימיות שישראל, כ'עם של נינג'ות', יכולה להוביל את מהפכת האייג'נטים וההארנס מעל ה-LLM.

תובנות מרכזיות

• אל תתחילו מבניית אייג'נטים או פלטפורמות — מתחילים מ-education וסדנאות, שהן הקטליזטור לכל התהליכים שאחריהם.
• ידע תיאורטי על LLM-ים הוא בסיס הכרחי: מי שמבין context window, knowledge cut-off והרכב נתוני האימון יודע לאבחן למה משימה נכשלת במקום סתם לטעון ש'המודל לא עובד'.
• כל בעיות האייג'נטים מתנקזות לשאלה אחת — מה נכנס לחלון הקונטקסט; הדגמה: ב-30-40 אלף הטוקנים הראשונים המודל חד כנינג'ה, וככל שמתקרבים למיליון איכות הביצוע יורדת.
• חלון קונטקסט גדול יותר לא 'יפתור' את הבעיה — כמו CPU, RAM ודיסק, הריסורסים תמיד מוגבלים, ולכן צריך קומפקטיזציה ושמירת ארטיפקטים בדרך.
• מבחן לקמוס לרמת הידע שלכם: כשיוצא פיצ'ר חדש (למשל plan mode בקלוד קוד) אתם אמורים להרגיש 'בניתי את זה כבר' או 'חיכיתי לזה' — אם לא הבנתם מה הוא פותר, סימן שצריך להעמיק.
• ממורי הוא עדיין בעיה לא פתורה ו'חצי אינג'ינירית'; הצהרות מסוג 'פטרתי את בעיית הממורי' לרוב מבלבלות את המוח ואין להתרגש מהן.