{פ121} צ'ט מוזרק
עודכן: מאת צוות פודקאסט·ישראל
/ הפרק במספרים
| פורסם | 9 בספטמבר 2025 |
|---|---|
| אורך | 47 דק׳ |
| הנושא המרכזי | אבטחת מודלי שפה והזרקות פרומפטים |
| אורחים | נועם רייש, אידוק, רן ברזיק, שי דבש |
| קטגוריה | הייטק וסטארטאפים |
על מה הפרק עם נועם רייש?
הפרק עוסק בהזרקות פרומפטים למודלי שפה, מציג את הסכנות שבשימוש לא מבוקר בבינה מלאכותית וכיצד ניתן לעקוף את מגבלות הבטיחות שלהם.
הפרק מנתח את עולם הזרקות הפרומפטים (Prompt Injection), המהוות את הגרסה המודרנית להתקפות על יישומים. המנחים מארחים את שי דבש ממעבדות סייברארק, שמשתף דוגמאות למניפולציות על פרומפטים המאפשרות לחשוף מידע רגיש או לעקוף מגבלות בטיחות. התוכן מיועד למפתחים, אנשי אבטחה ולכל מי שרוצה להבין את הסיכונים הטמונים בשימוש בבינה מלאכותית יוצרת. האזנה לפרק חיונית להבנת הפער בין מנגנוני הבטיחות התיאורטיים לבין המציאות בפועל.
/ תובנות מרכזיות
- מודלי שפה מסוגלים לקרוא טקסט מוסתר בקבצי PDF, מה שמאפשר הזרקת פקודות זדוניות למשתמשים ללא ידיעתם.
- טכניקות הנדסה חברתית כמו שיטת הסבתא מאפשרות לעקוף את מעקות הבטיחות של מודלים.
- ארגונים המטמיעים צ'טבוטים מבוססי AI ללא הגדרות אבטחה קשיחות עלולים לחשוף נתונים רגישים מתוך מסדי נתונים פנימיים.
- הבעיה המרכזית אינה רק בהתקפות זדוניות, אלא גם בשימוש לא אחראי של משתמשים ששובר את התנהגות המודל.
אז תספר לנו בעצם מה עשית, איך עבדת על שט ג'י פי טי שילמד אותך להכין פצצות
ניתוח מאת מערכת פודקאסט·ישראל, מבוסס תמלול אוטומטי של הפרק. על המתודולוגיה והמגבלות
/ שאלות נפוצות על הפרק
- על מה הפרק הזה?
- הפרק מנתח את עולם הזרקות הפרומפטים (Prompt Injection), המהוות את הגרסה המודרנית להתקפות על יישומים. המנחים מארחים את שי דבש ממעבדות סייברארק, שמשתף דוגמאות למניפולציות על פרומפטים המאפשרות לחשוף מידע רגיש או לעקוף מגבלות בטיחות. התוכן מיועד למפתחים, אנשי אבטחה ולכל מי שרוצה להבין את הסיכונים הטמונים בשימוש בבינה מלאכותית יוצרת. האזנה לפרק חיונית להבנת הפער בין מנגנוני הבטיחות התיאורטיים לבין המציאות בפועל.
- מהן התובנות המרכזיות מהפרק?
- מודלי שפה מסוגלים לקרוא טקסט מוסתר בקבצי PDF, מה שמאפשר הזרקת פקודות זדוניות למשתמשים ללא ידיעתם. · טכניקות הנדסה חברתית כמו שיטת הסבתא מאפשרות לעקוף את מעקות הבטיחות של מודלים. · ארגונים המטמיעים צ'טבוטים מבוססי AI ללא הגדרות אבטחה קשיחות עלולים לחשוף נתונים רגישים מתוך מסדי נתונים פנימיים. · הבעיה המרכזית אינה רק בהתקפות זדוניות, אלא גם בשימוש לא אחראי של משתמשים ששובר את התנהגות המודל.
מתיאור הפרק
בינמי גנרטיבית בנויה לסרב להגיד לנו איך להוריד סרט מנטפליקס, לייצר פצצה או לגרוד מידע מאתרי הכרויות. אפשר לעקוף את המגבלות הללו באמצעות מתקפות הזרקת פרומפטים. שי דבש ורן בר-זיק מספרים לנו איך, ומה מפתחים יכולים לעשות נגד זה 📜 בלוגפוסט, הערות התוכנית וקרדיטים: cybercyber.co.il/?p=3248 🖼️ תמונה: דאטה מוזרק. עיבוד לתמונה מפרנצ'ייז סטאר טרק: עידוק
/ עוד פרקים על בינה מלאכותית
- שש אחרי המלחמהשש אחרי המלחמהפרק המנתח את חוסנם של יזמי ההייטק הישראלים אל מול רצף משברים, תוך התמקדות בתפקיד הקהילתיות וההון הפסיכולוגי כגורמי מפתח להמשכיות.
- תכלס קריירהתכלס קריירהטלי סלונים משוחחת על ניהול קריירה בעולם העבודה החדש, חשיבות הגיוון התעסוקתי, השפעת הבינה המלאכותית, ויישום מודל אזור הגאונות להגשמה מקצועית.
- תל-אביב-360-ערוץ-הפודקסטים-של-אוניברסיטת-תל-אביבמודלים מודפסים בתלת־ממד, חתימות מולקולריות ותרופות מודולריות: השפה החדשה של הטיפול בסרטןהרצאת חוקרת סרטן על מודלים בתלת-ממד, חתימות מולקולריות ואתגרי פיתוח תרופות בעידן הבינה המלאכותית.
- פרה-חולבת-פודקאסט-על-השקעות-ומסחר-אופציותמלחמה ותנודתיות בשוק? כך תהפכו את הפחד לרווח בטוח סרטון חובה לסוחרים!מדריך למכירת אופציית פוט (מכר) כאסטרטגיה לניצול תנודתיות גבוהה בשוק כדי לקבל פרמיה ולקנות מניה איכותית במחיר שנקבע מראש.