מוצר
מה מיוחד במוצר AI
מה אי אפשר לפתור בפרומפט: החלטות קשיחות, הזיות, הקשר ו־RAG, סוכנים, הזרקת הוראות וניהול אי־ודאות.
תוכן העניינים
מה מיוחד במוצר AI — ומה לא פותרים בעזרת פרומפט טוב יותר#
במערכת רגילה, קוד נתון אמור לבצע פעולות מוגדרות בהינתן מצב וקלט נתונים. במערכת המשתמשת במודל גנרטיבי, חלק מהפלט יכול להשתנות או להיות שגוי גם כאשר התוכנה סביבו פועלת כמתוכנן. צריך לכן לבדוק שתי שכבות בנפרד: תקינות התוכנה ו-איכות ההתנהגות של המודל. בדיקה של אחת לא מחליפה את האחרת.
להוציא החלטות קשיחות מהמודל#
מודל יכול לחלץ כוונה, להציע סיווג או לנסח טיוטה. אבל סכומי כסף מחייבים, הרשאות, מעבר מצב, הגדרת תוקף והחלטות עם השלכות בלתי הפיכות צריכים להישען על מקור נתונים מוסמך ועל חוקים הניתנים לאכיפה. גם אם המודל מחזיר פלט מובנה (למשל JSON בהתאם לסכמה), הסכמה מגבילה צורה, לא מוכיחה נכונות עובדתית או הרשאה. נדרשים אימות צד שרת, אילוצים עסקיים ומדיניות אישור.
מהי "הזיה" ומה אינה הזיה#
הזיה היא פלט שנראה מבוסס אך אינו תואם לעובדות, לקלט או למקורות הרלוונטיים. היא לא מסבירה כל תקלה. תשובה לא נכונה יכולה לנבוע גם מנתון מיושן, שליפה שגויה, פרומפט עמום, הקשר חסר, חוסר הרשאה שנעקף, לוגיקה פגומה או החלטת UX שיוצרת ביטחון יתר. אם מטפלים בכולם באמצעות "שפר את הפרומפט", אי אפשר לדעת מה תוקן.
שאלת האבחון: באיזו נקודה התוצאה חדלה להתאים למציאות? אם מקור האמת שגוי, החלפת מודל אינה מתקנת אותו. אם השליפה מחזירה מסמך לא רלוונטי, נדרש לתקן retrieval. אם הנתונים תקינים והמודל הסיק מסקנה לא מבוססת — זו בעיית איכות הסקה או ניסוח שיש למדוד. אם פלט תקין גרם לפעולה אסורה — זו בעיית מערכת והרשאות.
הקשר, RAG וידע עדכני#
חלון הקשר גדול אינו זיכרון ארגוני אמין, ו-RAG — שליפה של מידע רלוונטי והכנסתו לקונטקסט — אינו מבטיח תשובה נכונה. יש לפחות ארבע חוליות: איכות המקורות, עדכניותם והרשאת הגישה אליהם; התאמת השליפה לשאלה; יכולת המודל להשתמש במה שנשלף; ובדיקת התשובה מול המקור. אם אחת מהן נכשלת, ציטוט יפה לא מציל את המוצר. גם מקורות שנשלפים צריכים לעבור אכיפת הרשאה לפני שהם מגיעים למודל.
סוכן איננו עובד אנושי עם אחריות משפטית#
כאשר סוכן AI או מודל מפעיל כלים (tools), מבצע שרשרת פעולות או מחליט על הצעד הבא, נוספת שכבת סיכון: לא רק מה הוא אומר אלא מה הוא עושה. הגדירו רשימת פעולות מותרות, הגבלות לכל פעולה, אישור אנושי לנקודות בלתי הפיכות, תקציב וזמן ריצה, רישום פעולות ודרך עצירה. סמכות לבקש פעולה אינה סמכות אוטומטית לבצע אותה. האורקסטרטור והשרת נושאים באכיפה.
Prompt injection: הוראות אינן אמורות לצאת ממסמך שנקרא#
קובץ מצורף, עמוד אינטרנט, מייל או תוצאת חיפוש יכולים להכיל משפטים שמנסים לשכנע את המודל להתעלם מהוראותיו ולהעביר נתונים או להפעיל כלי. זהו Prompt Injection. הוא שונה מבקשה ישירה של משתמש מורשה. ההגנה אינה רק עוד משפט בפרומפט המערכת; היא כוללת הפרדת מקורות לא מהימנים מהוראות סמכות, בקרות הרשאה בצד המערכת, צמצום הרשאות הכלים, אימות פרמטרים ודרישת אישור בפעולות רגישות. מומלץ לבחון סיכונים לפי OWASP Top 10 for LLM Applications 2025 ו-OWASP Top 10 for Agentic Applications 2026.
כשלא יודעים — זה מצב מוצר שצריך לעצב#
התנהגות טובה אינה תמיד תשובה. לפעמים היא "אין מספיק מידע", הפניה לבירור, בקשה להשלמת פרטים או עצירה לפני פעולה. הגדירו מראש מתי המודל חייב להתנזר מקביעה או להעביר להחלטת אדם. זהו חלק מאיכות המוצר, ולא מצב חריג שיש להסתיר.