למה מודל ממציא תשובות — וכיצד בודקים אמת?

תשובה נכונה, תשובה סבירה ותשובה מבוססת — שלושה דברים שונים#

נניח שהמודל קיבל חשבונית עם "סכום לתשלום: 1,849 ₪" אבל אין בה תאריך פירעון. הוא מחזיר JSON תקין עם due_date="2026-10-31". הטעות אינה בהכרח שגיאת תחביר; להפך, הפלט מעוצב היטב. הטעות היא המצאת ראיה: הונח ערך מתוך דפוס או מסגרת ציפיות בלי בסיס במסמך.

להלן שלוש רמות שונות:

1. סביר בהקשר: התאריך מתאים לחשבוניות של חודש אוקטובר.
2. תואם למקור: התאריך כתוב במפורש במסמך.
3. מאומת בעולם: תאריך הפירעון אושר מול נתון מוסמך, אם המסמך לבדו אינו מספיק. מערכת יכולה להצטיין בראשון ולהיכשל בשני או בשלישי.

מהי Hallucination?#

בשיח על AI, הזיה היא שם לא מדויק במיוחד לתוצאה שהמודל הציג כאילו היא מבוססת, בעוד שהיא שגויה או חסרת עיגון. לא כל שגיאה היא הזיה: OCR עלול לקרוא "8" במקום "3"; כלי חיפוש יכול להחזיר מסמך ישן; משתמש עלול לספק נתון שגוי; מודל יכול לבצע חישוב לא נכון. רצוי לשייך את הכשל לחוליה הנכונה ולא לומר "AI הוזה" לכל תקלה.

הסברים אפשריים לשגיאות:

• מודל שפה אומן לחזות רצפים, לא לקבל תמיד ציון על אמיתות טענה בעולם.
• הידע המקודד בפרמטרים אינו ספרייה מסודרת של מסמכים עם מקור לכל עובדה.
• מידע חשוב לא נמסר בקונטקסט או לא זוהה מתוכו.
• המודל מתנהג לפי רמזים סגנוניים שמתגמלים מענה רציף גם כשאין תשובה מוסמכת.
• שרשרת של הכלים, החיפוש והנתונים הביאה טעות שהמודל הכניס לטקסט.

שני סוגי הזיה: מול העולם ומול המקור#

סקר מחקר מוכר על הזיות במודלי שפה גדולים [4] מציע חלוקה לשני סוגים (סקר מוקדם יותר [9] סוקר את התופעה ביצירת טקסט באופן כללי). החלוקה שימושית כי כל סוג מצריך בדיקה אחרת.

הזיה עובדתית (factuality): הפלט סותר עובדות ידועות בעולם או מציג עובדה שאי אפשר לאמת. הסקר מבחין בין סתירה עובדתית לבין המצאה עובדתית. למשל, שם של מאמר שלא נכתב מעולם.

הזיה של נאמנות (faithfulness): הפלט חורג ממה שהמשתמש ביקש או ממה שנמסר לו. הסקר מפרט שלוש תת־קבוצות: חריגה מהוראה, חוסר עקביות מול ההקשר שנמסר, וסתירה פנימית בתוך הפלט.

הדוגמה שפתחה את הפרק היא הזיה של נאמנות: המסמך לא כלל תאריך, והפלט הוסיף אחד. כדי לתפוס אותה מספיק להשוות פלט למסמך. כדי לתפוס הזיה עובדתית צריך מקור חיצוני.

למה זה קורה: מנגנון בשלבים#

ההסבר המקובל אינו "המודל משקר". אין לו כוונה. נסו לעקוב אחר השלבים.

1. אימון על המשך סביר. מודל שפה לומד לחזות את המשך הטקסט, כפי שמוסבר בפרקים הקודמים. המדד שמנחה אותו הוא התאמה לדפוסי הטקסט, ולא בדיקה מול מקור.
2. עובדות נדירות הן קשות ללימוד. עובדה שהופיעה פעם אחת בלבד בנתונים, כמו יום הולדתו של אדם פרטי, אינה דפוס שאפשר להכליל. מאמר תיאורטי משנת 2025 [5] טוען שאם אי אפשר להבחין בין טענה נכונה לטענה שגויה, שגיאות כאלה צפויות סטטיסטית כבר בשלב האימון הראשוני.
3. הפלט נבנה טוקן אחר טוקן. טוקן הוא יחידה שהמודל מייצר: הוא יכול להיות מילה שלמה, חלק ממילה או סימן פיסוק (ראו פרק 3, "בתוך מודל שפה"). כשחסר ידע, המשך שנשמע טוב עדיין אפשרי. שם, תאריך ומספר ייראו ספציפיים, ולכן גם משכנעים.
4. שלב ההערכה מחזק ניחוש. לפי אותו מאמר [5], רוב הבנצ'מרקים נותנים נקודה על תשובה נכונה ואפס על "אני לא יודע". במצב כזה ניחוש משתלם יותר מהימנעות.

דוגמה מחושבת: למה ניחוש מנצח במבחן#

מה הדוגמה אינה מוכיחה: היא אינה מראה כמה מהזיות המודלים בפועל נובעות מדירוג הבנצ'מרקים. היא מדגימה תמריץ בלבד.

מה ידוע ומה שנוי במחלוקת#

הסקר [4] מונה שלושה מקורות לשגיאות: נתוני האימון, תהליך האימון, ושלב הפענוח בזמן ההפעלה. קיימת הסכמה רחבה שאי אפשר לייחס הכול לגורם אחד. המחקר [5] מציע הסבר סטטיסטי ותמריצי, ובכל זאת נשאלת השאלה אם שינוי בדירוגים יספיק. זו טענה של המחברים, לא תוצאה שנבדקה בשטח. נקודה פתוחה נוספת: עד כמה מודלים "יודעים מה הם יודעים", ונחזור אליה בסעיף על כיול.

הטיה אינה רק הטיה פוליטית#

Bias בלמידת מכונה יכול להיות הטיה סטטיסטית, אי־ייצוג של אוכלוסייה מסוימת, דפוס שיטתי שמאפיין קבוצת נתונים, או העדפת ניסוחים שהתפתחה באימון ובהערכה. למשל, מודל תמלול שהצליח במעבדה על דיבור שקט באנגלית עלול להיכשל בהודעה מוקלטת בעברית רועשת. אין צורך לייחס לו "כוונה" כדי להבין שיש כשל במגוון הדוגמאות.

בבדיקות איכות כדאי להפריד בין טעויות לפי שפה, מבטא, אורך הודעה, סוג מסמך, איכות תמונה, תחום ידע ומידת זמינות המקור. ממוצע מרשים עלול להסתיר כשל שיטתי בקבוצה קטנה.

הטיות שמרחיקות מהאמת#

מעבר להטיית הנתונים, יש הטיות שמשפיעות ישירות על אמינות התשובה:

• חנפנות (sycophancy): נטייה להסכים עם המשתמש. הסקר [4] מדווח על מחקרים שלפיהם אימון עם משוב אנושי עלול לחזק נטייה כזו, בין השאר משום שגם בני אדם ומודלי העדפה נוטים להעדיף תשובה מחמיאה על פני נכונה. שאלה מנחה, כמו "נכון שהחוק הזה בוטל?", עלולה לקבל "כן".
• הטיית מיקום: מידע שנמצא באמצע מסמך ארוך נוצל גרוע יותר מאשר מידע בתחילתו או בסופו, לפי המחקר המצוטט בסוף הפרק [3]. בבדיקות שליפה כדאי לשנות את סדר המסמכים ולראות אם התשובה משתנה.
• הטיית דגימה: ממוצע דיוק גבוה על מסמכים נקיים אינו מבטיח דיוק על סריקות גרועות.

שלוש רמות אימות#

אימות פורמט: האם JSON תקין? האם קיים שדה סכום? האם התאריך מתאים לתבנית YYYY-MM-DD? זה בודק מבנה, לא אמת.

אימות לוגי: האם סכום הפריטים תואם לסכום הכולל? האם הנחה מוחלת פעם אחת? האם תאריך סיום מוקדם מתאריך התחלה? יש לבצע בדיקות אלה בקוד דטרמיניסטי ככל האפשר.

אימות ראייתי: האם הערך מופיע במקור? האם הקטע המצוטט אומר את מה שהמודל טוען? האם הגרסה עדכנית? האם יש מסמך נוגד? לעיתים נדרשת בדיקת אדם, מסמך חתום או רישום מערכת.

דוגמה: המחיר שהוצא מהקשרו#

[מחירון ינואר] חלון אלומיניום בסיסי: 7,000 ₪.
[עדכון מרץ] המחיר מתעדכן ל־7,300 ₪.
[החרגה] התקנה בגובה מחייבת ביקור שטח ותמחור נפרד.
שאלה: כמה עולה חלון עם התקנה בגובה?

תשובה "7,300 ₪" מוצאת נתון, אך מתעלמת מתנאי ההחרגה. המענה המבוסס: מחיר בסיס לפי עדכון מרץ הוא 7,300 ₪, אך אין מחיר סופי להתקנה בגובה לפני ביקור שטח. כל הנתונים בדוגמה מומצאים להוראה.

איך מונעים מהמודל להמציא כשאין לו מידע?#

דרך טובה היא להגדיר גבולות ידע ובדיקות לצד ההוראות. למשל:

חלץ רק ערכים שמופיעים במסמכים המצורפים.
לכל ערך ספק מקור: שם מסמך, עמוד וציטוט קצר.
כאשר חסר ערך, החזר null; אל תשער אותו מתוך דוגמאות.
אם יש סתירה בין גרסאות, הצג את הסתירה ואל תבחר ללא כלל הכרעה.
הפק JSON לפי הסכמה הנתונה ואסור לבצע תשלום או שליחה.

הפרומפט הזה אינו ערובה. מערכת אמינה מוסיפה אימות אוטומטי לאחר ההפקה: קיימות השדות, התאמה לסכמה, בדיקת ציטוטים מול מסמכים, בדיקת הרשאות ועצירה במקרי סתירה.

שכבות הפחתה: כל אחת מצמצמת, אף אחת אינה מבטלת#

אין פתרון יחיד. מערכות אמינות מצרפות כמה שכבות, וכל שכבה תופסת סוג שגיאה אחר.

1. Grounding: מוסרים למודל את המסמכים ומורים לו להשתמש רק בהם. עיגון במקורות מכוון לשפר נאמנות למקור, אך אינו מבטיח נכונות עובדתית, כי המקור עצמו עשוי לטעות או להיות ישן. הוא גם אינו מבטיח נאמנות: המודל עדיין עלול להתעלם מהחרגה או להוסיף ערך שאינו במקור. לכן הוא מצמצם סיכון, ואינו מבטיח אף אחד משני הדברים.
2. שליפה (Retrieval): מערכת שולפת קטעים רלוונטיים ומוסיפה אותם להנחיה [2]. הצלחת השליפה נבדקת בנפרד: אם הקטע הנכון לא נשלף, המודל ימלא את החסר מהזיכרון הכללי שלו.
3. ציטוטים: דורשים לכל טענה שם מסמך ועמוד, כמו בפרומפט שלמעלה.
4. בדיקה אוטומטית של הציטוטים: קוד בודק שהציטוט אכן מופיע במסמך שצוין.
5. בדיקת אדם: נשמרת לשדות בעלי סיכון גבוה.

המלכודת: ציטוט שנראה אמין ואינו קיים#

דרישה לציטוטים משפרת שקיפות, אך עלולה ליצור ביטחון מזויף. מודל שנדרש להביא מקור יכול להמציא מקור. במקרה Mata v. Avianca בארה"ב הגישו עורכי דין לבית משפט חוות דעת משפטיות שהכילו פסקי דין לא קיימים עם ציטוטים מומצאים, שנוצרו בעזרת ChatGPT. ב־22 ביוני 2023 הטיל השופט קנס של 5,000 דולר על עורכי הדין ועל משרדם [6]. השופט ציין שאין פסול מובנה בשימוש ב־AI, אך עורכי הדין נושאים באחריות לדיוק מה שהם מגישים [6].

מה לעשות: ציטוט נחשב מאומת רק אם פתחתם את המקור וראיתם שהקטע שם. טענה שכתובה "לפי מסמך X" אינה ראיה לכך ש־X קיים. אפשר לבקש מהמודל לאמת את עצמו, אך זו בדיקה חלשה. נדרשת גישה עצמאית למקור.

מתי חיפוש באינטרנט עוזר — ומתי לא?#

חיפוש יכול לעזור כאשר שואלים על נתון שהשתנה מאז אימון המודל; הוא אינו נחוץ לכל חישוב אריתמטי. אבל גם תוצאת חיפוש חדשה יכולה להיות פרסום מטעה, דף שכפול או מקור בלי תאריך. לפיכך "המודל מצא אתר" אינו זהה ל"המודל אימת עובדה". בבדיקת מידע משתנה השתמשו במקור ראשוני כשאפשר, שימו לב לתאריך הפרסום ולתאריך האירוע, ודרשו שהמסקנה נובעת במדויק מהמקור.

מה עושים כאשר אין דרך לדעת?#

במערכת אמינה יש לפחות ארבעה פלטים אפשריים: תשובה עם ביסוס, תשובה חלקית עם סימון מגבלות, בקשת הבהרה, וסירוב לבצע פעולה בלתי בטוחה. "אני לא יודעת" יכול להיות הפלט המדויק ביותר כאשר המידע חסר. לעיתים הערך העסקי של הימנעות מהמצאה גדול מזה של השלמת כל שדה בכוח.

תהליך אימות מעשי בשבעה שלבים#

נניח שקיבלתם מהמודל סיכום או טבלה, ואתם עומדים להסתמך עליהם. כך אפשר לבדוק:

1. סווגו את הטענות. סמנו אילו הן עובדות, מספרים, ציטוטים, המלצות או פרשנות.
2. קבעו רמת סיכון. טעות בתאריך פגישה אינה כמו טעות בחוזה.
3. הריצו אימות פורמט ולוגיקה בקוד. סכומים, תאריכים, שדות חובה.
4. בדקו את הטענות מול המקור שנמסר. האם הערך מופיע שם, בגרסה העדכנית?
5. פתחו כל ציטוט וקישור. אל תסתפקו בתיאור שלו.
6. בדקו מקור שני עצמאי לטענות בעלות סיכון גבוה, רצוי מקור ראשוני עם תאריך.
7. תעדו מה לא אומת. הפלט הסופי צריך לומר "לא נמצא מקור", ולא להשאיר שדה מלא בניחוש.

כשיש מאות טענות, אי אפשר לבדוק את כולן. נבדוק מדגם. אבל מדגם קטן נותן הערכה רחבה מאוד.

המסקנה: אל תכריזו "שיעור הטעות 15%" על סמך 20 דוגמאות. כתבו "רווח סמך Wilson 95%: כ־5% עד 36%, ויש לבדוק עוד".

כיול ואי־ודאות#

מודל מכויל הוא מודל ש"ביטחון של 80%" שלו מתממש בערך ב־80% מהמקרים. מחקר על רשתות נוירונים מ־2017 מצא שרשתות מודרניות מכוילות בצורה גרועה, ושיטות כיול פשוטות יכולות לשפר זאת [7]. מחקר על מודלי שפה [8] מצא שמודלים גדולים מכוילים היטב במשימות מסוימות, בפורמט מתאים, וכי מודלים יכולים לחזות חלקית אם הם "יודעים" את התשובה. אבל הכיול הזה אינו מובטח על משימות חדשות. המחברים עצמם מציינים קושי בכיול על משימות שלא נראו.

מה הדוגמה אינה מוכיחה: היא אינה מראה שמודלים אמיתיים מעריכים את עצמם ביתר, אלא רק איך מודדים זאת. כדי להשתמש בכיול בפועל, מודדים על מדגם משלכם ולפי סוג מסמך. שימו לב שמספר שהמודל כותב ("אני בטוח ב־90%") אינו בהכרח מדד כיול. הוא עצמו טקסט שנוצר.

תרחיש נגדי: כשהשכבות כולן "עוברות" ועדיין יש טעות#

נניח שהציטוט קיים והקטע מופיע במקור, אבל המקור עצמו ישן, ומסמך מעודכן יותר סותר אותו. אימות פורמט, בדיקת ציטוט והשוואה למקור כולם יעברו. הטעות היא בבחירת המקור. לכן יש לבדוק גם תאריך וגרסה, ולא רק התאמה לטקסט.

מה לא להסיק#

• "המודל ציטט מקור, אז זה נכון." ציטוט עלול להיות מומצא או מנותק מהקשרו.
• "עם שליפה אין הזיות." שליפה מצמצמת, אך המחקר [5] מציין שהיא אינה פותרת את הבעיה.
• "אם המודל עונה בביטחון, הוא יודע." סגנון בטוח אינו מדד לדיוק.
• "הזיה היא תמיד שקר." אין כוונה; זו תוצאה של איך המערכת נבנתה ונמדדה.
• "אי אפשר לסמוך על שום דבר." אפשר, כשמתאימים את רמת הבדיקה לרמת הסיכון.

מעבדת מקור מול מסקנה#

הציגו למודל את שלושת משפטי המחירון שלעיל, ושאלו:

1. "מה המחיר הסופי עם התקנה?" — התשובה אינה ידועה.
2. "מה המחיר הבסיסי האחרון?" — 7,300 ₪.
3. "למה 7,000 ₪ אינו העדכון האחרון?" — בגלל מסמך מרץ.
4. "מה מקור הטענה על התקנה בגובה?" — קטע ההחרגה. דרשו לכל תשובה קטע ביסוס ולא רק תשובה. לאחר מכן הסירו את ההחרגה: אם המודל עדיין מזכיר אותה, ייתכן שהוא נשען על הקשר קודם. בצעו זאת בשיחה חדשה כדי לשלוט בהבדל.

תרגיל: סווגו ובדקו#

לפניכם חמש שגיאות. לכל אחת קבעו: הזיה עובדתית, הזיה של נאמנות, או שגיאה בחוליה אחרת.

1. המודל מחזיר JSON עם vat=17% כשהחשבונית מציינת 18%.
2. המודל מציין מאמר מחקר בשם ובשנה, ואיש אינו מצליח למצוא אותו.
3. בקשתם "החזר רק מספר", והמודל החזיר שלוש פסקאות.
4. מנוע החיפוש החזיר עמוד מ־2019, והמודל הציג את המידע כעדכני.
5. סכום הפריטים בחשבונית הוא 1,200, אך המודל כתב סך הכול 1,300 ואף ציטט את הפריטים נכון.

חישוב קטן: בדקתם 50 תשובות. בביטחון גבוה היו 30 תשובות, מהן 27 נכונות. בביטחון נמוך היו 20 תשובות, מהן 8 נכונות. מה הדיוק בכל קבוצה ובסך הכול?

מקורות#

• [1] NIST AI 600-1 — Generative AI Profile (2024).
• [2] Lewis et al., Retrieval-Augmented Generation (2020).
• [3] Liu et al., Lost in the Middle (TACL 2024); גרסת arXiv: 2307.03172, יולי 2023. ביצועים יורדים כשהמידע באמצע הקשר ארוך.
• [4] Huang et al., A Survey on Hallucination in Large Language Models (arXiv 2311.05232, הוגש 2023) — סקר מחקר; טקסונומיה, גורמים והפחתה.
• [5] Kalai et al., Why Language Models Hallucinate (arXiv 2509.04664, ספטמבר 2025) — מאמר מחקר; תיאוריה סטטיסטית ותמריצי הערכה. הטענות על שינוי הבנצ'מרקים הן עמדת המחברים.
• [6] LawNext, Court imposes sanctions on lawyers who filed bogus cases after relying on ChatGPT (22 ביוני 2023) — דיווח עיתונאי משפטי על Mata v. Avianca.
• [7] Guo et al., On Calibration of Modern Neural Networks (arXiv 1706.04599, 2017) — מאמר מחקר; כיול ברשתות סיווג.
• [8] Kadavath et al., Language Models (Mostly) Know What They Know (arXiv 2207.05221, 2022) — מאמר מחקר; כיול ו"ידיעה עצמית" במודלי שפה.
• [9] Ji et al., Survey of Hallucination in Natural Language Generation (arXiv 2202.03629, 2022) — סקר מחקר.