האם בינה מלאכותית באמת מבינה ולומדת בשיחה?

"היא הבינה אותי" — באיזה מובן?#

נניח ששלחתם למודל הודעה: "אין לי זמן למדריך כללי. יש לי 20 דקות להכשיר עובדת חדשה להפיק הצעת מחיר". המודל מפיק תוכנית מדויקת של 20 דקות: שלב אחד להכיר את מחירון המוצרים, שלב שני לתרגל מקרה, שלב שלישי לאישור ההצעה. המשתמשים אומרים "היא הבינה בדיוק למה התכוונתי". זהו תיאור שימושי של התוצאה, אך אינו מסביר את המנגנון.

המילה הבנה משמשת בשני מובנים שונים לפחות:

1. מבחן תפקודי: האם המערכת מסוגלת לפרש בקשה, להסיק ממנה אילוצים ולפעול באופן שמתאים למטרה גם במקרים חדשים?
2. מובן חווייתי או פילוסופי: האם יש למערכת מודעות, כוונה סובייקטיבית או חוויה של משמעות, כפי שאנחנו מכירים אצל בני אדם?

אפשר לגלות עדויות ליכולת תפקודית בלי להוכיח את הטענה השנייה. והיפוכו גם נכון: אי אפשר לפסול יכולת של פתרון בעיה רק על סמך העובדה שהמודל אומן לחזות טוקנים. כדי לדון באופן רציני צריך להגדיר מראש איזה סוג הבנה מודדים.

שתי עמדות מתחרות, בלי הכרעה#

הדיון אינו רק עניין של טעם. חוקרים מציגים טיעונים שונים, וכדאי להכיר את שניהם.

עמדה אחת: מערכת שאומנה רק על צורה לשונית, כלומר על רצפי סימנים, אינה יכולה ללמוד משמעות. כך טענו Bender ו־Koller במאמר עמדה משנת 2020 [3]. הטיעון הוא עקרוני, ואינו תלוי בגודל המודל. גם הטיעון הקלאסי של Searle, "החדר הסיני" משנת 1980, יוצא מהנחה דומה: ביצוע כללים על סמלים אינו מספיק כשלעצמו כדי להפיק הבנה [4].

עמדה שנייה: אם מערכת מפגינה יכולות הסקה והכללה במגוון תנאים, יש טעם לראות בכך הבנה במובן מסוים, ואולי מבנים פנימיים של ייצוג מסבירים אותה. התגובות לטיעון החדר הסיני כוללות, למשל, את "תגובת המערכת": ההבנה, אם יש כזו, שייכת למערכת כולה ולא לרכיב בודד [4].

סקירה של Mitchell ו־Krakauer משנת 2023 מתארת את הדיון כפתוח, ומציעה שמדע חדש של אינטליגנציה יוכל להבחין בין סוגים שונים של הבנה [5]. בפרק הזה לא נכריע. נשאל רק מה אפשר למדוד: האם המערכת עומדת במבחן תפקודי מוגדר, ומה אינו נובע מכך.

הצלחה אינה ראיה יחידה להבנה יציבה#

מודל עשוי לפתור בעיית היגיון בניסוח אחד ולהיכשל באותה בעיה כאשר מחליפים שמות. הוא יכול להסביר מושג מתמטי ולהיכשל בתרגיל חשבוני פשוט. במקרים מסוימים הוא מזהה דפוס מתוך נתוני אימון, ובאחרים מכליל עקרונות חדשים. מבחן טוב מנסה להבדיל ביניהם:

• שינוי פרטים שטחיים ללא שינוי המבנה הלוגי.
• הוספת מידע מטעה אך לא רלוונטי.
• הצגת נתון חסר ובחינה האם המודל אומר "אין לי מספיק מידע".
• בקשת נימוק ויכולת לבדוק אותו באופן עצמאי — נימוק שנשמע משכנע אינו הוכחה שמסלול ההסקה הפנימי זהה לנימוק שהוצג.

המחקר עדיין חלוק בשאלות מדויקות של הבנה, יכולת הכללה ואופי ייצוגי המשמעות. לכן "המודל רק מחשב הסתברויות ולכן לא מבין כלום" היא מסקנה נחרצת מדי, וכך גם "המודל דיבר איתי יפה ולכן יש לו מודעות".

כשהיא משפרת תשובה אחרי הערה, האם היא למדה?#

נעקוב אחרי מקרה אחד:

• הודעה ראשונה: "כתוב לי סיכום פגישה". המודל כותב סיכום ארוך.
• המשתמשת: "לעולם אל תוסיף פתיח חנפני, תתחיל בהחלטות ותסמן בעלים ותאריך".
• התשובה הבאה נפתחת ברשימת החלטות.

שלוש דרכים שונות יכולות להסביר את השינוי.

א. In-context learning — למידה מתוך ההקשר#

ההערה נמצאת ברצף ההודעות או בהקשר שנשלח למודל. הוא מפיק פלט שמותאם לדוגמאות ולהוראות החדשות. במסלול זה אין צורך לשנות את משקלי המודל. הביטוי "learning" כאן מדבר על התאמה התנהגותית בזמן ההפעלה, ולא על אימון פרמטרים.

ב. Persistent memory — זיכרון של היישום#

מוצר יכול לאחסן את ההעדפה בנפרד, למשל "המשתמשת מעדיפה סיכומי פגישה עם החלטות ובעלי אחריות". בשיחה הבאה המערכת עשויה לשלוף את הזיכרון ולהוסיף אותו לקונטקסט. המודל מגיב למידע שנשלח אליו; הוא לא חייב "לזכור" את השיחה הישנה בתוך המשקלים שלו.

ג. Fine-tuning / continued training — עדכון מודל#

במקרים מסוימים ניתן לבצע אימון נוסף שמעדכן פרמטרים על בסיס דוגמאות ומשוב. תהליך כזה תלוי בהגדרות מוצר, בהרשאות, בנתוני אימון ובתשתיות. העובדה שמשתמש נתן משוב אינה הוכחה שהמשוב שימש מיד לאימון המודל, וגם לא הוכחה שיש מודל אישי נפרד עבור המשתמש.

In-context learning מקרוב: מה קורה בהודעה השנייה#

המונח הופיע בהקשר הזה במאמר של Brown ואחרים על GPT‑3 [1]. הם קראו לו "הלולאה הפנימית" של תהליך שבו המודל מתאמן מראש על טקסט רב, ובזמן ההפעלה מסתגל למשימה שמוצגת לו. במאמר המודל הופעל "בלי עדכוני גרדיאנט ובלי fine-tuning" [1]. ההסתגלות נעשית במעבר החישוב עצמו, כשהטקסט נמצא בקלט.

הגדרות המאמר, בקיצור [1]:

• Zero-shot: הוראה בשפה טבעית, בלי דוגמאות.
• One-shot: הוראה ודוגמה אחת.
• Few-shot: כמה דוגמאות של קלט ופלט, ואחריהן קלט אחד שהמודל צריך להשלים. במאמר K היה בדרך כלל בין 10 ל־100, כי זה מה שנכנס לחלון ההקשר של אותו מודל (2,048 טוקנים).

המנגנון, בשלבים:

1. המערכת בונה רצף אחד: הוראה, דוגמאות, והבקשה החדשה.
2. הרצף כולו מומר לטוקנים ונשלח למודל.
3. המודל מחשב את ההמשך הסביר ביותר בהינתן כל הרצף, כולל הדוגמאות.
4. הפלט מושפע מהדפוס שבדוגמאות: פורמט, אורך, סגנון.
5. אחרי התשובה המשקלים נשארים כמו שהיו. אם הדוגמאות לא נשלחות שוב ואינן נשמרות במקום אחר, ההשפעה נעלמת.

ניסוי few-shot לדוגמה#

אפשר לבדוק זאת בלי תכנות. הדביקו בשיחה חדשה, בלי מידע אישי:

סכם פגישה בפורמט הבא.

פגישה: הצוות דן במועד ההשקה. דנה תבדוק מול הספק עד יום ג'.
סיכום: החלטה: לבדוק מועד השקה. בעלת משימה: דנה. תאריך: יום ג'.

פגישה: נקבע שיועד תקציב נוסף לבדיקות. רון יעדכן את הנהלה עד סוף החודש.
סיכום: החלטה: תקציב נוסף לבדיקות. בעל משימה: רון. תאריך: סוף החודש.

פגישה: הוחלט להקדים את הדמו ללקוח. מיכל תתאם יומן עד מחר.
סיכום:

מה לבדוק: האם התשובה עוקבת אחרי הפורמט, אף שלא הוסברו כללים? ואז שנו דוגמה אחת (למשל הפכו את סדר השדות) והריצו שוב. אם הפורמט זז, הדוגמאות השפיעו. זו תצפית אחת ולא מדגם, וכדאי לחזור עליה כמה פעמים.

דוגמה מחושבת: כמה מקום תופסות הדוגמאות?#

התחשיב מראה דבר אחד: ההסתגלות בקונטקסט אינה חינמית. הדוגמאות צריכות להישלח שוב בכל קריאה, ותופסות מקום שאפשר היה לייעד למסמך או לשיחה.

תרחיש נגדי ומה הדוגמה אינה מוכיחה#

הניסוי לא מוכיח שהמודל "למד כלל חדש" מאפס. Brown ואחרים עצמם כתבו שיש אי־ודאות אם few-shot לומד משימות חדשות מאפס בזמן ההפעלה, או רק מזהה משימות שכבר נלמדו באימון. לדבריהם האפשרויות נמצאות על רצף, וייתכן שהמיקום משתנה בין משימות [1]. פורמט של סיכום פגישה הוא מקרה שבו סביר שהמודל כבר ראה דפוסים דומים.

הדוגמה גם אינה מראה שההשפעה יציבה. דוגמאות חריגות, סדר שונה או טקסט מבלבל יכולים לשנות את הפלט. אין כאן מדידה, ולכן אין להסיק מהתוצאה על איכות כללית.

ארבע דרכים לשנות התנהגות, והשוואה ביניהן#

הפרק עסק בשלוש. נוסיף את הרביעית, RAG, Retrieval-Augmented Generation: המערכת שולפת מידע ממקור חיצוני ומוסיפה אותו להקשר. המאמר שהציג את השם משלב מודל מאומן עם אינדקס חיצוני של ויקיפדיה [6]. בשימוש מוצרי, המקור הוא בדרך כלל מסמכי הארגון.

בעבר נהוג היה לאמן על "אלפים עד מאות אלפי" דוגמאות מתויגות, כך בתיאור של המאמר משנת 2020 [1]. היום זה תלוי בשיטה ובמוצר, ואין כאן מספר מחייב.

שימו לב: בעיית ידע ובעיית התנהגות נראות דומות, אבל פתרונן שונה. מודל שאינו מכיר מסמך פנימי זקוק קודם כול לגישה אליו, ולא לאימון. מודל שכותב בטון לא מתאים עשוי להרוויח מהוראה ברורה לפני שבונים אימון.

האם אפשר להבחין בין המנגנונים בניסוי?#

ניסוי מדורג:

1. פתחו שיחה חדשה, בקשו ניסוח מייל ובדקו סגנון.
2. בקשו התאמה חריגה ומדויקת ("כל סעיף מתחיל בזמן עבר ומסתיים בפועל").
3. בדקו באותה שיחה אם ההעדפה מיושמת גם בנושא אחר.
4. בשיחה חדשה, בדקו אם ההעדפה נשמרה.
5. עיינו ביכולות הזיכרון וההתאמה האישית של המוצר, ואם אפשר — חזרו על הבדיקה כאשר הן אינן פעילות.

אם ההעדפה נשמרה בשיחה חדשה, אין פירוש הדבר בהכרח שהמודל אומן: ייתכן שהמוצר מזריק הוראות או זיכרון קבוע. אם אינה נשמרה, אין זה מוכיח שהמערכת אינה יכולה לשמר זיכרון בתנאים אחרים.

למה אסור להאניש יותר מדי?#

אנשים מייחסים לממשק מדבר יכולות כגון רצון, נאמנות, שיקול דעת מוסרי וזיכרון אישי רציף. ברמת מוצר חלק מהתכונות ניתנות למימוש, אך האופן שבו הן נוצרות שונה מהאופן שבו הן נוצרות אצל בני אדם. כאשר יש חשש ממשי — ייעוץ רפואי, כספי, משפטי או יחסים רגשיים — חשוב להפריד בין תחושת האמון בתשובה לבין בסיס הראיות התומך בה. קול אנושי, ניסוח אמפתי וזכירת פרט עשויים לחזק תחושת קשר בלי לספק ראיה לאמינות בתחום.

האנשה כסיכון מעשי#

האנשה אינה רק שאלה פילוסופית. היא משפיעה על החלטות. נניח שעובדת מקבלת תשובה חמה: "אני מבינה כמה זה מלחיץ". היא עלולה להניח שהמערכת תזכור את הנושא בשבוע הבא, תשמור על סודיות או תדע מתי לעצור. אף אחד מאלה אינו נובע מהמשפט.

שלוש סכנות מעשיות:

1. אמון יתר: ניסוח בטוח מתפרש כמומחיות. כשהמערכת טועה, קשה יותר לחשוד בה.
2. חשיפת מידע: מי שחושב שמדובר ב"חבר" משתף יותר. צריך לבדוק מה היישום שומר, ולמי הוא נגיש.
3. הסבר שגוי של כשל: "היא התעלמה ממני" מניח כוונה. לעיתים הסיבה פשוטה יותר: ההנחיה יצאה מחלון ההקשר, או שהזיכרון לא נשלף.

גם הנימוק שהמודל מציג אינו חלון שקוף. Anthropic כתבה על מצב החשיבה המורחבת שהיא אינה יודעת בוודאות אם מה שמוצג בתהליך החשיבה משקף את מה שקורה במודל, ושהמודלים לעיתים נשענים על גורמים שאינם מוזכרים בנימוק [2]. לכן נימוק מנומס הוא טקסט שיש לבדוק, ולא עדות על הכוונה.

תרגיל מחשבתי: טענות שנשמעות דומות#

• "המודל משתמש בהערה שלי כדי לענות אחרת": אפשר להסביר דרך הקשר.
• "המערכת שומרת העדפה בין שיחות": ייתכן זיכרון מוצר.
• "המודל עדכן את הפרמטרים עבורי אחרי ששוחחנו": טענה שדורשת ראיית אימון.
• "המערכת יודעת שאני כועסת": לכל היותר הסיקה מתוך רמזים; אין לה גישה ישירה לחוויה של המשתמשת.

מה לא להסיק#

• "המודל זכר, אז הוא למד": זכירה בשיחה היא קלט שנמצא בהקשר. אין בכך ראיה לשינוי משקלים.
• "בשיחה חדשה הוא עדיין יודע, ולכן אומן עליי": ייתכן זיכרון יישום או הוראות קבועות. צריך לבדוק את הגדרות המוצר.
• "few-shot הוכיח שהמודל לומד כמו אדם": המאמר עצמו משאיר פתוח אם מדובר בלמידה מאפס או בזיהוי משימה מוכרת [1].
• "המודל מבין, כי הוא עבר מבחן": מבחן תפקודי אחד אינו מוכיח הבנה יציבה, וכמובן לא חוויה.
• "המודל לא מבין, כי הוא חוזה טוקנים": גם זו מסקנה חזקה מדי. מחלוקת קיימת, ואפשר להציג את שתי העמדות [3][5].
• "RAG הוא זיכרון של המודל": RAG מצרף מידע לקלט. המודל עצמו אינו משתנה.

תרגיל ובדיקה עצמית#

משימה. בחרו משתמש, תרחיש ומערכת. לכל אחת מארבע התצפיות הבאות כתבו שני הסברים אפשריים ואת הניסוי שיבדיל ביניהם.

1. בשיחה חדשה המערכת פונה אליכם בשמכם.
2. אחרי שבועיים היא כבר לא נוהגת לפי הנחיה שנתתם בשיחה הראשונה.
3. היא עונה נכון על שאלה על מסמך פנימי שמעולם לא הוצג לכם.
4. התשובה לשאלה זהה השתנתה בין יום שני ליום חמישי.

תשובות בדיקה (אחת מכמה אפשרויות):

1. הסבר אחד: זיכרון יישום או הוראות מערכת. הסבר שני: השם כבר מופיע בחשבון. ניסוי: חשבון נקי, או כיבוי יכולות הזיכרון, והשוואה.
2. הסבר אחד: ההנחיה לא נשלחת עוד. הסבר שני: ההנחיה יצאה מחלון ההקשר בשיחה ארוכה. ניסוי: חזרה על ההנחיה בתחילת הבקשה.
3. הסבר אחד: RAG או חיבור למסמכים. הסבר שני: המסמך דומה לדפוס מוכר, והתשובה ניחוש סביר. ניסוי: בדיקה מול המקור, ושאלה שתשובתה אינה כתובה בו.
4. הסבר אחד: עדכון גרסה או הוראות מוצר. הסבר שני: שונות בין הרצות. ניסוי: הרצה חוזרת כמה פעמים באותם תנאים.

אם הצלחתם לנסח לכל תצפית ניסוי שמבדיל בין ההסברים, הבנתם את הפרק.

מקורות והמשך קריאה#

מקורות שהיו בפרק:

• [1] Brown et al. (2020), Language Models are Few-Shot Learners — מחקר יסוד על הסתגלות לדוגמאות בקלט בלי עדכון פרמטרים באותו תהליך. סוג: מאמר מחקר, הוגש ב־28.5.2020.
• [2] Anthropic, Extended Thinking (2025) — דוגמה של שינוי התקציב החישובי בזמן ההפעלה; לא ראיה לתודעה. סוג: הודעת יצרן, פורסם ב־24.2.2025.

מקורות שנוספו:

• [3] Bender & Koller (2020), Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data. סוג: מאמר עמדה, ACL 2020.
• [4] Stanford Encyclopedia of Philosophy, The Chinese Room Argument. סוג: חינוכי/אקדמי; מתאר את טיעונו של Searle מ־1980 ואת התגובות.
• [5] Mitchell & Krakauer (2023), The Debate Over Understanding in AI's Large Language Models. סוג: מאמר סקירה, PNAS כרך 120 גיליון 13.
• [6] Lewis et al. (2020), Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. סוג: מאמר מחקר, NeurIPS 2020; הוגש ב־22.5.2020.