Context Window

הסבר פורמלי#

חלון ההקשר הוא כל הטקסט שמודל שפה יכול להתייחס אליו בעת יצירת תשובה, כולל התשובה עצמה. לפי התיעוד של Anthropic, הוא שונה ממאגר הנתונים שעליו אומן המודל ומהווה "זיכרון עבודה". מילון Google ל־ML מגדיר אותו כמספר ה־טוקנים שמודל יכול לעבד בפרומפט נתון. מודלים שונים מגבילים אותו בגדלים שונים, וגדלים אלה משתנים עם הזמן.

הסבר בגובה העיניים#

זה השולחן שעליו המודל עובד. כל מה שמונח עליו, ההוראות, השיחה עד כה, מסמכים שצירפתם, נמצא בהישג יד. מה שלא על השולחן, המודל לא רואה. כשהשולחן מתמלא, דברים נחתכים או מסוכמים. גם כשהכול נכנס, שולחן עמוס מדי מקשה למצוא את מה שחשוב.

למה זה חשוב בפועל#

יותר הקשר אינו תמיד טוב יותר: התיעוד של Anthropic מציין שככל שמספר הטוקנים גדל, הדיוק והזכירה יכולים לרדת (תופעה שנקראת context rot). לכן כדאי לצרף רק את החומר הרלוונטי. לניהול התקציב ראו תקציב טוקנים ואת המושג הרחב הקשר. לחיבור למידע חיצוני, ראו Retrieval ו־RAG.

תגיות#

• context window
• tokens
• long context
• context rot

מקורות#

• Context windows (Anthropic docs) — הגדרה, אנלוגיית זיכרון עבודה, context rot
• Machine Learning Glossary (Google for Developers) — ערך Context window