מילון מושגים
In-context Learning
נקרא גם: למידה בהקשר · למידה מתוך הקשר · Few-shot · Few-shot Prompting · Zero-shot · One-shot · דוגמאות בפרומפט · ללמד את ה-AI בעזרת דוגמאות · In Context Learning · ICL
הסבר פורמלי#
In-context learning הוא ביצוע משימה על סמך הוראות ודוגמאות שניתנות בטקסט הקלט בלבד. במאמר GPT-3 תוארה היכולת הזו כ־few-shot: המודל מיושם "ללא עדכוני גרדיאנט או fine-tuning", כשהמשימה וההדגמות ניתנות אך ורק באמצעות טקסט. Few-shot prompting הוא פרומפט שמכיל כמה דוגמאות להתנהגות הרצויה (לפי מילון Google ל־ML). זה שונה מ־Fine-tuning, שבו המשקלות עצמם משתנים.
הסבר בגובה העיניים#
במקום לשלוח עובד חדש לקורס, אתם מניחים לפניו שלוש דוגמאות של דוחות מוכנים ואומרים "תכתוב עוד אחד כזה". הוא לומד את הדפוס תוך כדי העבודה. אצל המודל, ה"לימוד" נמשך רק כל עוד הדוגמאות נמצאות ב־חלון ההקשר, ובשיחה חדשה הוא לא זוכר אותן.
למה זה חשוב בפועל#
לפני שחושבים על התאמה יקרה של מודל, נסו לתת בפרומפט שתיים־שלוש דוגמאות טובות. הדוגמאות צורכות טוקנים בכל בקשה.
תגיות#
- few-shot
- prompting
- context
- gpt-3
מקורות#
- Language Models are Few-Shot Learners (Brown et al., 2020) — המאמר שהציג את התופעה בקנה מידה גדול
- Machine Learning Glossary (Google for Developers) — ערך Few-shot prompting