Sampling / Temperature

הסבר פורמלי#

אחרי ש־Softmax מפיקה התפלגות הסתברויות על הטוקנים האפשריים, המערכת בוחרת טוקן אחד, ובחירה כזו נקראת sampling. Temperature הוא היפר־פרמטר שמשפיע על מידת האקראיות בפלט המודל: ערכים גבוהים מניבים פלט מגוון יותר, וערכים נמוכים פלט צפוי יותר (לפי מילון המונחים של Google ל־ML). מנגנוני דגימה נוספים, כמו top-p ו־top-k, מצמצמים את קבוצת הטוקנים שמהם בוחרים.

הסבר בגובה העיניים#

דמיינו קוביה עם הטיה: המילים הסבירות יותר מקבלות יותר פאות. טמפרטורה נמוכה מחדדת את ההטיה, ולכן כמעט תמיד תצא המילה הסבירה ביותר. טמפרטורה גבוהה משטחת אותה, ולכן יותר הפתעות. זו הסיבה שאותה שאלה יכולה לקבל תשובות שונות.

למה זה חשוב בפועל#

לא כל מודל וכל גרסת API חושפים את הפרמטרים האלה. בתיעוד של Anthropic נכתב, למשל, שבמודלים מסוימים וגרסאות API מסוימות פרמטרי הדגימה אינם נתמכים. בדקו בתיעוד הספק ולא הניחו שיש לכם שליטה. אל תניחו שטמפרטורה נמוכה מבטיחה אמת או חזרתיות מלאה, ראו הזיה.

תגיות#

• sampling
• temperature
• randomness
• decoding

מקורות#

• Machine Learning Glossary (Google for Developers) — ערך Temperature
• Using the Messages API (Anthropic docs) — הערה על תמיכה בפרמטרי temperature, top_p, top_k