Softmax

הסבר פורמלי#

Softmax היא פונקציה שקובעת הסתברות לכל מחלקה אפשרית במודל סיווג מרובה־מחלקות (לפי מילון המונחים של Google ל־ML). היא מקבלת Logits וממירה אותם להסתברויות שסכומן 1.0. במודל שפה, המחלקות הן הטוקנים האפשריים הבאים. היא משמשת גם בתוך חישוב Attention.

הסבר בגובה העיניים#

נניח שלכל אפשרות יש ציון, למשל 5, 2 ו־1, והציונים האלה לא אומרים לנו "כמה אחוזים". Softmax הופכת אותם לאחוזים שמסתכמים ל־100%, כך שהציון הגבוה מקבל את החלק הגדול ביותר. אחר כך אפשר לבחור לפי האחוזים (דגימה וטמפרטורה).

למה זה חשוב בפועל#

Softmax מחשבת הסתברויות פנימיות של המודל (למשל לטוקן הבא), והן אינן בהכרח מכוילות: המספר אינו מבטיח שהתשובה נכונה. משפט כמו "אני בטוח ב-90%" שמופיע בתשובה הוא טקסט שהמודל יצר, לא קריאה של הסתברות פנימית, ואין להתייחס אליו כמדד אמין לוודאות.

תגיות#

• probability
• logits
• classification
• attention

מקורות#

• Machine Learning Glossary (Google for Developers) — ערכים Softmax ו־Logits
• Attention Is All You Need (Vaswani et al., 2017) — שימוש ב־softmax בתוך attention