Logit

הסבר פורמלי#

Logits הם וקטור הפרדיקציות הגולמיות (הלא־מנורמלות) שמודל סיווג מפיק. בדרך כלל הם מועברים לפונקציית נרמול, ובבעיות מרובות־מחלקות זו Softmax, שמפיקה הסתברות לכל מחלקה (לפי מילון המונחים של Google ל־ML). במודל שפה יש ציון כזה לכל טוקן אפשרי באוצר המילים.

הסבר בגובה העיניים#

לפני שהמודל "מחליט" מה המילה הבאה, יש לו טבלה עם ציון לכל מילה אפשרית. הציונים האלה הם הלוגיטים. עוד לא אחוזים, רק מי מקבל יותר ומי פחות. רק אחרי שלב ההמרה מקבלים הסתברויות.

למה זה חשוב בפועל#

חלק מה־APIs חושפים לוגיטים או הסתברויות של טוקנים, ומאפשרים כוונון כמו הטיה לטוקנים מסוימים. זה כלי למפתחים, ולא נדרש למשתמש רגיל.

תגיות#

• logits
• softmax
• token probabilities
• inference

מקורות#

• Machine Learning Glossary (Google for Developers) — ערך Logits