Calibration

הסבר פורמלי#

מודל מכויל היטב מדווח על הסתברויות שתואמות את המציאות: כשהוא מצהיר על ביטחון של 80%, הוא צודק בערך ב-80% מהמקרים. מחקר מכונן של Guo ואחרים מצא שרשתות נוירונים מודרניות לעיתים קרובות מכויילות גרוע, ושתיקון פשוט בשם temperature scaling הועיל ברוב מערכי הנתונים שנבדקו.

הסבר בגובה העיניים#

כמו חזאי שאומר "80% סיכוי לגשם". אם בין כל הימים שבהם אמר 80% ירד גשם בערך ב-8 מתוך 10, אפשר לסמוך על המספר שלו. מודל עם ביטחון מנופח משדר ודאות שאין לה כיסוי.

למה זה חשוב בפועל#

אל תניחו שנימה בטוחה או אחוז ביטחון שהמודל מדווח משקפים סיכוי אמיתי לצדק. בדקו זאת מול דוגמאות עם תשובה ידועה. ראו גם Hallucination.

תגיות#

• calibration
• confidence
• reliability
• probability

מקורות#

• On Calibration of Modern Neural Networks (Guo et al., 2017)