LLM as Judge — כולל מגבלות והטיות מתועדות

הסבר פורמלי#

LLM as Judge הוא שימוש במודל שפה חזק להערכת פלטים של מודלים אחרים, בעיקר במשימות פתוחות שקשה לבדוק בקוד. מאמר Zheng ואחרים מדווח שמודלים חזקים כמו GPT-4 הגיעו להסכמה של מעל 80% עם העדפות אנושיות, רמה דומה להסכמה בין בני אדם. אותו מאמר מתעד הטיות ומגבלות: הטיית מיקום, הטיית אורך (verbosity), העדפה עצמית (self-enhancement) ויכולת הסקה מוגבלת. הוא מציע גם דרכי הפחתה חלקיות.

הסבר בגובה העיניים#

זה כמו לבקש ממומחה לקרוא מאה תשובות ולתת ציונים, רק שהמומחה הוא מודל. הוא מהיר וזול, אבל יכול להעדיף את התשובה שהופיעה ראשונה, את התשובה הארוכה יותר, או תשובות שנכתבו בסגנון שלו.

למה זה חשוב בפועל#

הגדירו Rubric ברור, החליפו את סדר התשובות בבדיקה, ובדקו מדגם מול דירוג אנושי. תיעוד Anthropic ממליץ להשתמש במודל שונה מזה שיצר את הפלט. ראו Human in the Loop.

תגיות#

• llm as judge
• evaluation
• bias
• automated grading

מקורות#

• Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (Zheng et al., 2023)
• Anthropic: Define success criteria and build evaluations