Rubric

הסבר פורמלי#

Rubric מגדיר קריטריונים וסולם לכל אחד, כך שדרגים (אנשים או מודל) יתנו ציונים בעקביות. התיעוד של Anthropic מציין שקריטריונים איכותיים צריכים סולמות מוגדרים, למשל "דרגו קוהרנטיות מ-1 (חסר היגיון) עד 5 (הגיוני לחלוטין)", ושכדאי שיהיו ספציפיים ומדידים.

הסבר בגובה העיניים#

כמו טופס הערכה למראיינים: במקום "התרשמתי לטובה", כל מראיין ממלא אותם סעיפים עם אותו סולם, ולכן אפשר להשוות. כך גם עם תשובות של AI: דיוק עובדתי, טון, שלמות, כל אחד עם הגדרה של מה זה 1 ומה זה 5.

למה זה חשוב בפועל#

כתבו דוגמה לכל רמת ציון. מחוון עמום נותן ציונים לא עקביים, גם כשהדרג הוא מודל.

תגיות#

• rubric
• grading
• evaluation
• criteria

מקורות#

• Anthropic: Define success criteria and build evaluations