Ground Truth

הסבר פורמלי#

Ground Truth הוא מידע ייחוס שנחשב נכון, שאליו מושווים פלטי המודל בהערכה. התיעוד של Anthropic אינו משתמש במונח עצמו אך מתאר את המקבילות שלו: "תשובה נכונה מוגדרת מראש", תיוגים שנעשו על ידי בני אדם ותקצירי ייחוס. ההגדרה הכללית כאן היא הסבר שלנו.

הסבר בגובה העיניים#

זה מפתח התשובות של המבחן. כדי לדעת אם ה-AI סיווג נכון פניות לקוחות, מישהו צריך קודם לסווג אותן ידנית בצורה שאתם סומכים עליה, ואז משווים.

למה זה חשוב בפועל#

גם מפתח התשובות יכול לטעות או להיות עמום. כשאנשים חלוקים בתיוג, תעדו זאת ב-Rubric. הוא הבסיס ל-Evals.

תגיות#

• ground truth
• labels
• evaluation
• reference data

מקורות#

• Anthropic: Define success criteria and build evaluations