מילון מושגים
Evals / Eval — הערכת מערכות AI
נקרא גם: אבלס · אוולס · איבליואציה · הערכת מודלים · הערכת AI · בדיקת איכות AI · איך בודקים אם ה-AI טוב · מבחן ל-AI · Evals · Eval · Evaluation · LLM evaluation
הסבר פורמלי#
Eval הוא מערך הערכה שמריץ מודל או מערכת AI על קבוצת קלטים, ומדרג את הפלטים לפי קריטריונים מוגדרים מראש. התיעוד של Anthropic מתאר שלוש שיטות דירוג: מבוססת קוד (למשל התאמה מדויקת), דירוג אנושי (איכותי אך יקר), ודירוג על ידי מודל (LLM as Judge). הוא ממליץ שהדוגמאות ישקפו את התפלגות המשימה האמיתית וייכללו מקרי קצה.
הסבר בגובה העיניים#
במקום להתרשם מכמה תשובות יפות, מכינים רשימת מקרים אמיתיים מהעסק, קובעים מה נחשב תשובה טובה, ובודקים בכל פעם שמשנים משהו אם התוצאות השתפרו או הורעו. זה ההבדל בין "נראה לי עובד" לבין "מדדנו".
למה זה חשוב בפועל#
הגדירו קריטריוני הצלחה לפני שמתחילים לשפר. בלי זה אי אפשר לדעת אם שינוי בפרומפט או במודל עזר. ראו גם Test Case / Test Suite ו-Regression Testing.
תגיות#
- evals
- evaluation
- quality
- testing