מושגי יסוד

איך מכונה לומדת? ממשקלים ועד הכללה

הסבר חישובי של אימון, שגיאה, עדכון פרמטרים, סוגי למידה וההבדל בין למידה אמיתית להסתגלות לקלט.

שומרים כדי לחזור אחר כך. הסימון נשמר רק בדפדפן הזה, ויימחק אם תנקו את נתוני הדפדפן.
תוכן העניינים
  1. כשאנחנו אומרים "המודל למד", מה בדיוק השתנה?
  2. הדוגמה המחושבת: עדכון משקל אחד
  3. לולאת אימון שלמה: שני פרמטרים, שלוש איטרציות
  4. קצב הלמידה: צעד קטן מדי, צעד גדול מדי
  5. למה זה אינו פשוט "מאגר תשובות"?
  6. איך לומדים מכמות גדולה של דוגמאות?
  7. ארבע צורות שונות של למידה
  8. שלושה שלבים נפוצים: Pre-training, Fine-tuning ומשוב אנושי
  9. שאלות שהקורס לא מכריע בהן
  10. הכללה: למה ציון אימון גבוה עלול להטעות?
  11. מה עושים בפועל?
  12. שלוש קבוצות, שלושה תפקידים
  13. עקומת התאמת־יתר: ניסוי קטן שהורץ בקוד
  14. ניסוי שאפשר לבצע ללא קוד
  15. אם כבר למד, למה התשובות עדיין משתנות?
  16. למידה לעומת זיכרון: איפה "נשמר" מה שנאמר?
  17. מה לא להסיק
  18. בדיקת הבנה
  19. תרגילים להעמקה
  20. מקורות

אם נגזרת או גרדיאנט אינם מוכרים, קראו קודם את המתמטיקה הקטנה.

טיפ

הדוגמאות המספריות כאן מומצאות לצורך הוראה וניתנות לחישוב חוזר. אין לבלבל אותן עם ביצועי מודל מסחרי.

טיפ

מה זה אומר לעסק שלכם

כשאומרים שמודל "למד", הכוונה לשינוי של מספרים פנימיים בזמן האימון, לא לכך שהוא זוכר אתכם או מבין את העסק שלכם. לכן אל תסתפקו בציון מרשים: בדקו כל כלי על דוגמאות אמיתיות מהעסק, כאלה שלא היו באימון. וכשתשובה השתנתה אחרי הערה שלכם, זה עדיין לא אומר שהמודל התאמן מחדש. אפשר לדלג על החישובים בקריאה ראשונה ולחזור אליהם.

כשאנחנו אומרים "המודל למד", מה בדיוק השתנה?#

דמיינו מערכת שמחשבת זמן טיפול בחשבונית על סמך מספר השדות שדורשים בדיקה. מציגים לה דוגמאות מן העבר: בחשבונית עם שדה חריג אחד נדרשו שתי דקות בדיקה, ועם שני שדות חריגים — ארבע דקות. במשימה הפשוטה הזאת, אפשר להתחיל ממודל בעל פרמטר יחיד: ŷ = w × x, כאשר x הוא מספר השדות החריגים, w הוא משך הזמן הנלמד לכל שדה, ו־ŷ הוא הזמן שהמודל חוזה. אין כאן שפה, הבנה או תודעה. יש פונקציה שערכיה נקבעים בעזרת דוגמאות.

בהתחלה נקבע באופן שרירותי w=1. המודל חוזה דקה אחת במקום שתיים, ושתי דקות במקום ארבע. הוא טועה. "למידה", במקרה הזה, היא שינוי של w בעקבות מדידת השגיאה. כשמעבירים את אותו עיקרון למודל עם מיליארדי פרמטרים, התיאור נעשה מורכב במידה קיצונית, אבל האבחנה הבסיסית נשמרת: בזמן אימון משתנים הפרמטרים; בזמן הסקה משתמשים בפרמטרים שנקבעו כדי לעבד מידע חדש.

הדוגמה המחושבת: עדכון משקל אחד#

נגדיר L(w)=((w×1-2)²+(w×2-4)²)/2: ממוצע ריבועי השגיאות על שתי הדוגמאות. עבור w=1 נקבל L=2.5. הנגזרת ביחס ל־w במקרה זה היא dL/dw=5(w−2); בנקודה w=1 היא −5. אם קצב הלמידה (learning rate) הוא 0.1, נעדכן לפי w_new=w−0.1×dL/dw, ונקבל w_new=1.5.

עכשיו התחזיות הן 1.5 ו־3 דקות. השגיאה ירדה ל־((1.5−2)²+(3−4)²)/2=0.625. לא "הסברנו" למודל מהי חשבונית; קידמנו פרמטר בכיוון שמקטין טעות במדד שהגדרנו. מסקנה חשובה: מדד האימון הוא בחירת תכנון. אם נלמד מודל למזער זמן מענה בלבד, לא בהכרח נקבל תשובה נכונה יותר.

הגדרה

Loss (פונקציית הפסד / שגיאה) מודדת עד כמה פלט המודל סוטה מיעד האימון. Gradient (גרדיאנט) הוא וקטור של נגזרות שמצביע על כיוון השינוי המקומי של פונקציית ההפסד. Gradient descent (ירידת גרדיאנט) מעדכן פרמטרים בכיוון שמקטין את ההפסד, בצעדים שגודלם נקבע בין השאר על ידי קצב הלמידה.

לולאת אימון שלמה: שני פרמטרים, שלוש איטרציות#

עד כאן עדכנו צעד אחד. עכשיו נריץ לולאה. נוסיף פרמטר שני, b: זמן בסיס קבוע לכל חשבונית, בלי קשר למספר השדות החריגים. המודל: ŷ = w×x + b.

דוגמה

המחשה, מספרים מומצאים. שלוש חשבוניות: עם שדה חריג אחד נדרשו 3 דקות, עם שניים — 5, עם שלושה — 7. נתחיל מ־w=0, b=0, עם קצב למידה 0.1. ההפסד הוא ממוצע ריבועי השגיאות. הנוסחאות: dL/dw = (2/3)·Σ(שגיאה×x) ו־dL/db = (2/3)·Σ(שגיאה), כאשר שגיאה = תחזית פחות יעד.

איטרציה 1. התחזיות הן 0, 0, 0 והשגיאות −3, −5, −7. ההפסד: (9+25+49)/3 = 27.67. הגרדיאנטים: dL/dw = −22.67, dL/db = −10. העדכון נותן w=2.267, b=1.0. ההפסד החדש: 0.332.

איטרציה 2. הגרדיאנטים כמעט מתאפסים: 2.49 ו־1.07. נקבל w=2.018, b=0.893, והפסד של 0.005. איטרציה 3: w=2.044, b=0.908, הפסד 0.0013. אחרי 200 איטרציות: w≈2.000, b≈0.999.

שימו לב לשני דברים. ראשית, האלגוריתם לא "ידע" שהתשובה היא w=2, b=1; הוא רק הלך בכיוון שמקטין שגיאה. שנית, ההתקדמות אינה אחידה: ב־w חל תיקון יתר בצעד הראשון (2.267 במקום 2) ואחר כך חזרה. זה מנגנון הלולאה כולו, ובמודל גדול הוא חוזר מיליוני פעמים על מיליארדי פרמטרים. כל המספרים כאן חושבו בהרצת קוד.

קצב הלמידה: צעד קטן מדי, צעד גדול מדי#

נחזור למודל בעל הפרמטר היחיד (L=2.5(w−2)², התחלה ב־w=1). נציב בנוסחת העדכון ונקבל w_new−2 = (1−5·lr)×(w−2). הטעות מוכפלת בכל צעד בגורם 1−5·lr. אם הערך המוחלט שלו קטן מ־1, הטעות מצטמצמת.

קצב למידה w אחרי 1, 2, 3, 4 צעדים מה קורה
0.01 1.05, 1.10, 1.14, 1.19 התקדמות איטית מאוד
0.1 1.5, 1.75, 1.875, 1.94 התכנסות חלקה
0.4 3, 1, 3, 1 קפיצה קבועה סביב הפתרון, בלי התכנסות
0.5 3.5, −0.25, 5.375, −3.06 התבדרות: השגיאה גדלה

המחשה, מספרים מומצאים, והערכים חושבו בקוד. הסף (כאן lr=0.4) נקבע לפי העקמומיות של פונקציית ההפסד: ירידת גרדיאנט על פונקציה ריבועית מתכנסת כל עוד קצב הלמידה קטן מ־2/λ_max, כאשר λ_max הוא הערך העצמי הגדול ביותר של ההסיאן (מטריצת הנגזרות השניות). כאן ההסיאן הוא המספר 5, ולכן 2/5=0.4. בבעיה אחרת העקמומיות שונה, ולכן גם הסף. לכן קצב הלמידה הוא היפר־פרמטר: ערך שמפתחים בוחרים ובודקים, ולא ערך שהמודל לומד לבד. התיעוד החינוכי של Google מתאר אותו דפוס: קצב קטן מדי דורש הרבה איטרציות, וקצב גדול מדי גורם להפסד לקפוץ או לעלות [4].

למה זה אינו פשוט "מאגר תשובות"?#

כאשר מתכנתים מערכת עם טבלת חיפוש, אפשר לשמור "לשאלה א' ענה ב'". באימון מודל, המטרה בדרך כלל אחרת: ליצור ייצוג חישובי של יחסים בין מאפייני קלט ופלט. המודל עשוי לענות על דוגמה שלא ראה ממש קודם, כי היא דומה מבחינה שימושית לדוגמאות שלמד מהן. מצד שני, הוא עלול לשנן פריטים, להכליל באופן שגוי או להפיק פלט שאינו מוסבר ישירות דרך כלל מפורש. "מיליארדי פרמטרים" אינם זהים למיליארדי עובדות מאוחסנות.

איך לומדים מכמות גדולה של דוגמאות?#

במודל גדול לא עושים חישוב ידני לפרמטר אחד. מעבירים אצוות (mini-batches) של דוגמאות, מפיקים תחזיות, מחשבים הפסד, משתמשים באלגוריתם Backpropagation כדי לחשב גרדיאנטים עבור שכבות רבות, ומעדכנים פרמטרים בעזרת אופטימייזר. חוזרים על התהליך פעמים רבות. בגרסאות מודרניות מופיעים גם מנגנוני התאמה של קצב הלמידה ודיוקים מספריים שונים.

הנה הצגה סכמטית, לא קוד שמספיק לאימון מוצר:

אתחול פרמטרים θ
עבור כל אצוות דוגמאות:
    predictions ← model(inputs, θ)
    loss ← measure(predictions, targets)
    gradients ← backward(loss, θ)
    θ ← optimizer_update(θ, gradients)
בסיום: הערכה על נתונים שהופרדו מראש

Epoch הוא מעבר על מערך נתוני אימון שלם, אך במערכות גדולות לא תמיד מדברים במונחים של epochs קלאסיים; לפעמים מגדירים תקציב צעדי אימון או טוקנים. המשאבים והאנרגיה אינם עניין שולי: גודל מודל, אורך רצפים, חומרה ויעד האימון משפיעים על עלות הפיתוח ועל האפשרות לשחזר תוצאות.

ארבע צורות שונות של למידה#

למידה מונחית — Supervised learning. מספקים זוגות קלט ותווית/יעד: מסמך → "חשבונית"; צילום → "חתול"; שדות → מחיר. איכות התוויות וייצוג דוגמאות נדירות משפיעים על התוצאה.

למידה לא מונחית — Unsupervised learning. לא מספקים בהכרח תשובה נכונה לכל דוגמה; מחפשים מבנה בנתונים, למשל קבוצות של דפוסי רכישה. קבוצות אינן בהכרח קטגוריות שיש להן משמעות עסקית בלי פרשנות.

למידה בפיקוח עצמי — Self-supervised learning. מייצרים יעד למידה מתוך הנתונים עצמם. למשל, נותנים למודל רצף טקסט ומבקשים לחזות טוקן שלא נמסר לו. מקור ה"תווית" הוא הטקסט המקורי, ולכן אפשר לאמן על נתונים רבים בלי שאדם יכתוב תשובה ידנית לכל משפט.

למידת חיזוק — Reinforcement learning. המערכת לומדת בעזרת אות תגמול על בחירות או רצפים של פעולות. במערכות שפה מודרניות משתמשים בה, בין השאר, בשלבי אימון נוספים כדי לעודד התנהגויות רצויות; זו אינה הוכחה שלמודל יש מטרה אנושית, רצונות או הבנה מודעת. פרסום DeepSeek-R1 בינואר 2025 והמאמר העוקב ב־Nature הדגימו שימוש אינטנסיבי בלמידת חיזוק כדי לשפר ביצועים במשימות חשיבה [2].

אלו משפחות של מסגרות אימון, לא ארבעה מוצרים נפרדים. מערכת אחת עשויה לעבור Pre-training בפיקוח עצמי, לאחריו אימון בהנחיות ובהעדפות, ואחריו תהליכי התאמה נוספים. לא כל יצרן מפרסם את כל פרטי התהליך.

שלושה שלבים נפוצים: Pre-training, Fine-tuning ומשוב אנושי#

ברמה העקרונית, הלולאה שתיארנו נשארת אותה לולאה. משתנים הנתונים, היעד והשלב שבו מפעילים אותה.

  1. Pre-training (אימון מקדים). מתחילים מפרמטרים אקראיים ומאמנים על כמות גדולה של נתונים, בדרך כלל בפיקוח עצמי: חיזוי הטוקן הבא. התוצאה היא מודל כללי, שעדיין לא "מתנהג כעוזר".
  2. Fine-tuning (כוונון עדין). ממשיכים לאמן את אותם פרמטרים על מערך קטן וממוקד יותר, למשל דוגמאות של בקשות ותשובות רצויות. אותו מנגנון עדכון, יעד צר יותר.
  3. למידה ממשוב אנושי. בני אדם מדרגים או משווים פלטים. הדירוגים משמשים בדרך כלל לאימון מודל תגמול (reward model) שמנבא איזה פלט יעדיפו מדרגים, ומודל התגמול משמש אחר כך כאות התגמול בלמידת חיזוק. המטרה: לקרב את ההתנהגות להעדפות מתייגים.

מאמר InstructGPT של OpenAI (מרץ 2022) תיאר רצף כזה: כוונון מונחה על הדגמות של מתייגים, איסוף דירוגים של פלטים לאימון מודל תגמול, וכוונון נוסף בלמידת חיזוק מול מודל התגמול הזה. המחברים דיווחו שפלטי מודל של 1.3 מיליארד פרמטרים עדיפים בעיני מעריכים על פלטי GPT‑3 בעל 175 מיליארד, על אוסף הבקשות שלהם [5]. זו טענה של המחברים על התפלגות בקשות מסוימת, לא כלל על כל משימה. המאמר גם מציין שהמודלים עדיין עושים טעויות פשוטות.

שימו לב

לא להסיק: "משוב אנושי" אינו אומר שהמודל למד מה נכון או מה טוב. הוא למד להתקרב להעדפות של קבוצת מדרגים מסוימת, בהנחיות מסוימות. כך שגם הטיות של המדרגים עלולות להיכנס למודל.

שאלות שהקורס לא מכריע בהן#

Pre-training נשען על כמויות עצומות של נתונים ועל משאבי חישוב, ומכאן שלוש שאלות שקוראים רבים שואלים. הקורס מסביר איך המנגנון עובד. הוא אינו קובע תשובה לאף אחת מהשלוש.

מאיפה בא החומר, וזכויות יוצרים. משרד זכויות היוצרים האמריקאי פרסם במאי 2025 דוח (גרסת טרום־פרסום) על שימוש ביצירות מוגנות באימון מודלים גנרטיביים [10]. לפי הדוח, כמה שלבים בפיתוח נוגעים בזכויות הבלעדיות של בעלי היצירות, והשאלה המרכזית היא אם אפשר לראות בהם "שימוש הוגן". התשובה, כך נכתב, תלויה באילו יצירות נעשה שימוש, מאיזה מקור, לאיזו מטרה ובאילו בקרות על הפלט, ואי אפשר לקבוע אותה מראש לכל מקרה. הדוח עוסק בדין האמריקאי.

תעסוקה. מחקר של ארגון העבודה הבינלאומי (ILO) מ־2023 העריך באמצעות GPT-4 עד כמה משימות ומקצועות חשופים לבינה גנרטיבית [11]. החוקרים מצאו שרק עבודה פקידותית חשופה במידה גבוהה (24% ממשימותיה), וכתבו שההשפעה החשובה צפויה להיות שינוי של משימות בתוך מקצועות, ולא ביטול של מקצועות שלמים. הם גם הדגישו שהערך העיקרי אינו האומדנים המדויקים. אלה הערכות חשיפה, לא תחזית לאובדן משרות.

אנרגיה וסביבה. הסוכנות הבינלאומית לאנרגיה (IEA) פרסמה באפריל 2025 תחזית שלפיה צריכת החשמל של מרכזי נתונים בעולם תעלה ליותר מכפליים עד 2030, לכ־945 טרוואט־שעה [12]. לפי הדיווח עליה, היא מציינת אי־ודאות משמעותית: קצב אימוץ הטכנולוגיה, שיפורי יעילות ויכולת הרשת לעמוד בביקוש [12]. זו תחזית ולא מדידה.

על כל אחת מהשאלות האלה יש חילוקי דעות, והמצב משתנה. כדאי לקרוא את המקורות עצמם.

הכללה: למה ציון אימון גבוה עלול להטעות?#

נניח שהעברנו למודל 5,000 קבלות אמיתיות, וכל הקבלות הגיעו מאותה תוכנה והופיעו על רקע לבן. המודל מצליח לזהות 99.8% מדוגמאות האימון. האם הוא למד "מהי קבלה"? ייתכן מאוד שלמד בעיקר את הלוגו או מיקום שדות מסוים. כשיגיעו צילומים של קבלות מקומטות, הוא ייכשל.

זוהי דוגמה ללמידת קיצורי דרך (המודל נשען על מאפיין שאינו הקשור למשימה, כמו הלוגו) ולשינוי התפלגות (הנתונים בשטח שונים מנתוני האימון). זה אינו בדיוק התאמת יתר (Overfitting), שבה המודל מתאים את עצמו גם לרעש ולפרטים מקריים של דוגמאות האימון עצמן, כפי שנראה בניסוי הפולינומים בהמשך; בפועל שני הכשלים מופיעים יחד לעיתים קרובות ומתבטאים באותו פער בין אימון לשימוש אמיתי. סימן מנוגד הוא תת־התאמה (Underfitting), שבה המודל מוגבל מדי כדי ללמוד אף את הדפוסים המרכזיים. חשוב עוד יותר: גם הערכת ביצועים על "קבוצת בדיקה" יכולה להטעות אם הפרדה לא נעשתה נכון. אם כל המסמכים של אותו ספק מופיעים גם באימון וגם בבדיקה, אנחנו עשויים לבדוק בעיקר זיהוי ספק, לא יכולת להתמודד עם ספק חדש.

מה עושים בפועל?#

  • מפרידים ל־Train / Validation / Test לפני בחירת המודל; קבוצת Test אינה מקום לניסוי חוזר עד שהציון נראה יפה.
  • מפרידים לפי זמן, ספק, לקוח או מקור כאשר כך צפויה להיות ההפעלה האמיתית.
  • בוחנים מדדים לפי קבוצות משנה: מסמכים בעברית, צילום מהטלפון, לקוחות חדשים, קובץ סרוק.
  • מדווחים על דוגמאות חסרות, טעויות ושינוי בהתפלגות הנתונים לאורך זמן (Data drift).
  • מקפידים שפרטי יעד שלא יהיו זמינים בזמן אמת לא "ידלפו" לתכונות בזמן האימון (Data leakage).

שלוש קבוצות, שלושה תפקידים#

נניח 1,000 מסמכים. חלוקה אפשרית: 700 לאימון, 150 לאימות, 150 לבדיקה. קבוצת האימון משמשת לעדכון הפרמטרים. קבוצת האימות (Validation) משמשת לבחירות: איזה קצב למידה, מתי לעצור, איזו גרסה לשמור. קבוצת הבדיקה (Test) נפתחת פעם אחת, בסוף, כדי לקבל הערכה סופית. לפי התיעוד החינוכי של Google, שימוש חוזר באותה קבוצת בדיקה מגדיל את הסיכוי שהמודל יותאם למוזרויות שלה, ואפילו קבוצות אימות ובדיקה "נשחקות" בשימוש חוזר [6].

עקומת התאמת־יתר: ניסוי קטן שהורץ בקוד#

דוגמה

המחשה, נתונים מומצאים. יצרנו בקוד 10 נקודות אימון סביב הקו y=2x+1 עם רעש אקראי, ועוד 200 נקודות אימות מאותו מקור (numpy; ה־seed אינו מצוין כאן, ולכן הערכים להמחשה ואינם שחזור מדויק: הרצה חוזרת תיתן מספרים שונים, בעיקר בדרגה 9, אך אותה מגמה). התאמנו פולינומים בדרגות שונות. הדרגה קובעת כמה גמיש המודל.

דרגת הפולינום שגיאה באימון שגיאה באימות
0 (קו אופקי) 0.228 0.460
1 (קו ישר) 0.039 0.121
3 0.033 0.138
9 0.000 כ־265,000

דרגה 0 פשוטה מדי: שתי השגיאות גבוהות (תת־התאמה). דרגה 1 מתאימה לדפוס האמיתי. בדרגה 3 שגיאת האימון יורדת מעט, אך שגיאת האימות עולה. בדרגה 9 יש 10 פרמטרים ו־10 נקודות, ולכן העקומה עוברת דרך כל נקודת אימון בדיוק, והשגיאה באימות מתפוצצת. זו התאמת יתר: ככל שהמודל גמיש יותר, ירידה בשגיאת האימון אינה מבטיחה שיפור בנתונים חדשים. כאשר מאמנים מודל ברשת נוירונים, מסתכלים על עקומת האימות במהלך האימון ועוצרים או שומרים גרסה כשהיא מפסיקה להשתפר.

תרחיש נגדי: מה הניסוי לא מוכיח. הניסוי משתמש בנתונים סינתטיים, ברעש מסוג אחד ובמודל פשוט. הוא לא מראה שרשתות גדולות מתנהגות בדיוק כך, ולא קובע איזו דרגה "נכונה" בבעיה אמיתית. גם גודל הקפיצה בדרגה 9 תלוי במקרה הספציפי של 10 הנקודות שנדגמו. מה שכן מודגם: הפער בין שגיאת האימון לשגיאת האימות הוא האות שחושף התאמת יתר, ובדיקה על נתוני האימון בלבד הייתה מסתירה אותו.

ניסוי שאפשר לבצע ללא קוד#

בקשו ממודל ליצור 12 דוגמאות של אימיילים עסקיים, מחציתן "חשבונית" ומחציתן "לא חשבונית". עכשיו ערכו ידנית את הניסוח בחצי מהדוגמאות כך שהכותרות יכילו את אותן מילות מפתח, אך משמעותן תתהפך. בדקו אם סיווג בעזרת מילת מפתח עדיין עובד; לאחר מכן בקשו סיווג סמנטי. הדוגמאות אינן בנצ'מרק אמיתי משום שהמודל יצר חלק מהן וייתכן שנחשף לתבנית שלהן. מטרת התרגיל היא להדגים מאפיין מטעה.

אם כבר למד, למה התשובות עדיין משתנות?#

גם כשהפרמטרים קבועים, התשובות יכולות להשתנות בשל הקשר שונה, דגימה הסתברותית, הוראות יישום או שימוש בכלים. שינוי בתשובה אינו ראיה לאימון מחדש. זה הגשר לפרק 5, שבו נפריד בין התאמה על בסיס קונטקסט, זיכרון של מוצר ואימון אמיתי.

למידה לעומת זיכרון: איפה "נשמר" מה שנאמר?#

מה קרה מה השתנה משך
אימון או כוונון הפרמטרים של המודל קבוע, עד אימון נוסף
הנחיה בשיחה ("ענה קצר") הטקסט שמועבר למודל כל עוד הוא נשאר בהקשר
זיכרון של מוצר מידע שנשמר מחוץ למודל ומוזרק לקלט תלוי בהגדרות המוצר

בשלוש השורות התשובה עשויה להיראות "מותאמת". ברמת המנגנון אלה דברים שונים. רק בשורה הראשונה בוצע מה שהפרק הזה תיאר: עדכון פרמטרים לפי הפסד. אילו נתוני משתמשים נכנסים לאימון עתידי תלוי במדיניות המוצר והגרסה, ויש לבדוק זאת מול התיעוד של כל ספק.

מה לא להסיק#

  • "הפסד נמוך אומר שהמודל טוב." הוא אומר שהמדד שבחרנו נמוך, על הנתונים שנמדדו.
  • "אימון ארוך יותר תמיד משפר." אחרי נקודה מסוימת שגיאת האימות עלולה לעלות כשהאימון עדיין משתפר.
  • "קצב למידה גבוה מזרז." בדוגמה למעלה, קצב של 0.5 הביא להתבדרות.
  • "מודל עם מיליארדי פרמטרים שומר מיליארדי עובדות." פרמטרים הם ערכי חישוב, לא רשומות.
  • "משוב אנושי הופך את המודל לאמין." הוא משנה העדפות, אינו מאמת עובדות.
  • "התשובה השתנתה, אז הוא למד." ראו את הטבלה לעיל.

בדיקת הבנה#

  1. אם הורדתם את Loss על דוגמאות האימון מ־2.5 ל־0.625, מה כן הוכחתם? תשובה: שיפור במדד על אותן דוגמאות — לא יכולת כללית, לא אמת עובדתית ולא איכות שימושית.
  2. מתי "99% דיוק" עדיין יכול להיות כישלון? תשובה: כשהקטגוריה הנדירה חשובה יותר, כשהבדיקה אינה מייצגת, או כשהמחיר של פספוס גבוה.
  3. משתמש ביקש "תזכור שאני אוהב תשובות קצרות" וקיבל בהמשך תשובות קצרות. האם הפרמטרים השתנו? תשובה: אין די מידע כדי להסיק זאת. ייתכן שההעדפה מופיעה בהקשר או בזיכרון חיצוני.

תרגילים להעמקה#

  1. במודל ŷ = w×x מההתחלה, נניח w=1 וקצב למידה 0.2. מה יהיה w אחרי צעד אחד, ומה ההפסד? תשובה: dL/dw=5(1−2)=−5, לכן w=1−0.2×(−5)=2. זהו הפתרון המדויק, וההפסד 0. הצעד הגדול מצד אחד "קפץ" ישר לפתרון, כי 1−5×0.2=0. זה מקרה מיוחד של הפונקציה הזאת, לא כלל.
  2. אימנתם מודל. שגיאת האימון ירדה לאורך כל האימון, ושגיאת האימות ירדה ואז החלה לעלות. איזה גרסה תשמרו ולמה? תשובה: את זו שבנקודת המינימום של שגיאת האימות, משום שהיא מייצגת טוב יותר ביצועים על נתונים חדשים.
  3. בדקתם 20 גרסאות מודל מול קבוצת הבדיקה ובחרתם את הטובה ביותר. מה הבעיה? תשובה: הבדיקה שימשה לבחירה, ולכן הציון עלול להיות אופטימי מדי. הבחירה צריכה להתבצע על קבוצת האימות.
  4. נסו לנחש: האם לולאת שני הפרמטרים מלמעלה (שלוש חשבוניות, b ו־w) תתכנס עם lr=0.2? תשובה לבדיקה: לא. בהרצה בקוד, אחרי 5 צעדים ההפסד כבר כ־200, ואחרי 50 צעדים הוא גדול מ־10 מיליארד. קצב שהתכנס יפה ב־0.1 מתבדר ב־0.2, כי הסף נקבע לפי העקמומיות של פונקציית ההפסד, כלומר lr < 2/λ_max של ההסיאן. כאן ההסיאן הוא (2/3)·[[14, 6],[6, 3]], וערכיו העצמיים כ־0.24 ו־11.09, ולכן הסף כ־2/11.09≈0.18 (בפרמטר היחיד הסף היה 0.4). 0.1 מתחת לסף ו־0.2 מעליו, ולכן הוא מתבדר. מי שמעתיק קצב למידה מדוגמה אחת לאחרת, עלול להתבדר.

מקורות#

  1. Stanford CS229 — Supervised Learning: loss and gradient descent.
  2. DeepSeek-R1 — release announcement, 20.1.2025; DeepSeek-R1 research paper, Nature, 2025.
  3. Stanford CS229 — teaching materials on learning methods and generalization.
  4. Google for Developers, Machine Learning Crash Course — Linear regression: Hyperparameters. חינוכי, תיעוד יצרן; מעודכן 3.12.2025 לפי הדף.
  5. Ouyang et al., Training language models to follow instructions with human feedback. מאמר מחקר (OpenAI), arXiv, 4.3.2022.
  6. Google for Developers, Machine Learning Crash Course — Datasets: Dividing the original dataset. חינוכי, תיעוד יצרן; מעודכן 3.12.2025 לפי הדף.
  7. Stanford CS229 Supervised Learning Cheatsheet (מקור 1 לעיל): מגדיר פונקציית הפסד, ירידת גרדיאנט וקצב למידה. חינוכי.
  8. DeepSeek, DeepSeek-R1 release: מתוארך ל־20.1.2025 ומזכיר למידת חיזוק רחבת היקף בשלב ה־post-training. הודעת יצרן. מאמר Nature (מקור 2): הכותרת "DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning", פורסם ב־17.9.2025.
  9. הטבלאות והניסויים בפרק חושבו בהרצת Python (python3, ו־numpy לניסוי הפולינומים). הנתונים מומצאים לצורך הוראה.
  10. U.S. Copyright Office, Copyright and Artificial Intelligence, Part 3: Generative AI Training (Pre-Publication Version). דוח רשמי של רשות ממשלתית, מאי 2025.
  11. Gmyrek, Berg, Bescond, Generative AI and jobs: A global analysis of potential effects on job quantity and quality. מסמך עבודה של ארגון העבודה הבינלאומי (ILO), 2023.
  12. American Public Power Association, Electricity demand from data centers worldwide set to more than double by 2030: IEA. סיקור עיתונאי של דוח IEA "Energy and AI" (שפורסם ב־10.4.2025), 11.4.2025. דוח IEA עצמו: iea.org/reports/energy-and-ai.

FD-02