מילון מושגים
Backpropagation
נקרא גם: הפצה לאחור · התפשטות לאחור · בקפרופגיישן · Backprop · Back-propagation · איך רשת נוירונים לומדת · תיקון טעויות ברשת
הסבר פורמלי#
לפי קורס ה-ML של Google, backpropagation הוא אלגוריתם האימון הנפוץ ביותר לרשתות נוירונים, והוא הופך את ירידת הגרדיאנט לישימה ברשתות רב-שכבתיות. בגלוסרי של Google הוא מוגדר כאלגוריתם שמממש ירידת גרדיאנט ברשתות נוירונים. בפועל Backprop הוא שלב החישוב: גזירה אוטומטית לאחור שמחשבת את הגרדיאנט של ההפסד ביחס לכל משקל, מהפלט לכיוון הקלט. את העדכון עצמו מבצע אופטימייזר, למשל ירידת גרדיאנט (הפיצול הזה בין חישוב הגרדיאנטים לעדכון לא נאמר מפורשות בדף הקורס).
הסבר בגובה העיניים#
אחרי שהרשת טעתה, צריך לברר מי אחראי. תחשבו על צוות שהוציא מוצר פגום: חוזרים אחורה לאורך שרשרת העבודה ובודקים כמה כל שלב תרם לטעות, ואז מתקנים בהתאם. כך גם כל שכבה ברשת מקבלת את חלקה בתיקון.
למה זה חשוב בפועל#
ספריות האימון מבצעות זאת אוטומטית. מספיק להכיר את המושג כשקוראים על אימון של מודלים.
תגיות#
- backpropagation
- neural-network
- training
- gradient