Gradient Descent

הסבר פורמלי#

בגלוסרי של Google, ירידת גרדיאנט היא טכניקה מתמטית למזעור ההפסד. היא מוצאת באופן איטרטיבי את המשקלים וההטיות שמניבים הפסד נמוך: בכל איטרציה קובעים את הכיוון שמקטין הפסד לפי הגרדיאנט ומזיזים את הערכים מעט בכיוון הזה. בקורס של Google מוסבר שהשלבים חוזרים עד שאין עוד שיפור משמעותי.

הסבר בגובה העיניים#

כמו ירידה מהר בערפל: אי אפשר לראות את התחתית, אבל אפשר לבדוק לאן יורד השיפוע ולצעוד צעד קטן לשם, שוב ושוב. צעד גדול מדי עלול לגרום לפספוס, וקטן מדי יאריך את הדרך.

למה זה חשוב בפועל#

זה הרעיון שמאחורי רוב האימון של רשתות נוירונים. כשאימון נמשך זמן רב או לא מתכנס, מקורו לרוב בהגדרות כמו גודל הצעד, ולא ב"חוסר הבנה" של המודל.

תגיות#

• gradient-descent
• optimization
• training
• sgd

מקורות#

• Google for Developers — ML Crash Course: Gradient descent
• Google for Developers — Machine Learning Glossary