Gradient

הסבר פורמלי#

בגלוסרי של Google, gradient הוא וקטור הנגזרות החלקיות ביחס לכל המשתנים הבלתי תלויים. בלמידת מכונה, זה הווקטור של הנגזרות החלקיות של פונקציית ההפסד ביחס לפרמטרים, והוא מצביע על הכיוון שבו ההפסד עולה בתלילות הרבה ביותר. ירידת גרדיאנט נעה בכיוון ההפוך.

הסבר בגובה העיניים#

דמיינו שאתם עומדים על גבעה בערפל ומרגישים ברגליים לאיזה כיוון הקרקע יורדת. הגרדיאנט הוא ה"תחושה" הזו, כיוון ועוצמה של השיפוע, ובעזרתה אפשר לעשות צעד קטן כלפי מטה, לכיוון הפסד נמוך יותר.

למה זה חשוב בפועל#

לא צריך לחשב גרדיאנטים בעצמכם. מספיק להבין שזה המנגנון שאומר למודל איך לתקן את עצמו.

תגיות#

• gradient
• calculus
• optimization
• training

מקורות#

• Google for Developers — Machine Learning Glossary (gradient)