Attention

הסבר פורמלי#

Attention הוא מנגנון ברשת נוירונים שמצביע על החשיבות של מילה או חלק ממילה מסוים ביחס לשאר הקלט (לפי מילון המונחים של Google ל־ML). ב־Transformer, Self-attention מחשב ייצוג לכל מיקום ברצף על ידי קשר בינו לבין מיקומים אחרים באותו רצף. החישוב נעשה באמצעות Query / Key / Value: לכל מיקום נוצרים שלושה וקטורים, Query (מה מחפשים), Key (במה אפשר להתאים) ו-Value (המידע שמועבר), וההתאמה בין Query ל-Key קובעת כמה מה-Value של כל מיקום ייכנס לתוצאה.

הסבר בגובה העיניים#

כשאתם קוראים "הכלב רדף אחרי החתול כי הוא פחד", אתם מבינים ש"הוא" מתייחס כנראה לחתול. Attention הוא הדרך של המודל לעשות משהו דומה: לכל מילה הוא מחשב כמה תשומת לב לתת לכל מילה אחרת במשפט, ומשלב את המידע בהתאם. אין כאן "הבנה" אנושית, אלא חישוב משקלים.

למה זה חשוב בפועל#

מנגנון זה הוא הסיבה לכך שהמודל יכול להתחשב בהוראה שנכתבה בתחילת הפרומפט כשהוא מייצר את סוף התשובה, ואחד הגורמים לכך שאורך ההקשר משפיע על עלות וזמן (חלון הקשר).

תגיות#

• attention
• self-attention
• transformer
• neural network

מקורות#

• Attention Is All You Need (Vaswani et al., 2017) — הגדרת פונקציית attention ו־self-attention
• Machine Learning Glossary (Google for Developers) — ערכים Attention ו־Self-attention