Query / Key / Value

הסבר פורמלי#

במאמר Attention Is All You Need מוגדרת פונקציית attention כמיפוי של query וקבוצת זוגות key-value לפלט. בצורה המוגדרת שם, Scaled Dot-Product Attention, החישוב הוא Attention(Q, K, V) = softmax(QKᵀ / √dₖ) V, כאשר Q, K, V הם מטריצות של queries, keys ו־values, ו־dₖ הוא ממד ה־key. ב־self-attention שלושתם נגזרים מאותו רצף. פעולת Softmax הופכת את הציונים למשקלים.

הסבר בגובה העיניים#

חשבו על חיפוש בספרייה. ה־Query הוא מה שאתם מחפשים. ה־Key הוא התווית על כל ספר. ה־Value הוא תוכן הספר. ככל שהתווית דומה יותר למה שחיפשתם, כך תיקחו יותר מהתוכן של אותו ספר. זו אנלוגיה להמחשה בלבד, והחישוב האמיתי הוא כפל מטריצות.

למה זה חשוב בפועל#

זה מושג להבנת הרעיון ולא להפעלה יומיומית. הוא שימושי כשקוראים מאמרים או תיעוד טכני על Attention.

תגיות#

• attention
• transformer
• linear algebra
• scaled dot-product

מקורות#

• Attention Is All You Need (Vaswani et al., 2017) — סעיף 3.2, Scaled Dot-Product Attention