Transformer

הסבר פורמלי#

Transformer היא ארכיטקטורה של רשת נוירונים שהוצגה במאמר "Attention Is All You Need" (2017). לפי המאמר היא מבוססת אך ורק על מנגנוני Attention, ללא נשנות (recurrence) וללא קונבולוציות. היא משמשת בסיס לרוב ה־LLM המודרניים.

הסבר בגובה העיניים#

דמיינו שבמקום לקרוא משפט מילה אחר מילה ולזכור מה היה קודם, אפשר לחשב קשרים בין כל המילים במקביל ולסמן אילו מילים קשורות זו לזו. זה הרעיון המרכזי: כל חלק בטקסט "מסתכל" על חלקים אחרים ושוקל כמה כל אחד חשוב. הסתייגות: במודלי שפה גנרטיביים כל טוקן מסתכל רק על הטוקנים שלפניו (מסכה סיבתית, causal mask; מילון Google מגדיר מודל חד-כיווני כמעריך רק טקסט שקדם למקום הנבדק), ולא על המשפט כולו.

למה זה חשוב בפועל#

אין צורך להבין את הארכיטקטורה כדי להשתמש במודל. אבל כשאתם נתקלים במגבלות כמו אורך ההקשר (חלון הקשר), כדאי לדעת שהן קשורות, בין היתר, לעלות חישוב הקשרים בין חלקי הטקסט.

תגיות#

• architecture
• attention
• llm
• deep learning

מקורות#

• Attention Is All You Need (Vaswani et al., 2017) — המאמר המכונן