Mixture of Experts, MoE

הסבר פורמלי#

Mixture of Experts (MoE) היא שיטה להגדלת יעילות של רשת נוירונים על ידי שימוש בתת־קבוצה בלבד מהפרמטרים שלה (לפי מילון Google ל־ML), כשרשת ניתוב (gating/router) מנתבת כל טוקן אל המומחים שנבחרו לו (ב-Mixtral הבחירה נעשית בכל שכבה; במאמרים מוקדמים כמו Shazeer 2017 המונח הוא "לכל דוגמה"). מאמר Switch Transformers מתאר מודל "מופעל דליל" עם מספר פרמטרים עצום אך עלות חישוב קבועה. כדוגמה, Mixtral 8x7B בוחר לכל טוקן, בכל שכבה, שניים מתוך שמונה בלוקים, ולכל טוקן יש גישה ל־47 מיליארד פרמטרים אך רק 13 מיליארד פעילים (לפי המאמר, נכון למועד פרסומו).

הסבר בגובה העיניים#

חשבו על משרד עם שמונה מומחים: במקום שכולם ידונו בכל שאלה, פקיד קבלה מפנה כל שאלה לשניים המתאימים. ההבדל מהמודל האמיתי: הניתוב נעשה לכל טוקן בנפרד ובכל שכבת MoE (ב-Mixtral, לפי המאמר), כך שמשפט אחד עובר דרך צירופי מומחים שונים. המשרד כולו יודע הרבה, אבל בכל רגע עובדים רק חלק. "מומחה" כאן הוא תת־רשת מתמטית, ואין הכרח שהוא מתמחה בנושא מובן לאדם.

למה זה חשוב בפועל#

כשספק מציין מספר פרמטרים גדול, כדאי לברר אם מדובר במודל MoE: מספר הפרמטרים הכולל והפעילים שונים, וההשפעה על עלות, מהירות ואיכות אינה ישירה. אל תסיקו איכות ממספר פרמטרים בלבד.

תגיות#

• mixture of experts
• sparse model
• routing
• efficiency

מקורות#

• Switch Transformers (Fedus et al., 2021) — מודלים מופעלים־דליל
• Mixtral of Experts (Jiang et al., 2024) — דוגמה ל־MoE דליל
• Machine Learning Glossary (Google for Developers) — ערך Mixture of experts