למה יש כל כך הרבה סוגים של מודלים?

"איזה מודל הכי טוב?" היא שאלה שחסרים לה נתונים#

נציג שתי משימות שונות: א. לבחור את מספר החשבונית מתוך צילום מטושטש; ב. לחזות ביקוש יומי בעזרת 24 חודשי נתוני מכירות מובנים. הראשונה דורשת רכיב ראייה או OCR לצד חילוץ והקשר; השנייה עשויה להתאים למודל סדרות־זמן סטטיסטי או למידת מכונה מסורתית. מודל השפה עם הבנצ'מרק המרשים ביותר אינו בהכרח הכלי הנכון לשתיהן. ההבדל אינו רק בין חברות, אלא בין סוג הקלט, הפלט, יעד האימון וארכיטקטורת המערכת.

משפחות לפי סוג המשימה#

הטבלה היא חלוקה פדגוגית: יש חפיפה רבה בין המשפחות. מודל מולטימודלי יכול לבצע גם סיווג, ומודל שפה יכול לקבל תמונה ולהחזיר טקסט; אין חובה שמאחורי כל יכולת יפעל מודל עצמאי.

מה נכנס ומה יוצא: ארבע שאלות לכל מודל#

הדרך הפשוטה ביותר להבדיל בין משפחות היא לשאול על כל מודל ארבע שאלות. מה הוא מקבל? מה הוא מחזיר? מה הוא למד לעשות באימון? ובאיזו מערכת הוא משובץ?

• מודלי שפה: הקלט הוא טוקנים. הפלט הוא טוקנים, ולכן טקסט, קוד או מבנה כמו JSON.
• מודלי ראייה: הקלט הוא פיקסלים. הפלט יכול להיות תווית, מיקום של אובייקט, או טקסט שמופק מתמונה. מודל כמו CLIP אומן להתאים תמונות לתיאורים בשפה טבעית [5].
• מודלי שמע: הקלט הוא גל קול. הפלט הוא בדרך כלל תמלול. Whisper, למשל, הוא מערכת זיהוי דיבור שאומנה, לפי המאמר, לחזות תמלולים של כמויות גדולות של שמע מהאינטרנט: 680,000 שעות [6]. כיוון הפוך, מטקסט לקול, הוא משימה נפרדת.
• מודלי וידאו: הקלט או הפלט הוא רצף פריימים. הקושי הנוסף הוא עקביות לאורך זמן: אובייקט שנעלם באמצע קטע הוא כשל שאינו קיים בתמונה בודדת.
• מודלים מולטימודליים: הקלט, הפלט או שניהם כוללים יותר ממדיום אחד. GPT‑4o הוכרז ב־13.5.2024 (לפי עמוד ההכרזה של OpenAI) [4]. לפי הציטוט מהעמוד: “our new flagship model that can reason across audio, vision, and text in real time.” הוכרז אינו זמין בכל מוצר: הכרזה אינה זמינות בפועל. אילו יכולות ומדיות פתוחות לכם תלוי במוצר, בתוכנית ובתאריך, ויש לבדוק בתיעוד המוצר.

"גדול" לעומת "קטן": מה משלמים?#

מספר הפרמטרים, מבנה הרשת, כמות חישוב בזמן ההסקה, אורך ההקשר, סוג החומרה ואפשרות האופטימיזציה משפיעים על זמן, מחיר ואיכות. לא קיימת נוסחה אוניברסלית שבה "פי שניים פרמטרים = פי שניים דיוק". מודל קטן שמותאם היטב למשימה צפויה יכול להיות מהיר, זול ונוח יותר לפריסה. מודל גדול עשוי לעזור במשימות פתוחות ומורכבות, אבל הוא עלול להיות יקר מדי לתהליך של 100,000 חשבוניות בחודש.

גודל בפרמטרים: מה הוא מודד ומה לא#

מספר פרמטרים הוא מדד של קיבולת, לא של איכות. מחקר של DeepMind משנת 2022 בדק מה קורה כשמחלקים תקציב חישוב קבוע בין גודל המודל לכמות נתוני האימון. החוקרים מצאו שמודלים גדולים רבים היו "מתחת לאימון", ושגודל המודל וכמות הטוקנים צריכים לגדול יחד. מודל בשם Chinchilla, בן 70 מיליארד פרמטרים ומאומן על פי 4 יותר נתונים, השיג תוצאות טובות ממודל בן 280 מיליארד על מגוון משימות במחקר [7]. המסקנה המצומצמת: גודל לבדו אינו מנבא. המסקנה אינה "קטן תמיד עדיף".

עיקרון הנדסי, לא תוצאת מדידה: משימה צרה ויציבה עם הרבה דוגמאות מסומנות היא נקודת פתיחה סבירה למודל קטן; משימה פתוחה עם הוראות משתנות עשויה להצדיק מודל גדול. בכל מקרה מודדים.

עלות היא רק צלע אחת. שהייה (latency) היא הזמן עד לתשובה. היא גדלה בדרך כלל עם גודל הקלט, אורך הפלט וגודל המודל. תהליך אצווה לילי סובל שהייה; עוזר שיחה בזמן אמת לא.

דוגמה מחושבת, לא מחיר מסחרי: נניח שתהליך משתמש ב־2,000 טוקני קלט ו־200 טוקני פלט לכל חשבונית. עבור 100,000 חשבוניות מדובר בכ־200 מיליון טוקני קלט ו־20 מיליון טוקני פלט, לפני ניסיונות חוזרים, מסמכים ארוכים, קריאות כלי וקלט תמונה. לכן בחירת מודל אינה רק שאלה של איכות; יש לבדוק את התפלגות אורכי הקלט, התעריפים הרלוונטיים וצווארי הבקבוק.

מה ההבדל בין מודל "פתוח" ל"סגור"?#

יש כמה ממדים, ואין לקפל אותם למילה אחת:

• Open weights: משקלי מודל זמינים לשימוש והתקנה בהתאם לרישיון; אין מכך להסיק שקוד האימון או הנתונים פתוחים.
• Open source: מונח שאמור להתייחס גם לרישיונות ולמידע הנדרש לשחזור/הבנה, בהתאם להגדרה שבה משתמשים; לא כל מוצר עם משקלים להורדה עומד בכל מבחן של "קוד פתוח".
• Hosted API: הגישה למודל דרך שירות; יכולה להתקיים גם למודלים שמשקליהם פורסמו.
• On-device: המודל רץ מקומית על מכשיר; עשוי להועיל לפרטיות ולזמינות ללא רשת, אך אין פירושו אוטומטית שאין שליחת טלמטריה או נתונים אחרים.

בעלות על משקלים אינה שקולה לבעלות על כל ידע האימון, וחיבור למודל בענן אינו שקול בהכרח לשיתוף מידע בין לקוחות.

מה אומרת ההגדרה של OSI#

ארגון Open Source Initiative פרסם את "The Open Source AI Definition", גרסה 1.0 [8]. על פי ההגדרה, ל"קוד פתוח" במערכת למידת מכונה נדרשים שלושה רכיבים, ולא רק משקלים:

1. Data Information: מידע מפורט מספיק על נתוני האימון, כדי שאדם מיומן יוכל לבנות מערכת דומה במהותה.
2. Code: קוד האימון וההרצה, לרבות עיבוד הנתונים, תחת רישיונות מאושרי OSI.
3. Parameters: המשקלים וההגדרות, בתנאים מאושרי OSI.

ההגדרה קובעת במפורש ש"Open Source weights" חייבים לכלול גם את מידע הנתונים ואת הקוד. מכאן שמודל עם משקלים להורדה אינו עומד אוטומטית בהגדרה הזאת. המונח "open weights" מתאר חלק מהתמונה.

רישיונות גם משתנים. DeepSeek ציינה בהודעה מ־20.1.2025 שקוד ומודלי R1 שוחררו ברישיון MIT [3]. Mixtral 8x7B שוחרר, לפי המאמר, ברישיון Apache 2.0 [9]. אלה עובדות לגבי המועד ולגבי המסמך; הרישיון של מודל מסוים היום יכול להיות שונה, ויש לקרוא אותו בעמוד המודל.

מודלי "חשיבה": מה חדש, ומה צריך לבדוק?#

בתקופה 2024–2025 עלו מודלים ומצבי שימוש המקדישים יותר חישוב לפני מתן תשובה. Anthropic הציגה בפברואר 2025 את Claude 3.7 Sonnet עם Extended Thinking, ו־Google הציגה במרץ 2025 את Gemini 2.5 כ"מודל חשיבה". DeepSeek-R1 הוצג בינואר 2025 עם דגש על אימון באמצעות למידת חיזוק לביצועי reasoning [1–3].

המונח "חשיבה" בהודעות האלה מתאר יכולות ותהליכי חישוב; הוא אינו ראיה לתודעה. רמת התועלת תלויה במשימה. לדוגמה, ניתוח סתירה בין שני סעיפי חוזה עשוי להרוויח מחישוב נוסף, בעוד שחילוץ תאריך ברור ממסמך לא בהכרח מצדיק השהיה יקרה.

המודל לעומת מצב ההפעלה#

בכמה שירותים אפשר להקצות מאמץ שונה לאותו בסיס מודל. לכן שתי תוצאות של "אותו מודל" תחת הגדרות reasoning שונות לא בהכרח ניתנות להשוואה בלי לתעד תקציב חישוב, אורך פלט וכלים.

מה ידוע ומה סיפור שיווקי#

ידוע, לפי התיעוד של היצרנים:

• Anthropic מתארת מצב Extended Thinking שבו המודל "מתבונן בעצמו" לפני שהוא עונה, ואפשר להגדיר תקציב חישוב: לכל היותר N טוקנים של חשיבה. [1].
• DeepSeek תיארה "למידת חיזוק בקנה מידה גדול" בשלב שאחרי האימון הראשוני [3].
• Google תיארה את Gemini 2.5 כמודלים החושבים "לפני שהם עונים" [2].

מחקר קודם: עוד ב־2022 דיווח מאמר על Chain-of-Thought שהנחיה עם דוגמאות של צעדי ביניים שיפרה ביצועים במשימות חשבון, היגיון ושכל ישר במודלים גדולים [10]. כלומר הרעיון של "יותר טקסט ביניים לפני התשובה" קדם למוצרי ה"חשיבה".

לא ידוע, או לא אומת:

• האם הטקסט שהמודל מציג כ"חשיבה" משקף נאמנה את החישוב הפנימי. זו שאלה מחקרית פתוחה, והיצרנים אינם מבטיחים נאמנות כזו.
• כמה מהשיפור בכל מוצר נובע מהאימון, וכמה מהחישוב הנוסף. הודעות היצרנים אינן מפרקות זאת.

שלושה סוגי טוקנים, שאסור לערבב:

• טוקני חשיבה: טוקנים שהמודל מייצר במהלך החשיבה, ובמוצרים מסוימים אינם מוצגים למשתמש.
• טוקני תשובה גלויה: הטקסט שמוצג למשתמש.
• טוקנים מחויבים: מה שהמוצר מחייב עליו בפועל. האם טוקני חשיבה נכללים בחיוב, ובאיזה תעריף, תלוי בכללי החיוב והתיעוד של המוצר הספציפי; כאן לא נקבע כלל חיוב. בדקו בתיעוד של השירות שלכם.

המחשה, מספרים מומצאים. נחזור ל־100,000 החשבוניות. נניח שהתשובה הגלויה היא 200 טוקנים לחשבונית, בלי חשיבה וגם איתה: 20 מיליון טוקני תשובה גלויה בסך הכל. נניח גם תקציב חשיבה של 3,000 טוקנים שנוצל במלואו. סך הטוקנים שהמודל מייצר הוא אז 3,200 לחשבונית, כלומר 320 מיליון, פי 16 מהמצב ללא חשיבה (3,200 / 200). זהו מכפיל של טוקנים שנוצרו, לא של הפלט הגלוי (שנשאר 200) ולא בהכרח של החיוב (אם חיוב כולל טוקני חשיבה, ייתכן שהוא דומה; אם לא, שונה), וזה לפני ההשפעה על השהיה. אם 90% מהחשבוניות הן חילוץ ברור, רוב התקציב הזה מבוזבז.

Mixture of Experts, ברמה המושגית#

בארכיטקטורת Mixture of Experts (MoE) חלק מהשכבות מכילות כמה "מומחים" במקום בלוק אחד. רכיב קטן, ה־router, בוחר לכל טוקן מומחים אחדים בלבד. כך סך הפרמטרים גדול, אבל רק חלקם פעילים בכל טוקן. הרעיון הוצג כבר ב־2017 [11]. במאמר על Mixtral 8x7B: בכל שכבה 8 מומחים, לכל טוקן נבחרים שניים; לכל טוקן יש גישה ל־47 מיליארד פרמטרים, ובפועל פעילים 13 מיליארד [9].

בשלבים: ה־router נותן ציון לכל מומחה; נבחרים הגבוהים, למשל שניים; רק הם מחשבים ותוצאותיהם מחוברות; בשכבה הבאה מתקבלת בחירה חדשה.

המחשה, מספרים מומצאים: נניח חלק משותף של 2 מיליארד פרמטרים ו־8 מומחים של מיליארד כל אחד. סך הפרמטרים: 2 + 8×1 = 10 מיליארד. פעילים לכל טוקן, עם שניים נבחרים: 2 + 2×1 = 4 מיליארד, כלומר 40%.

מתי כדאי להשתמש במודל ייעודי?#

תהליך זיהוי חריגה בטבלת אשראי שהוגדרה לו איכות מדידה על מאות אלפי דוגמאות יכול להיות מתאים למסווג ייעודי. אם נדרשת שיחה בשפה טבעית על החריגות, מוסיפים שכבת LLM המפרשת ומסבירה. העיקרון: לחלק את המשימות לפי חוזקות, לא להעביר אוטומטית כל חישוב למודל גנרטיבי.

איך קוראים כרטיס מודל#

הרעיון של Model Card הוצע במאמר משנת 2018: מסמך קצר שמצורף למודל ומתאר שימושים מיועדים, הערכה בתנאים שונים ומגבלות [12]. היום יש פורמטים רבים, וחלקם שיווקיים יותר מאחרים. מה מחפשים?

1. שימוש מיועד ושימוש אסור. האם המשימה שלכם מופיעה?
2. קלט ופלט. אילו מדיות, אילו שפות, מה אורך ההקשר.
3. נתוני אימון. מה מתואר, ומה מוסתר. "נתונים ציבוריים" אינו תיאור.
4. שיטת הערכה. על אילו בנצ'מרקים, באיזו הגדרה, ומי הריץ: היצרן או גורם עצמאי.
5. מגבלות וכשלים ידועים. כרטיס שאין בו סעיף כזה הוא סימן אזהרה.
6. רישיון ותנאי שימוש.
7. תאריך וגרסה. כרטיס בלי תאריך אינו מקור לטענה על "היום".

איך בוחרים משפחה לפי משימה#

הטבלה היא נקודת פתיחה לשאלות, לא המלצת מוצר. בכל שורה צריך לבדוק מול נתונים משלכם.

דוגמה מחושבת: שני מועמדים על 200 חשבוניות#

המחשה, מספרים מומצאים. נניח שבדקנו שני מועמדים על אותן 200 חשבוניות, ובכל אחת בדקנו אם כל השדות חולצו נכון. מועמד א' (קטן) צדק ב־184: 92%. מועמד ב' (גדול) צדק ב־192: 96%. נניח עלות יחסית של 1 ו־10 יחידות למסמך.

1. פער הדיוק: 8 מסמכים מתוך 200, כלומר 4 נקודות אחוז.
2. פער העלות: (10 − 1) × 200 = 1,800 יחידות.
3. עלות לכל מסמך נוסף שנפתר: 1,800 חלקי 8 = 225 יחידות.
4. טווח אי־ודאות (רווח בר־סמך של Wilson, ברמת 95%): עבור 184 מתוך 200 בערך 87.4% עד 95.0%; עבור 192 מתוך 200 בערך 92.3% עד 98.0%.

הטווחים חופפים בין 92.3% ל־95.0%. כלומר 200 דוגמאות אינן מפרידות בבירור בין המועמדים, והפער שנראה עשוי להיות חלקית מקרי. לפני החלטה צריך מדגם גדול יותר, או לבדוק אם השגיאות של א' נוגעות דווקא בסוג המסמכים היקר ביותר. החישוב אינו אומר שהגדול "לא שווה", ואינו אומר שהוא שווה.

תרחיש נגדי: כשהמודל "הנכון" נכשל#

תרחיש א': הקסקדה#

נניח צוות שבחר בקסקדה מהדוגמה למעלה. המודל הקטן מסמן לגדול רק את המסמכים שהוא "לא בטוח" בהם. לפתע מופיע ספק חדש, עם פורמט חשבונית שהמודל הקטן לא ראה. הוא מחזיר ציון ביטחון גבוה ושגוי, ולכן המסמכים האלה אינם עוברים לגדול. החישוב של 30% עלות נשאר נכון, והמערכת טועה בשקט.

מה התרחיש מראה: קסקדה תלויה באיכות ההחלטה "מתי לא בטוחים", וציון ביטחון אינו בהכרח מכויל. מה הוא אינו מראה: שקסקדות אינן שימושיות, או שמודל גדול היה מתגבר על הפורמט. את זה אפשר רק למדוד, עם מדגם מהזרם האמיתי.

מה לא להסיק#

• "יותר פרמטרים, יותר טוב." המחקר שצוטט למעלה מראה שגם כמות הנתונים משפיעה [7].
• "מודל פתוח הוא קוד פתוח." לפי ההגדרה של OSI, נדרשים גם מידע על הנתונים וקוד [8].
• "מודל חשיבה חושב כמו אדם." המונח מתאר חישוב נוסף, לא תודעה, ואין בו הוכחה לנאמנות של ההסבר.
• "MoE פירושו מומחים לפי תחומים." זה שם של מבנה, לא ערובה לחלוקה נושאית.
• "מולטימודלי יודע לעשות הכל במדיה." התמיכה משתנה לפי מודל ומוצר.
• "המודל בהודעת ההשקה הוא המודל בשירות היום." גרסאות, הגדרות ומגבלות משתנות. בדקו תאריך ותיעוד עדכני.
• "הודעת יצרן היא בדיקה עצמאית." משפט כמו "על פי החברה" הוא טענה של ספק, לא תוצאה שנבדקה בנפרד.

תרגיל הכרעה#

לכל משימה הציעו משפחה ומדד הצלחה:

1. זיהוי כפילות במספרי חשבוניות: עדיפות לכלל ומסד נתונים, מדד 0 כפילויות שלא זוהו בשדות תקינים.
2. תמלול שיחות שירות בעברית: מודל זיהוי דיבור, מדד שגיאת מילים ובדיקה על מבטאים ורעש.
3. סיכום שיחה ללקוח: LLM עם מידע נצפה, מדדי נאמנות לעובדות ושלמות.
4. שאלה על מדיניות ספק מעודכנת: מודל שפה עם מקור עדכני וחיפוש, מדד איכות ציטוטים וציות להרשאות.

תרגילים נוספים#

5. חברה צריכה לסווג 2 מיליון פניות בחודש לשבע קטגוריות קבועות, עם אלפי דוגמאות מסומנות. הציעו משפחה ומדד.
6. מנהל מציע: "נפעיל מצב חשיבה על כל הפניות, כדי להיות בטוחים". מה תשאלו?

תשובות בדיקה#

1. תרגילים 1–4 לעיל: תשובות אחרות יכולות להיות נכונות אם הן מנומקות ומוגדר להן מדד.
2. מסווג ייעודי או מודל קטן שעבר התאמה, ומודל שפה רק לחריגים. מדדים: precision ו־recall לכל קטגוריה, כיול ועלות לפנייה. נתוני הדוגמאות המסומנות הם הנכס המרכזי.
3. כמה מהפניות באמת דורשות היגיון רב־שלבי? מה תקציב החשיבה? מה השיפור הנמדד על מדגם שלכם, ומה התוספת בשהייה ובטוקנים שנוצרים? בדוגמה לעיל, תקציב של 3,000 טוקני חשיבה הגדיל את סך הטוקנים שנוצרו פי 16 (הפלט הגלוי לא השתנה); השפעה על החיוב תלויה בכללי המוצר.

מקורות מתוארכים#

1. Anthropic, Claude 3.7 Sonnet, 24.2.2025.
2. Google, Gemini 2.5, 25.3.2025.
3. DeepSeek-R1, 20.1.2025.
4. OpenAI, GPT-4o, 13.5.2024.
5. Radford et al., Learning Transferable Visual Models From Natural Language Supervision (CLIP), מאמר מחקר, arXiv, 26.2.2021.
6. Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision (Whisper), מאמר מחקר, arXiv, 6.12.2022.
7. Hoffmann et al., Training Compute-Optimal Large Language Models, מאמר מחקר, arXiv, 29.3.2022.
8. Open Source Initiative, The Open Source AI Definition 1.0, תקן/הגדרה.
9. Jiang et al., Mixtral of Experts, מאמר מחקר, arXiv, 8.1.2024.
10. Wei et al., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, מאמר מחקר, arXiv, 28.1.2022.
11. Shazeer et al., Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, מאמר מחקר, arXiv, 23.1.2017.
12. Mitchell et al., Model Cards for Model Reporting, מאמר מחקר, arXiv, 5.10.2018.