מילון מושגים
Multimodal Model
נקרא גם: מודל רב-מודלי · מולטימודלי · מולטי מודאל · Multimodal · Multimodal AI · מודל שמבין תמונות · AI שרואה תמונות · טקסט ותמונה · Vision Language Model · VLM · מודלים רב-ערוציים
הסבר פורמלי#
מודל מולטימודלי הוא מודל שהקלטים שלו, הפלטים שלו, או שניהם, כוללים יותר ממודליות (modality) אחת (לפי מילון Google ל־ML). מודליות היא סוג תוכן, למשל טקסט, תמונה, שמע או וידאו. למשל, מודל שמקבל תמונה וטקסט ועונה על שאלה לגביה.
הסבר בגובה העיניים#
מודל טקסט בלבד הוא כמו עוזר שרק קורא מכתבים. מודל מולטימודלי יכול גם להסתכל על צילום חשבונית או תרשים ולענות על שאלות לגביו. איזה סוגי תוכן הוא יודע לקבל ולהפיק משתנה מכלי לכלי, ולכן בודקים ולא מניחים.
למה זה חשוב בפועל#
כשמעלים תמונה או מסמך סרוק, בדקו מה המודל באמת קרא: הוא עלול לטעות בטקסט קטן, בטבלאות או בפרטים, ולהציג תשובה בביטחון (הזיה). מומלץ לאמת נתונים חשובים מול המקור.
תגיות#
- multimodal
- vision
- images
- audio
מקורות#
- Machine Learning Glossary (Google for Developers) — ערך Multimodal model
- Using the Messages API — Vision (Anthropic docs) — דוגמה לשליחת תמונה וטקסט למודל