מילון מושגים
Tokenizer
נקרא גם: טוקנייזר · מפרק טקסט · מפצל טקסט לטוקנים · Tokenization · טוקניזציה · BPE · Byte Pair Encoding · SentencePiece · איך ה-AI קורא טקסט · למה עברית עולה יותר טוקנים
הסבר פורמלי#
טוקנייזר הוא הרכיב שמפרק טקסט גולמי לרצף של טוקנים ממאגר קבוע (אוצר מילים), וממיר כל טוקן למספר מזהה שהמודל מקבל כקלט. שיטות נפוצות לבניית אוצר המילים הן פיצול למילות־משנה (subword), למשל על בסיס אלגוריתם Byte Pair Encoding, וכלים כמו SentencePiece שמאמנים מילות־משנה ישירות מטקסט גולמי, ללא פיצול מוקדם למילים.
הסבר בגובה העיניים#
לפני שמודל "קורא" משפט, מישהו צריך לחתוך אותו לחתיכות ולתת לכל חתיכה מספר. הטוקנייזר הוא החותך הזה. מילה נפוצה יכולה להישאר חתיכה אחת, ומילה נדירה מתפרקת לכמה חתיכות קטנות. כך המודל יכול להתמודד גם עם שמות ומילים שלא ראה במדויק.
למה זה חשוב בפועל#
כל מודל משתמש בטוקנייזר משלו, ולכן אותו טקסט עשוי להיספר בכמות טוקנים שונה בין מודלים ובין שפות. כשמעריכים עלות או אורך מותר (חלון הקשר), בדקו את הספירה בכלי של הספק עצמו ולא הניחו שהיא זהה.
תגיות#
- tokenization
- subword
- byte pair encoding
- vocabulary
מקורות#
- Neural Machine Translation of Rare Words with Subword Units (Sennrich et al.) — הצגת פיצול למילות־משנה מבוסס BPE
- SentencePiece: A simple and language independent subword tokenizer (Kudo & Richardson) — טוקנייזר בלתי־תלוי בשפה שמאומן מטקסט גולמי