Token

הסבר פורמלי#

יחידת טקסט שהמודל מעבד. טוקן יכול להיות מילה, חלק ממילה, סימן פיסוק או רצף תווים, בהתאם לשפה ולמודל.

הסבר בגובה העיניים#

AI לא “קורא” בדיוק כמו שאנחנו קוראים. הוא מפרק טקסט לחתיכות קטנות. ככל שהשיחה, הקובץ או ההוראות ארוכים יותר — צריך יותר טוקנים, ויש גבול לכמות שהמודל יכול להחזיק בבת אחת.

תגיות#

• context window
• cost
• model limits