Prompt Caching

הסבר פורמלי#

Prompt caching מאפשר ל־API לעשות שימוש חוזר בעיבוד של קידומת (prefix) של פרומפט שכבר נראתה. לפי התיעוד של Anthropic, כשבקשה מאוחרת מתחילה באותו תוכן המודל אינו מעבד מחדש את החלק הזה, מה שמקצר את זמן התגובה ומפחית עלות בעומסי עבודה חוזרים או ארוכי הקשר. ההתאמה מדויקת: שינוי כלשהו בקידומת (בהנחיית המערכת, בהגדרת כלים או בטקסט) יוצר החמצה. המטמון משפיע על עיבוד הקלט בלבד, והפלט נשאר זהה.

הסבר בגובה העיניים#

אם בכל בקשה אתם שולחים את אותו מדריך נהלים של 50 עמודים ואחריו שאלה חדשה, אין סיבה שהמודל "יקרא" את המדריך מחדש בכל פעם. המטמון הוא סימנייה: את החלק שלא השתנה לא מעבדים שוב. כדי שזה יעבוד, החלק הקבוע צריך להיות בתחילת הפרומפט וזהה בכל בקשה.

למה זה חשוב בפועל#

מבנה הפרומפט משפיע: שימו את התוכן הקבוע בהתחלה ואת התוכן המשתנה בסוף. תכונה זו קיימת אצל חלק מהספקים, והכללים, הזמנים והמחירים משתנים, ולכן בדקו בתיעוד העדכני. ראו גם חלון הקשר ו־טוקנים: טוקנים במטמון עדיין תופסים מקום בחלון.

תגיות#

• caching
• latency
• cost
• prompt

מקורות#

• Prompt caching (Anthropic docs) — מנגנון הקידומת, התאמה מדויקת, יתרונות
• Context windows (Anthropic docs) — טוקנים במטמון עדיין נספרים בחלון ההקשר