Self-supervised Learning

הסבר פורמלי#

בגלוסרי של Google, למידה עצמית היא משפחת טכניקות להפיכת בעיית למידה לא מונחית לבעיה מונחית, באמצעות יצירת תוויות חלופיות מדוגמאות ללא תוויות. כך אפשר להשתמש בכמויות גדולות של נתונים בלי תיוג ידני. דוגמה נפוצה לכך היא אימון על חיזוי חלק מוסתר מתוך הטקסט, הגישה שבבסיס הרבה מודלי שפה.

הסבר בגובה העיניים#

במקום שאדם יסמן את התשובות, הנתונים עצמם מספקים אותן: מסתירים מילה במשפט ומבקשים מהמודל לנחש אותה. התשובה הנכונה כבר קיימת בטקסט, אז אפשר לתרגל על כמויות עצומות בלי תיוג.

למה זה חשוב בפועל#

זה מסביר למה אפשר לאמן על כמויות עצומות של טקסט, ולמה המודל משקף את מה שהיה בנתונים, כולל הטיות וטעויות.

תגיות#

• self-supervised-learning
• labels
• llm
• pretraining

מקורות#

• Google for Developers — Machine Learning Glossary (self-supervised learning)