पूर्व प्रशिक्षण

परिभाषा

पूर्व-प्रशिक्षण, विशिष्ट कार्यों पर फाइन-ट्यूनिंग से पहले बड़े सामान्य-उद्देश्य डेटासेट पर मशीन लर्निंग मॉडल का प्रारंभिक प्रशिक्षण है।

उद्देश्य

इसका उद्देश्य व्यापक प्रतिनिधित्व वाले मॉडल उपलब्ध कराना है जो एकाधिक कार्यों में स्थानांतरित हो सकें, तथा डाउनस्ट्रीम अनुकूलन के लिए डेटा और गणना आवश्यकताओं को कम कर सकें।

महत्व

• आधुनिक एलएलएम और विज़न मॉडल के लिए आधारशिला।
• विविध कार्यों में प्रदर्शन में सुधार करता है।
• डेटा और गणना के संदर्भ में महंगा।
• पूर्वाग्रह से बचने के लिए सावधानीपूर्वक डेटासेट क्यूरेशन की आवश्यकता है।

यह कैसे काम करता है:

1. विशाल सामान्य डेटासेट (पाठ, चित्र) एकत्रित करें।
2. अप्रशिक्षित या स्व-पर्यवेक्षित शिक्षण कार्यों को परिभाषित करें।
3. सामान्य विशेषताओं को सीखने के लिए मॉडलों को प्रशिक्षित करें।
4. पूर्व-प्रशिक्षित भार को पुनः उपयोग के लिए सुरक्षित रखें।
5. छोटे कार्य-विशिष्ट डेटासेट पर फाइन-ट्यून।

उदाहरण (वास्तविक दुनिया)

• BERT को विकिपीडिया और बुक्सकॉर्पस पर पूर्व-प्रशिक्षित किया गया है।
• CLIP को छवि-पाठ युग्मों पर प्रशिक्षित किया गया।
• बड़े पैमाने पर इंटरनेट पाठ पर पूर्व प्रशिक्षित जीपीटी मॉडल।

संदर्भ / आगे पढ़ने के लिए

• डेवलिन एट अल. “BERT: डीप बाइडायरेक्शनल ट्रांसफॉर्मर्स का पूर्व-प्रशिक्षण।” NAACL 2019.
• रैडफोर्ड एट अल. "भाषा मॉडल कम सीखने वाले होते हैं।" न्यूरआईपीएस 2020.
• ओपनएआई जीपीटी-4 तकनीकी रिपोर्ट।