परिभाषा
पैरामीटर-कुशल फ़ाइन-ट्यूनिंग (PEFT) एक तकनीक है जो पूरे मॉडल के बजाय केवल पैरामीटर के एक छोटे उपसमूह को अद्यतन करके बड़े पूर्व-प्रशिक्षित मॉडल को नए कार्यों के लिए अनुकूलित करती है।
उद्देश्य
इसका उद्देश्य मजबूत कार्य निष्पादन को बनाए रखते हुए कम्प्यूटेशनल लागत और भंडारण आवश्यकताओं को कम करना है।
महत्व
- यह बिना बड़े संसाधनों वाले संगठनों के लिए भी फाइन-ट्यूनिंग को संभव बनाता है।
- पूर्ण मॉडल प्रशिक्षण की तुलना में कार्बन फुटप्रिंट कम हो जाता है।
- उत्पादन में कुशल कार्य-स्विचिंग की अनुमति देता है।
- LoRA और एडाप्टर जैसी विधियों से संबंधित।
यह कैसे काम करता है:
- एक बड़े पूर्व-प्रशिक्षित आधार मॉडल का चयन करें.
- पैरामीटर उपसमूहों (जैसे, निम्न-रैंक एडाप्टर) की पहचान करें।
- केवल इन उपसमूहों को लक्ष्य कार्य डेटा पर प्रशिक्षित करें।
- अन्य पैरामीटर स्थिर रखें.
- न्यूनतम संसाधन ओवरहेड के साथ तैनात करें।
उदाहरण (वास्तविक दुनिया)
- लोरा (निम्न-रैंक अनुकूलन): एलएलएम को परिष्कृत करने में व्यापक रूप से उपयोग किया जाता है।
- हगिंग फेस पीईएफटी लाइब्रेरी: कुशल फाइन-ट्यूनिंग टूलकिट।
- गूगल अनुसंधान: बहुभाषी एनएलपी कार्यों के लिए एडाप्टर।
संदर्भ / आगे पढ़ने के लिए
- हू एट अल. “लोरा: बड़े भाषा मॉडल का निम्न-रैंक अनुकूलन।” arXiv.
- हौल्सबी एट अल. “एनएलपी के लिए पैरामीटर-कुशल ट्रांसफर लर्निंग।” एसीएल।
- गले लगाने वाला चेहरा PEFT दस्तावेज़ीकरण.
