डेटा वॉर्स 2024: एआई प्रशिक्षण का नैतिक और व्यावहारिक संघर्ष

अगर आप किसी जेन एआई मॉडल से बीटल्स जैसे गाने के बोल लिखने को कहें और अगर वह प्रभावशाली काम करे, तो इसके पीछे कोई कारण होगा। या, अगर आप किसी मॉडल से अपने पसंदीदा लेखक की शैली में गद्य लिखने को कहें और वह हूबहू उसी शैली की नकल करे, तो इसके पीछे कोई कारण होगा।

यहां तक ​​कि, आप किसी दूसरे देश में हैं और जब आप सुपरमार्केट में मिलने वाले किसी दिलचस्प नाश्ते के नाम का अनुवाद करना चाहते हैं, तो आपका स्मार्टफोन लेबल को पहचान लेता है और आसानी से पाठ का अनुवाद कर देता है।

एआई ऐसी सभी संभावनाओं के केन्द्र में है और ऐसा मुख्यतः इसलिए है क्योंकि एआई मॉडलों को इस तरह के विशाल डेटा पर प्रशिक्षित किया गया होगा - हमारे मामले में, बीटल्स के सैकड़ों गाने और संभवतः आपके पसंदीदा लेखक की पुस्तकें।

जनरेटिव एआई के उदय के साथ, हर कोई संगीतकार, लेखक, कलाकार या यह सब बन गया है। जनरेटिव एआई मॉडल उपयोगकर्ता के संकेत के आधार पर सेकंड में कला के विशिष्ट टुकड़े बनाते हैं। वे बना सकते हैं वान गॉग-इस्क कलाकृतियाँ और यहाँ तक कि अल पचीनो को बिना उनकी उपस्थिति के सेवा की शर्तें पढ़ने को कहा गया।

आकर्षण को अलग रखते हुए, यहाँ महत्वपूर्ण पहलू नैतिकता है। क्या यह उचित है कि ऐसे रचनात्मक कार्यों का उपयोग AI मॉडल को प्रशिक्षित करने के लिए किया गया है, जो धीरे-धीरे कलाकारों की जगह लेने की कोशिश कर रहे हैं? क्या ऐसी बौद्धिक संपदा के मालिकों से सहमति ली गई थी? क्या उन्हें उचित मुआवजा दिया गया था?

2024 में आपका स्वागत है: डेटा युद्धों का वर्ष

पिछले कुछ सालों में, डेटा फर्मों का ध्यान अपनी ओर आकर्षित करने के लिए एक चुंबक बन गया है ताकि वे अपने जनरल एआई मॉडल को प्रशिक्षित कर सकें। एक शिशु की तरह, एआई मॉडल भोले होते हैं। उन्हें सिखाया जाना चाहिए और फिर प्रशिक्षित किया जाना चाहिए। यही कारण है कि कंपनियों को मनुष्यों की नकल करने के लिए कृत्रिम रूप से मॉडल को प्रशिक्षित करने के लिए अरबों, यदि लाखों नहीं, डेटा की आवश्यकता होती है।

उदाहरण के लिए, GPT-3 को अरबों (सैकड़ों) टोकन पर प्रशिक्षित किया गया था, जिसका मोटे तौर पर शब्दों में अनुवाद किया जाता है। हालाँकि, सूत्रों से पता चलता है कि हाल के मॉडलों को प्रशिक्षित करने के लिए ऐसे खरबों टोकन का इस्तेमाल किया गया था।

जब इतनी बड़ी मात्रा में प्रशिक्षण डेटासेट की आवश्यकता हो, तो बड़ी टेक कंपनियां कहां जाएं?

प्रशिक्षण डेटा की तीव्र कमी

महत्वाकांक्षा और मात्रा एक दूसरे के पूरक हैं। जैसे-जैसे उद्यम अपने मॉडल को बढ़ाते हैं और उन्हें अनुकूलित करते हैं, उन्हें और भी अधिक प्रशिक्षण डेटा की आवश्यकता होती है। यह GPT के सफल मॉडल को पेश करने या बस बेहतर और सटीक परिणाम देने की मांग से उत्पन्न हो सकता है।

चाहे जो भी मामला हो, प्रचुर मात्रा में प्रशिक्षण डेटा की आवश्यकता अपरिहार्य है।

यहीं पर उद्यमों को अपनी पहली बाधा का सामना करना पड़ता है। सरल शब्दों में कहें तो, AI मॉडल को प्रशिक्षित करने के लिए इंटरनेट बहुत छोटा होता जा रहा है। इसका मतलब है कि कंपनियों के पास अपने मॉडल को खिलाने और प्रशिक्षित करने के लिए मौजूदा डेटासेट खत्म हो रहे हैं।

यह घटता संसाधन हितधारकों और तकनीक के प्रति उत्साही लोगों को डरा रहा है, क्योंकि यह संभावित रूप से एआई मॉडल के विकास और विकास को सीमित कर सकता है, जो कि ज्यादातर इस बात से निकटता से जुड़ा हुआ है कि ब्रांड अपने उत्पादों को कैसे पेश करते हैं और दुनिया में कुछ परेशान करने वाली चिंताओं को एआई-संचालित समाधानों के साथ कैसे निपटाया जाता है।

साथ ही, सिंथेटिक डेटा या डिजिटल इनब्रीडिंग के रूप में भी उम्मीद है, जैसा कि हम इसे कहते हैं। आम भाषा में, सिंथेटिक डेटा एआई द्वारा उत्पन्न प्रशिक्षण डेटा है, जिसका उपयोग फिर से मॉडल को प्रशिक्षित करने के लिए किया जाता है।

हालांकि यह आशाजनक लगता है, लेकिन तकनीकी विशेषज्ञों का मानना ​​है कि इस तरह के प्रशिक्षण डेटा के संश्लेषण से हैब्सबर्ग एआई नामक चीज़ सामने आएगी। यह उद्यमों के लिए एक बड़ी चिंता का विषय है क्योंकि इस तरह के इनब्रेड डेटासेट में तथ्यात्मक त्रुटियाँ, पूर्वाग्रह हो सकते हैं या वे सिर्फ़ बकवास हो सकते हैं, जो एआई मॉडल के परिणामों को नकारात्मक रूप से प्रभावित कर सकते हैं।

इसे चीनी कानाफूसी का खेल समझिए, लेकिन इसमें एकमात्र पेंच यह है कि जो पहला शब्द बोला जाएगा, वह भी अर्थहीन हो सकता है।

एआई प्रशिक्षण डेटा स्रोत की दौड़

लाइसेंसिंग प्रशिक्षण डेटा स्रोत के लिए एक आदर्श तरीका है। हालांकि शक्तिशाली, पुस्तकालय और रिपॉजिटरी सीमित स्रोत हैं। इसका मतलब है कि वे बड़े पैमाने के मॉडल की मात्रा आवश्यकताओं को पूरा नहीं कर सकते हैं। एक दिलचस्प आँकड़ा बताता है कि वर्ष 2026 तक हमारे पास मॉडल को प्रशिक्षित करने के लिए उच्च गुणवत्ता वाले डेटा की कमी हो सकती है, जो वास्तविक दुनिया में अन्य भौतिक संसाधनों के बराबर डेटा की उपलब्धता को तौलता है।

सबसे बड़े फोटो रिपॉजिटरी में से एक - शटरस्टॉक में 300 मिलियन इमेज हैं। हालांकि यह प्रशिक्षण शुरू करने के लिए पर्याप्त है, लेकिन परीक्षण, सत्यापन और अनुकूलन के लिए फिर से प्रचुर मात्रा में डेटा की आवश्यकता होगी।

हालाँकि, अन्य स्रोत भी उपलब्ध हैं। यहाँ एकमात्र समस्या यह है कि वे ग्रे रंग में कोडित हैं। हम इंटरनेट से सार्वजनिक रूप से उपलब्ध डेटा के बारे में बात कर रहे हैं। यहाँ कुछ रोचक तथ्य दिए गए हैं:

• हर दिन 7.5 मिलियन से अधिक ब्लॉग पोस्ट लाइव किए जाते हैं
• इंस्टाग्राम, एक्स, स्नैपचैट, टिकटॉक आदि जैसे सोशल मीडिया प्लेटफॉर्म पर 5.4 बिलियन से अधिक लोग हैं।
• इंटरनेट पर 1.8 बिलियन से अधिक वेबसाइटें मौजूद हैं।
• अकेले यूट्यूब पर हर दिन 3.7 मिलियन से अधिक वीडियो अपलोड किए जाते हैं।

इसके अलावा, लोग ऑडियो-ओनली पॉडकास्ट के माध्यम से सार्वजनिक रूप से टेक्स्ट, वीडियो, फोटो और यहां तक ​​कि विषय-वस्तु विशेषज्ञता भी साझा कर रहे हैं।

ये स्पष्ट रूप से उपलब्ध सामग्री के टुकड़े हैं।

तो, एआई मॉडलों को प्रशिक्षित करने के लिए उनका उपयोग करना उचित होगा, है ना?

यह वह ग्रे क्षेत्र है जिसका हमने पहले उल्लेख किया था। इस प्रश्न पर कोई निश्चित राय नहीं है क्योंकि डेटा की इतनी प्रचुर मात्रा तक पहुँच रखने वाली तकनीकी कंपनियाँ इस ज़रूरत को पूरा करने के लिए नए उपकरण और नीति संशोधन लेकर आ रही हैं।

कुछ उपकरण YouTube वीडियो से ऑडियो को टेक्स्ट में बदल देते हैं और फिर उन्हें प्रशिक्षण उद्देश्यों के लिए टोकन के रूप में उपयोग करते हैं। उद्यम गोपनीयता नीतियों पर फिर से विचार कर रहे हैं और यहां तक ​​कि मुकदमों का सामना करने के पूर्व-निर्धारित इरादे से मॉडलों को प्रशिक्षित करने के लिए सार्वजनिक डेटा का उपयोग करने की हद तक जा रहे हैं।

प्रति-तंत्र

साथ ही, कंपनियां सिंथेटिक डेटा भी विकसित कर रही हैं, जहां एआई मॉडल ऐसे टेक्स्ट उत्पन्न करते हैं जिनका उपयोग मॉडल को लूप की तरह प्रशिक्षित करने के लिए किया जा सकता है।

दूसरी ओर, डेटा स्क्रैपिंग का मुकाबला करने और उद्यमों को कानूनी खामियों का फायदा उठाने से रोकने के लिए, वेबसाइटें डेटा-स्केपिंग बॉट्स को कम करने के लिए प्लगइन्स और कोड लागू कर रही हैं।

अंतिम समाधान क्या है?

वास्तविक दुनिया की चिंताओं को हल करने में एआई के निहितार्थ हमेशा नेक इरादों से समर्थित रहे हैं। फिर ऐसे मॉडलों को प्रशिक्षित करने के लिए डेटासेट की सोर्सिंग ग्रे मॉडल पर निर्भर क्यों होती है?

जैसे-जैसे जिम्मेदार, नैतिक और जवाबदेह एआई पर बातचीत और बहस प्रमुखता और ताकत हासिल कर रही है, सभी स्तरों की कंपनियों के लिए वैकल्पिक स्रोतों पर स्विच करना आवश्यक हो गया है, जिनके पास प्रशिक्षण डेटा प्रदान करने के लिए व्हाइट-हैट तकनीकें हैं।

यह कहाँ है शेप देना डेटा सोर्सिंग के बारे में मौजूदा चिंताओं को समझते हुए, शैप ने हमेशा नैतिक तकनीकों की वकालत की है और विभिन्न स्रोतों से डेटा एकत्र करने और संकलित करने के लिए लगातार परिष्कृत और अनुकूलित तरीकों का अभ्यास किया है।

व्हाइट हैट डेटासेट सोर्सिंग पद्धतियां

हमारे स्वामित्व वाले डेटा संग्रह उपकरण में डेटा पहचान और वितरण चक्रों के केंद्र में मनुष्य हैं। हम अपने ग्राहकों द्वारा काम किए जाने वाले उपयोग के मामलों की संवेदनशीलता को समझते हैं और हमारे डेटासेट का उनके मॉडल के परिणामों पर क्या प्रभाव पड़ेगा। उदाहरण के लिए, स्वायत्त कारों के लिए कंप्यूटर विज़न के डेटासेट की तुलना में हेल्थकेयर डेटासेट की अपनी संवेदनशीलता होती है।

यही कारण है कि हमारी कार्यप्रणाली में प्रासंगिक डेटासेट की पहचान करने और उसे संकलित करने के लिए सावधानीपूर्वक गुणवत्ता जांच और तकनीकें शामिल हैं। इसने हमें छवियों, वीडियो, ऑडियो, टेक्स्ट और अन्य विशिष्ट आवश्यकताओं जैसे कई प्रारूपों में विशिष्ट जनरल एआई प्रशिक्षण डेटासेट के साथ कंपनियों को सशक्त बनाने की अनुमति दी है।

हमारा दर्शन

हम डेटासेट एकत्र करने में सहमति, गोपनीयता और निष्पक्षता जैसे मूल सिद्धांतों पर काम करते हैं। हमारा दृष्टिकोण डेटा में विविधता भी सुनिश्चित करता है ताकि अचेतन पूर्वाग्रह का कोई प्रवेश न हो।

चूंकि एआई क्षेत्र निष्पक्ष प्रथाओं द्वारा चिह्नित एक नए युग की शुरुआत के लिए तैयार है, इसलिए शैप में हम ऐसी विचारधाराओं के ध्वजवाहक और अग्रदूत बनने का इरादा रखते हैं। यदि आप अपने एआई मॉडल को प्रशिक्षित करने के लिए निर्विवाद रूप से निष्पक्ष और गुणवत्ता वाले डेटासेट की तलाश कर रहे हैं, तो आज ही हमसे संपर्क करें।