डेटा के नए तेल होने की नवीनतम कहावत सच है, और आपके नियमित ईंधन की तरह, यह मुश्किल होता जा रहा है।
फिर भी, वास्तविक दुनिया डेटा किसी भी संगठन की मशीन लर्निंग और एआई पहल को बढ़ावा देता है। हालांकि, उनकी परियोजनाओं के लिए गुणवत्तापूर्ण प्रशिक्षण डेटा प्राप्त करना एक चुनौती है। ऐसा इसलिए है क्योंकि केवल कुछ कंपनियां ही डेटा स्ट्रीम तक पहुंच बना सकती हैं जबकि बाकी अपनी खुद की बनाती हैं। और यह स्व-निर्मित प्रशिक्षण डेटा जिसे सिंथेटिक डेटा कहा जाता है, प्रभावी, सस्ता और उपलब्ध है।
लेकिन वास्तव में क्या है सिंथेटिक डेटा? कोई व्यवसाय इस डेटा को कैसे उत्पन्न कर सकता है, चुनौतियों से पार पा सकता है और इसके लाभों का लाभ उठा सकता है?
सिंथेटिक डेटा क्या है?
सिंथेटिक डेटा कंप्यूटर जनित डेटा है जो तेजी से वास्तविक दुनिया के डेटा का विकल्प बन रहा है। वास्तविक दुनिया के दस्तावेज़ीकरण से एकत्रित होने के बजाय, कंप्यूटर एल्गोरिदम सिंथेटिक डेटा उत्पन्न करते हैं।
सिंथेटिक डेटा कृत्रिम रूप से है उत्पन्न एल्गोरिदम या कंप्यूटर सिमुलेशन द्वारा जो सांख्यिकीय या गणितीय रूप से वास्तविक दुनिया के डेटा को दर्शाते हैं।
सिंथेटिक डेटा, शोध के अनुसार, वास्तविक डेटा के समान भविष्य कहनेवाला गुण हैं। यह वास्तविक दुनिया डेटा के सांख्यिकीय पैटर्न और गुणों को मॉडलिंग करके उत्पन्न होता है।
उद्योग की प्रवृत्तियां?
के अनुसार गार्टनर एआई प्रशिक्षण उद्देश्यों के लिए अनुसंधान, सिंथेटिक डेटा बेहतर हो सकता है। यह सुझाव दिया जा रहा है कि वास्तविक घटनाओं, लोगों या वस्तुओं से एकत्रित वास्तविक डेटा की तुलना में सिंथेटिक डेटा कभी-कभी अधिक फायदेमंद साबित हो सकता है। यह सिंथेटिक डेटा दक्षता क्यों है ध्यान लगा के पढ़ना या सीखना उच्च अंत एआई मॉडल विकसित करने के लिए तंत्रिका नेटवर्क डेवलपर्स तेजी से इसका उपयोग कर रहे हैं।
सिंथेटिक डेटा पर एक रिपोर्ट में अनुमान लगाया गया है कि 2030 तक, अधिकांश डेटा का उपयोग किया जाएगा मशीन लर्निंग मॉडल प्रशिक्षण के उद्देश्य कंप्यूटर सिमुलेशन, एल्गोरिदम, सांख्यिकीय मॉडल और बहुत कुछ के माध्यम से उत्पन्न सिंथेटिक डेटा होंगे। हालाँकि, सिंथेटिक डेटा वर्तमान में बाजार डेटा का 1% से कम है, हालाँकि इसके द्वारा 2024 यह सभी उत्पन्न डेटा के 60% से अधिक योगदान करने की उम्मीद है।
सिंथेटिक डेटा का उपयोग क्यों करें?
जैसा कि उन्नत एआई अनुप्रयोगों का विकास किया जा रहा है, कंपनियों को एमएल मॉडल के प्रशिक्षण के लिए बड़ी मात्रा में गुणवत्ता वाले डेटासेट प्राप्त करना मुश्किल लगता है। हालाँकि, सिंथेटिक डेटा डेटा वैज्ञानिकों और डेवलपर्स को इन चुनौतियों से निपटने और अत्यधिक विश्वसनीय एमएल मॉडल विकसित करने में मदद कर रहा है।
लेकिन सिंथेटिक डेटा का उपयोग क्यों करें?
करने के लिए समय चाहिए सिंथेटिक डेटा जनरेट करें वास्तविक घटनाओं या वस्तुओं से डेटा प्राप्त करने से बहुत कम है। कंपनियां सिंथेटिक डेटा प्राप्त कर सकती हैं और वास्तविक दुनिया पर निर्भर डेटासेट की तुलना में अधिक तेज़ी से अपनी परियोजना के लिए एक अनुकूलित डेटासेट विकसित कर सकती हैं। इसलिए, संक्षिप्त अवधि के भीतर, कंपनियां एनोटेट और लेबल किए गए गुणवत्ता डेटा पर अपना हाथ रख सकती हैं।
उदाहरण के लिए, मान लें कि आपको उन घटनाओं के बारे में डेटा चाहिए जो शायद ही कभी घटित हों या जिनके पास जाने के लिए बहुत कम डेटा हो। उस स्थिति में, वास्तविक दुनिया के डेटा नमूनों के आधार पर सिंथेटिक डेटा उत्पन्न करना संभव है, विशेष रूप से जब एज केस के लिए डेटा की आवश्यकता होती है। सिंथेटिक डेटा का उपयोग करने का एक अन्य लाभ यह है कि यह गोपनीयता संबंधी चिंताओं को दूर करता है क्योंकि डेटा किसी मौजूदा व्यक्ति या घटना पर आधारित नहीं होता है।
संवर्धित और अज्ञात बनाम सिंथेटिक डेटा
संवर्धित डेटा के साथ सिंथेटिक डेटा को भ्रमित नहीं किया जाना चाहिए। डेटा वृद्धि एक ऐसी तकनीक है जिसका उपयोग डेवलपर्स मौजूदा डेटासेट में डेटा का एक नया सेट जोड़ने के लिए करते हैं। उदाहरण के लिए, वे किसी छवि को चमका सकते हैं, क्रॉप कर सकते हैं या घुमा सकते हैं।
अज्ञात डेटा सरकारी नीतियों और मानकों के अनुसार सभी व्यक्तिगत पहचानकर्ता जानकारी को हटा देता है। इसलिए, वित्तीय या स्वास्थ्य सेवा मॉडल विकसित करते समय अज्ञात डेटा अत्यधिक महत्वपूर्ण है।
जबकि गुमनाम या संवर्धित डेटा का हिस्सा नहीं माना जाता है सिंथेटिक डेटा. लेकिन डेवलपर्स सिंथेटिक डेटा बना सकते हैं। इन दो तकनीकों को मिलाकर, जैसे कारों की दो छवियों को मिलाकर, आप कार की पूरी तरह से नई सिंथेटिक छवि विकसित कर सकते हैं।
सिंथेटिक डेटा के प्रकार
डेवलपर्स सिंथेटिक डेटा का उपयोग करते हैं क्योंकि यह उन्हें उच्च-गुणवत्ता वाले डेटा का उपयोग करने की अनुमति देता है जो वास्तविक दुनिया के डेटा के सांख्यिकीय गुणों को बनाए रखते हुए व्यक्तिगत गोपनीय जानकारी को मास्क करता है। सिंथेटिक डेटा आम तौर पर तीन प्रमुख श्रेणियों में आते हैं:
पूरी तरह से बनावटी
इसमें मूल डेटा से कोई जानकारी नहीं है। इसके बजाय, एक डेटा-जनरेटिंग कंप्यूटर प्रोग्राम मूल डेटा से कुछ मापदंडों का उपयोग करता है, जैसे कि फीचर डेंसिटी। फिर, इस तरह की वास्तविक दुनिया की विशेषता का उपयोग करते हुए, यह जनरेटिव तरीकों के आधार पर बेतरतीब ढंग से अनुमानित फीचर घनत्व उत्पन्न करता है, जो डेटा वास्तविकता की कीमत पर पूर्ण डेटा गोपनीयता सुनिश्चित करता है।
आंशिक रूप से सिंथेटिक
यह सिंथेटिक डेटा के कुछ विशिष्ट मूल्यों को वास्तविक दुनिया के डेटा से बदल देता है। इसके अलावा, आंशिक रूप से सिंथेटिक डेटा मूल डेटा में मौजूद कुछ अंतरालों को बदल देता है, और डेटा वैज्ञानिक इस डेटा को उत्पन्न करने के लिए मॉडल-आधारित पद्धतियों को नियोजित करते हैं।
संकर
यह वास्तविक दुनिया के डेटा और सिंथेटिक डेटा दोनों को जोड़ती है। इस प्रकार का डेटा मूल डेटासेट से यादृच्छिक रिकॉर्ड चुनता है और उन्हें सिंथेटिक रिकॉर्ड से बदल देता है। यह उपयोगिता के साथ डेटा गोपनीयता को जोड़कर सिंथेटिक और आंशिक रूप से सिंथेटिक डेटा का लाभ प्रदान करता है।
सिंथेटिक डेटा के लिए केस का उपयोग करें?
यद्यपि एक कंप्यूटर एल्गोरिथ्म द्वारा उत्पन्न, सिंथेटिक डेटा वास्तविक डेटा को सटीक और विश्वसनीय रूप से प्रस्तुत करता है। इसके अलावा, सिंथेटिक डेटा के लिए कई उपयोग के मामले हैं। हालांकि, इसका उपयोग संवेदनशील डेटा के विकल्प के रूप में महसूस किया जाता है, विशेष रूप से प्रशिक्षण, परीक्षण और विश्लेषण के लिए गैर-उत्पादन वातावरण में। सिंथेटिक डेटा के कुछ सर्वोत्तम उपयोग-मामले हैं:
प्रशिक्षण
एक सटीक और विश्वसनीय एमएल मॉडल होने की संभावना उस डेटा पर निर्भर करती है जिस पर इसे प्रशिक्षित किया जा रहा है। और, डेवलपर्स वास्तविक दुनिया में सिंथेटिक डेटा पर निर्भर करते हैं प्रशिक्षण जानकारी आना मुश्किल है। चूंकि सिंथेटिक डेटा वास्तविक दुनिया के डेटा के मूल्य को बढ़ाता है और गैर-नमूने (दुर्लभ घटनाओं या पैटर्न) को हटा देता है, यह एआई मॉडल की दक्षता बढ़ाने में मदद करता है।
परीक्षण
जब एमएल मॉडल के विकास और सफलता के लिए डेटा-संचालित परीक्षण महत्वपूर्ण होता है, तो सिंथेटिक डेटा का उपयोग किया जाना चाहिए। सिंथेटिक डेटा होने का कारण नियम-आधारित डेटा की तुलना में उपयोग करना बहुत आसान और तेज़ है। यह स्केलेबल, विश्वसनीय और लचीला भी है।
विश्लेषण
सिंथेटिक डेटा पूर्वाग्रह से मुक्त है जो आम तौर पर वास्तविक दुनिया के डेटा में मौजूद होता है। यह सिंथेटिक डेटा को दुर्लभ घटनाओं के एआई मॉडल के तनाव-परीक्षण के लिए एक बहुत ही अनुकूल डेटासेट बनाता है। यह संभव डेटा मॉडल व्यवहार का विश्लेषण भी करता है।
सिंथेटिक डेटा के लाभ
डेटा वैज्ञानिक हमेशा उच्च-गुणवत्ता वाले डेटा की तलाश में रहते हैं जो विश्वसनीय, संतुलित, पूर्वाग्रह से मुक्त हो और पहचानने योग्य पैटर्न का प्रतिनिधित्व करता हो। सिंथेटिक डेटा का उपयोग करने के कुछ लाभों में शामिल हैं:
- सिंथेटिक डेटा उत्पन्न करना आसान है, एनोटेट करने में कम समय लगता है, और अधिक संतुलित है।
- चूंकि सिंथेटिक डेटा वास्तविक दुनिया के डेटा को पूरक करता है, इसलिए यह वास्तविक दुनिया में डेटा अंतराल को भरना आसान बनाता है
- यह स्केलेबल, लचीला है और गोपनीयता या व्यक्तिगत जानकारी की सुरक्षा सुनिश्चित करता है।
- यह डेटा दोहराव, पूर्वाग्रह और अशुद्धियों से मुक्त है।
- किनारे के मामलों या दुर्लभ घटनाओं से संबंधित डेटा तक पहुंच है।
- डेटा जनरेशन तेज़, सस्ता और अधिक सटीक है।
सिंथेटिक डेटासेट की चुनौतियाँ
किसी भी नई डेटा संग्रह पद्धति के समान, सिंथेटिक डेटा भी चुनौतियों के साथ आता है।
RSI प्रथम बड़ी चुनौती सिंथेटिक डेटा के साथ नहीं आती है बाहरी कारकों के कारण. हालांकि डेटासेट से हटा दिया गया है, वास्तविक दुनिया के डेटा में मौजूद ये स्वाभाविक रूप से होने वाले आउटलेयर एमएल मॉडल को सटीक रूप से प्रशिक्षित करने में मदद करते हैं।
RSI सिंथेटिक डेटा की गुणवत्ता पूरे डेटासेट में भिन्न हो सकते हैं। चूंकि डेटा बीज या इनपुट डेटा का उपयोग करके उत्पन्न होता है, सिंथेटिक डेटा गुणवत्ता बीज डेटा की गुणवत्ता पर निर्भर करती है। यदि बीज डेटा में पक्षपात है, तो आप सुरक्षित रूप से मान सकते हैं कि अंतिम डेटा में पूर्वाग्रह होगा।
मानव व्याख्याकारों को जांच करनी चाहिए सिंथेटिक डेटासेट कुछ गुणवत्ता नियंत्रण विधियों का उपयोग करके सटीकता सुनिश्चित करने के लिए पूरी तरह से।
सिंथेटिक डेटा उत्पन्न करने के तरीके
सिंथेटिक डेटा उत्पन्न करने के लिए एक विश्वसनीय मॉडल विकसित किया जाना चाहिए जो प्रामाणिक डेटासेट की नकल कर सके। फिर, वास्तविक डेटासेट में मौजूद डेटा बिंदुओं के आधार पर, सिंथेटिक डेटासेट में समान अंक उत्पन्न करना संभव है।
यह करने के लिए, डेटा वैज्ञानिकों मूल वितरण में मौजूद लोगों के समान सिंथेटिक डेटा बिंदु बनाने में सक्षम तंत्रिका नेटवर्क का उपयोग करें। कुछ तंत्रिका नेटवर्क डेटा कैसे उत्पन्न करते हैं:
वैरिएबल ऑटोकेनोडर्स
Variational autoencoders या VAE एक मूल वितरण लेते हैं, इसे अव्यक्त वितरण में परिवर्तित करते हैं और इसे वापस मूल स्थिति में बदल देते हैं। यह एन्कोडिंग और डिकोडिंग प्रक्रिया एक 'पुनर्निर्माण त्रुटि' लाती है। ये अनियंत्रित डेटा जनरेटिव मॉडल डेटा वितरण की सहज संरचना को सीखने और एक जटिल मॉडल विकसित करने में माहिर हैं।
जनरेटिव एडवरसियर नेटवर्क
वैरिएबल ऑटोएन्कोडर्स के विपरीत, एक अप्रशिक्षित मॉडल, जनरेटिव एडवरसैरियल नेटवर्क या GAN, एक पर्यवेक्षित मॉडल है जिसका उपयोग अत्यधिक यथार्थवादी और विस्तृत डेटा अभ्यावेदन विकसित करने के लिए किया जाता है। इस विधि में दो तंत्रिका जाल प्रशिक्षित हैं - एक जनरेटर नेटवर्क नकली डेटा बिंदु उत्पन्न करेगा, और दूसरा विवेचक वास्तविक और नकली डेटा बिंदुओं की पहचान करने का प्रयास करेगा।
कई प्रशिक्षण दौरों के बाद, जनरेटर पूरी तरह से विश्वसनीय और यथार्थवादी नकली डेटा बिंदु उत्पन्न करने में माहिर हो जाएगा, जिसे विवेचक पहचानने में सक्षम नहीं होगा। सिंथेटिक बनाते समय GAN सबसे अच्छा काम करता है असंरचित डेटा. हालांकि, अगर यह विशेषज्ञों द्वारा निर्मित और प्रशिक्षित नहीं है, तो यह सीमित मात्रा में नकली डेटा बिंदु उत्पन्न कर सकता है।
तंत्रिका चमक क्षेत्र
मौजूदा आंशिक रूप से देखे गए 3D दृश्य के नए दृश्य बनाते समय इस सिंथेटिक डेटा जनरेशन विधि का उपयोग किया जाता है। न्यूरल रेडियंस फील्ड या एनईआरएफ एल्गोरिदम छवियों के एक सेट का विश्लेषण करता है, उनमें फोकल डेटा पॉइंट निर्धारित करता है, और छवियों पर नए दृष्टिकोण जोड़ता है और जोड़ता है। एक चलती 3D दृश्य के रूप में एक स्थिर 5D छवि को देखकर, यह प्रत्येक स्वर की संपूर्ण सामग्री की भविष्यवाणी करता है। तंत्रिका नेटवर्क से जुड़ा होने के कारण, एनईआरएफ एक दृश्य में छवि के लापता पहलुओं को भरता है।
हालांकि एनईआरएफ अत्यधिक कार्यात्मक है, यह प्रस्तुत करने और प्रशिक्षित करने में धीमा है और कम गुणवत्ता वाली अनुपयोगी छवियां उत्पन्न कर सकता है।
तो, आप सिंथेटिक डेटा कहाँ से प्राप्त कर सकते हैं?
अब तक, केवल कुछ अत्यधिक उन्नत प्रशिक्षण डेटासेट प्रदाता ही उच्च गुणवत्ता वाले सिंथेटिक डेटा प्रदान करने में सक्षम हुए हैं। आप ओपन-सोर्स टूल्स जैसे एक्सेस प्राप्त कर सकते हैं सिंथेटिक डेटा वॉल्ट. हालाँकि, यदि आप अत्यधिक विश्वसनीय डेटासेट प्राप्त करना चाहते हैं, शेप देना जाने के लिए सही जगह है, क्योंकि वे प्रशिक्षण डेटा और एनोटेशन सेवाओं की एक विस्तृत श्रृंखला प्रदान करते हैं। इसके अलावा, उनके अनुभव और स्थापित गुणवत्ता मानकों के लिए धन्यवाद, वे एक व्यापक उद्योग कार्यक्षेत्र को पूरा करते हैं और कई एमएल परियोजनाओं के लिए डेटासेट प्रदान करते हैं।