कंप्यूटर विज़न के लिए इमेज एनोटेशन की अंतिम गाइड: अनुप्रयोग, विधियाँ और श्रेणियाँ

अब, आइए प्रत्येक विधि को विस्तृत तरीके से संबोधित करें।

छवि वर्गीकरण

छवि वर्गीकरण एक ऐसी प्रक्रिया है जिसमें किसी संपूर्ण छवि को उसकी सामग्री के आधार पर लेबल या श्रेणी प्रदान की जाती है। उदाहरण के लिए, यदि आपके पास कुत्ते पर मुख्य फ़ोकस वाली छवि है, तो छवि को "कुत्ता" के रूप में लेबल किया जाएगा।

छवि एनोटेशन की प्रक्रिया में, छवि वर्गीकरण को अक्सर ऑब्जेक्ट डिटेक्शन या छवि विभाजन जैसे अधिक विस्तृत एनोटेशन से पहले पहले चरण के रूप में उपयोग किया जाता है, क्योंकि यह किसी छवि के समग्र विषय को समझने में महत्वपूर्ण भूमिका निभाता है।

उदाहरण के लिए, यदि आप स्वायत्त ड्राइविंग अनुप्रयोगों के लिए वाहनों को एनोटेट करना चाहते हैं, तो आप "वाहन" के रूप में वर्गीकृत छवियों को चुन सकते हैं और बाकी को अनदेखा कर सकते हैं। यह अधिक विस्तृत छवि एनोटेशन के लिए प्रासंगिक छवियों को छोटा करके बहुत समय और प्रयास बचाता है।

इसे एक छंटाई प्रक्रिया के रूप में सोचें, जहां आप छवियों को छवि के मुख्य विषय के आधार पर अलग-अलग लेबल वाले बक्सों में डाल रहे हैं, जिसका उपयोग आप आगे और अधिक विस्तृत एनोटेशन के लिए करेंगे।

प्रमुख बिंदु:

• विचार यह है कि प्रत्येक वस्तु को स्थानीयकृत करने के बजाय यह पता लगाया जाए कि संपूर्ण छवि क्या दर्शाती है।
• छवि वर्गीकरण के लिए दो सबसे सामान्य तरीकों में पर्यवेक्षित वर्गीकरण (पूर्व-लेबल प्रशिक्षण डेटा का उपयोग करना) और अपर्यवेक्षित वर्गीकरण (स्वचालित रूप से श्रेणियों की खोज करना) शामिल हैं।
• कई अन्य कंप्यूटर विज़न कार्यों के लिए आधार के रूप में कार्य करता है।

ऑब्जेक्ट डिटेक्शन

जबकि छवि वर्गीकरण पूरी छवि को एक लेबल प्रदान करता है, ऑब्जेक्ट डिटेक्शन इसे एक कदम आगे ले जाता है, वस्तुओं का पता लगाकर और उनके बारे में जानकारी प्रदान करके। वस्तुओं का पता लगाने के अलावा, यह प्रत्येक बाउंडिंग बॉक्स को एक क्लास लेबल (जैसे, "कार," "व्यक्ति," "स्टॉप साइन") भी प्रदान करता है, जो छवि में मौजूद वस्तु के प्रकार को दर्शाता है।

मान लीजिए कि आपके पास एक सड़क की छवि है जिसमें विभिन्न वस्तुएँ हैं, जैसे कि कार, पैदल यात्री और ट्रैफ़िक संकेत। यदि आप वहाँ छवि वर्गीकरण का उपयोग करते हैं, तो यह छवि को "सड़क दृश्य" या कुछ इसी तरह के रूप में लेबल करेगा।

हालांकि, वस्तु पहचान एक कदम आगे जाएगी और प्रत्येक कार, पैदल यात्री और यातायात संकेत के चारों ओर बाउंडिंग बॉक्स बनाएगी, अनिवार्य रूप से प्रत्येक वस्तु को अलग करेगी और प्रत्येक को एक सार्थक विवरण के साथ लेबल करेगी।

प्रमुख बिंदु:

• पहचानी गई वस्तुओं के चारों ओर बाउंडिंग बॉक्स बनाता है और उन्हें एक क्लास लेबल निर्दिष्ट करता है।
• यह आपको बताता है कि छवि में कौन सी वस्तुएँ मौजूद हैं और वे कहाँ स्थित हैं।
• ऑब्जेक्ट डिटेक्शन के कुछ लोकप्रिय उदाहरणों में आर-सीएनएन, फास्ट आर-सीएनएन, योलो (यू ओनली लुक वन्स), और एसएसडी (सिंगल शॉट डिटेक्टर) शामिल हैं।

विभाजन

छवि विभाजन एक छवि को कई खंडों या पिक्सेल के सेटों (जिन्हें सुपर-पिक्सल भी कहा जाता है) में विभाजित करने की प्रक्रिया है, ताकि आप मूल छवि की तुलना में अधिक सार्थक और विश्लेषण करने में आसान कुछ हासिल कर सकें।

छवि विभाजन के 3 मुख्य प्रकार हैं, प्रत्येक का अलग-अलग उपयोग होता है।

1. शब्दार्थ विभाजन

   यह कंप्यूटर विज़न में मूलभूत कार्यों में से एक है जहाँ आप एक छवि को कई खंडों में विभाजित करते हैं और प्रत्येक खंड को एक अर्थपूर्ण लेबल या वर्ग से जोड़ते हैं। छवि वर्गीकरण के विपरीत, जहाँ आप पूरी छवि को एक ही लेबल देते हैं, अर्थपूर्ण विभाजन आपको छवि में प्रत्येक पिक्सेल को एक वर्ग लेबल देने देता है, इसलिए आपको छवि वर्गीकरण की तुलना में परिष्कृत आउटपुट मिलता है।

   सिमेंटिक विभाजन का लक्ष्य पिक्सेल स्तर पर प्रत्येक वस्तु, सतह या क्षेत्र की सीमाओं या रूपरेखाओं को सटीक रूप से बनाकर छवि को दानेदार स्तर पर समझना है।

   प्रमुख बिंदु:

   • चूँकि किसी वर्ग के सभी पिक्सेल एक साथ समूहीकृत होते हैं, यह एक ही वर्ग के विभिन्न उदाहरणों के बीच अंतर नहीं कर सकता है।
   • सभी पिक्सेल को लेबल करके आपको एक "समग्र" दृश्य देता है, लेकिन व्यक्तिगत ऑब्जेक्ट को अलग नहीं करता है।
   • ज्यादातर मामलों में, यह पूरी तरह से कनवल्शनल नेटवर्क (एफसीएन) का उपयोग करता है जो इनपुट के समान रिज़ॉल्यूशन के साथ एक वर्गीकरण मानचित्र आउटपुट करता है।

2. उदाहरण विभाजन

   उदाहरण विभाजन, अर्थगत विभाजन से एक कदम आगे जाकर न केवल वस्तुओं की पहचान करता है, बल्कि प्रत्येक व्यक्तिगत वस्तु की सीमाओं को भी सटीक रूप से विभाजित और रेखांकित करता है, जिसे मशीन द्वारा आसानी से समझा जा सकता है।

   उदाहरण विभाजन में, प्रत्येक वस्तु का पता लगाने के साथ, एल्गोरिदम एक बाउंडिंग बॉक्स, एक क्लास लेबल (जैसे, व्यक्ति, कार, कुत्ता) और एक पिक्सेल-वार मास्क प्रदान करता है जो उस विशिष्ट वस्तु का सटीक आकार और आकार दिखाता है।

   यह सिमेंटिक सेगमेंटेशन की तुलना में अधिक जटिल है, जहां लक्ष्य एक ही प्रकार की विभिन्न वस्तुओं को अलग किए बिना प्रत्येक पिक्सेल को एक श्रेणी के साथ लेबल करना है।

   प्रमुख बिंदु:

   • प्रत्येक वस्तु को एक अद्वितीय लेबल देकर अलग-अलग वस्तुओं को पहचानता है और अलग करता है।
   • यह स्पष्ट आकृतियों वाली गणनीय वस्तुओं पर अधिक केंद्रित है, जैसे लोग, पशु और वाहन।
   • यह प्रति श्रेणी एक मास्क का उपयोग करने के बजाय प्रत्येक ऑब्जेक्ट के लिए एक अलग मास्क का उपयोग करता है।
   • अधिकतर एक अतिरिक्त विभाजन शाखा के माध्यम से मास्क आर-सीएनएन जैसे ऑब्जेक्ट डिटेक्शन मॉडल का विस्तार करने के लिए उपयोग किया जाता है।

3. पैनोप्टिक विभाजन

   पैनोप्टिक विभाजन सिमेंटिक विभाजन और उदाहरण विभाजन की क्षमताओं को जोड़ता है। पैनोप्टिक सेगमेंटेशन का उपयोग करने का सबसे अच्छा हिस्सा एक छवि में प्रत्येक पिक्सेल को एक सिमेंटिक लेबल और इंस्टेंस आईडी प्रदान करता है, जिससे आपको एक बार में पूरे दृश्य का संपूर्ण विश्लेषण मिलता है।

   पैनोप्टिक विभाजन के आउटपुट को विभाजन मानचित्र कहा जाता है, जहां प्रत्येक पिक्सेल को एक सिमेंटिक क्लास और एक इंस्टेंस आईडी (यदि पिक्सेल किसी ऑब्जेक्ट इंस्टेंस से संबंधित है) या शून्य (यदि पिक्सेल किसी भी इंस्टेंस से संबंधित नहीं है) के साथ लेबल किया जाता है।

   लेकिन इसमें कुछ चुनौतियाँ भी हैं। इसके लिए मॉडल को दोनों कार्य एक साथ करने और अर्थगत और उदाहरण पूर्वानुमानों के बीच संभावित संघर्षों को हल करने की आवश्यकता होती है, जिसके लिए अधिक सिस्टम संसाधनों की आवश्यकता होती है और इसका उपयोग केवल वहाँ किया जाता है जहाँ समय सीमाओं के साथ अर्थगत और उदाहरण दोनों की आवश्यकता होती है।

   प्रमुख बिंदु:

   • यह प्रत्येक पिक्सेल को एक सिमेंटिक लेबल और इंस्टेंस आईडी निर्दिष्ट करता है।
   • सिमेंटिक संदर्भ और उदाहरण-स्तरीय पहचान का मिश्रण।
   • आम तौर पर, इसमें साझा रीढ़ के साथ अलग-अलग सिमेंटिक और उदाहरण विभाजन मॉडल का उपयोग शामिल होता है।

   यहाँ सिमेंटिक सेगमेंटेशन, इंस्टेंस सेगमेंटेशन और पैनोप्टिक सेगमेंटेशन के बीच अंतर को दर्शाने वाला एक सरल उदाहरण दिया गया है: