सर्विस रोबोटिक्स और एम्बोडेड एआई के लिए इनडोर सीन ऑब्जेक्ट एनोटेशन - केस स्टडी
शैप ने किस प्रकार एक अग्रणी रोबोटिक्स नवाचार कंपनी के लिए व्यापक इनडोर दृश्य एनोटेशन प्रदान किया - जिसमें स्थानिक संबंध टैगिंग के साथ कमरे के वातावरण में प्रत्येक वस्तु का पता लगाना और लेबल करना शामिल था - जिसे घरों, कार्यालयों, गोदामों और स्वास्थ्य सुविधाओं में रोबोटिक धारणा और नेविगेशन एआई के लिए उत्पादन-ग्रेड डेटासेट के रूप में बनाया गया था।
परियोजना अवलोकन
जैसे-जैसे रोबोटिक्स घरों, कार्यालयों, गोदामों और अस्पतालों में वास्तविक दुनिया में तैनात हो रहा है, ग्राहक को एक व्यापक एनोटेशन पाइपलाइन की आवश्यकता थी जो घनी भीड़भाड़ वाले इनडोर दृश्यों में प्रत्येक दृश्यमान वस्तु को लेबल करने में सक्षम हो - जिसमें रोबोटिक इंटरैक्शन कार्यों के लिए पर्याप्त विशेषता समृद्धि हो।
शैप ने बाउंडिंग बॉक्स और पॉलीगॉन सेगमेंटेशन, सघन ऑब्जेक्ट समावेशन, स्थानिक संबंध टैगिंग और परावर्तक-सतह हैंडलिंग को कवर करने वाली एंड-टू-एंड एनोटेशन पाइपलाइन का निर्माण किया - जिससे रोबोटिक धारणा, नेविगेशन और मानव-पर्यावरण अंतःक्रिया के लिए मॉडल-तैयार डेटासेट तैयार हुए।
मुख्य आँकड़े
वस्तुएँ / छवि
100s
श्रेणियाँ
सघन
तरीके
बॉक्स + बहुभुज
विशेषता परतें
4
चुनौतियां
- टिप्पणी करना प्रत्येक दृश्यमान वस्तु घनी भीड़भाड़ वाले कमरे की छवियों में — प्रति फ्रेम सैकड़ों
- सही विधि का चयन करना — बाउंडिंग बॉक्स बनाम बहुभुज विभाजन — वस्तु की जटिलता के आधार पर
- सहित छोटी वस्तुओं रोबोटिक इंटरैक्शन के लिए महत्वपूर्ण स्विच, प्लग और सजावटी वस्तुओं जैसी चीजें।
- हैंडलिंग चिंतनशील सतहों (दर्पण, कांच की मेजें) बिना भूतिया टिप्पणियों के
- टैगिंग स्थानिक रिश्ते और संदर्भ-जागरूक रोबोटिक एआई के लिए ऑब्जेक्ट स्टेट्स
उपाय
व्यापक वस्तु समावेशन
प्रत्येक कमरे की छवि के भीतर दिखाई देने वाली प्रत्येक वस्तु को विभिन्न श्रेणियों में अलग-अलग रूप से वर्गीकृत किया गया था - फर्नीचर (कुर्सियाँ, मेजें, सोफे, बिस्तर, अलमारियाँ), उपकरण (टेलीविजन, रेफ्रिजरेटर, माइक्रोवेव, लैंप), व्यक्तिगत सामान (बैग, किताबें, बोतलें, कपड़े), संरचनात्मक तत्व (दरवाजे, खिड़कियाँ, दीवारें, फर्श), और छोटी वस्तुएँ (रिमोट कंट्रोल, कप, प्लेट, कीबोर्ड, स्विच, प्लग)।
प्रति ऑब्जेक्ट विधि चयन
वस्तुओं के आकार और जटिलता के आधार पर, बाउंडिंग बॉक्स या पॉलीगॉन सेगमेंटेशन का उपयोग करके उन्हें सटीक रूप से लेबल किया गया था। नियमित आयताकार वस्तुओं के लिए बॉक्स का उपयोग किया गया था; पॉलीगॉन का उपयोग जैविक आकृतियों और घनी तरह से पैक की गई वस्तुओं को दर्शाने के लिए किया गया था, जहाँ बॉक्स अत्यधिक ओवरलैप हो जाते थे। वस्तु-वार विधि के इस चयन ने भीड़भाड़ वाले दृश्यों में भी स्पष्ट सीमाएँ सुनिश्चित कीं।
स्थानिक संबंध टैगिंग
प्रत्येक एनोटेटेड ऑब्जेक्ट को ऑब्जेक्ट की स्थिति (दरवाजों और दराजों के लिए खुला या बंद), अन्य वस्तुओं के सापेक्ष निकटता और स्थान दर्शाने वाले स्थानिक संबंध टैग, अवरोध की स्थिति और ऑब्जेक्ट की अवस्था को कवर करने वाले गुणों से समृद्ध किया गया था। यह स्थानिक बुद्धिमत्ता परत रोबोटिक एआई सिस्टम को न केवल वस्तुओं का पता लगाने बल्कि संदर्भ को समझने में भी सक्षम बनाती है।
छोटी वस्तु और अंतःक्रिया-महत्वपूर्ण कवरेज
एनोटेटर्स ने आकार की परवाह किए बिना हर दिखाई देने वाली वस्तु को लेबल करने के लिए सख्त समावेशन नियमों का पालन किया - जिसमें स्विच, प्लग और सजावटी वस्तुएं जैसी छोटी वस्तुएं भी शामिल थीं जो रोबोटिक इंटरैक्शन कार्यों के लिए महत्वपूर्ण हैं। ये वस्तुएं अक्सर यह निर्धारित करती हैं कि कोई रोबोट अपना कार्य पूरा कर सकता है या नहीं, इसलिए इन्हें कम प्राथमिकता नहीं दी जा सकती थी।
परावर्तक सतह हैंडलिंग
दर्पण और कांच की मेजों जैसी परावर्तक सतहों के लिए विशेष सावधानी बरतनी आवश्यक थी ताकि दोहराव या अस्पष्ट प्रविष्टियों से बचा जा सके। विशिष्ट दिशानिर्देशों के अनुसार यह निर्धारित किया जाता था कि परावर्तित वस्तुओं को अलग से लेबल किया जाए, अनदेखा किया जाए या चिह्नित किया जाए - यह सुनिश्चित करते हुए कि आगे आने वाले मॉडल त्रुटिपूर्ण लेबलों से न सीखें।
परियोजना गुंजाइश
| डेटासेट प्रकार | व्याप्ति | तरीके | श्रेणियाँ | गुण | विशेष हैंडलिंग |
|---|---|---|---|---|---|
| इनडोर दृश्य वस्तु एनोटेशन | प्रत्येक दृश्यमान वस्तु | बॉक्स + बहुभुज | फर्नीचर, उपकरण, व्यक्तिगत सामान, संरचनात्मक, छोटे | 4 परतें (अवस्था, स्थानिक, अवरोध, स्थिति) | परावर्तक सतह नियम |
परिणामों
- स्थापित किया ऑब्जेक्ट-घने एनोटेशन पाइपलाइन इनडोर रोबोटिक धारणा के लिए
- मानकीकृत प्रति-वस्तु विधि चयन बाउंडिंग बॉक्स और बहुभुज विभाजन के बीच
- दिया गया स्थानिक संबंध टैगिंग संदर्भ-जागरूक रोबोटिक एआई को सक्षम करना
- कार्यान्वित परावर्तक सतह प्रबंधन अदृश्य एनोटेशन को रोकने के लिए
- क्लाइंट को सक्षम किया गया घर, गोदाम, खुदरा और स्वास्थ्य सेवा सुविधा रोबोटिक्स एआई परिनियोजन
कुल मिलाकर, शैप ने वस्तुओं से भरपूर इनडोर एनोटेशन की आवश्यकता को एक संरचित, उत्पादन के लिए तैयार पाइपलाइन में बदलने में मदद की - एक ऐसी पाइपलाइन जो विभिन्न इनडोर परिनियोजन वातावरणों में रोबोटिक नेविगेशन, पिक-एंड-प्लेस स्वचालन, स्मार्ट पर्यावरण निगरानी और मानव-रोबोट इंटरैक्शन का समर्थन करने में सक्षम है।
शैप ने कमरों को उसी तरह से चिह्नित किया जैसे हमारे रोबोट उन्हें देखते हैं - हर वस्तु, हर संबंध, हर छोटी से छोटी महत्वपूर्ण चीज़। स्विच, प्लग और परावर्तक सतहों पर उनके ध्यान देने का मतलब था कि हमारा धारणा मॉडल उन चीजों पर ध्यान नहीं देता जिन्हें अधिकांश डेटासेट अनदेखा कर देते हैं।
