Shaip ने AI स्पीच क्लाइंट के लिए स्केलेबल वॉइस क्लोनिंग क्वालिटी इवैल्यूएशन प्रोग्राम कैसे विकसित किया
डेमो-क्वालिटी से लेकर डिप्लॉयमेंट-रेडी तक — संरचित मानवीय मूल्यांकन ने कैसे एक एआई स्पीच क्लाइंट को लैब मेट्रिक्स और वास्तविक दुनिया के प्रदर्शन के बीच के अंतर को पाटने में मदद की।
परियोजना अवलोकन
डेमो में वॉइस क्लोनिंग मॉडल प्रभावशाली लग सकते हैं, लेकिन वास्तविक उपयोग में वे अक्सर विफल हो जाते हैं। क्लाइंट को यह मापने का एक विश्वसनीय तरीका चाहिए था कि उनका मॉडल वास्तव में बेहतर हो रहा है या नहीं – विशेष रूप से भारतीय अंग्रेजी के लिए, जो कि एक प्राथमिकता वाला बाज़ार था।
शैप को एक मानव मूल्यांकन कार्यक्रम को डिजाइन और प्रबंधित करने के लिए लाया गया था जो तीन प्रमुख व्यावसायिक प्रश्नों का उत्तर दे सके:
- क्या भाषण स्वाभाविक लगता है?
- क्या इसकी आवाज़ अभी भी मूल स्पीकर जैसी ही है?
- क्या यह उत्पादन उपयोग के लिए पर्याप्त रूप से सुरक्षित और विश्वसनीय है?
स्वचालित मापदंडों पर निर्भर रहने के बजाय, इस परियोजना में प्रशिक्षित मानव समीक्षकों का उपयोग वास्तविक ऑडियो आउटपुट का मूल्यांकन करने और यह पहचानने के लिए किया गया कि मॉडल अभी भी कहां कम पड़ रहा है।
मुख्य डेटासेट मेट्रिक्स
उदाहरण
वॉइस क्लोनिंग गुणवत्ता मूल्यांकन
परियोजना अवधि
12 सप्ताह
नमूनों की समीक्षा की गई
12,400 संश्लेषित ऑडियो क्लिप
एनोटेटर तैनात किए गए
48 प्रशिक्षित अंग्रेजी मूल्यांकनकर्ता
टीटीएस और वॉइस क्लोनिंग की गुणवत्ता का आकलन करने में चुनौतियाँ
- मॉडल को सभी क्षेत्रों में अच्छी तरह से काम करने की आवश्यकता थी। कई अंग्रेजी लहजेविशेषकर भारतीय अंग्रेजी।
- ऑडियो की गुणवत्ता में उन तरीकों से सुधार होना चाहिए जो अंतिम उपयोगकर्ताओं के लिए मायने रखते हैं, न कि केवल प्रयोगशाला मापदंडों में।
- टीम को पहचान करने का एक स्पष्ट तरीका चाहिए था स्पीच आउटपुट में क्या गड़बड़ी हो रही थी?.
- लंबे ऑडियो क्लिप में समय के साथ मूल वक्ता की पहचान कभी-कभी खो जाती है।
- ग्राहक को निम्नलिखित के लिए भी चेक की आवश्यकता थी सुरक्षा, प्रतिरूपण का जोखिम और वॉटरमार्क की उपस्थिति.
समाधान: कृत्रिम बुद्धिमत्ता से प्राप्त ध्वनि की गुणवत्ता के लिए मानव मूल्यांकन ढांचा
मूल्यांकन रणनीति
शैप ने स्वाभाविकता, स्पष्टता, आवाज की समानता, निरंतरता और सुरक्षा का आकलन करने के लिए एक संरचित समीक्षा ढांचा तैयार किया।
बड़े पैमाने पर मानव समीक्षा
48 प्रशिक्षित मूल्यांकनकर्ताओं ने भारतीय अंग्रेजी, तटस्थ अमेरिकी अंग्रेजी और हिंग्लिश उप-श्रेणी के 12,400 ऑडियो नमूनों की समीक्षा की।
तीन-भाग मूल्यांकन
- समीक्षकों ने प्रत्येक क्लिप की ध्वनि की स्वाभाविकता और सुगमता को अंक दिए।
- उन्होंने बेहतर संस्करण की पहचान करने के लिए क्लिप के जोड़ों की तुलना की।
- उन्होंने अस्वाभाविक लय, पिच की समस्या और स्पीकर ड्रिफ्ट जैसी बार-बार होने वाली गुणवत्ता संबंधी समस्याओं को चिह्नित किया।
गुणवत्ता नियंत्रण
स्कोरिंग को सुसंगत और विश्वसनीय बनाए रखने के लिए शैप ने कैलिब्रेशन कार्यों, गोल्ड-स्टैंडर्ड जांच, बार-बार समीक्षा और QA निगरानी का उपयोग किया।
कार्रवाई योग्य प्रतिक्रिया लूप
प्रत्येक स्प्रिंट से प्राप्त निष्कर्षों को क्लाइंट की ट्यूनिंग प्रक्रिया में शामिल किया गया, जिससे मॉडल को कई चरणों में बेहतर बनाने में मदद मिली।
परियोजना का दायरा: भाषाएँ, उच्चारण और समीक्षा कवरेज
| क्षेत्र | विस्तार |
|---|---|
| भाषा | अंग्रेज़ी |
| प्राथमिकता उच्चारण | भारतीय अंग्रेज़ी, तटस्थ अमेरिकी अंग्रेज़ी |
| द्वितीयक कवरेज | ब्रिटिश अंग्रेज़ी, हिंग्लिश उप-ट्रैक |
| नमूना प्रकार | संक्षिप्त संदर्भ क्लिप, कुछ शॉट वाले नमूने, लंबे भाषण |
| समीक्षा आउटपुट | गुणवत्ता रेटिंग, प्राथमिकता लेबल, समस्या टैगिंग |
| सगाई की अवधि | 12 सप्ताह |
परिणाम: आवाज की क्लोनिंग में मापने योग्य सुधार
- आवाज की गुणवत्ता में स्पष्ट सुधार: मॉडल का समग्र गुणवत्ता स्कोर 3.41 से बढ़कर 4.12 हो गया, जिससे पता चलता है कि भाषण अधिक स्वाभाविक और उत्पादन के लिए तैयार हो गया है।
- बेहतर स्पीकर मिलान: यह प्रणाली मूल वक्ता की आवाज को संरक्षित करने में काफी बेहतर हो गई, जिससे समानता 0.71 से बढ़कर 0.87 हो गई।
- कम ध्यान देने योग्य त्रुटियाँ: प्रारंभिक चरण में 31% नमूनों में बोलने संबंधी समस्याएं देखी गईं, जो अंतिम चरण तक घटकर 11% रह गईं।
- उत्कृष्ट बोधगम्यता: भारतीय अंग्रेजी में अंतिम शब्द त्रुटि दर 4.8% तक पहुंच गई, जो लक्ष्य सीमा से अधिक है।
- सुरक्षित तैनाती की तैयारी: मूल्यांकन ने प्रमुख सुरक्षा जांचों पर भी मजबूत प्रदर्शन की पुष्टि की, जिसमें प्रतिरूपण जोखिम स्क्रीनिंग और वॉटरमार्क सत्यापन शामिल हैं।
शैप ने हमें व्यक्तिपरक ऑडियो गुणवत्ता को मापने योग्य सुधार कार्यक्रम में बदलने में मदद की। उनके मूल्यांकन ढांचे ने हमें स्पष्ट संकेत दिए कि क्या ठीक करना है, कहाँ सुधार करना है और आत्मविश्वास के साथ उत्पादन की ओर कैसे बढ़ना है।
