माया

परिभाषा

एआई में, मतिभ्रम उन उदाहरणों को संदर्भित करता है जहाँ एक मॉडल ऐसे आउटपुट उत्पन्न करता है जो धाराप्रवाह तो होते हैं लेकिन तथ्यात्मक रूप से गलत या निरर्थक होते हैं। यह विशेष रूप से बड़े भाषा मॉडल और जनरेटिव एआई में आम है।

उद्देश्य

मतिभ्रम का अध्ययन मॉडल की विश्वसनीयता और सुरक्षा को बेहतर बनाने में मदद करता है। यह डेवलपर्स को गलत आउटपुट का पता लगाने और उन्हें कम करने के लिए सुरक्षा उपाय डिज़ाइन करने में सक्षम बनाता है।

महत्व

• यदि इस पर ध्यान नहीं दिया गया तो एआई में विश्वास कम हो जाएगा।
• स्वास्थ्य सेवा या कानून जैसे संवेदनशील अनुप्रयोगों में नुकसान हो सकता है।
• वर्तमान जनरेटिव मॉडल की सीमाओं पर प्रकाश डाला गया।
• तथ्यात्मक आधार और पुनर्प्राप्ति विधियों में अनुसंधान को आगे बढ़ाता है।

यह कैसे काम करता है:

1. मॉडल को एक प्रॉम्प्ट या क्वेरी प्राप्त होती है.
2. तथ्य सत्यापन के आधार पर नहीं, बल्कि सीखे गए पैटर्न के आधार पर आउटपुट उत्पन्न करता है।
3. यह विश्वसनीय लग सकता है, लेकिन गलत परिणाम दे सकता है।
4. पता लगाने और सुधार तकनीकें लागू की जाती हैं (जैसे, RAG)।

उदाहरण (वास्तविक दुनिया)

• चैटजीपीटी कभी-कभी संकेत मिलने पर गलत तथ्य प्रस्तुत करता है।
• गूगल बार्ड के प्रारंभिक डेमो में तथ्यात्मक गलतियाँ सामने आईं।
• एआई द्वारा उत्पन्न चिकित्सा सलाह में कभी-कभी अशुद्धियाँ होती हैं।

संदर्भ / आगे पढ़ने के लिए

• “बड़े भाषा मॉडल में मतिभ्रम को कम करना” — arXiv प्रीप्रिंट।
• एनआईएसटी एआई जोखिम प्रबंधन ढांचा।
• मिशेल एट अल. “मॉडल रिपोर्टिंग के लिए मॉडल कार्ड।” ACM FAccT.
• एआई मतिभ्रम के कारण