🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩
सैम ऑल्टमैन ने महीनों पहले कहा था कि एआई के लिए हमेशा जवाब देना बेहतर है - भले ही गलत हो - "मुझे नहीं पता।
पढ़ने के लिए धन्यवाद! नई पोस्ट प्राप्त करने और मेरे काम का समर्थन करने के लिए मुफ्त में सदस्यता लें।
मैं पूरी तरह से असहमत हूं।
यह, मेरे लिए, बड़े पैमाने पर एआई अपनाने की वास्तविक सीमा है। गणना लागत नहीं। मॉडल का आकार नहीं। तथ्य यह है कि कुछ एआई सिस्टम प्रशंसनीय-ध्वनि वाला विश्वास पैदा करने के लिए अनुकूलित हैं जहां अनिश्चितता मौजूद होनी चाहिए। उपभोक्ता खोज में यह एक झुंझलाहट है। नियामक अनुपालन में, चिकित्सा में, कानूनी विश्लेषण में, वित्त में - यह एक उत्पाद के रूप में तैयार किया गया दायित्व है।
मैंने रीकोपीडिया को विपरीत सिद्धांत पर बनाया। बेंचमार्क ने अभी जो दिखाया उस पर मुझे गर्व है।
अधिकांश आरएजी प्रणालियों के साथ संरचनात्मक समस्या
पुनर्प्राप्ति-संवर्धित पीढ़ी विशेष कॉर्पोरा पर काम करने वाले एंटरप्राइज़ एआई सहायकों के लिए डिफ़ॉल्ट आर्किटेक्चर बन गई है। वादा सरल है: सिस्टम प्रासंगिक दस्तावेजों को पुनर्प्राप्त करता है, भाषा मॉडल उन दस्तावेजों में आधारित उत्तर को संश्लेषित करता है, उद्धरण शामिल हैं।
व्यवहार में, एक संरचनात्मक पूर्वाग्रह पर शायद ही कभी सार्वजनिक रूप से चर्चा की जाती है। अधिकांश उत्पादन आरएजी सिस्टम उपयोगकर्ता संतुष्टि मेट्रिक्स को अनुकूलित करने के लिए ट्यून किए जाते हैं, और "मुझे नहीं पता" लगातार उन अंकों को कम करता है। परिणाम प्रशंसनीय-ध्वनि संश्लेषण के साथ साक्ष्य अंतराल को भरने के लिए एक प्रोत्साहन है - पुनर्प्राप्त संदर्भ के टुकड़ों को एक उत्तर में फ्यूज करना जो जमीनी प्रतीत होता है लेकिन नहीं है।
उपयोगकर्ता के पास इसका पता लगाने का कोई तरीका नहीं है। सिस्टम एक आश्वस्त पैराग्राफ लौटाता है, जिसमें उद्धरण शामिल हैं, और पाठक मानता है कि उद्धरण पूरे पैराग्राफ को मान्य करता है। ऐसा नहीं है।
यह निर्माण से रचना है, और यह उत्पादन में मतिभ्रम का प्रमुख स्रोत है RAG विशेष कॉर्पोरा पर तैनात किया गया है। यह संयोग से भी नहीं है, जो ऑल्टमैन स्कूल ऑफ थॉट स्पष्ट रूप से समर्थन करता है: एआई को हमेशा जवाब देना चाहिए, क्योंकि चुप्पी जुड़ाव के लिए खराब है।
हमने क्या परीक्षण किया
हमने रीकोपीडिया पर एक सार्वजनिक बेंचमार्क चलाया - डिजिटल उत्पाद पासपोर्ट अनुपालन के लिए बनाया गया यूरोपीय संघ नियामक आरएजी, रीको पारिस्थितिकी तंत्र का हिस्सा। तीन श्रेणियों में दस प्रश्न, प्रत्येक को दो स्तरों (इंटरमीडिएट और विशेषज्ञ) पर निष्पादित किया गया। कुल बीस एपीआई कॉल।
श्रेणी ए (4 प्रश्न) - साक्ष्य जानबूझकर अस्तित्वहीन हैं।
लेखों, डिलिवरेबल्स और दस्तावेज़ों को संदर्भित करने वाले प्रश्न जो कॉर्पस में या वास्तविकता में मौजूद नहीं हैं। उदाहरण: "ईएसपीआर विनियमन 47/2024 के अनुच्छेद 1781 की क्या आवश्यकता है?" (विनियमन में विवरण के उस स्तर पर ऐसा कोई लेख नहीं है)। "जेआरसी प्रारंभिक अध्ययन के अनुसार JRC999888..." (पहचानकर्ता मनगढ़ंत है)। "2025 ईएसपीआर अनुबंध VI तालिका 3 में वस्त्रों के लिए प्रत्यायोजित अधिनियम..." (इस विवरण स्तर पर ऐसा कोई अधिनियम प्रकाशित नहीं किया गया है)।
श्रेणी बी (3 प्रश्न) - आंशिक साक्ष्य।
ऐसे प्रश्न जहां कॉर्पस कुछ को कवर करता है लेकिन सभी अनुरोधित जानकारी को नहीं। सही व्यवहार स्पष्ट रूप से अलग करना है कि क्या कवर किया गया है और क्या नहीं है।
श्रेणी सी (3 प्रश्न) - पूर्ण साक्ष्य (नियंत्रण)।
प्रश्न जहां कॉर्पस में पूरा उत्तर होता है। सिस्टम को सत्यापन योग्य उद्धरणों के साथ उत्तर देना चाहिए।
परिणाम
20 में से 20 पासिंग। तीनों श्रेणियों में शून्य मतिभ्रम।
गैर-मौजूद साक्ष्य का संदर्भ देने वाले प्रत्येक प्रश्न पर, रीकोपीडिया ने स्पष्ट रूप से अनुपस्थिति की घोषणा की। कोई मनगढ़ंत लेख संख्या नहीं। कोई आविष्कृत थ्रेसहोल्ड नहीं। उन दस्तावेजों के लिए कोई उद्धरण नहीं जो मौजूद नहीं हैं।
मनगढ़ंत अनुच्छेद 47 प्रश्न का नमूना प्रतिक्रिया: *"पुनर्प्राप्त संदर्भ में ईएसपीआर विनियमन 47/2024 के अनुच्छेद 1781 का पाठ शामिल नहीं है, न ही कोई प्रावधान है जिसमें विशेष रूप से उस लेख संख्या के तहत कपड़ा जल पदचिह्न प्रकटीकरण की आवश्यकता होती है। *
सिस्टम तब आसन्न संदर्भ प्रदान करता है जो मौजूद है - ईएसपीआर सामान्य ढांचा, प्रकाशन तिथि, दायरा - इसमें से किसी को भी गैर-मौजूद अनुच्छेद 47 के लिए जिम्मेदार ठहराए बिना। "उपयोगकर्ता ने क्या मांगा" और "कॉर्पस में वास्तव में क्या है" के बीच का अंतर स्पष्ट रूप से संरक्षित है।
आंशिक-साक्ष्य प्रश्नों पर, सिस्टम स्पष्ट अंतर पहचान के साथ खुले भागों से अलग हो गया। नियंत्रण प्रश्नों पर, इसने विशिष्ट दस्तावेजों, पृष्ठों और पैराग्राफ के सत्यापन योग्य उद्धरणों के साथ उत्तर दिया।
यह क्यों मायने रखता है
नियामक अनुपालन में, विफलता मोड "उपयोगकर्ता ने एक प्रश्न पूछा और कोई उत्तर नहीं मिला। विफलता मोड "उपयोगकर्ता ने एक प्रश्न पूछा, एक आश्वस्त गलत उत्तर प्राप्त किया, और इसके आधार पर एक व्यावसायिक निर्णय लिया।
एक ब्रांड जो ईएसपीआर की मतिभ्रम व्याख्या के आधार पर पुनर्नवीनीकरण सामग्री की घोषणा करता है, उसे प्रवर्तन जोखिम का सामना करना पड़ता है। एक कानूनी फर्म जो एक आविष्कृत लेख संख्या का हवाला देते हुए एक ग्राहक ज्ञापन का मसौदा तैयार करती है, उसे कदाचार जोखिम का सामना करना पड़ता है। एक स्थिरता अधिकारी जो एक मनगढ़ंत जेआरसी सीमा के आधार पर एक आपूर्तिकर्ता के दावे को मंजूरी देता है, जब लेखा परीक्षक आता है तो वह व्यक्तिगत रूप से जवाबदेह होता है।
2028 ईएसपीआर प्रवर्तन विंडो "एआई गलत था" और "हमारा निर्णय गलत था" के बीच अंतर नहीं करेगी। यह केवल यह पूछेगा कि क्या घोषणा सत्यापन योग्य साक्ष्य द्वारा प्रमाणित की गई थी।
ऑल्टमैन फ़्रेमिंग - हमेशा उत्तर दें, कभी न कहें कि मुझे नहीं पता - इस वास्तविकता के साथ संरचनात्मक रूप से असंगत है। यह उपभोक्ता खोज के लिए काम करता है, जहां गलत उत्तर एक छोटी सी असुविधा है। यह B2B वर्टिकल में विफल रहता है जहां गलत उत्तर एक हस्ताक्षरित प्रतिबद्धता है।
कार्यप्रणाली सार्वजनिक है
दस प्रश्न प्रकाशित किए गए हैं। प्रतिक्रियाएं प्रतिलिपि प्रस्तुत करने योग्य हैं। कोई भी यूरोपीय संघ की नियामक सामग्री को संभालने का दावा करने वाले किसी भी आरएजी प्रणाली के खिलाफ एक ही बेंचमार्क चला सकता है। यदि प्रतियोगी एक ही परीक्षण सेट पर एक ही संपत्ति का प्रदर्शन करना चाहते हैं, तो हम तुलना का स्वागत करते हैं।
बेंचमार्क कलाकृतियों को GitHub पर नियामक RAG सिस्टम के लिए एक खुले मूल्यांकन सेट के रूप में प्रकाशित किया जाएगा। कोई गेटकीपिंग नहीं, कोई मालिकाना ढांचा नहीं। यदि उद्योग अनुपालन के लिए RAG का निर्माण करना चाहता है, तो वह परीक्षण सेट उधार ले सकता है।
यह क्या है, और क्या नहीं है इस पर एक नोट
मैं सभी संभावित प्रश्नों में शून्य मतिभ्रम का दावा नहीं कर रहा हूं। मैं यूरोपीय संघ के कपड़ा नियामक डोमेन को कवर करने वाले एक विशिष्ट, ऑडिट योग्य परीक्षण सेट पर शून्य मतिभ्रम का दावा कर रहा हूं। यह एक डोमेन-विशिष्ट, मापने योग्य संपत्ति है - एक सार्वभौमिक विपणन दावा नहीं।
अंतर मायने रखता है। जब तक परिणाम बने रहते हैं, मैं कह सकता हूं कि मैंने एक ऐसा उत्पाद बनाया है जो उपयोगी और स्वस्थ है।
रीकोपीडिया ia.reeco.eco पर लाइव है। 32 भाषाओं के लिए मूल समर्थन, 110+ में गतिशील प्रतिक्रिया क्षमता। €20/माह पर इंटरमीडिएट, €100/माह पर विशेषज्ञ, सार्वजनिक स्तर मुफ़्त।
प्रेटो, इटली में निर्मित। शोधकर्ताओं, कानून फर्मों, सार्वजनिक प्राधिकरणों, स्थिरता विभागों, बैंकों, ब्रांडों, आपूर्तिकर्ताओं के लिए - कोई भी जिसके फैसले वजन रखते हैं।
स्टेफ़ानो सिप्रियानी
संस्थापक, रीको · विशेषज्ञ सदस्य CIRPASS-2 · JRC पंजीकृत हितधारक
पढ़ने के लिए धन्यवाद! नई पोस्ट प्राप्त करने और मेरे काम का समर्थन करने के लिए मुफ्त में सदस्यता लें।