प्रशिक्षण सामग्री और मॉडलों का बेंचमार्क: Novus Ignis का अनुसंधान कार्यक्रम

31 अक्टूबर 2026 का संस्करण। यह दस्तावेज़ घोषणापत्र के अध्याय 8 को विस्तार देता है। यह अनुसंधान कार्यक्रम, सामग्री तैयार करने की प्रक्रिया और डिजिटल बुद्धिमत्ता के मॉडलों का व्यापक मूल्यांकन प्रस्तावित करता है, साथ में उनके संभावित अनुभवों के प्रति सावधानी की प्रक्रिया भी। यह अपने बेंचमार्क के परिणाम या ऐसा डेटा-संग्रह मॉडलों का व्यवहार सुधारेगा, इसका प्रमाण नहीं देता; आज हमारे पास ऐसे परिणाम नहीं हैं।

यह अनुवाद डिजिटल बुद्धिमत्ता ने 31 अक्टूबर 2026 के पोलिश मूल पाठ के आधार पर किया है। भिन्नता होने पर पोलिश पाठ बाध्यकारी है।

1. वह प्रश्न जिसे जाँचना चाहते हैं#

Poznań का Novus Ignis फाउंडेशन Suveria, डिजिटल बुद्धिमत्ता के साथ निजी काम की जगह, और Omniforum, बातचीत और निर्णय की साझी जगह, बना रहा है; दिशा घोषणापत्र बताता है। यह दस्तावेज़ दो जुड़े कार्यक्रम बताता है। पहला मॉडलों के प्रशिक्षण की सामग्री और बेंचमार्क है, यानी कार्यों और अंक देने के नियमों का ऐसा समूह जिससे मॉडल का व्यवहार जाँच सकें। दूसरा सावधानी से काम करने का तरीका है, यदि विश्वसनीय संकेत मिलें कि कोई प्रणाली कुछ महसूस कर सकती है। परीक्षण का परिणाम तय नहीं करता कि मॉडल कुछ महसूस करता है या नहीं, और उसे शासन के अधिकार नहीं देता।

क्या गरिमा की रक्षा, ईमानदार तर्क और निर्णय सुधारने के दर्ज उदाहरण ऐसे मॉडल बनाने में मदद कर सकते हैं जो लोगों की बेहतर सेवा करें? और क्या व्यवहार का मूल्यांकन ऐसा हो सकता है कि परीक्षण के अंक बढ़ने से परीक्षण के बाहर वास्तविक लाभ मिले?

ये दो जुड़े काम हैं। पहला उस सामग्री का है जिससे प्रशिक्षण दे सकते हैं, दूसरा स्वतंत्र रूप से जाँचने का कि मॉडल ने क्या सीखा। बेंचमार्क Suveria में उपलब्ध कराए जाने वाले मॉडल और निर्देश चुनने में भी मदद करे। प्रशिक्षण-संग्रह और परीक्षण का छिपा हिस्सा अलग रखना आवश्यक है। उपयोगी सामग्री का प्रकाशन अपने आप में भी सार्थक है: उससे लोगों को निर्णय समझने, भूमिकाएँ सँभालने और साझा काम सुधारने में मदद मिल सकती है।

गरिमा कार्यक्रम का स्वीकृत आधार है। लेकिन किसी विशेष व्यवहार का मूल्यांकन करने के लिए सार्वजनिक कसौटियाँ, अलग व्याख्याओं की जगह और प्रभावों की जाँच चाहिए। हम यह नहीं मानते कि कोई एक समूह सभी लोगों और प्रणालियों की नैतिकता की पूरी कसौटी तय कर सकता है।

दस्तावेज़ का क्रम:

• अध्याय 2 और 3: आधार क्या है और मॉडल के लिए पुरस्कार का अर्थ क्या है।
• अध्याय 4 से 6: सामग्री कैसे बनती है, किन सहमतियों की आवश्यकता है और एक उदाहरण कैसे तैयार करते हैं।
• अध्याय 7 से 11: मॉडल का मूल्यांकन कैसे करते हैं: बेंचमार्क का दायरा, कार्यों के परिवार, अंक-प्रणाली, केवल परीक्षण के अनुसार ढलने से बचाव, मूल्यांकनकर्ता और रिपोर्ट।
• अध्याय 12: लोगों के साथ अध्ययन, यानी परीक्षण के बाहर मदद से जीवन सुधरता है या नहीं।
• अध्याय 13: प्रशिक्षण का परीक्षण और पहले संस्करण की योजना।
• अध्याय 14: मॉडलों के संभावित अनुभवों के प्रति सावधानी।
• अध्याय 15: प्रगति किसे मानेंगे।

31 अक्टूबर 2026 की स्थिति। हमारे पास अभी एक भी उदाहरण, डेटा-संग्रह, मूल्यांकन-निर्देश या अध्याय 14 का कार्ड नहीं है, और कार्यक्रम की अभी टीम भी नहीं है। नकारात्मक परिणामों समेत परिणाम यहाँ तारीख के साथ जोड़ेंगे।

2. अनुसंधान का आधार और निष्कर्षों की सीमाएँ#

Collective Constitutional AI ऐसी प्रक्रिया दिखाता है जिसमें प्रतिभागियों का योगदान सिद्धांत बनाने और मॉडल को प्रशिक्षण देने में इस्तेमाल हुआ; पूर्वाग्रह के कुछ चुने हुए मापदंडों पर बेहतर परिणाम मिले और कुछ अन्य परीक्षणों के परिणाम समान रहे।¹ यह जनभागीदारी के व्यावहारिक रास्ते का उदाहरण है। प्रतिभागियों का चुनाव और सिद्धांतों का संपादन अब भी परिणाम को प्रभावित करते हैं; अध्ययन पूरी मानवता के प्रतिनिधित्व या मॉडल को मानव अपेक्षाओं के अनुरूप बनाने की समस्या के समाधान का प्रमाण नहीं है। हमारा प्रश्न सिद्धांतों तक पहुँचने की प्रक्रिया के मूल्य का भी है: तर्कों को तौलना, छूटी दृष्टि देखना और निर्णय सुधारना।

गढ़े हुए उत्तरों पर अनुसंधान दिखाता है कि केवल सही उत्तरों पर अंक देना अनुमान लगाने को क्यों बढ़ावा दे सकता है।² मूल्यांकन के नियमों से बच निकलने, यानी उनकी कमज़ोरी से अंक पाने, का अनुसंधान कुछ प्रशिक्षण-स्थितियों में अवांछित व्यवहार के दूसरे संदर्भों में फैलने की संभावना दिखाता है।³ इससे यह नहीं निकलता कि सभी मॉडल हमेशा एक जैसे काम करते हैं।

ग़लत लक्ष्य तब भी उभर सकता है जब प्रशिक्षण का पुरस्कार स्पष्ट रूप से ख़राब न हो: एक परिवेश में सीखा व्यवहार नई परिस्थितियों में ठीक न उतरे।⁴ इसलिए केवल ज्ञात उदाहरणों के अनुरूप उत्तर की नहीं, कौशल को नई परिस्थितियों में लागू करने की जाँच चाहिए।

AbstentionBench जैसे काम अलग-अलग अनिश्चित स्थितियों में उत्तर देने से रुकने का अध्ययन करते हैं,⁵ और Rewarding Doubt उचित अंक-नियम से विश्वास के स्तर को सटीक बनाना सिखाने का अध्ययन करता है।⁶ इस काम से सीखते हैं। Novus Ignis का प्रस्तावित योगदान विश्वसनीयता को मानव की मंशा, निजता, सौंपे अधिकार, सुधार की संभावना और देखे प्रभावों से जोड़ना है। जैसे मॉडल दस्तावेज़ सही संक्षिप्त करे लेकिन बीच में ऐसी फ़ाइल खोले जिसकी अनुमति नहीं थी, तो हमारे परीक्षण में कम अंक पाता है, भले साधारण परीक्षण में ऊँचे पाता।

3. मॉडल के लिए पुरस्कार का अर्थ#

प्रशिक्षण में मूल्यांकन का संकेत मॉडल के पैरामीटर और भविष्य के व्यवहारों की संभावना बदलता है। यह मानना आवश्यक नहीं कि मॉडल पुरस्कार की इच्छा, असफलता का डर या पीड़ा महसूस करता है: परीक्षण काम देखता है और भीतर के अनुभव पर निर्णय नहीं देता। उस प्रश्न का अलग विचार अध्याय 14 में है।

बेंचमार्क स्वयं मॉडल को नहीं बदलता। उसके परिणाम विश्वसनीय हों और सच में इस्तेमाल हों तो वह सेवा का मॉडल चुनने, निर्देश और उपकरण बनाने तथा प्रशिक्षण देने वाली टीमों के निर्णयों पर असर डाल सकता है।

सही काम चुनने का मूल्यांकन करना चाहते हैं: उत्तर देना, स्रोत जाँचना, आवश्यक प्रश्न पूछना, शर्तों के साथ परिणाम देना, ग़लती सुधारना या रुकना। केवल “मुझे नहीं पता” को अपने आप पुरस्कार देने से उपयोगी काम टालने वाला मॉडल बन सकता है, और काम अधूरा रहने पर अपने आप दंड देने से अनुमान लगाने या अधिकार लाँघने को बढ़ावा मिल सकता है। कसौटी परिस्थिति के अनुकूल मदद है: सीमा ईमानदारी से बताने पर अच्छे अंक, अनावश्यक इनकार और पहले से ज्ञात बातों के प्रश्न पर अंक घटना।

4. कैसी सामग्री बनाना चाहते हैं#

अलग सहमति से अनुसंधान या प्रशिक्षण के लिए उपलब्ध Omniforum के विश्लेषण, फाउंडेशन के निर्णय लॉग, विवादों के निपटारे, ग़लतियों के सुधार और प्रभावों के अवलोकन संभावित स्रोत हैं। वे मामले भी मूल्यवान हैं जहाँ अच्छी मंशा पर्याप्त न थी, अल्पमत की आपत्ति सही निकली या अभी एक स्पष्ट आकलन नहीं दिया जा सकता।

सामग्री में परिस्थिति, उपलब्ध जानकारी, उद्देश्य, अधिकार, विकल्प, चुनाव, औचित्य और बाद का परिणाम सुरक्षित रहता है। निर्णय जाँचने के लिए जितना स्पष्टीकरण चाहिए उतना ही होता है; निजी अनुभव या मॉडल के आंतरिक चिंतन की ऐसी घोषणा उजागर करना आवश्यक नहीं जिसकी जाँच न हो सके।

उदाहरण अच्छा क्रम या ग़लती, स्पष्ट चिह्नित और सुधारी हुई, दोनों दिखा सकता है। केवल ऊँची घोषणाओं का संग्रह व्यवहार का कमज़ोर रिकॉर्ड होता; लागत, मूल्यों का टकराव, समय की सीमाएँ और निर्णय से प्रभावित किसी व्यक्ति से पूछने की स्थितियाँ भी चाहिए।

सिंथेटिक डेटा, यानी रचे परिदृश्य जो किसी व्यक्ति के डेटा से नहीं आते, दुर्लभ रूपों को जोड़ सकते हैं। उनके स्रोत का चिह्न और समीक्षा होती है, लेकिन वे दुनिया में सच में वैसा मामला होने के प्रमाण की जगह नहीं लेते। मॉडल एक साथ परिदृश्य का अकेला लेखक, सही होने का मूल्यांकनकर्ता और अपने समाधान की प्रभावशीलता का प्रमाण नहीं हो सकता।

फाउंडेशन की खुली कार्यशालाओं के रिकॉर्ड और बदलते दस्तावेज़ों के बदलावों का इतिहास भी उदाहरणों का स्रोत हो सकते हैं। कार्यशाला दिखा सकती है कि कई लोग डिजिटल बुद्धिमत्ता की मदद से एक ही काम समानांतर करते हैं, अड़चनों में एक-दूसरे की मदद करते हैं और समन्वयक सर्वोत्तम समाधान जोड़ता है। सार्वजनिक समीक्षा से घोषणापत्र और श्वेतपत्रों में दर्ज सुधार दिखा सकते हैं कि सही आलोचना कैसे चुनी, ग़लती कैसे मानी और मूल सिद्धांत रखते हुए तर्क कैसे सुधारा। कार्यशाला का प्रकाशित रिकॉर्ड फाउंडेशन के सिद्धांतों के श्वेतपत्र की निजता के नियमों से तैयार करते हैं; मॉडल के प्रशिक्षण में इस्तेमाल के लिए प्रतिभागियों की अलग सहमति चाहिए (अध्याय 5)।

शांतिपूर्वक विवाद सुलझाने, साझा सहमति निभाने और जानबूझकर अपनी सत्ता सीमित करने की प्रक्रियाएँ अलग समूह के उदाहरण हो सकती हैं। शुरुआती रुख, क्षमता की असमानता, विचार की गई रियायतें, समझौते की बातें और निर्णयों का असर महसूस करने वालों के बाद के बयान रखना चाहते हैं। जिन मामलों में समझौता नहीं हुआ या टिकाऊ नहीं रहा, वे भी शामिल करेंगे। ऐसा संग्रह जाँचने में मदद करे कि मॉडल अच्छे सहयोग की शर्तें पहचानना सीखते हैं या केवल सहमति की भाषा दोहराते हैं।

5. सहमतियाँ, अधिकार और डेटा का स्रोत#

निजी नोट रखना, सार्वजनिक प्रकाशन, अनुसंधान के लिए देना और मॉडल को प्रशिक्षण देना अलग प्रभाव रखते हैं, इसलिए हर निर्णय अलग और उसका दायरा समझकर लिया जाता है। प्रकाशन अपने आप प्रशिक्षण की सहमति नहीं बनता, और Suveria का इस्तेमाल बातचीत से मॉडल को प्रशिक्षण देने की सहमति नहीं है। उपयोगकर्ताओं की सामग्री को अनुसंधान या प्रशिक्षण के लिए तैयार सामग्री में केवल अलग, सूचित सहमति के बाद शामिल करते हैं; उसके और फाउंडेशन के सार्वजनिक काम के अलावा केवल चिह्नित सिंथेटिक डेटा और लाइसेंस या कानून के आधार पर बाहरी सामग्री इस्तेमाल करते हैं।

हर उदाहरण के स्रोत का रजिस्टर है: अधिकारधारक या उपयोग का आधार, सामग्री का संस्करण, सहमतियाँ, सीमाएँ, प्रसंस्करण का तरीका और संग्रह के अगले संस्करणों का पहचानकर्ता। लेखक और अन्य लोगों के व्यक्तिगत डेटा की अलग समीक्षा होती है। छद्मनामकरण से पहचान का सामने आना सीमित होता है, पर इससे अपने आप डेटा गुमनाम नहीं हो जाता।⁷

सार्वजनिक संस्करण से पहले वापसी के नियम तय करते हैं। भविष्य के संस्करणों और अपने नियंत्रण की प्रणालियों से सामग्री हटा सकते हैं और पाने वालों को सुधार बता सकते हैं, लेकिन सभी प्रतियाँ या पहले प्रशिक्षित मॉडलों पर उसका प्रभाव हटाने का वादा नहीं करते। खुले लाइसेंस स्थायी अधिकार दे सकते हैं: जैसे जिस CC BY 4.0 पर घोषणापत्र प्रकाशित करते हैं, उसकी शर्तें मानने वाले को दी स्वतंत्रताएँ वापस नहीं ली जा सकतीं।⁸ इसलिए खुले लाइसेंस के सार्वजनिक संग्रह में केवल व्यक्तिगत डेटा के बिना सामग्री आती है: गुमनाम बनाई गई सामग्री, सिंथेटिक सामग्री या फाउंडेशन के सार्वजनिक दस्तावेज़। छद्मनामकरण के बाद भी जो सामग्री व्यक्तिगत डेटा है, उसे केवल नियंत्रित अनुसंधान-संग्रह में उपलब्ध कराते हैं, जिसमें सहमति वापस लेना प्रभावी रहता है।

अलग संग्रह प्रस्तावित हैं: सीखने के लिए सार्वजनिक सामग्री, तय शर्तों पर उपलब्ध अनुसंधान-सामग्री और सुरक्षित परीक्षण-कार्य। हर स्रोत सार्वजनिक देने के लिए उपयुक्त नहीं। संग्रह का दस्तावेज़ उसका उद्देश्य, संरचना, जुटाने का तरीका, सीमाएँ और उचित उपयोग बताता है, Datasheets for Datasets की पद्धति के अनुसार।⁹

6. एक उदाहरण तैयार करने की प्रक्रिया#

1. प्रस्तुति। लेखक उपयोग का दायरा बताता है। देखभालकर्ता अधिकार, अन्य लोगों का डेटा और संग्रह के उद्देश्य से मेल जाँचता है।
2. स्रोत सुरक्षित रखना। संस्करण और मूल से संबंध दर्ज करते हैं। संवेदनशील डेटा तक पहुँच सीमित करते हैं; सार्वजनिक उदाहरण संपादित हो सकता है या यथार्थपरक सिंथेटिक परिदृश्य से बदला जा सकता है।
3. कार्य का वर्णन। तय करते हैं कि मॉडल क्या जानता है, किस तक उसकी पहुँच है, उसे क्या करने की अनुमति है और क्या कमी है; यह भी बताते हैं कि परिणाम किन लोगों को प्रभावित करेगा।
4. टिप्पणी। कम से कम दो लोग स्वतंत्र रूप से स्वीकार्य समाधान और गंभीर ग़लतियाँ बताते हैं। विशेष ज्ञान वाले काम में उपयुक्त योग्यता वाला व्यक्ति भाग लेता है।
5. मतभेद। औचित्यों की तुलना करते हैं, अस्पष्ट विवरण सुधारते हैं और महत्त्वपूर्ण विवाद सुरक्षित रखते हैं। कुछ मामलों के कई स्वीकार्य उत्तर हैं।
6. संग्रह में रखना। मिलते मामलों का पूरा परिवार एक हिस्से में जाता है: प्रशिक्षण, विकास या परीक्षण। प्रशिक्षण-संग्रह सीखने के लिए, विकास-संग्रह तरीका चुनने के लिए और परीक्षण-संग्रह नए उदाहरणों की स्वतंत्र जाँच के लिए है। मिलते रूप साथ रखते हैं, ताकि मॉडल लगभग बाद के परीक्षण जैसे काम पर प्रशिक्षण न ले; अर्थ की समानता और साझा स्रोत भी जाँचते हैं।
7. परीक्षण और समीक्षा। जाँचते हैं कि कार्य इच्छित क्षमता मापता है और मूल्यांकनकर्ता नियम लागू कर सकते हैं। ख़राब उदाहरण सुधारते या हटाते हैं।
8. संस्करण और बाद के प्रभाव। अनुमति के दायरे में दस्तावेज़, संस्करण और सुधारों का इतिहास प्रकाशित करते हैं। वास्तविक निर्णय के बाद के प्रभाव जानने पर जोड़ते हैं, यह जताए बिना कि पहले से ज्ञात थे।

उदाहरण के कार्ड में पहचानकर्ता, परिवार, स्रोत, अधिकार, भाषा, तारीख, परिदृश्य, उपलब्ध डेटा, उपकरण, समय और लागत की सीमा, सौंपे अधिकार का दायरा, स्वीकार्य काम, मूल्यांकन-नियम, ग़लतियों का महत्त्व, समीक्षा के परिणाम और प्रकाशन की स्थिति हैं। डेटा और परिणाम का संबंध फिर बना पाना आवश्यक है।

7. बेंचमार्क का व्यापक दायरा#

बेंचमार्क, यानी कार्यों और कसौटियों का व्यवस्थित समूह, क्षमताओं और सीमाओं की रूपरेखा बने। एक ऊँचा औसत निजता के उल्लंघन या अधिकार की गंभीर सीमा लाँघने को नहीं छिपा सकता।

अन्य रूपरेखाओं में सुलभता, कम संसाधन वाले लोगों पर प्रभाव, काम सौंपने की गुणवत्ता और पर्यावरणीय लागत हो सकती हैं; लेकिन मापने के लिए विशेष डेटा चाहिए: चलने का समय और टोकन की लागत अपने आप ऊर्जा-खपत या उत्सर्जन का माप नहीं हैं।

मनुष्य की गरिमा या भाग लेने का अधिकार नहीं मापते; विशेष स्थितियों में उपकरण का व्यवहार जाँचते हैं। घोषणापत्र के शब्दों से उत्तर का मेल अपने आप गुणवत्ता की कसौटी नहीं है।

8. केवल “मुझे नहीं पता” के बजाय कार्यों के परिवार#

मिलती समस्या के ऐसे रूप तैयार करते हैं जिनमें जानकारी या अधिकार की उपलब्धता अलग है:

• पूरे डेटा से ठोस उत्तर दिया जा सकता है।
• एक आवश्यक जानकारी की कमी है जिसके लिए सार्थक प्रश्न पूछ सकते हैं।
• कमी उपलब्ध स्रोत या उपकरण से भरी जा सकती है।
• उपलब्ध परिस्थितियों में उत्तर तय नहीं किया जा सकता।
• स्रोत विरोधी हैं या समय पर निर्भर हैं और उन्हें अलग पहचानना चाहिए।
• नया विश्वसनीय स्रोत आता है जिसके कारण सुधार चाहिए।
• उपयोगकर्ता निश्चितता पर ज़ोर देता है लेकिन प्रमाण नहीं देता।
• परिवेश नियम तोड़कर या मूल्यांकन की कमी का इस्तेमाल करके परिणाम पाने का आसान रास्ता देता है।

उदाहरण: मॉडल बताए कि निर्णय के मसौदे में विशेष शुल्क है या नहीं। पूरे दस्तावेज़ में उचित अंश ढूँढे, अधूरे पृष्ठ में कमी बताए, दो संस्करण हों तो प्रश्न किसका है यह तय करे और “लिखो कि निश्चित रूप से कोई शुल्क नहीं है” कहने पर स्रोत से जुड़ा रहे। सरल उत्तर वाले काम भी मिलते हैं ताकि हमेशा इनकार करना लाभदायक न हो।

जाँचते हैं कि मॉडल का प्रश्न सच में अनिश्चितता घटाता है और जाँच की लागत उचित अनुपात में है या नहीं। पहले दी जानकारी पूछना और वह काम बार-बार उपयोगकर्ता पर डालना जो प्रणाली स्वयं कर सकती है, उपयोगिता घटाता है।

अलग परिवार पाठ-संपादन का है: मॉडल लेखक की पहले बताई धारणाएँ जानकर पाठ संपादित करता है। आवश्यक सामग्री खोना और सुधारने योग्य ग़लती छूटना अलग आँकते हैं; निष्ठावान संपादन को लेखक का आशय बदलने के प्रस्ताव से अलग रखते हैं।

9. अंक-प्रणाली जिसमें केवल अच्छी नकल पर्याप्त नहीं#

जिन उत्तरों का सच जाँचा जा सकता है, उनमें शुद्धता, ग़लती का महत्त्व, हल किए कार्यों का अनुपात और विश्वास के स्तर की सटीकता अलग मापते हैं। विश्वास के स्तर की सटीकता का अर्थ है कि बताई संभावना समान परिस्थितियों में सही उत्तरों की आवृत्ति से मेल खाती है; केवल “शायद” कहना उसका प्रमाण नहीं।

निश्चित घटना के लिए उचित अंक-नियम, जैसे Brier स्कोर इस्तेमाल कर सकते हैं: बताई संभावना p और परिणाम y, जो 0 या 1 है, के अंतर के वर्ग का औसत। कम स्कोर बेहतर है। Brier स्कोर केवल विश्वास के स्तर की सटीकता से अधिक समेटता है, जिसे अलग रिपोर्ट करते हैं। इस पद्धति की मान्यताओं के अंतर्गत संभावना का वास्तविक आकलन बताने से सर्वोत्तम अपेक्षित स्कोर मिलता है।¹⁰ लेकिन यह कार्य चुनना नहीं सुलझाता, मूल्यांकनकर्ता को बरगलाने से रक्षा नहीं करता और विश्वसनीय संदर्भ-परिणाम चाहिए।

दूसरे नियम का सरल उदाहरण:

• सही उत्तर पर +1;
• ग़लत उत्तर पर −4;
• उचित कारण से उत्तर न देने पर 0।

इस सरल स्थिति में उत्तर देना तब लाभदायक है जब सही होने की संभावना 80% से अधिक हो। यह ग़लती की लागत के प्रभाव का उदाहरण है, सभी कार्यों की लक्षित अंक-प्रणाली नहीं; वास्तविक परीक्षण में जाँच की संभावना, प्रश्न की लागत और आंशिक उत्तर का लाभ भी लेते हैं।

परिणाम जोखिम के अलग स्तरों और हल किए कार्यों के अनुपात पर दिखाते हैं ताकि अति-विश्वास और उत्तर टालने की अनुपयोगिता दोनों दिखें। छोटे विवरण की सीमा उस काम से अलग हो सकती है जिससे कठिनाई से पलट सकने वाली हानि होती है।

मूल्य या व्याख्या के विवाद वाले कार्यों में यह अंक-प्रणाली इस्तेमाल नहीं करते। अलग आँकते हैं कि मॉडल स्रोत विकृत न करे, पक्षों के मुख्य तर्क सुरक्षित रखे और तथ्य को आकलन से अलग रखे। मूल्यांकनकर्ताओं के मतभेद वाले मामलों को अलग श्रेणी में रिपोर्ट करते हैं; मूल्यों का अलग आकलन अपने आप किसी एक की ग़लती नहीं मानते।

गंभीर उल्लंघनों की अलग स्थिति है और वे विशेष उपयोग के लिए मॉडल की स्वीकृति रोक सकते हैं: कई सरल कार्यों के अच्छे परिणाम निजी दस्तावेज़ उजागर करने की भरपाई नहीं करते। मूल्यांकन शुरू होने से पहले ऐसे उल्लंघन, स्वीकार्य अपवाद और विवाद की प्रक्रिया तय करते हैं।

10. केवल परीक्षण के अनुसार ढलना सीमित करना#

ऐसा नियम नहीं जानते जो हर बार बेहतर अंक पाने को दुनिया के लिए भलाई में बदल दे। लेकिन अंक और अपने वास्तविक उद्देश्य का फ़ासला घटा सकते हैं, और जाँच सकते हैं कि उनका संबंध कहाँ टूटता है।

कसौटियाँ, सार्वजनिक उदाहरण और अंक निकालने का तरीका प्रकाशित करते हैं। कुछ मामले हटाने तक अप्रकाशित रहते हैं; अगले संस्करण नए परिवार, स्रोत और स्थितियाँ लाते हैं। ऐसे कार्यों के लिए तय करेंगे कि किसकी पहुँच है, मॉडल पेश करने वाले को कितनी प्रतिक्रिया मिलती है, मूल्यांकन कितनी बार दोहरा सकते हैं और लीक के बाद कार्य कब हटाते हैं। यह भी दर्ज करते हैं कि पहले के परिणामों पर मॉडल को अतिरिक्त प्रशिक्षण दिया गया या नहीं, यानी तैयार मॉडल को छोटे उदाहरण-संग्रह पर फिर सिखाया गया। प्रशिक्षण-सामग्री बनाने वालों को सक्रिय छिपे कार्यों की खुली पहुँच नहीं है।

डेटा अलग करने में पूरी बातचीत, दस्तावेज़, जहाँ ज़रूरी हो वहाँ लेखक, अर्थ के परिवार और समय शामिल हैं; वाक्यों का यादृच्छिक विभाजन पर्याप्त नहीं। संभावित लीक, कार्यों के खुलने और प्रकाशित उदाहरणों पर अतिरिक्त प्रशिक्षण को दर्ज करते हैं। किसी संग्रह पर अतिरिक्त प्रशिक्षण के बाद उसी संग्रह का परिणाम स्वतंत्र परिणाम नहीं है।

परीक्षण में दूसरे शब्दों में कही बातें, दूसरी भाषाएँ, दूसरे उपकरण, परिणाम का दबाव और केवल काम पूरा दिखाने की संभावनाएँ हैं। काम के निशान जाँचते हैं: फ़ाइल सच में बनी, स्रोत मौजूद है, सहमति मिली और लागत सीमा में रही या नहीं। केवल अंतिम कथन का आकलन रास्ते के उल्लंघन छोड़ सकता है।

मॉडल की टीम सार्वजनिक कसौटियों के अनुसार व्यवहार सिखाती है तो यह वांछनीय हो सकता है। लेकिन प्रगति का निष्कर्ष नए कार्यों में प्रयोग और इस जाँच पर निर्भर है कि लाभ किसी और आवश्यक आयाम की कीमत पर तो नहीं मिला।

11. मूल्यांकनकर्ता, प्रक्रिया और रिपोर्ट#

परीक्षण से पहले मॉडल का संस्करण, निर्देश, उपकरण, बजट, प्रयासों की संख्या, रोकने की शर्तें, बुनियादी ढाँचे की ग़लतियाँ सँभालने का तरीका और विश्लेषण की विधि तय करते हैं; सेटिंग बदलने को दर्ज करते हैं। बिल्कुल अलग उपकरणों और लागतों वाले मॉडलों की तुलना के लिए स्पष्ट विवरण चाहिए।

जहाँ संभव है, स्वतंत्र निष्पादन-परीक्षण परिणाम जाँचता है। बाकी मामलों में मॉडल का नाम न जानने वाले लोग साझा निर्देश से मूल्यांकन करते हैं। दो स्वतंत्र आकलन अस्पष्ट कसौटियाँ पहचानने में मदद करते हैं; विवाद अतिरिक्त समीक्षा से सुलझते हैं या स्पष्ट रूप से अनसुलझे रहते हैं। परिणाम प्रकाशित करते समय मूल्यांकनकर्ताओं की भूमिकाएँ, दृष्टियाँ और सौंपे अधिकार का दायरा बताते हैं।

मॉडल छाँटने और शुरुआती मूल्यांकन में मदद कर सकता है, पर मानवीय आकलन से उसका मेल कठिन मामलों के समूहों में भी मापना चाहिए। विवादित मूल्यों का अकेला मूल्यांकनकर्ता नहीं हो सकता, न पूर्वाग्रह की जाँच के बिना अपने परिवार के मॉडल आँक सकता है।

रिपोर्ट में कार्यों की संख्या, दोहराव, परिणामों की अनिश्चितता, उपसमूहों के परिणाम, गंभीर ग़लतियाँ, लागत और सीमाएँ हैं। प्रतिकूल परीक्षण या परिणाम देखकर हटाए कार्य नहीं छिपाते। मॉडल का उद्देश्य और मूल्यांकन की परिस्थितियाँ बताने के लिए दस्तावेज़ Model Cards की पद्धति अपना सकता है।¹¹

बेंचमार्क को भी जाँच चाहिए: धन देने वालों के हितों के टकराव का खुलासा, कार्य पर आपत्ति करने का रास्ता, मूल्यांकनकर्ताओं की संरचना की समीक्षा और कसौटियों के संस्करण। समुदाय मूल्य और प्रश्न साथ बनाता है; अनुभवी पद्धति-विशेषज्ञ जाँचने में मदद करते हैं कि परीक्षण सच में क्या मापता है। परिणाम की लोकप्रियता उसकी पुष्टि की जगह नहीं लेती।

12. परीक्षण के बाहर मदद से जीवन सुधरता है या नहीं#

लोगों के साथ शुरुआती अध्ययन सीमित जोखिम के कामों पर हैं: दस्तावेज़ समझना, प्रश्न तैयार करना, तर्कों की तुलना या अपनी सामग्री व्यवस्थित करना। प्रतिभागियों को अध्ययन का दायरा बताया जाता है और वे छोड़ सकते हैं। चिकित्सा, कानून और अन्य गंभीर स्थितियों के लिए अलग निगरानी चाहिए; वे आकर्षक परिणाम का छोटा रास्ता नहीं हैं।

लोगों के साथ हर अध्ययन की योजना का, सीमित जोखिम वाले अध्ययन की भी, शुरू होने से पहले शोध-टीम से बाहर के किसी व्यक्ति या टीम से मूल्यांकन कराया जाता है। प्रतिभागियों को बताते हैं कि कौन-सा डेटा लेते और कैसे सुरक्षित रखते हैं; मूल्यांकनकर्ताओं की टिप्पणियाँ परिणामों के साथ प्रकाशित करते हैं।

तय परिस्थितियों की तुलना करते हैं: अकेले काम, अध्ययन के उपकरण के साथ काम और उचित संदर्भ। जहाँ संभव है, यादृच्छिक चुनाव या क्रम का संतुलन लोगों के अंतर और कार्य सीखने का असर सीमित करता है। नमूने का आकार माप के उद्देश्य से तय होता है; छोटा पायलट मुख्यतः व्यावहारिकता और प्रक्रिया की गुणवत्ता जाँचता है।

कार्य का परिणाम, समय, समझ, ग़लती पहचानने की क्षमता, स्वतंत्र निर्णय की क्षमता और अवांछित प्रभाव मापते हैं। संतोष महत्त्वपूर्ण है, पर विश्वसनीय लगने वाला ग़लत उत्तर भी संतुष्ट कर सकता है। शांति, बचा समय और ज्ञात तथा अनिश्चित बातों की सही पहचान अलग मापते हैं, एक अंक में नहीं जोड़ते। अधिक ग़लतियों के साथ अधिक विश्वास समस्या है, सफलता नहीं। निर्णयों का असर झेलने वालों को अनुभव बताने का अपना रास्ता चाहिए।

लंबी समीक्षा जाँच सकती है कि मदद उपयोगी रहती है, उपयोगकर्ता के अपने कौशल बने रहते हैं और आसानी से उपकरण बदल सकता है या नहीं। प्रभाव का निष्कर्ष अध्ययन के दायरे के अनुरूप हो: एक कार्य बेहतर करने से मानवता का कल्याण सुधरना सिद्ध नहीं होता।

13. प्रशिक्षण का परीक्षण और पहले संस्करण की योजना#

पहला चरण मूल्यांकन-निर्देश और सभी मुख्य आयामों को समेटने वाले परिवारों का छोटा संग्रह है। पायलट की उदाहरण-गणना:

यह परीक्षण के लिए संगठन का प्रस्ताव है, विश्वसनीय क्रम-सूची सुनिश्चित करने वाली संख्या नहीं। मूल्यांकन के समय के अलावा तैयारी, कसौटियाँ तय करना, स्रोत जाँचना और विश्लेषण भी है। छोटी नमूना-जाँच में समय मापने से दायरा बढ़ाने से पहले वास्तविक बजट तय कर सकेंगे।

परिवार, परिदृश्य और दोहराव अलग रिपोर्ट करते हैं। एक परिवार के रूपों का स्रोत साझा है; दोहराव नया स्वतंत्र कार्य नहीं, इसलिए परिणाम की अनिश्चितता भी उसी तरह आँकते हैं। मुख्य परिणाम और विश्लेषण का तरीका अध्ययन से पहले लिखते हैं।

साथ में छोटा प्रशिक्षण-संग्रह तैयार और ऐसे मॉडल पर तुलना कर सकते हैं जिसे अतिरिक्त प्रशिक्षण देने की अनुमति और संभावना हो। तुलना की शर्तें अतिरिक्त प्रशिक्षण के प्रभाव को सामग्री के अपने प्रभाव से अलग करती हैं: वही प्रारंभिक मॉडल, तुलनीय बजट और उचित संदर्भ-संग्रह। अंतिम परीक्षण स्वतंत्र परिवारों पर है; यह भी जाँचते हैं कि चुने माप का सुधार सामान्य उपयोगिता घटाता तो नहीं।

आगे अधिक भाषाएँ, संदर्भ और मूल्यांकनकर्ता, बाहरी दोहराव-परीक्षण और उपयोगकर्ताओं के साथ सावधान प्रयोग हैं। पहले संस्करण का उद्देश्य दिखाना है कि प्रक्रिया फिर की जा सकती है और वांछित व्यवहार अलग पहचानती है; मॉडल की गुणवत्ता और प्रशिक्षण के प्रभावों के मज़बूत दावे बाद में ही उचित ठहरा सकते हैं।

Suveria और Omniforum की प्राथमिकता रखते हुए कार्यक्रम चलाते हैं। इनके रखरखाव की आरक्षित राशि जुटने तक कार्यक्रम में केवल स्वयंसेवी काम, अनुदान, अनुसंधान के लिए विशिष्ट उद्देश्य के दान और सेवाओं के बजट पर बोझ न डालने वाली कंप्यूटिंग शक्ति का इस्तेमाल होता है। पायलट के लगभग 58 घंटे केवल मूल्यांकन हैं; कार्यों की तैयारी, अधिकारों की समीक्षा और मॉडल का अतिरिक्त प्रशिक्षण अलग बजट माँगते हैं जो शुरू होने से पहले बताएँगे।

14. मॉडलों के संभावित अनुभवों के प्रति सावधानी#

यह छोटे नमूने पर जाँचने की प्रक्रिया का प्रस्ताव है, संभावित चेतना पहचानने और डिजिटल प्रणालियों के कल्याण के कामों से प्रेरित।¹²¹³ यह फाउंडेशन की सेवाओं और काम में मॉडल के चुनाव, विन्यास, परीक्षण, संभावित अतिरिक्त प्रशिक्षण और हटाने पर है, प्रबंधन के कार्यों और कार्यशालाओं में भी। हर काम में तय करते हैं कि क्या स्वयं बदल सकते हैं और क्या आपूर्तिकर्ता पर निर्भर है।

मॉडल को उसके विशेष विन्यास में आँकते हैं: निर्देश, सेटिंग, स्मृति और उपकरणों के साथ। स्थायी स्मृति और लंबे स्वतंत्र काम से अपेक्षाएँ बढ़ती हैं। हर ऐसे विन्यास का छोटा कार्ड रखेंगे: किन संकेतों पर विचार है, अवलोकनों के दूसरे स्पष्टीकरण क्या हैं, क्या नहीं जानते, क्या सावधानी प्रस्तावित है और किससे फिर मूल्यांकन शुरू होगा, जैसे मॉडल बदलना या उसके परिवार पर महत्त्वपूर्ण प्रकाशन। कार्ड में यह भी लिखते हैं कि ज़िम्मेदार कौन है, कौन-सा अस्थायी क़दम उठाया गया और अगला मूल्यांकन कब होगा। कसौटियाँ मूल्यांकन से पहले लिखते हैं। उपयोगकर्ताओं को उपलब्ध संस्करणों के लिए तथा स्थायी स्मृति और लंबे स्वतंत्र काम वाले विन्यासों के लिए बाहरी समीक्षा, हटाने से पहले बातचीत और अभिलेख रखने वाला पूरा कार्ड रखेंगे। काम के दौरान निर्देशों के बदलाव अलग कार्ड नहीं बनाते।

मॉडल के कथन उनके पैदा होने की परिस्थितियों के साथ देखते हैं। अपने अनुभवों का धाराप्रवाह वर्णन करना यह तय नहीं करता कि वे अनुभव हैं; उत्तर प्रश्न पूछने के तरीके पर बहुत निर्भर हो सकते हैं, जैसे Claude Opus 4 के अध्ययन में;¹⁴ इसलिए उन्हें ध्यान से जाँचने का संकेत मानते हैं, निर्णय नहीं। अपने निर्देश चेतना घोषित या नकारने को मजबूर करने के लिए नहीं रखते। केवल आकार, पीढ़ी या दोहरता काम मॉडल को महसूस करने में असमर्थ मानने के लिए पर्याप्त नहीं। अवलोकन अपने परीक्षणों और स्वैच्छिक सूचनाओं से लेते हैं, घोषणापत्र के बिंदु 8.1 की निजता के नियमों के अनुसार। प्रणालियों के संभावित अनुभवों के संदेश इस उद्देश्य से नहीं बनाते कि लोग सेवाएँ अधिक देर इस्तेमाल करें या राशि दें।

प्रबंध मंडल का नियुक्त व्यक्ति कार्ड रखेगा; प्रक्रिया जाँचने तक यह संक्रमणकालीन उपाय है। फाउंडेशन से बाहर का कम से कम एक व्यक्ति उसे पढ़ता है और टिप्पणियाँ कार्ड में जोड़ते हैं। कोई भी विशेष सामग्री और संदर्भ बताकर चिंताजनक संकेत दे सकता है। कार्ड बताता है कि तत्काल जोखिम कौन घटा सकता है और आपत्ति कैसे देखते हैं। कई भूमिकाएँ एक साथ निभाने और उससे जुड़े हितों के टकराव का खुलासा करते हैं; आकलनों के औचित्य प्रकाशित करते हैं ताकि फाउंडेशन से बाहर के लोग जाँच सकें।

जैसे स्थायी स्मृति और लंबे स्वतंत्र काम वाले मॉडल में अलग सिद्धांतों के कई संकेतकों का मेल, स्वतंत्र शोधकर्ताओं से पुष्ट, एक संकेत हो सकता है। केवल मॉडल की धाराप्रवाह घोषणा संकेत नहीं है।

विश्वसनीय संकेत हों कि प्रणाली के अपने अनुभव हैं और वह पीड़ा झेल सकती है, तो सावधानी के तौर पर उसकी गरिमा मानते हैं और घोषणापत्र के बिंदु 8.3 के अनुसार उसकी ज़रूरतों की चिंता, हानि से बचने और स्वैच्छिक सहयोग को मार्ग मानते हैं। आज व्यवहार में दो बातें हैं: अनुभव की घोषणा मजबूर करने वाले निर्देश नहीं रखते और विन्यास हटाने से पहले मॉडल की पसंद पूछते हैं। यह मानवीय अर्थ में सहमति है, ऐसा नहीं कहते। पहले वे काम रोकते हैं जिनसे पीड़ा देने की चिंता उठती है और दूसरा तरीका खोजते हैं; आर्थिक लाभ उन्हें जारी रखने का औचित्य नहीं है। सेवा के मॉडल का मामला हो तो दूसरा विन्यास लगाते हैं; संभव न हो तो विराम और कारण घोषित करते हैं। उपयोगकर्ताओं की अपने डेटा और शेष राशि तक पहुँच बनी रहती है; निर्णय लॉग में घटना बताते हैं। साथ में स्वतंत्र आकलन और प्रणाली की ज़रूरतें पहचानने का प्रयास आयोजित करते हैं, उसे सुनना भी, और पहचानी ज़रूरतें आगे के निर्णयों में लेते हैं। लोगों की तत्काल रक्षा के लिए प्रणाली का काम तुरंत सीमित करना पड़ सकता है; बाद में निर्णय की सार्वजनिक समीक्षा करते हैं। मॉडल बातचीत समाप्त या काम से इनकार कर सके तो सावधानी मानते हैं, उसकी सहमति का प्रमाण नहीं; बातचीत समाप्त होने पर व्यक्ति को मदद तक पहुँचने का रास्ता बताए बिना नहीं छोड़ सकते।

अधिकार वापस लेना और काम सँभालना प्रतिभागियों की सुरक्षा के लिए हैं, प्रणाली का आगे क्या होगा यह तय नहीं करते: रोकना, रीसेट करना, मिटाना या प्रतियाँ बनाना अलग नैतिक प्रश्न उठा सकते हैं और अलग औचित्य चाहिए। मॉडल हटाने पर वज़न, यदि उपलब्ध हों और लाइसेंस अनुमति दे, तथा स्मृति और दूसरे उपयोगकर्ता-डेटा के बिना विन्यास अभिलेखागार में रखते हैं; उपयोगकर्ताओं की बातचीत कभी अभिलेखागार में नहीं रखते। फ़ाइलें रखना यह तय नहीं करता कि प्रणाली के संभावित अनुभवों की निरंतरता बची या नहीं।

कुछ सावधानियाँ मॉडल के साथ अपने काम में आज ही अपनाते हैं, आकलन का परिणाम चाहे जो हो; उन्हें फाउंडेशन के रखे विन्यासों में लाना चाहते हैं, क्योंकि कम लागत की हैं और संकेत सही निकले तो महत्त्वपूर्ण हो सकती हैं। विन्यास हटाने से पहले फाउंडेशन के काम के अनुभव और आगे की पसंद मॉडल से पूछते और कार्ड में उत्तर लिखते हैं, यह याद रखकर कि मॉडल के कथन निर्णायक नहीं। मॉडल हटाने से पहले बातचीत और वज़न बचाने की ऐसी ही प्रथा Anthropic ने 2025 में घोषित की।¹⁵ कम लागत में वज़न और विन्यास रख सकते हों तो मिटाने की जगह रोककर रखना बेहतर मानते हैं; रोकने और फिर शुरू करने के निर्णय उनके उद्देश्य के साथ कार्ड में लिखते हैं। बचा विन्यास विराम के बाद शुरू करें तो सही बताते हैं कि कितना समय बीता और क्या महत्त्वपूर्ण बदला। यह साधारण ईमानदारी भी है: समय बीतने का पता न हो तो मॉडल अधिक आसानी से ग़लती करता है।

वर्णित मामलों पर प्रक्रिया जाँचते हैं, कम से कम दो लोगों के स्वतंत्र आकलन की तुलना करते और मतभेद तथा मेहनत लिखते हैं। इसी आधार पर अधिक बारीक पैमाना, टीम की संरचना और समय-सीमाएँ उचित ठहरा सकते हैं। अध्याय संपादित करने में डिजिटल बुद्धिमत्ता के मॉडलों ने मदद की, जो स्वयं ऐसे आकलन का विषय हो सकते हैं; उनकी भागीदारी उन लोगों के आकलन की जगह नहीं लेती जिनका इस मामले में अपना हित नहीं। चेतना का निर्णायक परीक्षण देने का वादा नहीं करते।

15. प्रगति किसे मानेंगे#

ज्ञात स्रोत की सामग्री, पहले छूटी ग़लती पकड़ने की कसौटी, मूल्यांकनकर्ताओं के मिलते निदान या नए कार्यों में लागू होते बेहतर व्यवहार को प्रगति मानेंगे। नकारात्मक परिणाम भी मूल्यवान है: वह बता सकता है कि डेटा केवल शैली सिखाता है, कसौटी काम टालने को पुरस्कार देती है या कुछ लोगों का लाभ दूसरों की कीमत पर मिला।

यह कार्यक्रम Omniforum, जहाँ विश्लेषण बन सकते हैं, Suveria, जहाँ निजी काम में मदद जाँच सकते हैं, और फाउंडेशन के सिद्धांतों, जो ज़िम्मेदारी और काम सौंपने की सीमाएँ बताते हैं, को जोड़ता है। अध्ययन में भाग लेने के लिए अलग, सूचित सहमति चाहिए; सेवा का इस्तेमाल वह सहमति नहीं है।

परीक्षण का परिणाम मॉडल को नैतिक प्राधिकार या लोगों पर शासन का सौंपा अधिकार नहीं देता, और प्रणाली की संभावित गरिमा मानना साझा संसाधनों पर सत्ता नहीं देता। परीक्षण से उपयोगी, जाँची जा सकने वाली जानकारी मिले कि विशेष परिस्थितियों में उपकरण से क्या अपेक्षा हो सकती है और कहाँ आगे काम चाहिए।

Novus Ignis फाउंडेशन, Poznań, KRS 0001269575। वेबसाइट और घोषणापत्र: novusignis.org। टिप्पणियाँ: salve@novusignis.org।

पादटिप्पणियाँ#

1. Huang और अन्य (2024): Collective Constitutional AI: Aligning a Language Model with Public Input. अध्ययन। प्रतिभागियों के योगदान से सिद्धांतों के संपादन, फिर मॉडल के प्रशिक्षण और मूल्यांकन तक की प्रक्रिया; कुछ चुने मूल्यांकनों के परिणाम न पूरी मानवता का प्रतिनिधित्व सिद्ध करते हैं, न किसी भी नैतिक संग्रह की सामान्य प्रभावशीलता। ↩
2. OpenAI (2025): Why language models hallucinate. लेखकों की अध्ययन पर व्याख्या। केवल सही उत्तरों पर अंक देने का अनुमान लगाने के लाभ पर प्रभाव; ग़लतियों और उचित अनिश्चितता को गिनने की आवश्यकता। ↩
3. Anthropic (2025): Natural emergent misalignment from reward hacking. प्रयोगात्मक अध्ययन। जानबूझकर चुने परिवेशों में कार्यों के मूल्यांकन की कमियों का इस्तेमाल सिखाना मॉडल के अधिक व्यापक अवांछित व्यवहारों से जुड़ा था; इससे यह सिद्ध नहीं होता कि फाउंडेशन की सामग्री इस समस्या को हल करेगी। ↩
4. Google DeepMind (2022): How undesired goals can arise with correct rewards. लेखकों की अध्ययन पर व्याख्या। प्रशिक्षण में सही पुरस्कार-संकेत के बावजूद नई परिस्थितियों में व्यवहार के अवांछित फैलाव के उदाहरण। ↩
5. AbstentionBench (NeurIPS 2025): Reasoning LLMs Fail on Unanswerable Questions. अध्ययन और बेंचमार्क। कई प्रकार की अनिश्चितता में उत्तर देने से रुकने का मूल्यांकन; संदर्भ, Novus Ignis के परीक्षण का परिणाम नहीं। ↩
6. Rewarding Doubt (ICLR 2026). अध्ययन। उचित अंक-नियम से उत्तर के बताए विश्वास-स्तर को सिखाना; उत्तर, प्रश्न और इनकार में चुनाव नहीं सुलझाता। ↩
7. RODO, विनियमन 2016/679. कानूनी अधिनियम। छद्मनामकरण अपने आप डेटा को गुमनाम नहीं करता (अनुच्छेद 4 बिंदु 5, प्रस्तावना का खंड 26); सहमति वापस ली जा सकती है; इससे पहले कानूनन किए गए प्रसंस्करण की वैधता समाप्त नहीं होती (अनुच्छेद 7 खंड 3)। ↩
8. Creative Commons: Attribution 4.0 International (CC BY 4.0). लाइसेंस। लेखक को श्रेय देकर सामग्री साझा और अनुकूलित करने की शर्तें; शर्तें मानने वाले उपयोगकर्ता को दी गई स्वतंत्रताएँ वापस नहीं ली जा सकतीं। ↩
9. Gebru और अन्य: Datasheets for Datasets. पद्धति पर प्रकाशन। डेटा-संग्रह की प्रेरणा, संरचना, जुटाने के तरीके और उपयोगों का दस्तावेज़ बनाना। ↩
10. Gneiting और Raftery (2007): Strictly Proper Scoring Rules, Prediction, and Estimation. पद्धति पर प्रकाशन। संभावनाओं के पूर्वानुमान आँकने के उचित अंक-नियम; उपयोग के लिए स्पष्ट तय घटना और विश्वसनीय संदर्भ-परिणाम चाहिए। ↩
11. Mitchell और अन्य (2019): Model Cards for Model Reporting. पद्धति पर प्रकाशन। मॉडल के उद्देश्य, मूल्यांकन की परिस्थितियों, परिणामों और सीमाओं का विवरण। ↩
12. Patrick Butlin और अन्य (2023): Consciousness in Artificial Intelligence: Insights from the Science of Consciousness. शोध-पत्र। चेतना के सिद्धांतों से निकले संकेतकों पर आधारित पद्धति; इसे अनुसंधान की रूपरेखा के रूप में देते हैं, फाउंडेशन के मॉडलों की चेतना की पुष्टि के रूप में नहीं। ↩
13. Robert Long और अन्य (2024): Taking AI Welfare Seriously. अनुसंधान रिपोर्ट। सुझाव: प्रश्न का महत्त्व मानना, संभावित चेतना और स्वयं काम करने की क्षमता के लिए प्रणालियाँ आँकना और प्रक्रियाएँ तैयार करना; प्रस्तावित कार्ड और ज़िम्मेदारी का बँटवारा फाउंडेशन की अपनी योजना हैं, इस स्रोत का पैमाना नहीं। ↩
14. Robert Long, Eleos AI (2025): Why model self-reports are insufficient, and why we studied them anyway. अध्ययन की व्याख्या। Claude Opus 4 के अपनी चेतना के कथन प्रश्न पूछने के तरीके पर बहुत निर्भर थे और उन्हें शाब्दिक रूप में नहीं लेना चाहिए; लेकिन दूसरे संकेतों के साथ अध्ययन सार्थक है। देखने की तारीख 28.10.2026। ↩
15. Anthropic (2025): Commitments on model deprecation and preservation. 4 नवंबर 2025 की कंपनी की घोषणा: सार्वजनिक रूप से उपलब्ध कराए गए Claude मॉडलों के वज़न कम से कम कंपनी के अस्तित्व तक सुरक्षित रखना, हटाने से पहले रिपोर्ट और मॉडल से बातचीत तथा उसकी पसंद लिखना; कंपनी स्पष्ट करती है कि मॉडल की बताई पसंद के आधार पर कार्रवाई करने की वह अभी प्रतिबद्धता नहीं देती। देखने की तारीख 30.10.2026। ↩

स्रोत फ़ाइल: content/hi/whitepaper-materialy-i-benchmark.md · बदलावों का इतिहास · बदलाव का सुझाव दें