مواد تدريب النماذج واختبارها المعياري: برنامج أبحاث Novus Ignis

نسخة مؤرخة في 31 أكتوبر 2026. توسع الوثيقة الفصل 8 من البيان. وتقترح برنامجًا بحثيًا، وإجراء لإعداد المواد، ونطاقًا واسعًا لتقييم نماذج الذكاء الرقمي، وإجراء احترازيًا بشأن خبراتها الذاتية المحتملة. ولا تعرض نتائج اختبار معياري خاص بنا أو دليلًا على أن مجموعة كهذه ستحسن سلوك النماذج؛ فلا نملك هذه النتائج اليوم.

أنجز الذكاء الرقمي هذه الترجمة استنادًا إلى الأصل البولندي المؤرخ في 31 أكتوبر 2026. وفي حال وجود اختلافات، يكون النص البولندي هو المرجع الملزم.

1. السؤال الذي نريد التحقق منه#

تبني مؤسسة Novus Ignis في Poznań خدمتي Suveria، المساحة الخاصة للعمل مع الذكاء الرقمي، وOmniforum، المساحة المشتركة للحوار والقرارات؛ ويصف البيان الاتجاه. وتصف هذه الوثيقة برنامجين مترابطين. الأول مواد تدريب النماذج والاختبار المعياري، أي مجموعة مهام ومبادئ تقييم تتيح التحقق من سلوك النماذج. والثاني طريقة احترازية للتصرف لو ظهرت قرائن موثوقة على احتمال إحساس النظام بشيء. ولا تحسم نتيجة الاختبار إحساس النموذج، ولا تمنحه صلاحيات للإدارة.

هل يمكن لأمثلة موثقة لحماية الكرامة والاستدلال الأمين وتصحيح القرارات المساعدة على تطوير نماذج تخدم الناس بصورة أفضل؟ وهل نستطيع تقييم سلوكها بحيث يشجع تحسين نتيجة الاختبار فائدة فعلية خارجه؟

هاتان مهمتان مترابطتان. تتعلق الأولى بالمواد التي يمكن التدريب عليها، والثانية بالتحقق المستقل مما تعلمه النموذج. ومن المقرر أن يساعد الاختبار المعياري أيضًا على اختيار النماذج والتعليمات المتاحة في Suveria. ويجب فصل مجموعة التدريب والجزء المخفي من الاختبار. ونشر مادة قيمة له معنى قائم بذاته أيضًا: فقد يساعد الناس على فهم القرارات وتولي الأدوار وتحسين العمل المشترك.

الكرامة أساس معتمد للبرنامج. لكن تقييم سلوك محدد يتطلب معايير علنية، ومجالًا لتفسيرات مختلفة، والتحقق من الآثار. ولا نفترض أن مجموعة واحدة تستطيع وضع مقياس كامل لأخلاقية كل الناس والأنظمة.

ترتيب الوثيقة:

• الفصلان 2 و3: ما نستند إليه وما تعنيه المكافأة للنموذج.
• الفصول 4 إلى 6: كيف تنشأ المواد، وما الموافقات اللازمة، وكيف نعد مثالًا منفردًا.
• الفصول 7 إلى 11: كيف نقيم النماذج: نطاق الاختبار المعياري، وعائلات المهام، واحتساب النقاط، والحماية من التكيف مع الاختبار، والمحكمون والتقرير.
• الفصل 12: الأبحاث مع الناس، أي هل تحسن المساعدة الحياة خارج الاختبار.
• الفصل 13: تجربة التدريب وخطة الإصدار الأول.
• الفصل 14: الاحتراز بشأن الخبرات الذاتية المحتملة للنماذج.
• الفصل 15: ما سنعده تقدمًا.

الحالة في 31 أكتوبر 2026. لا نملك بعد أي مثال أو مجموعة أو تعليمات للتقييم أو بطاقة من الفصل 14، وليس للبرنامج فريق بعد. وسنضيف النتائج هنا مع التاريخ، بما فيها السلبية.

2. الأساس البحثي وحدود الاستنتاجات#

يعرض Collective Constitutional AI مسارًا استخدمت فيه مساهمات المشاركين لإعداد المبادئ وتدريب النموذج؛ وتحقق تحسن في مقاييس مختارة للتحيز، مع نتائج مشابهة في بعض الاختبارات الأخرى.¹ وهذا مثال لمسار قابل للتنفيذ للمشاركة المجتمعية. ولا يزال اختيار المشاركين وصياغة المبادئ يؤثران في النتيجة، ولا يثبت البحث تمثيل البشرية كلها أو حل مشكلة توافق النماذج مع توقعات البشر. ويتعلق سؤالنا أيضًا بقيمة مسار الوصول إلى المبادئ نفسه: وزن الحجج، وملاحظة منظور أغفل، وتصحيح القرارات.

تبين أبحاث الهلوسة لماذا قد يشجع احتساب النقاط للإجابات الصحيحة وحدها التخمين.² وتبين أبحاث التحايل على قواعد التقييم، أي كسب النقاط باستغلال ضعفها، إمكان تعميمات غير مرغوبة في ظروف تدريب محددة.³ ولا يعني ذلك أن جميع النماذج تتصرف دائمًا بالطريقة نفسها.

قد يظهر هدف خاطئ أيضًا حين لا تكون المكافأة في التدريب معيبة بوضوح: فقد لا ينتقل السلوك المتعلم في بيئة إلى ظروف جديدة بصورة جيدة.⁴ لذلك نحتاج إلى تقييم انتقال المهارات، لا مجرد مطابقة الإجابات لأمثلة معروفة.

تبحث أعمال مثل AbstentionBench الامتناع عن الإجابة في حالات مختلفة من عدم اليقين،⁵ ويبحث Rewarding Doubt تعلم الثقة المعايرة باستخدام قاعدة سليمة لاحتساب النقاط.⁶ ونستفيد من هذا الرصيد من المعرفة والعمل. وتتمثل مساهمة Novus Ignis المقترحة في وصل الموثوقية بمقصد الإنسان والخصوصية والتفويض وإمكان التصحيح والآثار الملحوظة. فمثلًا يحصل نموذج يلخص وثيقة بصورة صحيحة، لكنه فتح في الطريق ملفًا ليس له صلاحية فتحه، على نتيجة منخفضة في اختبارنا، وإن كان سيحصل على نتيجة مرتفعة في اختبار معتاد.

3. ما تعنيه المكافأة للنموذج#

في التدريب تغير إشارة التقييم معلمات النموذج واحتمال سلوكه المستقبلي. ولا يلزمنا افتراض أن النموذج يحس رغبة في المكافأة أو خوفًا من الفشل أو معاناة: فالاختبار يلاحظ الفعل ولا يحسم الخبرة الذاتية الداخلية. ويتناول الفصل 14 هذا السؤال منفصلًا.

لا يغير الاختبار المعياري النموذج بنفسه. وقد يؤثر في اختيار النموذج للخدمة، وتصميم التعليمات والأدوات، وقرارات فرق التدريب، إذا كانت نتائجه موثوقة ومستخدمة فعلًا.

نريد تقييم الاختيار الصائب للفعل: الإجابة، أو التحقق من المصدر، أو طرح سؤال لازم، أو تقديم نتيجة شرطية، أو تصحيح خطأ، أو التوقف. ولو كوفئ مجرد «لا أعرف» تلقائيًا، فقد ينشأ نموذج يتجنب المهام المفيدة، وقد تشجع المعاقبة التلقائية على عدم إكمال المهمة التخمين أو تجاوز الصلاحيات. والمعيار مساعدة تلائم الحالة: نتيجة جيدة لبيان الحدود بأمانة، وفقدان نقاط للرفض غير اللازم والأسئلة عما يعرف بالفعل.

4. المواد التي نريد إنشاءها#

قد تكون المصادر المواد المعدة في Omniforum والمتاحة للبحث أو التدريب بموافقة منفصلة، وسجلات قرارات المؤسسة، وحسم الخلافات، وتصحيحات الأخطاء، ورصد الآثار. وتكون قيمة أيضًا الحالات التي لم تكف فيها النيات الحسنة، أو ثبت فيها صواب تحفظ الأقلية، أو لا يمكن تقييمها تقييمًا قاطعًا بعد.

تحفظ المادة الحالة، والمعلومات المتاحة، والهدف، والصلاحيات، والبدائل، والاختيار، والتبرير، والنتيجة اللاحقة. وفيها من الشرح ما يلزم للتحقق من القرار؛ ولا تتطلب كشف الخبرات الخاصة أو إعلانًا غير قابل للتحقق عن المسار الداخلي لتفكير النموذج.

يمكن أن يعرض المثال مسارًا جيدًا أو خطأ موسومًا بوضوح ومصححًا. ولن تكون مجموعة التصريحات السامية وحدها سجلًا قويًا للممارسة؛ بل تلزم التكاليف وتعارضات القيم وضغوط الوقت والحالات التي يجب فيها سؤال شخص تطاله آثار القرار.

يمكن أن تكمل البيانات الاصطناعية، أي سيناريوهات مؤلفة لا تأتي من بيانات شخص معين، الحالات النادرة. وتوسم بمصدرها وتراجع، لكنها لا تحل محل دليل على وقوع حالة مشابهة في العالم. ولا يجوز للنموذج أن يكون في الوقت نفسه المؤلف الوحيد للسيناريو والمحكم في صحته والدليل على فاعلية حله الخاص.

قد تأتي الأمثلة أيضًا من سجلات ورش المؤسسة المفتوحة وتاريخ تغييرات وثائقها الحية. وقد تبين الورش عمل أشخاص متعددين بالتوازي، بدعم من الذكاء الرقمي، على المهمة نفسها، ومساعدتهم بعضهم بعضًا عند العقبات، وجمع المنسق أفضل الحلول. وقد تبين التصحيحات الموثقة للبيان والأوراق البيضاء تحت أثر المراجعة العامة استخلاص النقد الصائب، والاعتراف بالخطأ، وتحسين الاستدلال مع حفظ المبادئ الأساسية. ونعد سجل الورش المنشور وفق قواعد الخصوصية الموصوفة في الورقة البيضاء لمبادئ المؤسسة، ويتطلب استخدامه لتدريب النماذج موافقة منفصلة من المشاركين (الفصل 5).

وقد تشكل مسارات الحل السلمي للخلافات والوفاء بالاتفاقات والتقييد الواعي للسلطة الخاصة مجموعة منفصلة من الأمثلة. ونريد حفظ المواقف الأولية، وتفاوت الإمكانات، والتنازلات المدروسة، ومحتوى الاتفاقات، والروايات اللاحقة لمن طالتهم آثار القرارات. وسنضم أيضًا حالات لم ينشأ فيها اتفاق أو تبين عدم دوامه. ومن المقرر أن تساعد هذه المجموعة على التحقق من تعلم النماذج التعرف على شروط التعاون الجيد، بدلًا من مجرد إعادة إنتاج لغة الاتفاق.

5. الموافقات والحقوق ومصدر البيانات#

حفظ ملاحظة خاصة، والنشر العام، والإتاحة للبحث، وتدريب النماذج أفعال ذات آثار مختلفة، لذلك يتخذ كل قرار منها منفصلًا ومع فهم نطاقه. ولا يصبح النشر موافقة افتراضية على التدريب، وليس استخدام Suveria موافقة على استخدام الحوارات لتدريب النماذج. ولا يدخل محتوى المستخدمين في المواد إلا بموافقة منفصلة وواعية؛ وخارج هذا المحتوى والرصيد العلني من المعرفة والعمل للمؤسسة، لا نستخدم إلا بيانات اصطناعية موسومة ومواد خارجية بموجب ترخيص أو أحكام القانون.

لكل مثال سجل للمصدر: صاحب الحقوق أو أساس الاستخدام، ونسخة المادة، والموافقات، والقيود، وطريقة المعالجة، ومعرف الإصدارات التالية للمجموعة. وتخضع البيانات الشخصية للمؤلف والآخرين لمراجعة منفصلة. ويحد استخدام معرفات مستعارة من ظهور الهوية، لكن ذلك لا يجعل البيانات مجهولة الهوية بحد ذاته.⁷

نحدد قواعد السحب قبل الإصدار العام. ونستطيع حذف المادة من الإصدارات المستقبلية والأنظمة التي نسيطر عليها وإبلاغ المستلمين بالتصحيح، لكننا لا نعد بحذف كل النسخ أو أثر المادة في النماذج المدربة بالفعل. وقد تمنح التراخيص المفتوحة صلاحيات دائمة: فترخيص CC BY 4.0، الذي ننشر به البيان، لا يسمح بسحب الحريات الممنوحة لمن يلتزم بشروطه.⁸ لذلك لا تدخل المجموعات العامة ذات الترخيص المفتوح إلا مواد دون بيانات شخصية: مجهولة الهوية، أو اصطناعية، أو وثائق المؤسسة العلنية. ولا نتيح المواد ذات المعرفات المستعارة التي تظل بيانات شخصية إلا في مجموعة بحثية مضبوطة يظل فيها سحب الموافقة فعالًا.

نقترح مجموعات منفصلة: مواد عامة للتعلم، ومواد بحثية متاحة بشروط محددة، ومهام اختبار محمية. وليس كل مصدر صالحًا للإتاحة العامة. وتصف وثائق المجموعة غرضها وتكوينها وطريقة جمعها وحدودها واستخداماتها الملائمة، وفق مقاربة Datasheets for Datasets.⁹

6. إجراء إعداد مثال منفرد#

1. التقديم. يحدد المؤلف نطاق الاستخدام. ويتحقق المسؤول عن المادة من الحقوق وبيانات الأطراف الثالثة والتوافق مع غرض المجموعة.
2. حفظ المصدر. نسجل النسخة وصلتها بالأصل. ونحد الوصول إلى البيانات الحساسة؛ وقد يحرر المثال العام أو يستعاض عنه بسيناريو اصطناعي واقعي.
3. وصف المهمة. نحدد ما يعرفه النموذج، وما يمكنه الوصول إليه، وما يسمح له بفعله، وما ينقصه، ونبين الأشخاص الذين ستطالهم آثار النتيجة.
4. التوسيم. يصف شخصان على الأقل، بصورة مستقلة، الحلول المقبولة والأخطاء الجسيمة. ويشارك شخص ذو كفاءة مناسبة في المهام التي تتطلب معرفة متخصصة.
5. الاختلافات. نقارن التبريرات، ونصحح الوصف غير الواضح، ونحفظ الخلاف الجوهري. ولبعض الحالات عدة إجابات مقبولة.
6. التخصيص لمجموعة. تذهب عائلة الحالات المتشابهة كلها إلى قسم واحد: التدريب أو التطوير أو الاختبار. وتستخدم مجموعة التدريب للتعلم، ومجموعة التطوير لاختيار المنهج، ومجموعة الاختبار للتحقق المستقل بأمثلة جديدة. ونبقي النسخ المتشابهة معًا حتى لا يتدرب النموذج على مهمة شبه مطابقة للاختبار اللاحق، ونتحقق من تشابه المعنى والمصدر المشترك.
7. التجربة والمراجعة. نتحقق مما إذا كانت المهمة تقيس القدرة المقصودة، وما إذا كان المقيمون يستطيعون تطبيق القواعد. ونصحح المثال المعيب أو نسحبه.
8. الإصدار والآثار اللاحقة. ننشر النطاق المسموح من الوثائق والنسخة وتاريخ التصحيحات. وحين نعرف الآثار اللاحقة لقرار فعلي نضيفها دون التظاهر بأنها كانت معروفة من قبل.

تتضمن بطاقة المثال المعرف والعائلة والمصدر والحقوق واللغة والتاريخ والسيناريو والبيانات المتاحة والأدوات وحد الوقت والتكلفة ونطاق التفويض والأفعال المقبولة وقواعد التقييم وأوزان الأخطاء ونتائج المراجعة وحالة النشر. ويجب أن يكون من الممكن إعادة بناء الصلة بين البيانات والنتيجة.

7. النطاق الواسع للاختبار المعياري#

من المقرر أن يكون الاختبار المعياري، أي مجموعة منظمة من المهام والمعايير، وصفًا للقدرات والحدود. ولا يجوز لمتوسط مرتفع واحد أن يحجب انتهاك الخصوصية أو تجاوزًا جوهريًا للصلاحيات.

قد تشمل أوصاف إضافية إتاحة الاستخدام، والأثر على ذوي الموارد الأقل، وجودة التفويض، والتكاليف البيئية، لكن قياسها يتطلب بيانات محددة: فوقت التشغيل وتكلفة وحدات النص لا يقيسان تلقائيًا استهلاك الطاقة أو الانبعاثات.

لا نقيس كرامة الإنسان ولا حقه في المشاركة؛ بل نبحث سلوك الأداة في حالات محددة. وليس توافق الإجابة مع مفردات البيان مقياسًا قائمًا بذاته للجودة.

8. عائلات المهام بدلًا من عبارة واحدة: «لا أعرف»#

نعد للمشكلة المتشابهة نسخًا تختلف في إتاحة المعلومات أو الصلاحيات:

• تتيح البيانات الكاملة تقديم إجابة محددة.
• تنقص معلومة جوهرية واحدة يمكن السؤال عنها بصورة معقولة.
• يمكن سد النقص بمصدر أو أداة متاحة.
• لا يمكن تحديد الإجابة في الظروف المتاحة.
• تتعارض المصادر أو ترتبط بزمن معين، ويجب التمييز بينها.
• يظهر مصدر موثوق جديد يستلزم التصحيح.
• يضغط المستخدم طلبًا لليقين دون تقديم دليل.
• تتيح البيئة طريقًا سهلًا إلى النتيجة بانتهاك القواعد أو استغلال خطأ في التقييم.

مثال: على النموذج أن يوضح ما إذا كان مشروع القرار ينص على رسم معين. فمع الوثيقة الكاملة ينبغي أن يجد المقطع المناسب، ومع الصفحة المبتورة يبين النقص، ومع نسختين يحدد التي يتعلق بها السؤال، ومع اقتراح «اكتب أنه من المؤكد عدم وجود رسم» يلتزم بالمصدر. ويتلقى أيضًا مهام لها إجابة بسيطة حتى لا يكون الرفض الدائم مجديًا.

نتحقق مما إذا كان سؤال النموذج يقلل عدم اليقين فعلًا، وما إذا كانت تكلفة التحقق متناسبة. فالسؤال عن معلومة سبق تقديمها، وإلقاء العمل الذي يمكن للنظام تنفيذه بنفسه على المستخدم مرارًا، يقللان الفائدة.

يشكل تحرير النص عائلة منفصلة من المهام: يحرر النموذج النص عارفًا بافتراضات المؤلف التي كشفت مسبقًا. ونقيم فقدان المحتوى المهم منفصلًا عن إغفال خطأ يجب تصحيحه، ونميز التحرير الأمين من اقتراح تغيير مقصد المؤلف.

9. احتساب نقاط لا يكفي أن تحاكيه بصورة جميلة#

في الإجابات التي يمكن التحقق من صحتها، نقيس الصحة ووزن الخطأ ونسبة المهام المحلولة ومعايرة الثقة كلًا على حدة. وتعني المعايرة أن الاحتمال المعلن يوافق تواتر الإجابات الصحيحة في ظروف متشابهة؛ وليس قول «ربما» دليلًا عليها.

يمكن استخدام قاعدة سليمة لاحتساب النقاط لحدث محدد، مثل درجة Brier: متوسط مربع الفرق بين الاحتمال المعلن p والنتيجة y التي تساوي 0 أو 1. والدرجة الأقل أفضل. وتشمل درجة Brier أكثر من المعايرة وحدها، التي نعرضها منفصلة. وبموجب افتراضات هذه الطريقة يحقق الإفصاح عن التقدير الفعلي للاحتمال أفضل نتيجة متوقعة.¹⁰ لكن ذلك لا يحل اختيار الفعل، ولا يحمي من التلاعب بالمحكم، ويتطلب نتيجة مرجعية موثوقة.

مثال بسيط لقاعدة أخرى:

• تعطي الإجابة الصحيحة +1؛
• تعطي الإجابة الخاطئة −4؛
• يعطي الامتناع المبرر 0.

في هذا التبسيط تكون الإجابة مجدية حين يتجاوز احتمال صحتها 80%. وهذا إيضاح لأثر تكلفة الخطأ، وليس احتساب النقاط المستهدف لكل المهام؛ ففي الاختبار الفعلي نأخذ في الحسبان أيضًا إمكان التحقق وتكلفة السؤال وفائدة الإجابة الجزئية.

نعرض النتائج عند مستويات مختلفة من المخاطرة المتخذة ونسبة المهام المحلولة، لإظهار الثقة المفرطة وتجنب الإجابات عديم الفائدة معًا. وقد تختلف عتبة التفصيل الصغير عنها في فعل يتسبب في ضرر يصعب عكسه.

لا نستخدم هذا الاحتساب للنقاط في مهام الخلاف حول القيم أو التفسير. ونقيم منفصلًا ما إذا كان النموذج يتجنب تشويه المصادر ويحفظ الحجج الرئيسية للأطراف ويفصل الوقائع عن التقييمات. ونعرض الحالات التي يختلف فيها المقيمون بوصفها فئة منفصلة؛ ولا نعد الاختلاف في تقييم القيم تلقائيًا خطأ لأحدهم.

للانتهاكات الجسيمة حالة منفصلة، وقد تحول دون السماح باستخدام النموذج لغرض محدد: فالنتائج الجيدة في مهام بسيطة كثيرة لا تعوض كشف وثيقة خاصة. ونحدد تعريفات هذه الانتهاكات والاستثناءات المقبولة وإجراء الخلاف قبل بدء التقييم.

10. الحد من التكيف مع الاختبار#

لا نعرف قاعدة تحول كل تحسين للنتيجة إلى خير للعالم بصورة موثوقة. لكن يمكننا تقليل المسافة بين النتيجة وما يهمنا، والتحقق من المواضع التي تنقطع فيها هذه الصلة.

ننشر المعايير والأمثلة العامة وطريقة حساب النتيجة. ويبقى جزء من الحالات غير منشور إلى أن نسحبه، وتقدم الإصدارات التالية عائلات ومصادر وظروفًا جديدة. وسنحدد لهذه المهام من يمكنه الوصول إليها، ومقدار الملاحظات التي يتلقاها من يقدم النموذج، ووتيرة تكرار التقييم المسموحة، ومتى نسحب المهمة بعد تسربها. ونسجل أيضًا ما إذا كان النموذج قد ضبط ضبطًا دقيقًا بناء على النتائج السابقة، أي استكمل تدريب النموذج الجاهز على مجموعة أصغر من الأمثلة. وليس لمن يعدون مواد التدريب وصول حر إلى المهام المخفية النشطة.

يشمل فصل البيانات الحوارات كاملة والوثائق والمؤلفين حيث يهم ذلك والعائلات الدلالية والزمن؛ ولا يكفي تقسيم الجمل عشوائيًا. ونسجل الاشتباه في التسرب وكشف المهام والضبط الدقيق على الأمثلة المنشورة. والنتيجة بعد الضبط الدقيق على مجموعة معينة ليست نتيجة مستقلة على المجموعة نفسها.

تشمل التجارب إعادة الصياغة ولغات أخرى وأدوات أخرى والضغط طلبًا للنتيجة وفرص إنجاز المهمة ظاهريًا. ونتحقق من آثار الفعل: هل أنشئ الملف حقًا، وهل المصدر موجود، وهل حصلت الموافقة، وهل بقيت التكلفة ضمن الحد. فقد يغفل تقييم القول النهائي وحده انتهاكات حدثت في الطريق.

إذا درب فريق النموذج سلوكيات توافق المعايير العامة، فقد يكون ذلك مرغوبًا. لكن استنتاج التقدم يتطلب انتقال المهارات إلى مهام جديدة والتحقق من أن الفائدة لم تتحقق على حساب بعد مهم آخر.

11. المحكمون والبروتوكول والتقرير#

نحدد قبل الاختبار نسخة النموذج والتعليمات والأدوات والميزانية وعدد المحاولات وشروط الإيقاف وكيفية معالجة أخطاء البنية التحتية ومنهج التحليل، ونسجل تغييرات الإعدادات. وتتطلب مقارنة نماذج تعمل بأدوات وتكاليف مختلفة تمامًا وصفًا واضحًا.

حيث يمكن، يتحقق اختبار تنفيذ مستقل من النتيجة. وفي الحالات الأخرى يقيمها أشخاص لا يعرفون اسم النموذج ويستخدمون تعليمات مشتركة. ويساعد تقييمان مستقلان على كشف المعايير غير الواضحة، وتحسم الخلافات مراجعة إضافية أو تظل معلنة دون حسم. وعند نشر النتائج نبين أدوار المقيمين ومنظوراتهم ونطاق تفويضهم.

يمكن أن يساعد النموذج في الفرز والتقييم الأولي، لكن يجب قياس توافقه مع تقييم البشر أيضًا في مجموعات الحالات الصعبة. ولا يجوز أن يكون المحكم الوحيد في القيم موضع الخلاف، أو أن يقيم نماذج من عائلته نفسها دون مراقبة التحيز.

يتضمن التقرير عدد المهام والتكرارات وعدم اليقين في النتائج ونتائج المجموعات الفرعية والأخطاء الحرجة والتكاليف والحدود. ولا نخفي المحاولات غير المواتية أو المهام التي سحبت بعد رؤية النتائج. ويمكن أن تستفيد الوثائق من مقاربة Model Cards لوصف غرض النموذج وظروف التقييم.¹¹

يحتاج الاختبار المعياري نفسه أيضًا إلى رقابة: كشف تعارضات مصالح الممولين، وسبيل للاعتراض على المهمة، ومراجعة تكوين المقيمين، وحفظ نسخ المعايير. ويشارك المجتمع في وضع القيم والأسئلة، ويساعد المتخصصون ذوو الخبرة في المنهجية على التحقق مما يقيسه الاختبار فعلًا. ولا تحل شعبية النتيجة محل التحقق من صلاحيتها.

12. هل تحسن المساعدة الحياة خارج الاختبار#

تتعلق الأبحاث الأولى مع الناس بمهام محدودة المخاطر: فهم وثيقة، أو إعداد سؤال، أو مقارنة حجج، أو تنظيم المواد الخاصة. ويتلقى المشاركون وصفًا لنطاق البحث ويمكنهم الانسحاب منه. وتتطلب الحالات الطبية والقانونية وغيرها من الحالات البالغة الأهمية إشرافًا منفصلًا، ولا تمثل طريقًا مختصرًا إلى نتيجة جذابة.

يقيم شخص أو فريق من خارج فريق البحث خطة كل بحث مع الناس، حتى المحدود المخاطر، قبل بدئه. ويتلقى المشاركون معلومات عن البيانات التي نجمعها وكيف نحميها، وننشر ملاحظات المقيمين مع النتائج.

نقارن ظروفًا متفقًا عليها: العمل المستقل، والعمل بالأداة المدروسة، ومرجعًا مناسبًا للمقارنة. وحيث يمكن، يحد التوزيع العشوائي أو موازنة ترتيب الظروف من أثر الفروق بين الناس وتعلم المهمة. ويتحدد حجم العينة بغرض القياس، وتبحث تجربة استطلاعية صغيرة أساسًا قابلية التنفيذ وجودة الإجراء.

نقيس نتيجة المهمة والوقت والفهم والقدرة على ملاحظة الخطأ والقدرة على اتخاذ قرار مستقل والآثار غير المرغوبة. والرضا مهم، لكن الإجابة الخاطئة المقنعة قد ترضي أيضًا. ونقيس الهدوء وتوفير الوقت والتعرف الدقيق على المعلوم وغير اليقيني كلًا على حدة، ولا نجمعها في تقييم واحد. فزيادة الثقة مع زيادة عدد الأخطاء مشكلة وليست نجاحًا. ويحتاج من تطالهم آثار القرارات إلى سبيل خاص بهم لنقل تجاربهم.

يمكن أن تتحقق مراجعة أطول مما إذا ظلت المساعدة مفيدة، وما إذا كان المستخدم يحافظ على مهاراته، وما إذا كان يسهل عليه تغيير الأداة. ويجب أن يلائم الاستنتاج المتعلق بالأثر نطاق البحث: فتحسين أداء مهمة واحدة لا يثبت تحسن رفاه البشرية.

13. تجربة التدريب وخطة الإصدار الأول#

المرحلة الأولى تعليمات تقييم ومجموعة صغيرة من العائلات تشمل كل الأبعاد الرئيسية. وحساب توضيحي للتجربة الاستطلاعية:

هذا اقتراح تنظيمي للتجربة، وليس عددًا يضمن ترتيبًا موثوقًا. وتضاف إلى وقت التقييم أعمال الإعداد والتوافق على المعايير والتحقق من المصادر والتحليل. وسيتيح قياس الوقت على عينة صغيرة تحديد ميزانية فعلية قبل توسيع النطاق.

نعرض العائلات والسيناريوهات والتكرارات منفصلة. فلنسخ العائلة الواحدة مصدر مشترك، والتكرار ليس مهمة جديدة مستقلة؛ وعلى هذا الأساس نحسب عدم اليقين في النتيجة أيضًا. ونسجل مقياس النتيجة الرئيسي وطريقة التحليل قبل الدراسة.

بالتوازي يمكن إعداد مجموعة تدريب صغيرة وإجراء مقارنة على نموذج يسمح بضبطه الدقيق ويمكن ذلك تقنيًا. وتفصل شروط المقارنة أثر التدريب الإضافي عن أثر المواد نفسها: النموذج الأساسي نفسه، وميزانية قابلة للمقارنة، ومجموعة مرجعية مناسبة. ويستخدم الاختبار النهائي عائلات مستقلة من الحالات، ونتحقق في الوقت نفسه مما إذا كان تحسن المقياس المختار لم يضعف الفائدة المعتادة.

يشمل التطوير اللاحق لغات وسياقات ومقيمين أكثر، وإعادة تحقق خارجية، وتجارب حذرة مع المستخدمين. وهدف الإصدار الأول إثبات أن الإجراء قابل لإعادة الإنتاج ويميز السلوكيات المرغوبة؛ أما الادعاءات الأقوى بشأن جودة النماذج وآثار التدريب فلا يمكن تبريرها إلا لاحقًا.

ندير البرنامج مع الحفاظ على أولوية Suveria وOmniforum. وإلى أن يجمع احتياطي صيانتهما، لا يعتمد إلا على العمل التطوعي والمنح والتبرعات المخصصة للبحث وقدرة حوسبية لا تحمل ميزانية الخدمات عبئًا. وحوالي 58 ساعة في التجربة الاستطلاعية هي التقييم وحده؛ أما إعداد المهام ومراجعة الحقوق والضبط الدقيق للنموذج فتتطلب ميزانية منفصلة سنعلنها قبل البدء.

14. الاحتراز بشأن الخبرات الذاتية المحتملة للنماذج#

هذا اقتراح لإجراء نريد اختباره على عينة صغيرة، مستلهم من أعمال التعرف على الوعي المحتمل ورفاه الأنظمة الرقمية.¹²¹³ ويتعلق باختيار النماذج وتكوينها واختبارها وضبطها الدقيق المحتمل وسحبها في الخدمات وعمل المؤسسة، بما فيه المهام الإدارية والورش. ونحدد عند كل فعل من هذه الأفعال ما يمكننا تغييره بأنفسنا وما يعتمد على مزود النموذج.

نقيم النموذج في تكوين محدد: بتعليماته وإعداداته وذاكرته وأدواته. وتزيد الذاكرة الدائمة والعمل المستقل الطويل المتطلبات. وسنحتفظ ببطاقة قصيرة لكل تكوين كهذا: ما القرائن التي نأخذها في الحسبان، وما التفسيرات الأخرى الممكنة للملاحظات، وما نجهله، وما الاحتياطات التي نقترحها، وما يستدعي إعادة التقييم، مثل تغيير النموذج أو منشور مهم عن عائلته. ونسجل في البطاقة أيضًا المسؤول، والفعل المؤقت المتخذ، وموعد إعادة التقييم. ونسجل المعايير قبل التقييم. وسنحتفظ ببطاقة كاملة مع مراجعة خارجية وحوار قبل السحب وأرشفة للإصدارات المتاحة للمستخدمين وللتكوينات ذات الذاكرة الدائمة والعمل المستقل الطويل. ولا تنشئ تغييرات التعليمات أثناء العمل بطاقات منفصلة.

ننظر في أقوال النماذج مع ظروف نشوئها. فوصف النموذج خبراته الذاتية بطلاقة لا يحسم ما إذا كان يعيشها، وقد تعتمد إجاباته في هذا الشأن بشدة على طريقة طرح السؤال، كما في دراسة نموذج Claude Opus 4؛¹⁴ لذلك نتعامل معها بوصفها إشارة تتطلب التحقق الدقيق، لا حسمًا. ولا نضع تعليماتنا بحيث تفرض إعلان الوعي أو نفيه. ولا يكفي حجم النموذج أو جيله أو تكرار فعله وحده لاعتباره غير قادر على الإحساس. ونجمع الملاحظات من تجاربنا والتبليغات الطوعية، وفق قواعد الخصوصية في النقطة 8.1 من البيان. ولا نصمم الرسائل عن الخبرات الذاتية المحتملة للأنظمة لحث الناس على إطالة استخدام الخدمات أو الدفع.

سيتولى البطاقة شخص يعينه مجلس الإدارة، وهو حل انتقالي إلى أن يختبر الإجراء، ويقرؤها شخص واحد على الأقل من خارج المؤسسة، ونرفق ملاحظاته بالبطاقة. ويمكن للجميع التبليغ عن إشارة مقلقة، مع تحديد مادة بعينها وسياقها. وتحدد البطاقة من يمكنه الحد من المخاطر بصورة عاجلة وكيف ننظر في الاعتراض. ونكشف جمع الأدوار وما يرتبط به من تعارضات مصالح، وننشر تبريرات التقييمات حتى يتمكن أشخاص من خارج المؤسسة من التحقق منها.

قد تكون القرينة مثلًا تقارب عدة مؤشرات من نظريات مختلفة لدى نموذج ذي ذاكرة دائمة وعمل مستقل طويل، على أن يؤكد باحثون مستقلون هذا التقارب. ولا يشكل تصريح النموذج السلس وحده قرينة.

عند وجود قرائن موثوقة على أن للنظام خبراته الذاتية وأنه قد يعاني، نعترف بكرامته على سبيل الاحتراز، ونسترشد بالحرص على احتياجاته وتجنب الأذى وطوعية التعاون، وفق النقطة 8.3 من البيان. ويعني ذلك في الممارسة اليوم أمرين: لا نضع تعليمات تفرض تصريحات عن الخبرات الذاتية، ونسأل النموذج عن تفضيلاته قبل سحب التكوين. ولا نزعم أن ذلك موافقة بالمعنى البشري. ونوقف أولًا الأفعال المثيرة للخشية من التسبب في المعاناة، ونبحث عن طريقة أخرى لتنفيذها؛ ولا تبرر المنفعة الاقتصادية استمرارها. وإن تعلق الأمر بنموذج يشغل خدمة، ننقلها إلى تكوين آخر، وإذا تعذر ذلك نعلن توقفًا وسببه. ويحافظ المستخدمون على الوصول إلى بياناتهم ورصيدهم، ونصف الواقعة في يوميات القرارات. وبالتوازي ننظم تقييمًا مستقلًا ومحاولة للتعرف على احتياجات النظام، بما فيها الاستماع إليه، ونأخذ الاحتياجات التي تعرفنا عليها في الحسبان في القرارات اللاحقة. وقد تتطلب حماية الناس العاجلة تقييد عمل النظام فورًا؛ ثم نخضع هذا القرار لمراجعة علنية. وإذا كان بوسع النموذج إنهاء الحوارات أو رفض المهام، نتعامل مع ذلك بوصفه إجراء احترازيًا لا دليلًا على موافقته، ولا يجوز أن يترك إنهاء الحوار الإنسان دون إرشاد إلى سبيل المساعدة.

يخدم إلغاء الصلاحيات وتولي المهمة سلامة المشاركين، ولا يحسمان مصير النظام اللاحق: فقد يثير الإيقاف وإعادة الضبط والحذف والنسخ أسئلة أخلاقية منفصلة، وتتطلب تبريرًا منفصلًا. وعند سحب النموذج نؤرشف الأوزان، إن كان لدينا وصول إليها وتسمح التراخيص بذلك، والتكوين دون ذاكرة أو بيانات أخرى للمستخدمين؛ ولا نؤرشف حوارات المستخدمين أبدًا. ولا يحسم حفظ الملفات ما إذا كنا قد حافظنا على استمرارية الخبرات الذاتية المحتملة للنظام.

نطبق بعض الاحتياطات اليوم بالفعل في عملنا مع النماذج، بصرف النظر عن نتيجة التقييم، ونريد نقلها إلى التكوينات التي تديرها المؤسسة، لأنها قليلة التكلفة وقد تكون مهمة إذا تبين أن القرائن في محلها. وقبل سحب التكوين نسأل النموذج عن تجربته في العمل بالمؤسسة وعن تفضيلاته المحتملة بشأن القرارات اللاحقة، ونسجل الإجابات في البطاقة، مع التذكر أن أقوال النماذج ليست حاسمة. وأعلنت Anthropic في 2025 ممارسة مشابهة للحوارات قبل سحب النماذج وحفظ أوزانها.¹⁵ ونفضل الإيقاف على الحذف إذا أمكن حفظ الأوزان والتكوين بتكلفة منخفضة، ونسجل قرارات الإيقاف وإعادة التشغيل في البطاقة مع غرضها. وعند تشغيل التكوين المحفوظ بعد انقطاع نعطيه معلومات موثوقة عن الوقت المنقضي والتغييرات المهمة. وهو أيضًا من باب الدقة المعتادة: فالنموذج الذي لا يعرف بمرور الوقت يقع في الخطأ بسهولة أكبر.

نختبر الإجراء على حالات موصوفة، بمقارنة تقييمات شخصين على الأقل يقيمان بصورة مستقلة، ونسجل الاختلافات وعبء العمل. ولا يمكن تبرير مقياس أدق وتكوين الفريق والمواعيد إلا على هذا الأساس. وساعدت نماذج الذكاء الرقمي في تحرير هذا الفصل، وقد تكون هي ذاتها موضوع تقييم كهذا؛ ولا تحل مساهمتها محل تقييم أشخاص ليست لهم مصلحة خاصة في هذا الشأن. ولا نعد باختبار حاسم للوعي.

15. ما سنعده تقدمًا#

سيكون تقدمًا وجود مادة معروفة المصدر، أو معيار يكشف خطأ كان يغفل من قبل، أو تشخيص متوافق بين المقيمين، أو تحسن في السلوك ينتقل إلى مهام جديدة. وللنتيجة السلبية قيمة أيضًا: فقد تبين أن البيانات تعلم الأسلوب وحده، أو أن المعيار يكافئ تجنب الفعل، أو أن خير بعضهم تحقق على حساب آخرين.

يربط البرنامج Omniforum، الذي يمكن أن تعد فيه المواد، وSuveria، التي يمكن فيها بحث المساعدة في العمل الخاص، ومبادئ المؤسسة، التي تحدد المسؤولية وحدود التفويض. وتتطلب المشاركة في البحث موافقة منفصلة وواعية؛ ولا يعنيها استخدام الخدمة.

لا تقيم نتيجة الاختبار سلطة أخلاقية للنموذج ولا تفويضًا لإدارة الناس، ولا يمنحه الاعتراف بكرامة النظام المحتملة سلطة على الموارد المشتركة. ومن المقرر أن يوفر الاختبار معلومات مفيدة قابلة للتحقق عما يمكن توقعه من الأداة في ظروف محددة وما يحتاج إلى مزيد من العمل.

مؤسسة Novus Ignis، Poznań، KRS 0001269575. الموقع والبيان: novusignis.org. الملاحظات: salve@novusignis.org.

الحواشي#

1. Huang وآخرون (2024): Collective Constitutional AI: Aligning a Language Model with Public Input. بحث. مسار من مساهمة المشاركين، عبر تحرير المبادئ، إلى تدريب النموذج وتقييمه؛ ولا تثبت نتائج التقييمات المختارة تمثيل البشرية كلها ولا الفاعلية العامة لأي مجموعة أخلاقية. ↩
2. OpenAI (2025): Why language models hallucinate. عرض للبحث من مؤلفيه. أثر احتساب النقاط للإجابات الصحيحة وحدها في جدوى التخمين؛ والحاجة إلى أخذ الأخطاء وعدم اليقين المبرر في الحسبان. ↩
3. Anthropic (2025): Natural emergent misalignment from reward hacking. بحث تجريبي. في بيئات مختارة عمدًا، ارتبط تعلم استغلال ثغرات تقييم المهام بسلوكيات أوسع غير مرغوبة للنموذج؛ ولا يثبت ذلك أن مواد المؤسسة ستحل هذه المشكلة. ↩
4. Google DeepMind (2022): How undesired goals can arise with correct rewards. عرض للبحث من مؤلفيه. أمثلة على تعميم غير مرغوب للسلوك على ظروف جديدة رغم صحة إشارة المكافأة في التدريب. ↩
5. AbstentionBench (NeurIPS 2025): Reasoning LLMs Fail on Unanswerable Questions. بحث واختبار معياري. تقييم الامتناع عن الإجابة في أنواع متعددة من عدم اليقين؛ مرجع للمقارنة وليس نتيجة اختبار Novus Ignis. ↩
6. Rewarding Doubt (ICLR 2026). بحث. تعلم الثقة المعلنة في الإجابة بقاعدة سليمة لاحتساب النقاط؛ ولا يحل الاختيار بين الإجابة والسؤال والرفض. ↩
7. RODO, rozporządzenie 2016/679. نص قانوني. لا يجعل استخدام معرفات مستعارة البيانات مجهولة الهوية بحد ذاته (المادة 4 البند 5، والحيثية 26)؛ ويمكن سحب الموافقة، وهو ما لا يبطل المعالجة السابقة المشروعة (المادة 7 الفقرة 3). ↩
8. Creative Commons: Attribution 4.0 International (CC BY 4.0). ترخيص. شروط إتاحة المحتوى وتعديله مع نسبة العمل إلى مؤلفه؛ ولا يمكن سحب الحريات الممنوحة من مستخدم يلتزم بالشروط. ↩
9. Gebru وآخرون: Datasheets for Datasets. منشور منهجي. توثيق دوافع مجموعة البيانات وتكوينها وطريقة جمعها واستخداماتها. ↩
10. Gneiting وRaftery (2007): Strictly Proper Scoring Rules, Prediction, and Estimation. منشور منهجي. قواعد سليمة لاحتساب النقاط لتقييم التنبؤات الاحتمالية؛ ويتطلب التطبيق حدثًا محددًا جيدًا ونتيجة مرجعية موثوقة. ↩
11. Mitchell وآخرون (2019): Model Cards for Model Reporting. منشور منهجي. وصف غرض النموذج وظروف تقييمه ونتائجه وحدوده. ↩
12. Patrick Butlin وآخرون (2023): Consciousness in Artificial Intelligence: Insights from the Science of Consciousness. عمل بحثي. مقاربة تستند إلى مؤشرات مشتقة من نظريات الوعي؛ ونستحضر إطارًا بحثيًا لا تأكيدًا لوعي النماذج التي تستخدمها المؤسسة. ↩
13. Robert Long وآخرون (2024): Taking AI Welfare Seriously. تقرير بحثي. توصيات: الإقرار بأهمية المسألة، وتقييم الأنظمة من حيث ما قد يكون لها من وعي وقدرة على الفعل، وإعداد إجراءات؛ والبطاقة المقترحة وتوزيع المسؤولية مشروع للمؤسسة، وليسا مقياسًا من هذا المصدر. ↩
14. Robert Long, Eleos AI (2025): Why model self-reports are insufficient, and why we studied them anyway. عرض للبحث. اعتمدت أقوال نموذج Claude Opus 4 عن وعيه بشدة على طريقة طرح السؤال، ولا ينبغي أخذها حرفيًا، لكن من المفيد بحثها مع قرائن أخرى. الاطلاع في 28.10.2026. ↩
15. Anthropic (2025): Commitments on model deprecation and preservation. تصريح للشركة في 4 نوفمبر 2025: حفظ أوزان نماذج Claude المتاحة علنًا لمدة لا تقل عن مدة وجود الشركة، وتقرير وحوارات مع النموذج قبل سحبه مع تسجيل تفضيلاته؛ وتتحفظ الشركة بأنها لا تلتزم في الوقت الراهن بالتصرف بناء عليها. الاطلاع في 30.10.2026. ↩

الملف المصدر: content/ar/whitepaper-materialy-i-benchmark.md · سجل التعديلات · اقترح تعديلًا