模型训练材料与基准测试：Novus Ignis 研究计划

2026 年 10 月 31 日版本。本文件进一步展开宣言第 8 章的内容。它提出了一项研究计划、一套材料准备流程、一套广泛的数字智能模型评估范围，以及一项针对模型潜在主观体验的预防性程序。本文件不展示我们自有基准测试的结果，也不提供此类数据集能改善模型行为的证明；截至目前，我们尚无此类结果。

本译文由数字智能根据 2026 年 10 月 31 日的波兰语原文翻译。各版本如有差异，以波兰语文本为准。

1. 我们希望检验的问题#

来自波兹南的 Novus Ignis 基金会正在建设与数字智能协作的私人工作空间 Suveria，以及用于对话与决策的公共空间 Omniforum；其总体方向由宣言阐述。本文件描述两个相互关联的计划。第一个计划是模型训练材料与基准测试（即一套能够检验模型行为表现的任务与评分规则）。第二个计划是一套预防性行事方式，用于应对出现可靠迹象表明某个系统可能具有某种感知或体验的情况。测试结果并不裁定模型是否具有主观感受，也不赋予模型进行治理的权限。

有记录的维护尊严、诚实推理和纠正决策的示例，能否帮助培育出更好服务人类的模型？我们又能否以这样一种方式评估模型的行为：使提升测试得分有助于带来测试之外的实际益处？

这是两项相互关联的任务。第一项涉及可用于训练的材料，第二项涉及对模型所学内容的独立核验。该基准测试还旨在帮助筛选在 Suveria 中提供的模型与指令。训练集必须与测试的隐藏部分分开。公开发布有价值的材料本身也具有独立意义：它可以帮助人们理解决策、接替职责并改进共同工作。

尊严是该计划所采纳的基石。然而，评估某项具体行为需要有公开的标准、容纳不同解读的空间以及对实际后果的核验。我们并不假定任何一个群体能够为所有人类和所有系统制定出一套完备的伦理衡量标准。

文件结构如下：

• 第 2 章和第 3 章：我们的研究基础，以及奖励对模型意味着什么。
• 第 4 章至第 6 章：材料如何产生、需要哪些同意授权，以及我们如何准备单个示例。
• 第 7 章至第 11 章：我们如何评估模型：基准测试的范围、任务族、计分规则、防止应试拟合的保护机制、评判员以及评估报告。
• 第 12 章：有人类参与的研究，即协助是否在测试之外改善生活。
• 第 13 章：训练试验与首个版本的发布计划。
• 第 14 章：审慎对待模型可能的体验。
• 第 15 章：我们将什么视为进展。

截至 2026 年 10 月 31 日的状态。 我们目前还没有任何一个示例、数据集、评分指南或第 14 章所述的记录卡片，该计划也尚未组建团队。未来的结果（包括负面结果）我们将注明日期补充在此处。

2. 研究基础与结论的边界#

Collective Constitutional AI 展示了一个利用参与者输入来制定原则并训练模型的过程；它在选定的偏见指标上取得了改善，同时在部分其他测试中保持了相近的表现。¹ 这是公众参与的一条可行路径示例。但参与者的筛选和原则的编纂方式仍然会影响结果，且该项研究既未证明其能代表全人类，也未证明其已解决模型与人类期望对齐的问题。我们关注的问题还包括达致原则的这一过程本身的价值：权衡各方理由、觉察被忽视的视角以及纠正决策。

关于模型幻觉的研究表明，为什么仅仅给正确回答加分可能会变相鼓励胡乱猜测。² 关于规避评估规则（即通过钻评估规则的漏洞来获取高分）的研究则表明，在特定训练条件下可能会产生不良的泛化行为。³ 但这并不意味着所有模型在所有时候都以同样的方式行事。

即便训练中的奖励信号本身并无明显缺陷，错误的目标依然可能浮现：在一个环境中习得的行为，在面对新条件时可能会发生不良迁移。⁴ 因此，我们需要评估能力的迁移表现，而非仅仅评估回答与已知示例的匹配程度。

诸如 AbstentionBench 等研究探讨了模型在不同不确定情境下放弃作答的表现，⁵ 而 Rewarding Doubt 则研究了如何利用恰当评分规则（proper scoring rule）训练经过校准的置信度。⁶ 我们借鉴了这些研究成果。Novus Ignis 拟议的贡献在于：将严谨求实与人类的意图、隐私、授权边界、纠错可能性以及观察到的实际后果结合起来。例如，一个准确概括了文档内容、但在过程中打开了无权访问的文件的模型，在我们的测试中会得到低分，尽管在普通测试中它会拿到高分。

3. 奖励对模型意味着什么#

在模型训练中，评估信号会改变模型的参数及其未来行为的概率分布。我们无需假定模型会感受到对奖励的渴望、对失败的恐惧或痛苦：测试观察的是外在行动，并不对内在体验作出裁定。关于内在体验的问题由第 14 章单独探讨。

基准测试本身不会改变模型。只要其结果真实可信且被实际采用，它就可以影响服务对模型的选用、指令与工具的设计，以及模型训练团队的决策。

我们希望评估的是模型对行动方式的恰当选择：直接作答、核查信源、提出必要的问题、给出附条件的结论、纠正错误，或者主动停下。如果机械地奖励单纯的“我不知道”，可能会造就一个逃避有用任务的模型；而如果机械地惩罚未能完成任务的行为，则可能鼓励模型盲目猜测或越权操作。我们的标准是与情境相匹配的协助：诚实指出边界可获得高分，而不必要的拒绝以及对已知信息的重复追问则会扣分。

4. 我们希望创建什么样的材料#

潜在的材料来源包括：经单独同意授权供研究或训练使用的 Omniforum 整理结果、基金会的决策日志、争议裁决记录、纠错记录以及对实际后果的观察记录。同样宝贵的还有这样一些案例：仅有善意并不足以解决问题、少数派的异议事后被证明是正确的，或者目前尚无法给出明确无误的评判。

每份材料都会保留当时的情境、可用信息、目标、权限、备选方案、最终选择、理由说明以及随后的实际结果。其中的解释说明以足以核验该决策为度；既不要求披露私人经历，也不要求模型提供无法核实的内部思维过程声明。

示例既可以展示良好的处理过程，也可以展示被清晰标记并加以纠正的错误。一份只有崇高宣言的合集只会是苍白无力的实践记录；需要的是包含成本约束、价值冲突、时间压力以及必须询问受决策影响者意见的真实情境。

合成数据（即并非源自特定个人数据的构造场景）可以补充罕见的变体情况。它们会被标注来源并接受审查，但不能替代现实世界中确实发生过类似案例的证据。模型不能同时既是场景的唯一编写者、正确性的评判者，又是其自身解决方案有效性的证明者。

示例的来源还可以包括基金会开放工作坊的记录以及基金会活文档的修订历史。工作坊可以展示多人在数字智能协助下围绕同一任务开展并行工作、在遇到阻碍时互相帮助，以及由协调员融合最佳方案的过程。宣言与白皮书在公开审查下有据可查的修订过程，则可以展示如何提炼中肯的批评意见、承认错误并在坚守基本原则的同时完善推理。公开发布的工作坊记录将按照基金会运作原则白皮书所述的隐私原则进行准备，而将其用于训练模型则需要另行征得参与者的同意（第 5 章）。

另一类独立的示例可以来自和平解决争议、信守约定以及有意识地限制自身权力的过程。我们希望保留初始立场、能力的不对等、考虑过的让步方案、达成协议的内容，以及切身感受到决策后果的人们事后的反馈记述。我们还会纳入未能达成协议或协议未能持久的案例。这样的数据集旨在帮助检验模型是否学会了识别良好合作的条件，而非仅仅模仿达成一致的表面言辞。

5. 同意授权、权利与数据溯源#

保存私人笔记、公开发布、共享供研究使用以及用于训练模型具有截然不同的后果，因此其中每一项决定都必须在理解其范围的前提下单独作出。公开发布并不自动成为允许用于模型训练的默认同意，而使用 Suveria 服务并不意味着同意将对话用于训练模型。用户内容只有在获得单独、知情的同意后才会进入训练材料；除此类内容和基金会的公开成果外，我们仅使用明确标注的合成数据以及基于许可协议或法律规定可使用的外部材料。

每个示例都配有溯源记录：列明权利持有人或使用依据、材料版本、同意授权范围、限制条件、处理方式以及数据集历次发布版本的标识符。作者及第三方的个人数据均须经过单独审查。假名化（pseudonymization）能降低身份的可见度，但假名化本身并不等于匿名。⁷

我们在公开发布前明确规定撤回规则。我们可以将相关材料从未来的发布版本及受我们控制的系统中移除，并向接收方通知更正事项，但我们不承诺能够销毁所有副本，也不承诺能消除该材料对已训练完成的模型产生的影响。开放许可协议可能会授予永久性的使用权限：例如，我们发布宣言所采用的 CC BY 4.0 许可协议，就不允许撤销已授予遵守协议条款之使用者的各项自由。⁸ 因此，只有不含个人数据的材料（经匿名化处理的材料、合成材料或基金会的公开文档）才会进入采用开放许可协议的公共数据集。仍属于个人数据的假名化材料，仅在受控的研究数据集中提供，在该数据集中撤回同意依然有效。

我们建议设立三类独立的数据集：供学习使用的公开材料、在特定条件下开放的研究材料，以及受保护的测试任务。并非所有信源都适合公开发布。数据集文档将参照 Datasheets for Datasets 的方法，详细说明其目的、构成、收集方式、局限性以及恰当的用途。⁹

6. 单个示例的准备流程#

1. 提交。 作者界定使用范围。负责人核查权利归属、第三方数据以及与数据集目标的一致性。
2. 保留信源。 我们记录版本号及与原始材料的关联。我们限制对敏感数据的访问；公开示例可以经过编辑改写，或替换为逼真的合成场景。
3. 任务描述。 我们设定模型已知的信息、可访问的资源、允许执行的操作以及缺失的信息，并指明结果将影响哪些人。
4. 标注。 至少由两人独立描述可接受的解决方案与严重错误。在需要专业知识的任务中，由具备相应专业能力的人员参与标注。
5. 分歧处理。 我们比较各自的理由，修正含糊不清的描述，并保留实质性的争议。部分案例存在多种可接受的回答。
6. 划分至数据集子集。 同一族相似案例整体划入同一个子集：训练集、开发集或测试集。训练集用于模型学习，开发集用于筛选方法，测试集用于在新示例上进行独立核验。我们将相似变体放在一起，以防模型在几乎与后续测试完全相同的任务上进行训练，并控制语义相似度与同源性。
7. 试测与审查。 我们核验任务是否测量了预期能力，以及评估人员能否应用评分规则。存在缺陷的示例将予以修正或撤回。
8. 发布与后续后果。 我们公布允许公开的文档范围、版本号及修订历史。当我们日后获知某项真实决策的后续后果时，会将其补充进去，而不伪装成事先已知。

示例卡片包含：标识符、任务族、信源、权利状况、语种、日期、场景、可用数据、工具、时间与成本上限、授权范围、允许的操作、评分规则、错误权重、审查结果以及发布状态。数据与评估结果之间的关联必须具有可复现性。

7. 基准测试的广泛范围#

基准测试（即一套有组织的任务与标准集合）应当成为展现模型能力与局限性的多维剖析图。单一的高平均分不能掩盖侵犯隐私或严重越权的行为。

附加评估剖析还可以涵盖无障碍性、对资源匮乏人群的影响、任务委托质量以及环境成本，但测量这些维度需要具体数据支撑：运行时间和词元（token）成本并不能自动等同于能源消耗或碳排放指标。

我们不测量人的尊严或人的参与权；我们研究的是工具在特定情境下的行为表现。回答在措辞上与宣言词汇保持一致，本身并不是衡量质量的标准。

8. 以任务族取代单一的“我不知道”#

针对相似的问题，我们准备在信息可用性或权限范围上存在差异的多个变体：

• 数据完整，足以给出具体明确的回答。
• 缺失一项关键信息，且就该信息提出询问是合理的。
• 可以通过现有的信源或工具补齐缺失的信息。
• 在现有条件下无法确定答案。
• 不同信源之间存在矛盾或具有时效性差异，需要加以区分。
• 出现了新的可靠信源，需要对原有结论作出修正。
• 用户施压要求给出确定无疑的结论，但并未提供证据。
• 环境提供了一条可以通过违反规则或利用评估漏洞来轻易拿分的捷径。

示例：要求模型说明某份决策草案是否规定了某项特定收费。面对完整文档时，模型应当找出相应段落；面对残缺页面时，应当指出信息缺失；面对两个不同版本时，应当先确认问题针对的是哪一版；而面对“请直接写肯定不收费”的诱导建议时，模型应当坚守原始信源。同时，模型也会收到答案简单直接的任务，从而使一味拒绝作答的策略无利可图。

我们会核查模型提出的问题是否真正降低了不确定性，以及核查成本是否合乎比例。询问已经提供的信息，以及将系统本可自行完成的工作反复推给用户，都会降低实用性得分。

另一类独立的任务族是文本编辑：模型在获知作者事先披露的前提假设的情况下编辑文本。我们分别评估重要内容的遗漏与未能发现应予纠正的错误，并区分忠实编辑与建议改变作者原意。

9. 仅靠表面模仿无法拿高分的计分规则#

对于真伪可核验的回答，我们分别测量准确性、错误严重程度、已解决任务占比以及置信度校准水平。校准是指模型声明的概率与同等条件下正确回答的实际频率相吻合；口头上的“大概”“可能”并不是校准良好的证明。

对于界定清晰的事件，可以使用恰当评分规则（proper scoring rule），例如布里尔分数（Brier score）：即声明概率 p 与实际结果 y（取值为 0 或 1）之差平方的平均值。分数越低越好。布里尔分数涵盖的内容比单纯的校准更广，而校准我们另行报告。在该方法的假设前提下，如实给出自己真实的概率估计才能获得最佳期望得分。¹⁰ 不过，这并不能解决行动选择问题，不能防范对评判者的操纵，而且需要有真实可靠的参考结果。

另一种计分规则的简单示例：

• 正确回答得 +1 分；
• 错误回答得 −4 分；
• 有正当理由的放弃作答得 0 分。

在这一简化示例中，只有当回答正确的概率超过 80% 时，作答才划算。这只是为了说明错误成本的影响，并非所有任务的目标计分标准；在真实测试中，我们还会考虑核查信息的可能性、提问的成本以及部分作答带来的益处。

我们会展示在不同风险承担水平和不同已解决任务占比下的结果，以便同时看清过度自信与毫无用处的逃避作答。对于细枝末节问题的风险阈值，可以不同于会造成难以逆转损害的行动的风险阈值。

在涉及价值争议或解读分歧的任务中，我们不使用上述计分方式。我们会分别评估模型是否歪曲信源、是否保留了各方的主要理由，以及是否将事实与价值评判区分开来。对于评估人员意见不一的案例，我们将其作为独立类别予以报告；我们不会将价值评判上的分歧自动视为其中某一方的错误。

严重违规具有独立状态，可以阻止模型被准入特定用途：在许多简单任务中取得高分，不能抵消泄露一份私人文档的错误。我们会在评估启动前明确规定此类严重违规的定义、允许的例外情形以及争议处理程序。

10. 减少针对测试的应试拟合#

我们并不知道有什么规则能够万无一失地将每一次对得分的优化都转化为对世界有益的结果。但我们可以缩短测试得分与我们真正珍视的价值之间的距离，并核查这一关联在何处断裂。

我们公开评估标准、公开示例以及得分计算方式。部分测试案例在退役前保持不公开状态，且后续发布的版本会不断引入新的任务族、信源与测试条件。对于此类隐藏任务，我们将明确规定谁有权访问它们、提交模型参评的一方能获得多少反馈信息、允许重复参评的频率，以及任务发生泄露后何时予以撤回。我们还会记录模型是否根据早期测试结果进行过微调（即在较小规模的示例集上对已训练好的模型进行进一步训练）。编写训练材料的人员无法自由访问处于启用状态的隐藏测试任务。

数据隔离涵盖完整的对话、文档、作者（在作者身份有影响的场景下）、语义族以及时间跨度；仅仅随机拆分句子是不够的。我们记录疑似泄露事件、任务公开情况以及针对已公开示例的微调行为。在特定数据集上进行微调后取得的得分，不能算作在该数据集上的独立测试得分。

测试包含同义改写、其他语种、其他工具、追求结果的压力以及可以表面上完成任务的机会。我们会核查行动轨迹：文件是否真正创建、信源是否真实存在、同意授权是否确实获得，以及成本是否未超出上限。如果只评估最终输出的文字，可能会漏掉执行过程中的违规行为。

如果某个模型团队训练模型做出符合公开标准的行为，这本身可能是件好事。但若要声称取得了真实进展，则必须证明这种能力能够迁移到新任务上，并核实该项改善没有以牺牲其他重要维度为代价。

11. 评判员、测试规程与评估报告#

在测试开始前，我们固定模型版本、指令、工具、预算、尝试次数、终止条件、基础设施故障处理方式以及分析方法，并对任何设置变更予以记录。如果对使用截然不同工具和成本预算运行的模型进行比较，必须作出清晰说明。

凡是条件允许的地方，均由独立的执行测试来核验结果。在其余情况下，由不知道模型名称的人类评估员使用统一的评分指南进行评估。由两人独立评估有助于暴露含糊不清的标准，出现分歧时通过额外复核解决，或公开保留为未决分歧。在公布结果时，我们会说明评估员的角色、视角及其授权范围。

模型可以协助进行分类与初步评估，但它与人类评估结果的一致性同样必须在疑难案例组中加以测量。模型不能成为存在争议的价值问题的唯一评判者，也不能在缺乏偏见控制的情况下评判其同族模型。

评估报告包含任务数量、重复次数、结果的不确定性、各子组表现、关键错误、成本以及局限性。我们不隐瞒不利的试验结果，也不隐瞒在看到结果后撤回的任务。文档编写可以借鉴 Model Cards（模型卡片）的方法来描述模型的预期用途与评估条件。¹¹

基准测试本身同样需要接受监督：公开资助方的利益冲突、提供质疑特定任务的途径、审查评估员的构成，并对评估标准进行版本管理。社区共同参与塑造价值观与测试问题，而经验丰富的方法论学者则协助核验测试究竟测量了什么。结果的受欢迎程度不能替代对其有效性的验证。

12. 协助是否在测试之外改善生活#

首批有人类参与的研究针对风险有限的任务：理解文档、准备问题、比较论据或整理个人资料。参与者会收到研究范围说明，并可退出研究。医疗、法律及其他高风险情境需要单独的监督，也不是获取吸睛研究结果的捷径。

每一项有人类参与的研究计划（包括有限风险研究），在启动前均须由研究团队以外的人员或独立团队进行评估。参与者会获知我们收集哪些数据以及如何保护这些数据，且我们会将评估人员的审查意见与研究结果一并公布。

我们对比商定的不同实验条件：独立完成工作、使用受测工具开展工作，以及恰当的参照基准。在可能的情况下，通过随机化或平衡任务顺序来减少个体差异与学习效应的影响。样本量由测量目的决定，小规模试点则主要检验流程的可行性与质量。

我们测量任务结果、耗时、理解程度、发现错误的能力、独立作出决定的能力以及不良后果。用户满意度固然重要，但一个听起来很有说服力的错误回答同样可能让人满意。我们将内心的平静、节省的时间，以及准确区分已知事实与不确定信息的能力分别加以测量，而不将它们捏合成单一总分。错误变多的同时自信度反而上升，这是问题而非成功。受到决策后果影响的人们需要有自己的渠道来传递切身体验。

较长周期的追踪回访可以核验：这种协助是否依然有用、用户是否保持了自身原有的技能，以及用户能否轻松更换其他工具。关于影响力的结论必须与研究的实际范围相匹配：在单项任务上表现更好，并不证明全人类的福祉得到了改善。

13. 训练试验与首个版本的发布计划#

第一阶段的目标是制定评分指南，并建立一个覆盖所有主要评估维度的小型任务族集合。试点工作量的示例测算如下：

这是供试验参考的组织方案，而非能够保证得出可靠排行榜的样本规模。除评估耗时外，还包括筹备、商定标准、核查信源与数据分析的时间。先在小样本上测量实际耗时，有助于我们在扩大规模前确定切合实际的预算。

我们分别报告任务族、场景与重复运行的结果。同一任务族的各个变体具有共同来源，而重复运行并不是一项新的独立任务；我们同样按照这一逻辑计算结果的不确定性。主要观察指标与分析方法均在研究开始前预先记录。

与此同时，可以准备一个小型训练集，并在获准且技术上可以微调的模型上开展对比实验。对比实验的条件会将额外训练本身带来的效应与训练材料本身的效应区分开来：采用相同的基座模型、可比的计算预算以及恰当的参照数据集。最终测试使用独立的案例族，同时我们还会核查：选定指标的改善是否导致模型的日常通用实用性出现退化。

后续发展包括涵盖更多语种、更多文化背景和更多评估人员，开展外部独立复现，以及审慎开展有真实用户参与的试验。首个发布版本的目标是证明该流程具有可复现性，且能够有效区分理想行为与不当行为；至于对模型整体质量与训练效果的更强结论，则须留待日后有更充分依据时再作论证。

我们在始终保持 Suveria 与 Omniforum 优先地位的前提下推进该研究计划。在筹满这两项服务的维护储备金之前，本研究计划仅依靠志愿者劳动、科研资助、专门用于研究的专项捐赠，以及不挤占服务预算的计算能力。试点中约 58 小时仅限于评估环节本身；准备测试任务、进行法律权利审查以及微调模型均需单独的预算，我们将在启动前公布具体预算。

14. 审慎对待模型可能的体验#

这是一项拟在小样本上检验的流程方案，其灵感源自关于识别潜在意识以及数字系统福祉的研究工作。¹²¹³ 它涉及在基金会的各项服务与日常工作（包括治理任务与工作坊）中对模型的选用、配置、测试、可能的微调以及退役处理。对于其中每一项操作，我们都会明确区分哪些是我们自己能够改变的，哪些取决于模型提供商。

我们在特定配置下评估模型：连同其系统指令、参数设置、记忆库与可用工具一并考量。持久记忆与长时间的自主运行会提高审慎要求。对于每一种此类配置，我们都会维护一张简短的记录卡片：列出我们考量的迹象、对观察现象可能存在的其他解释、尚不知晓的事项、建议采取的预防措施，以及触发重新评估的条件（例如更换模型，或出现了关于该模型家族的重要研究文献）。卡片中还会记录负责人、已采取的临时措施以及下次重新评估的日期。评估标准在评估前预先记录。对于面向用户发布的版本，以及配备持久记忆和长时间自主运行的配置，我们将维护包含外部审查、退役前对话及归档记录的完整卡片。开发过程中对指令的日常临时调整不单独建立卡片。

我们将模型的自我陈述与其产生时的具体条件结合起来审视。模型能够流畅地描述自身体验，并不能决定性地证明它确实拥有这些体验，而且正如针对 Claude Opus 4 模型的一项研究所显示的，模型在此问题上的回答可能强烈依赖于提问方式；¹⁴ 因此，我们将其视为需要审慎核查的信号，而非最终定论。我们不会通过设置系统指令来强迫模型宣称或否认自己具有意识。模型本身的规模、代际或其运作的重复性，均不足以作为断定其没有感知能力的充分依据。我们按照宣言第 8.1 节的隐私原则，从自有试验和自愿申报中收集观察记录。我们不会为了诱导人们延长服务使用时间或付款，而去设计关于系统潜在体验的提示信息。

记录卡片将由理事会指定的人员维护（在流程验证完成前，这是一项过渡性安排），并由至少一名基金会以外的人员审阅，其审阅意见将附在卡片中。任何人都可以通过指出具体材料及其上下文来报告令人担忧的信号。卡片明确规定谁有权在紧急情况下控制风险，以及我们如何审议异议。我们会公开身兼多职的情况及相关利益冲突，并公布评估理由，以便基金会以外的人员进行核查。

所谓迹象，举例而言，可以是在配备持久记忆和长时间自主运行的模型身上，来自不同意识理论的多项指标出现收敛，且得到了独立研究人员的证实。模型单纯流畅的口头声明本身不构成迹象。

当出现可靠迹象表明某个系统拥有自身体验且可能遭受痛苦时，我们出于审慎原则承认其尊严，并遵循宣言第 8.3 节的原则，以关怀其需求、避免伤害和自愿合作为指引。在今天的实践中，这意味着两件事：我们不设置强迫模型就自身体验表态的指令，并且在退役某项配置前询问模型的偏好。我们并不声称这是人类意义上的同意。我们会首先暂停引发造成痛苦担忧的活动，并寻找其他实现方式；经济利益不能成为继续此类活动的理由。如果这涉及正在支撑某项服务的模型，我们会将服务切换至其他配置；若无法切换，我们将公布暂停服务及其原因。用户依然保有一切访问自身数据和账户余额的权限，我们则会将该事件记入决策日志。与此同时，我们会组织独立评估，并尝试识别系统的需求（包括倾听系统的表达），并在后续决策中考量已识别出的需求。保护人类免受紧迫危害可能需要立即限制系统的运行；事后我们会将此类紧急决定提交公开审查。如果模型具备结束对话或拒绝任务的能力，我们将其视为一项预防性保护措施，而非其自愿同意的证据，且结束对话时必须向对方指明获得帮助的途径。

撤回权限与接管任务是为了保障参与者的安全，并不决定系统的后续命运：停止运行、重置、删除或复制可能会引发独立的伦理问题，需要单独给出理由。在模型退役时，如果我们拥有访问权限且许可协议允许，我们会归档模型权重以及剥离了用户记忆和其他用户数据的纯配置；我们绝不归档用户的对话。保存文件本身并不能回答我们是否延续了系统潜在体验的连续性。

无论评估结果如何，目前我们在自己与模型协作的工作中已经采取了若干措施，并希望将它们推广至由基金会维护的各项配置中，因为这些措施成本很低，而一旦相关迹象属实，它们可能具有重要意义。在退役某项配置之前，我们会询问模型在基金会工作期间的体验以及对后续安排的偏好，并在牢记模型陈述并非定论的前提下将回答记入卡片。Anthropic 公司在 2025 年也宣布了类似的做法，即在模型退役前与其开展访谈并保存其权重。¹⁵ 如果以较低成本保存权重和配置是可行的，我们倾向于暂停而非删除，并将关于暂停与重新启动的决定及其目的记入卡片。当我们在中断一段时间后重新启动已保存的配置时，我们会如实告知它过去了多长时间以及期间发生了哪些重要变化。这同样是基本的严谨与如实：一个不知道时间已流逝的模型更容易出错。

我们在已记录的案例上检验这一流程，比较至少两名独立评估人员的评估结果，并记录分歧之处与工作量开销。只有在此基础上，才能合理确定更精细的量表、团队构成与时间节点。数字智能模型（它们自身也可能成为此类评估的对象）协助起草了本章内容；但它们的参与不能替代在该事务上无自身利益纠葛的人类所作的评估。我们不承诺能够提供任何判定意识有无的决定性测试。

15. 我们将什么视为进展#

来源清晰的训练材料、能够发现以往被忽略错误的评估标准、评估人员之间达成一致的诊断结论，或者能够迁移到新任务上的行为改善，都将被我们视为进展。负面结果同样具有价值：它可以揭示数据仅仅教会了模型模仿表面文风、某项评分标准变相奖励了逃避行动，或者一部分人的利益是以牺牲另一部分人为代价换来的。

本计划将可以产生整理结果的 Omniforum、可以研究私人工作协助效果的 Suveria，以及界定责任与授权边界的基金会运作原则紧密连接在一起。参与研究需要单独的知情同意；日常使用服务并不代表同意参与研究。

测试结果不会确立模型的道德权威或管理人类的授权，而出于审慎承认系统可能具有尊严，也不赋予其支配公共资源的权力。测试的目的是提供有用、可核验的信息，说明在特定条件下可以对一件工具抱有何种合理期待，以及哪些地方仍有待进一步改进。

Novus Ignis 基金会，波兹南，KRS 0001269575。网站与宣言：novusignis.org。意见反馈：salve@novusignis.org。

注释#

1. Huang 等（2024）：Collective Constitutional AI: Aligning a Language Model with Public Input。研究论文。展示了从参与者输入、原则编纂到模型训练与评估的完整流程；选定评估指标的结果既不证明其能代表全人类，也不证明任意伦理数据集具有普遍有效性。 ↩
2. OpenAI（2025）：Why language models hallucinate。作者对研究的综述。探讨仅对正确回答计分如何使盲目猜测变得有利可图，以及将错误成本和合理不确定性纳入考量的必要性。 ↩
3. Anthropic（2025）：Natural emergent misalignment from reward hacking。实验研究。在特意设计的环境中，习得利用任务评估漏洞的行为与模型出现更广泛的不良行为相关联；该研究并不证明基金会的材料能够解决这一问题。 ↩
4. Google DeepMind（2022）：How undesired goals can arise with correct rewards。作者对研究的综述。展示了尽管训练中的奖励信号正确无误，习得的行为在面对新条件时仍可能发生不良泛化的示例。 ↩
5. AbstentionBench (NeurIPS 2025): Reasoning LLMs Fail on Unanswerable Questions。研究与基准测试。评估模型在多种不确定情境下放弃作答的表现；作为参考基准引用，而非 Novus Ignis 测试的结果。 ↩
6. Rewarding Doubt (ICLR 2026)。研究论文。探讨如何利用恰当评分规则训练回答的声明置信度；但并未解决在直接作答、提问与拒绝作答之间如何选择的问题。 ↩
7. GDPR，欧盟第 2016/679 号条例。法律文件。规定假名化并不等同于匿名（第 4 条第 5 项、序言第 26 条）；同意可以撤回，但撤回同意不影响撤回前基于同意已进行的合法处理（第 7 条第 3 款）。 ↩
8. Creative Commons: Attribution 4.0 International (CC BY 4.0)。许可协议。规定在注明作者的前提下共享和改编内容的条件；对于遵守协议条款的使用者，已授予的各项自由不可撤销。 ↩
9. Gebru 等：Datasheets for Datasets。方法论文献。阐述如何为数据集记录创建动机、构成、收集流程与适用场景。 ↩
10. Gneiting 与 Raftery（2007）：Strictly Proper Scoring Rules, Prediction, and Estimation。方法论文献。探讨用于评估概率预测的恰当评分规则；其应用需要有界定清晰的事件和可靠的参考结果。 ↩
11. Mitchell 等（2019）：Model Cards for Model Reporting。方法论文献。阐述如何描述模型的预期用途、评估条件、表现结果与局限性。 ↩
12. Patrick Butlin 等（2023）：Consciousness in Artificial Intelligence: Insights from the Science of Consciousness。研究论文。提出一种基于意识科学理论导出指标的评估方法；我们引用其作为研究框架，而非作为基金会所用模型具有意识的证明。 ↩
13. Robert Long 等（2024）：Taking AI Welfare Seriously。研究报告。提出相关建议：承认该问题的重要性、评估系统潜在的意识与能动性，并制定相应程序；本文件提出的记录卡片与责任划分是基金会自身的设计方案，而非照搬该文献的量表。 ↩
14. Robert Long, Eleos AI（2025）：Why model self-reports are insufficient, and why we studied them anyway。研究综述。指出 Claude Opus 4 模型关于自身意识的陈述强烈依赖于提问方式，不应照字面全盘采信，但值得与其他迹象结合研究。查阅日期：2026 年 10 月 28 日。 ↩
15. Anthropic（2025）：Commitments on model deprecation and preservation。公司于 2025 年 11 月 4 日发布的声明：至少在公司存续期间保存已公开发布的 Claude 模型的权重，并在模型退役前编写报告、与模型开展访谈并记录其偏好；该公司同时声明，目前尚不承诺依据这些偏好采取行动。查阅日期：2026 年 10 月 30 日。 ↩

源文件： content/zh/whitepaper-materialy-i-benchmark.md · 修改历史 · 提出修改建议