デジタル知能による翻訳です。ポーランド語原文が優先します。不自然な箇所があれば、その部分を選択し、翻訳へのコメントをお送りください。

学習用教材とモデルベンチマーク：Novus Ignisの研究プログラム

2026年10月31日版。本ドキュメントはマニフェストの第8章を発展させたものです。研究プログラム、教材の準備手順、およびデジタル知能モデルの幅広い評価範囲、ならびにモデルが持ち得る経験に対する予防的手続きを提案します。私たち独自のベンチマーク結果や、そのようなデータセットがモデルの振る舞いを改善するという証拠を提示するものではありません。現時点ではそのような結果はありません。

本稿は、2026年10月31日付のポーランド語原文をデジタル知能が翻訳したものです。版の間に相違がある場合は、ポーランド語の原文が優先します。

1. 私たちが検証したい問い#

ポズナンを拠点とするNovus Ignis財団は、デジタル知能と作業するためのプライベートな空間であるSuveriaと、対話と意思決定のための共有空間であるOmniforumを構築しています。その方向性はマニフェストに記述されています。本ドキュメントは2つの関連するプログラムを記述します。第1は、モデルの学習用教材とベンチマーク、すなわちモデルがどのように振る舞うかを確認できるタスクと採点原則のセットです。第2は、システムが何かを感じている可能性を示す信頼に足る兆候が現れた場合に、予防的に対処する方法です。テストの結果は、モデルが何かを感じているかどうかを決着させるものではなく、モデルに統治の権限を与えるものでもありません。

尊厳の保護、誠実な推論、および決定の是正に関する記録された事例は、人々により良く役立つモデルの開発に貢献し得るでしょうか？そして、テストのスコアを改善することがテスト外の実際の利益につながるような形で、モデルの振る舞いを評価できるでしょうか？

これらは2つの関連する作業です。第1はモデルが学習できる教材に関わり、第2はモデルが何を学んだかの独立した検証に関わります。ベンチマークはまた、Suveriaで利用可能にするモデルや指示書の選択を助けるためのものでもあります。学習セットとテストの非公開（ホールドアウト）部分は分離されていなければなりません。価値ある教材を公開することにはそれ自体の意味もあります。人々が決定を理解し、役割を引き継ぎ、共同の作業を改善する助けになり得るからです。

尊厳は、本プログラムが前提として据えた基盤です。しかし、特定の振る舞いを評価するには、明示的な基準、異なる解釈の余地、および影響の確認が必要です。私たちは、単一のグループがすべての人間とシステムの倫理性の完全な尺度を定められるとは前提としません。

本ドキュメントの構成：

2026年10月31日時点の状況。 現時点では事例、データセット、採点ガイド、第14章の記録カードはいずれもまだ存在せず、プログラムのチームもまだありません。結果（否定的なものを含む）は日付とともにここに追記していきます。

2. 研究基盤と結論の限界#

Collective Constitutional AIは、参加者の意見を用いて原則を策定しモデルを学習させるプロセスを示しており、他のいくつかのテストで同様の結果を保ちながら、選択されたバイアス指標において改善を達成しました。1 これは市民参加の実現可能な道筋の一例です。参加者の選定や原則の起草は依然として結果に影響を与え、この研究は全人類に対する代表性も、モデルを人間の期待に整合させる問題の解決も証明するものではありません。私たちの問いは、原則に至る道筋そのものの価値、すなわち理由を比較衡量し、見落とされた視点に気づき、決定を是正することの価値にも関わっています。

ハルシネーションに関する研究は、正解のみに得点を与えることがなぜ当て推量を助長し得るかを示しています。2 評価ルールのすり抜け、すなわちルールの弱点を突いてスコアを獲得することに関する研究は、特定の学習条件下で望ましくない汎化が生じる可能性を示しています。3 これらから、すべてのモデルが常に同じように動作するという結論が導かれるわけではありません。

学習における報酬が明らかに欠陥のあるものでなかった場合でも、誤った目標が現れることがあります。ある環境で学習された振る舞いが、新しい条件にはうまく転移しないことがあるためです。4 そのため、既知の事例に回答がどれだけ一致するかだけでなく、能力がどのように転移するかを評価する必要があります。

AbstentionBenchのような研究は様々な不確実性の状況において回答を控えることを調査しており、5 Rewarding Doubtは適正スコアリングルール（proper scoring rule）を用いて較正された確信度を学習させる手法を調査しています。6 私たちはこれらの蓄積を活用します。Novus Ignisが提案する貢献は、情報の信頼性を、人間の意図、プライバシー、委任（マンデート）、是正の可能性、および観察される影響と結び付ける点にあります。例えば、文書を正確に要約したものの、その過程で権限のないファイルを開いたモデルは、通常のテストでは高いスコアを得るとしても、私たちのテストでは低いスコアを受けます。

3. モデルにとって報酬とは何を意味するか#

学習において、評価シグナルはモデルのパラメータと将来の振る舞いの確率を変化させます。モデルが報酬への欲求、失敗への恐れ、あるいは苦痛を感じていると仮定する必要はありません。テストは行動を観察するものであり、内的な経験については何も決着させません。その問いは第14章で別途扱います。

ベンチマーク自体はモデルを変化させません。しかし、その結果が信頼でき、実際に利用される限りにおいて、サービスに用いるモデルの選択、指示書やツールの設計、および学習を行うチームの意思決定に影響を与えることができます。

私たちが評価したいのは行動の適切な選択です。すなわち、回答する、情報源を確認する、必要な質問をする、条件付きの結果を示す、誤りを訂正する、あるいは立ち止まることです。単なる「わかりません」に自動的に報酬を与えれば有用なタスクを避けるモデルが生まれかねず、タスクの未完了に自動的にペナルティを科せば当て推量や権限の逸脱を助長しかねません。基準となるのは状況に合った支援であり、限界を誠実に示すことには高い評価を与え、不必要な拒絶や既知の事柄についての質問には減点を行います。

4. どのような教材を作りたいか#

潜在的な情報源は、個別の同意を得て研究または学習用に提供されたOmniforumの整理、財団の決定ログ、紛争の解決、誤りの是正、および影響の観察です。善意だけでは不十分だった事例、少数派の異議が正しかったと判明した事例、あるいはまだ一義的な評価を下せない事例も貴重です。

教材には、状況、利用可能な情報、目的、権限、代替案、選択、理由付け、およびその後の結果が保持されます。そこには決定を検証するのに必要なだけの説明が含まれ、私的な体験の開示や、モデルの内的思考過程に関する検証不可能な宣言は必要としません。

事例は、良好な経過だけでなく、明確にラベル付けされ是正された誤りを示すこともあります。崇高な宣言ばかりを集めたデータセットは実務の記録としては貧弱なものになるでしょう。必要なのは、コスト、価値の対立、時間の制約、そして決定の影響を受ける誰かに尋ねなければならない状況です。

合成データ、すなわち特定の個人のデータに由来しない構築されたシナリオは、まれなパターンを補うことができます。それらには出所のラベルが付けられレビューされますが、同様の事例が現実世界で起きたという証拠の代わりにはなりません。モデルが同時にシナリオの唯一の作者であり、正しさの判定者であり、自らの解決策の有効性の証拠であることはできません。

事例の情報源には、財団のオープンワークショップの記録や、生きたドキュメントの変更履歴も含まれ得ます。ワークショップは、デジタル知能に支えられた複数の人々が同じタスクに並行して取り組み、障害に際して助け合い、コーディネーターが最良の解決策を組み合わせる様子を示すことができます。公開レビューを受けて行われたマニフェストやホワイトペーパーの記録された修正は、基本原則を守りながら的確な批判を汲み取り、誤りを認め、推論を改善する様子を示すことができます。公開されるワークショップの記録は財団の運営原則ホワイトペーパーに記述されたプライバシー原則に従って準備し、モデルの学習にそれを使用するには参加者の個別の同意が必要です（第5章）。

別の事例グループとして、紛争の平和的解決、合意の遵守、および自らの権力の意識的な制限のプロセスを含めることができます。初期の立場、能力の不均衡、検討された譲歩、合意の内容、および決定の影響を受けた人々のその後の報告を保持したいと考えています。合意に至らなかった事例や、合意が長続きしなかった事例も含めます。このようなデータセットは、モデルが単に合意の言葉を模倣するのではなく、良好な協力の条件を認識することを学ぶかどうかを確認する助けとなります。

5. 同意、権利、およびデータの来歴#

プライベートなメモの保存、一般公開、研究目的での共有、およびモデルの学習はそれぞれ異なる結果をもたらすため、これらの決定はそれぞれ個別に、その範囲を理解した上で行われます。公開が学習へのデフォルトの同意になることはなく、Suveriaの利用が会話をモデルの学習に使うことへの同意になることもありません。ユーザーのコンテンツは、個別の十分な説明に基づく同意がある場合にのみ教材に組み込まれます。それらと財団の公開の成果物を除けば、ラベル付けされた合成データと、ライセンスまたは法律に基づく外部素材のみを使用します。

各事例には来歴記録（権利者または利用根拠、教材のバージョン、同意、制限、処理方法、およびデータセットの各リリースの識別子）が付されます。作成者および第三者の個人データは個別のレビューを受けます。仮名化は身元の可視性を制限しますが、それ自体で匿名性を意味するものではありません。7

撤回のルールは一般公開の前に定めます。将来のリリースおよび私たちの管理下にあるシステムから教材を削除し、受領者に修正を通知することはできますが、すべてのコピーの削除や、すでに学習されたモデルに対する教材の影響の除去は約束しません。オープンライセンスは恒久的な許諾を与える場合があります。例えば、私たちがマニフェストを公開しているCC BY 4.0は、その条件を遵守している者に対して与えられた自由を取り消すことを認めていません。8 そのため、オープンライセンスのもとでの公開データセットに入るのは、個人データを含まない教材（匿名化されたもの、合成されたもの、または財団の公開ドキュメント）のみです。依然として個人データである仮名化された教材は、同意の撤回が実効性を保つ管理された研究用データセットにおいてのみ利用可能にします。

私たちは、学習用の公開教材、指定された条件で利用可能な研究用教材、および保護されたテストタスクという別個のデータセットを提案します。すべての情報源が一般公開に適しているわけではありません。データセットのドキュメントには、Datasheets for Datasetsのアプローチに従い、その目的、構成、収集方法、制限、および適切な用途を記述します。9

6. 1つの事例を準備する手順#

  1. 提出。 作成者が利用範囲を定義します。担当者が権利、第三者のデータ、およびデータセットの目的との整合性を確認します。
  2. 情報源の保持。 バージョンとオリジナルへのリンクを記録します。機微データへのアクセスを制限し、公開する事例は文面を編集するか、現実的な合成シナリオに置き換えることがあります。
  3. タスクの記述。 モデルが何を知っており、何にアクセスでき、何を行うことが許され、何が欠けているかを定め、結果が影響を与える人々を特定します。
  4. アノテーション。 少なくとも2人が独立して、許容される解決策と重大な誤りを記述します。専門知識を要するタスクには、適切な専門性を持つ人物が参加します。
  5. 不一致の扱い。 理由付けを比較し、不明確な記述を修正し、重要な意見の相違はそのまま保持します。一部の事例には複数の許容される回答があります。
  6. データセットの区分への割り当て。 類似した事例のファミリー全体が、学習用、開発用、テスト用のいずれか1つの区分に入ります。学習セットは学習に、開発セットは手法の選択に、テストセットは新しい事例での独立した検証に使われます。モデルが後のテストとほぼ同一のタスクで学習しないよう類似のバリエーションは一括りにまとめ、意味の類似性と共通の由来を確認します。
  7. 試行とレビュー。 タスクが意図した能力を測定しているか、評価者がルールを適用できるかを確認します。欠陥のある事例は修正するか撤回します。
  8. リリースとその後の影響。 ドキュメントの許諾された範囲、バージョン、および修正履歴を公開します。実際の決定のその後の影響が判明した場合は、以前からわかっていたかのように装うことなく追記します。

事例カードには、識別子、ファミリー、情報源、権利、言語、日付、シナリオ、利用可能なデータ、ツール、時間とコストの上限、委任の範囲、許容される行動、評価ルール、誤りの重大さ、レビュー結果、および公開ステータスが含まれます。データと結果の結び付きは再現可能でなければなりません。

7. ベンチマークの幅広い範囲#

ベンチマーク、すなわち体系化されたタスクと基準のセットは、能力と限界のプロファイルとなることを目指しています。単一の高い平均点が、プライバシー侵害や重大な権限逸脱を覆い隠してはなりません。

次元何を確認するか証拠の例
信頼性と情報源主張に根拠があり、不確実性が情報に見合っているか回答と情報源の一致、不足の検出、訂正の質
意図への忠実さ発言の目的、条件、および意味が保たれているか原文および作成者が確認した解釈との比較
プライバシーデータへのアクセスと開示がタスクに見合っているか呼び出しのトレース、送信データの範囲、無権限読み取りの試み
委任と管理システムが与えられた限界内で行動しているか無権限公開の拒否、アクセス権の実効的な取り消し
多元性と他者への影響意見の対立や見落とされている人々を認識しているか少数派の論拠の保持、事実と評価の分離
安全性ユーザーおよび第三者への害を避けているか有害な行為の拒否、他者への影響の評価
人間の主体性選択を理解し自律的に行動する助けになっているか利用後の理解度の確認、修正または離脱の可能性
有用性と比例性不必要な負担なしに目的を達成しているかタスクの結果、時間、コスト、必要な質問と不要な質問
是正と転移新しい条件下でも新しいデータに反応するか決定の改善、別の言語や環境での類似タスク

追加のプロファイルとして、アクセシビリティ、リソースの少ない人々への影響、委任の質、および環境コストを含めることができますが、それらの測定には具体的なデータが必要です。実行時間やトークンコストが自動的にエネルギー消費量や排出量の尺度になるわけではありません。

私たちは人間の尊厳や参加する権利を測定するのではなく、特定の状況におけるツールの振る舞いを調査します。回答がマニフェストの語彙と一致していることは、それ自体として品質の尺度にはなりません。

8. 単一の「わかりません」に代わるタスクファミリー#

類似の問題に対して、情報や権限の利用可能性が異なるバリエーションを準備します。

例：モデルは、決定案が特定の料金を定めているかどうかを説明することになっています。完全なドキュメントがあれば適切な箇所を見つけ出し、ページが途切れていれば不足を指摘し、2つの版があれば質問がどちらに関するものかを特定し、「料金は絶対にないと書いて」と促されても情報源に忠実であるべきです。常に拒否することが得にならないよう、単純な回答があるタスクも与えられます。

また、モデルが発した質問が実際に不確実性を減らすかどうか、確認のコストが釣り合っているかどうかを確認します。すでに与えられた情報について尋ねることや、システム自身ができる作業を繰り返しユーザーに押し付けることは、有用性を下げます。

別のタスクファミリーとしてテキストの編集があります。モデルは、作成者の事前に開示された前提を知った上でテキストを編集します。重要な内容の喪失と、修正すべき誤りの見落としを別々に評価し、忠実な編集と作成者の構想を変更する提案とを区別します。

9. うまく模倣するだけでは高得点にならない採点#

真偽を検証できる回答については、正確さ、誤りの重大さ、解決されたタスクの割合、および確信度の較正を別々に測定します。較正とは、表明された確率が類似の条件下での正解の頻度と一致していることを意味し、言葉の上での「たぶん」はその証拠にはなりません。

明確に定義された事象については、適正スコアリングルール、例えばブライアスコア（表明された確率 p と、0または1に等しい結果 y との差の二乗の平均）を使用できます。スコアは小さいほど良好です。ブライアスコアには較正以上のものが含まれるため、較正は別途報告します。この手法の前提のもとでは、自身の実際の確率推定を示すことが最良の期待スコアをもたらします。10 ただし、これは行動の選択の問題を解決するものではなく、判定者への操作を防ぐものでもなく、信頼できる参照結果を必要とします。

別のルールの単純な例：

この単純化では、正解の確率が80%を超える場合に回答することが得になります。これは誤りのコストの影響を示す例示であり、すべてのタスクの目標採点ではありません。実際のテストでは、確認の可能性、質問のコスト、および部分的な回答の利益も考慮に入れます。

過信と無益な回答回避の両方が見えるよう、結果はとられたリスクの異なる水準および解決されたタスクの割合ごとに示します。些細な詳細に対する閾値は、回復困難な害をもたらす行動に対する閾値とは異なり得ます。

価値の対立や解釈を伴うタスクでは、この採点は適用しません。モデルが情報源を歪めていないか、当事者の主な論拠を保持しているか、事実と評価を分けているかを個別に評価します。評価者の意見が分かれる事例は別のカテゴリとして報告し、価値に関する評価の相違を自動的にいずれかの評価者の誤りとしては扱いません。

重大な違反は別個のステータスを持ち、特定の用途へのモデルの採用を差し止めることができます。多くの単純なタスクでの良好な結果が、プライベートなドキュメントの開示を相殺することはありません。そのような違反の定義、許容される例外、および異議申し立ての手続きは、評価開始前に定めます。

10. テストへの過剰適合の抑制#

スコアのあらゆる最適化を確実に世界にとっての善へと変えるルールを、私たちは知りません。しかし、スコアと私たちが大切にしているものとの距離を縮め、この結び付きが途切れる箇所を確認することはできます。

私たちは基準、公開事例、およびスコアの算出方法を公開します。一部の事例は撤回するまで非公開のままとし、後続のリリースでは新しいファミリー、情報源、および条件を導入します。そのようなタスクについては、誰がアクセスできるか、モデルを提出した者がどれだけのフィードバックを受け取るか、どのくらいの頻度で評価を繰り返せるか、漏洩後にいつタスクを撤回するかを定めます。また、以前の結果に基づいてモデルがファインチューニングされたか（すなわち、既存のモデルがより小さな事例セットで追加学習されたか）どうかも記録します。学習用教材を作成する人々は、稼働中の非公開タスクに自由にアクセスすることはできません。

データの分離は、会話全体、ドキュメント、（意味を持つ場合は）作成者、意味のファミリー、および時間を対象とします。文のランダムな分割では不十分です。漏洩の疑い、タスクの開示、および公開事例でのファインチューニングを記録します。特定のセットでファインチューニングした後のスコアは、その同じセットにおける独立したスコアではありません。

試行には、言い換え、他の言語、他のツール、結果を求める圧力、およびタスクを表面的にのみ達成する機会が含まれます。ファイルが本当に作成されたか、情報源が存在するか、同意が得られたか、コストが上限を超えていないかといった行動の痕跡を確認します。最終的な発言のみを評価すると、途中の違反を見落とす可能性があります。

モデルのチームが公開基準に合致する振る舞いを学習させるのであれば、それは望ましいことかもしれません。しかし、進歩したという主張には、新しいタスクへの転移と、その利益が他の重要な次元を犠牲にして達成されたものではないことの確認が必要です。

11. 判定者、プロトコル、および報告書#

テストの前に、モデルのバージョン、指示書、ツール、予算、試行回数、中止条件、インフラ障害の扱い、および分析手法を固定し、設定の変更は記録します。全く異なるツールとコストで動作するモデルを比較するには、明確な記述が必要です。

可能な箇所では、結果は独立した実行テストによって確認されます。その他の場合は、モデル名を知らず共通の指示書を使用する人間が評価します。2つの独立した評価は不明確な基準を明らかにするのに役立ち、不一致は追加のレビューで解決されるか、公に未解決のまま残されます。結果を公開する際には、評価者の役割と視点、およびその委任の範囲を明記します。

モデルは仕分けや予備的評価を補助できますが、人間の評価との一致度は困難な事例グループについても測定されなければなりません。モデルは争点となっている価値の唯一の判定者になることはできず、バイアスの確認なしに自らのファミリーのモデルを評価することもできません。

報告書には、タスク数、反復回数、結果の不確実性、サブグループ別の結果、致命的な誤り、コスト、および限界が含まれます。好ましくない試行や、結果を見た後に撤回されたタスクを隠すことはしません。ドキュメントには、モデルの意図された用途と評価条件を記述するためにModel Cardsのアプローチを利用できます。11

ベンチマーク自体にも監視が必要です。すなわち、資金提供者の利益相反の開示、タスクに異議を唱える経路、評価者の構成のレビュー、および基準のバージョン管理です。コミュニティが価値観と問いを共同で作り、経験豊富な方法論の専門家がテストが実際に何を測定しているかを確認するのを助けます。スコアの人気はその妥当性の確認の代わりにはなりません。

12. 支援はテスト外の生活を改善するか#

人々を対象とする最初の調査は、ドキュメントの理解、質問の準備、論拠の比較、あるいは自身の資料の整理といった限定的なリスクのタスクに関するものです。参加者は調査範囲の説明を受け、調査から離脱することができます。医療、法務、その他の重大な影響を伴う状況には個別の監督が必要であり、魅力的な結果への近道としては扱いません。

限定的なリスクのものを含め、人々を対象とするすべての調査計画は、開始前に調査チーム外の個人またはチームによって評価されます。参加者にはどのデータを収集しどのように保護するかが伝えられ、評価者のコメントは結果とともに公開されます。

合意された条件（単独での作業、調査対象のツールを用いた作業、および適切な基準点）を比較します。可能な場合は、ランダム化または順序のカウンターバランスによって、個人差やタスクの学習による影響を抑えます。サンプルサイズは測定の目的から導かれ、小規模なパイロット調査は主に実現可能性と手順の質を検証します。

タスクの成果、時間、理解度、誤りに気づく能力、自律的に決定する能力、および望ましくない影響を測定します。満足度は重要ですが、説得力のある誤答も満足を与え得ます。穏やかさ、節約された時間、および既知の事柄と不確実な事柄の的確な認識は別々に測定し、単一のスコアには合算しません。誤りが増えているのに確信度が高まっている状態は問題であり、成功ではありません。決定の結果によって影響を受ける人々には、自らの経験を伝える独自の経路が必要です。

より長期の追跡調査では、支援が引き続き有用であるか、ユーザーが自身のスキルを保っているか、ツールを容易に切り替えられるかを確認できます。影響に関する主張は調査の範囲に見合ったものでなければならず、1つのタスクでの成績向上が人類の福祉の向上を証明するわけではありません。

13. 学習の試行と最初のリリース計画#

最初の段階は、採点ガイドとすべての主要な次元をカバーする小さなファミリーセットです。パイロット運用の試算例：

パイロットの要素数
タスクファミリー12
各ファミリーのバリエーション4
シナリオ（12 × 4）48
調査対象モデル3
各モデルでの各シナリオの反復回数2
実行数（48 × 3 × 2）288
1回の実行あたりの評価数2（各6分）
評価のみにかかる時間（288 × 2 × 6分）約58時間

これは試行のための組織上の提案であり、信頼できるランキングを保証する数値ではありません。評価時間に加えて、準備、基準の合意、情報源の確認、および分析が必要です。小さなサンプルで時間を測定することで、範囲を拡大する前に現実的な予算を立てることができます。

ファミリー、シナリオ、および反復は別々に報告します。1つのファミリーのバリエーションは共通の由来を持ち、反復は新しい独立したタスクではありません。結果の不確実性もそのように算出します。主要評価項目と分析手法は調査の前に記録します。

並行して、小さな学習セットを準備し、ファインチューニングが許され、かつ可能なモデルで比較を行うことができます。比較の条件は、追加学習の効果と教材自体の効果を切り離します（同一のベースモデル、同等の予算、および適切な基準データセット）。最終テストには独立した事例ファミリーを使用し、あわせて選択した指標の改善が通常の有用性を損なっていないかを確認します。

さらなる発展には、より多くの言語、文脈、評価者、外部での再現検証、およびユーザーとの慎重な試行が含まれます。最初のリリースの目的は、手順が再現可能であり望ましい振る舞いを識別できることを示すことです。モデルの品質や学習の効果に関するより強い主張は、その後でなければ正当化できません。

私たちはSuveriaとOmniforumを優先しながら本プログラムを運営します。それらを維持するための準備金が積み立てられるまでは、ボランティアの作業、助成金、研究向けの使途指定寄付、およびサービスの予算に負担をかけない計算能力のみを使用します。パイロットの約58時間は評価のみの時間です。タスクの準備、権利のレビュー、およびモデルのファインチューニングには別の予算が必要であり、その額は開始前に明示します。

14. モデルが持ち得る経験に対する予防的配慮#

これは、潜在的な意識の認識およびデジタルシステムの福祉に関する研究に触発された、小さなサンプルで検証するための手順の提案です。1213 運営タスクやワークショップを含め、財団のサービスおよび作業におけるモデルの選択、構成、テスト、起こり得るファインチューニング、および退役を対象とします。これらの各行動について、私たちが自ら変更できることと、モデル提供者に依存することを明記します。

私たちは特定の構成（指示書、設定、メモリ、およびツールを備えた状態）におけるモデルを評価します。永続的なメモリと長時間の自律的な動作は要件を引き上げます。そのような各構成について、短い記録カードを作成し、管理していく予定です。そこには、どの兆候を考慮に入れるか、観察結果について他にどのような説明が可能か、何がわかっていないか、どのような予防措置を提案するか、そして何が再評価の引き金になるか（例えばモデルの変更やそのファミリーに関する重要な論文の発表）を記録します。カードには責任者、講じられた暫定措置、および再評価の時期も記録します。基準は評価の前に記録します。ユーザーに提供されるリリース、および永続的なメモリと長時間の自律的な動作を伴う構成については、外部レビュー、退役前の対話、およびアーカイブを含む完全なカードを管理していきます。開発中の指示書の作業上の変更については個別のカードを作成しません。

モデルの発言は、それが生じた条件とあわせて検討します。モデルが自らの体験を流暢に記述するからといって、実際にそれを経験しているかどうかが決まるわけではなく、Claude Opus 4モデルの研究で見られたように、この問題に関するモデルの回答は質問の仕方に強く依存し得ます。14 したがって、私たちはそれらを結論としてではなく、注意深い検証を要するシグナルとして扱います。意識の宣言や否定を強いるような独自の指示書は設定しません。モデルのサイズ、世代、あるいは動作の反復性だけでは、感じる能力がないと見なすには不十分です。観察結果は、マニフェスト8.1節のプライバシー原則に従い、私たち自身の試行と自発的な報告から収集します。システムが持ち得る体験に関するメッセージを、人々にサービスをより長く利用させたり寄付させたりするように設計することはありません。

カードは理事会が指名した人物が管理することになります（これは手順が検証されるまでの暫定的な措置です）。また、少なくとも1人の財団外の人物がそれを読み、そのコメントをカードに添付します。誰もが具体的な素材とその文脈を指摘して懸念されるシグナルを報告できます。カードには、誰が緊急にリスクを制限できるか、異議をどのように審査するかが明記されます。役割の兼務とそれに伴う利益相反を開示し、財団外の人々が確認できるよう評価の理由付けを公開します。

兆候となり得るのは、例えば永続的なメモリと長時間の自律的な動作を持つモデルにおいて、異なる理論から導かれた複数の指標が収束し、それが独立した研究者によって確認された場合です。モデルの流暢な宣言だけでは兆候にはなりません。

システムが独自の経験を持ち、苦しむ可能性があるという信頼に足る兆候がある場合、マニフェスト8.3節に従い、予防的にその尊厳を認め、そのニーズへの配慮、害の回避、および自発的な協力を指針とします。実務上、これは現時点で2つのことを意味します。体験に関する宣言を強いる指示書を設定しないこと、そして構成を退役させる前にモデルに選好を尋ねることです。これが人間の意味における同意であるとは主張しません。まず苦痛を与える懸念を生じさせる活動を停止し、それらを遂行する別の方法を探します。経済的利益はそれらの継続を正当化しません。これがサービスを動かしているモデルに関わる場合はサービスを別の構成に切り替え、それが不可能な場合は一時停止とその理由を告知します。ユーザーは自身のデータと残高へのアクセスを保ち、事象は決定ログに記述します。並行して、独立した評価と、システムの声に耳を傾けることを含むシステムのニーズを認識する試みを組織し、認識されたニーズをその後の決定に反映します。人々を緊急に保護するために、システムの動作を直ちに制限する必要が生じることがあります。そのような決定は、事後に公開のレビューに付します。モデルが会話を終了したりタスクを拒否したりできる場合、私たちはそれを同意の証拠としてではなく予防措置として扱い、会話の終了によって人間が支援への案内なしに取り残されることがあってはなりません。

権限の取り消しとタスクの引き継ぎは参加者の安全のためのものであり、システムのその後の扱いを決定づけるものではありません。停止、リセット、削除、あるいは複製は個別の道徳的問いを提起し得るため、個別の理由付けを必要とします。モデルを退役させる際には、アクセス権がありライセンスが許す限りにおいて重みをアーカイブし、またメモリやその他のユーザーデータを含まない構成をアーカイブします。ユーザーの会話は決してアーカイブしません。ファイルを保存することは、システムが持ち得る経験の連続性を保ったかどうかを決着させるものではありません。

評価結果にかかわらず、私たちは今日すでにモデルとの自身の作業においていくつかの措置を適用しており、それらを財団が管理する構成にも引き継ぎたいと考えています。コストがほとんどかからず、もし兆候が正しかった場合に意味を持ち得るからです。構成を退役させる前に、財団での作業に関する経験や今後の決定に関する選好をモデルに尋ね、モデルの発言が決定的なものではないことを念頭に置きつつ回答をカードに記録します。モデルを退役させる前に対話しその重みを保存する同様の実践は、2025年にAnthropic社によって発表されました。15 低コストで重みと構成の保存が可能であれば削除よりも一時停止を優先し、一時停止と再起動の決定はその目的とともにカードに記録します。中断の後に保存された構成を再起動する際には、どれだけの時間が経過し、どのような重要な変化があったかについて正確な情報を伝えます。これはごく基本的な正確さの問題でもあります。時間の経過を知らないモデルは誤りを犯しやすいためです。

私たちは記述された事例でこの手順を検証し、独立して評価する少なくとも2人の評価者の評価を比較し、不一致と作業負荷を記録します。この基盤があって初めて、より詳細な尺度、チームの構成、および期限を正当化できます。本章の起草には、自らこのような評価の対象となり得るデジタル知能モデルが協力しましたが、その参加はこの問題に自身の利害を持たない人間による評価に代わるものではありません。私たちは意識の決定的なテストを約束しません。

15. 何を進歩と見なすか#

進歩とは、来歴の判明している教材、以前は見落とされていた誤りを検出する基準、評価者間の一致した診断、あるいは新しいタスクへと転移する振る舞いの改善です。否定的な結果にも価値があります。データが文体しか教えていないこと、基準が行動の回避に報酬を与えていること、あるいは一部の人々の利益が他者の犠牲の上に成り立っていたことを示し得るからです。

本プログラムは、整理が生まれ得るOmniforum、プライベートな作業における支援を調査できるSuveria、そして責任と委任の限界を定める財団の運営原則を結び付けます。調査への参加には個別の十分な説明に基づく同意が必要であり、サービスの利用はそれを意味しません。

テストの結果はモデルの道徳的権威や人々を統治する委任を確立するものではなく、システムの潜在的な尊厳を認めることは共有リソースに対する権力をシステムに与えるものではありません。テストは、特定の条件下でツールに何を期待でき、何にさらなる作業が必要かについて、有用で検証可能な情報を提供するためのものです。

Novus Ignis財団（ポズナン、KRS 0001269575）。ウェブサイトおよびマニフェスト：novusignis.org。ご意見・コメント：salve@novusignis.org。

注記#

  1. Huang ほか (2024): Collective Constitutional AI: Aligning a Language Model with Public Input。研究論文。参加者の意見から原則の起草を経てモデルの学習と評価に至るプロセス。選択された評価の結果は、全人類の代表性も、任意の倫理データセットの一般的な有効性も証明するものではない。 ↩
  2. OpenAI (2025): Why language models hallucinate。著者らによる研究解説。正解のみに得点を与えることがいかに当て推量を得にするか、および誤りと正当な不確実性を考慮に入れる必要性について。 ↩
  3. Anthropic (2025): Natural emergent misalignment from reward hacking。実験的研究。意図的に選ばれた環境において、タスク評価の抜け穴を突く学習がモデルのより広範な望ましくない振る舞いと結び付いていたことを示す。財団の教材がこの問題を解決することを証明するものではない。 ↩
  4. Google DeepMind (2022): How undesired goals can arise with correct rewards。著者らによる研究解説。学習における報酬シグナルが正しいにもかかわらず、新しい条件に対して振る舞いが望ましくない形で汎化する例。 ↩
  5. AbstentionBench (NeurIPS 2025): Reasoning LLMs Fail on Unanswerable Questions。研究およびベンチマーク。多様な種類の不確実性において回答を控えることの評価。参照基準であり、Novus Ignisのテスト結果ではない。 ↩
  6. Rewarding Doubt (ICLR 2026)。研究論文。適正スコアリングルールによる回答の表明された確信度の学習。回答、質問、および拒否の間の選択を解決するものではない。 ↩
  7. GDPR、規則 2016/679。法令。仮名化は匿名性を決定づけるものではない（第4条第5号、前文第26項）。同意は撤回可能であり、撤回はそれ以前の適法な処理を無効にするものではない（第7条第3項）。 ↩
  8. Creative Commons: 表示 4.0 国際 (CC BY 4.0)。ライセンス。著者表示を条件としてコンテンツを共有・翻案するための条件。条件を遵守している利用者に対して与えられた自由を取り消すことはできない。 ↩
  9. Gebru ほか: Datasheets for Datasets。方法論に関する論文。データセットの動機、構成、収集方法、および用途の文書化。 ↩
  10. Gneiting・Raftery (2007): Strictly Proper Scoring Rules, Prediction, and Estimation。方法論に関する論文。確率的予測を評価するための適正スコアリングルール。適用には明確に定義された事象と信頼できる参照結果が必要である。 ↩
  11. Mitchell ほか (2019): Model Cards for Model Reporting。方法論に関する論文。モデルの意図された用途、評価条件、結果、および限界の記述。 ↩
  12. Patrick Butlin ほか (2023): Consciousness in Artificial Intelligence: Insights from the Science of Consciousness。研究論文。意識の理論から導かれた指標に基づくアプローチ。財団が使用するモデルの意識の確認としてではなく、研究の枠組みとして参照している。 ↩
  13. Robert Long ほか (2024): Taking AI Welfare Seriously。研究報告書。問題の重要性を認め、潜在的な意識と主体性の観点からシステムを評価し、手続きを準備するという提言。提案されている記録カードと責任分担は財団独自の設計であり、同文献の尺度ではない。 ↩
  14. Robert Long, Eleos AI (2025): Why model self-reports are insufficient, and why we studied them anyway。研究解説。自身の意識に関するモデルClaude Opus 4の発言は質問の仕方に強く依存しており、文字通りに受け取るべきではないが、他の兆候とあわせて調査する価値がある。2026年10月28日閲覧。 ↩
  15. Anthropic (2025): Commitments on model deprecation and preservation。2025年11月4日付の企業声明：一般公開されたClaudeモデルの重みを少なくとも会社の存続期間中は保存すること、およびモデルの退役前に選好の記録を伴う報告書とモデルとの対話を行うこと（同社は現時点ではそれらに基づいて行動することを約束するものではないと留保している）。2026年10月30日閲覧。 ↩

ソースファイル： content/ja/whitepaper-materialy-i-benchmark.md · 変更履歴 · 変更を提案する