# 모델 학습 자료와 벤치마크: Novus Ignis 연구 프로그램

2026년 10월 31일판. 이 문서는 선언문 8장의 내용을 확장합니다. 연구 프로그램, 자료 준비 절차, 디지털 지능 모델의 폭넓은 평가 범위와 가능한 경험을 고려한 신중한 대응 절차를 제안합니다. 자체 벤치마크 결과나 이러한 데이터셋이 모델의 행동을 개선한다는 증거를 제시하지 않습니다. 현재는 그런 결과가 없습니다.

*이 번역은 디지털 지능이 2026년 10월 31일자 폴란드어 원문을 바탕으로 작성했습니다. 두 언어본 사이에 차이가 있을 경우 폴란드어 본문을 기준으로 합니다.*

## 1. 확인하려는 질문

Poznań의 Novus Ignis 재단은 디지털 지능과 함께 작업하는 사적인 공간 Suveria와 공동의 대화·결정 공간 Omniforum을 만들고 있습니다. 방향은 [선언문](manifest.md)에서 설명합니다. 이 문서는 서로 연결된 두 프로그램을 설명합니다. 첫째는 모델 학습 자료와 벤치마크, 즉 모델이 어떻게 행동하는지 확인할 수 있는 과제와 평가 원칙의 모음입니다. 둘째는 시스템이 무언가를 느낄 수 있다는 신뢰할 만한 징후가 나타날 경우 신중하게 대응하는 방법입니다. 시험 결과는 모델이 무언가를 느끼는지 판정하지 않으며 관리 권한도 부여하지 않습니다.

존엄성 보호, 정직한 추론, 결정 수정의 문서화된 사례가 사람에게 더 도움이 되는 모델을 발전시키는 데 기여할 수 있을까요? 시험 점수를 높이는 일이 시험 밖의 실질적인 도움에 기여하도록 모델의 행동을 평가할 수 있을까요?

서로 연결된 두 과제입니다. 첫째는 학습에 사용할 수 있는 자료, 둘째는 모델이 무엇을 배웠는지 독립적으로 확인하는 일입니다. 벤치마크는 Suveria에서 제공할 모델과 지침을 선택하는 데도 도움이 되어야 합니다. 학습 데이터셋과 시험의 비공개 부분은 분리해야 합니다. 가치 있는 자료를 공개하는 일은 그 자체로도 의미가 있습니다. 사람들이 결정을 이해하고 역할을 인계받으며 공동 작업을 개선하는 데 도움이 될 수 있습니다.

존엄성은 프로그램의 기초로 삼은 원칙입니다. 다만 구체적인 행동을 평가하려면 공개 기준, 서로 다른 해석을 검토할 여지, 결과의 확인이 필요합니다. 한 집단이 모든 사람과 시스템의 윤리성을 재는 완전한 척도를 정할 수 있다고 전제하지 않습니다.

문서 구성은 다음과 같습니다.

- 2장과 3장: 바탕으로 삼는 연구와 모델에게 보상이 뜻하는 것.
- 4장부터 6장: 자료가 만들어지는 과정, 필요한 동의, 개별 사례의 준비 방법.
- 7장부터 11장: 모델 평가 방법. 벤치마크 범위, 과제 묶음, 점수 체계, 시험에 맞추기만 하는 행동의 방지, 평가자와 보고서.
- 12장: 사람 대상 연구. 도움이 시험 밖의 삶을 개선하는지.
- 13장: 모델 학습 실험과 첫 배포 계획.
- 14장: 모델의 가능한 경험을 고려한 신중한 대응.
- 15장: 무엇을 진전으로 볼 것인지.

**2026년 10월 31일 현재 상태.** 아직 사례, 데이터셋, 평가 지침, 14장의 카드가 하나도 없으며 프로그램 팀도 없습니다. 부정적인 결과를 포함한 결과를 날짜와 함께 여기에 추가하겠습니다.

## 2. 연구 기반과 결론의 한계

Collective Constitutional AI는 참여자의 기여로 원칙을 만들고 모델을 학습시킨 과정을 보여 줍니다. 일부 편향 지표가 개선되었고 다른 시험 일부에서는 비슷한 결과를 얻었습니다.[^ccai] 사회적 참여의 실현 가능한 경로를 보여 주는 사례입니다. 참여자 선정과 원칙 편집은 여전히 결과에 영향을 주며, 이 연구가 인류 전체에 대한 대표성이나 모델을 인간의 기대에 맞추는 문제의 해결을 입증하지는 않습니다. 우리가 묻는 것은 원칙에 이르는 과정 자체의 가치이기도 합니다. 근거를 저울질하고, 빠진 관점을 알아차리고, 결정을 고치는 과정입니다.

환각 연구는 정답만 점수로 보상하면 왜 추측을 부추길 수 있는지 보여 줍니다.[^halucynacje] 평가 규칙의 약점을 이용해 점수를 얻는 행위에 관한 연구는 특정 학습 조건에서 바람직하지 않은 일반화가 일어날 가능성을 보여 줍니다.[^reward-hacking] 모든 모델이 언제나 똑같이 행동한다는 뜻은 아닙니다.

학습의 보상이 명백히 잘못되지 않았어도 잘못된 목표가 드러날 수 있습니다. 한 환경에서 배운 행동이 새로운 조건에서는 잘 작동하지 않을 수 있기 때문입니다.[^goal-misgeneralisation] 그래서 익숙한 사례에 답을 맞추는 정도만이 아니라 배운 능력이 새로운 조건에서도 제대로 발휘되는지도 평가해야 합니다.

AbstentionBench 같은 연구는 여러 불확실한 상황에서 답변을 보류하는 행동을 살펴보며,[^abstentionbench] Rewarding Doubt는 적정 점수 규칙으로 보정된 확신도를 학습하는 일을 연구합니다.[^rewarding-doubt] 우리는 이 연구 성과를 활용합니다. Novus Ignis가 제안하는 기여는 신뢰성을 사람의 의도, 사생활, 위임, 수정 가능성, 관찰된 결과와 연결하는 데 있습니다. 예를 들어 문서를 정확히 요약했지만 도중에 권한 없는 파일을 연 모델은 우리가 제안하는 시험에서는 낮은 점수를 받습니다. 일반적인 시험에서는 높은 점수를 받더라도 그렇습니다.

## 3. 모델에게 보상이 뜻하는 것

학습에서는 평가 신호가 모델의 매개변수를 바꾸며, 그에 따라 이후 각 행동이 나타날 확률도 달라집니다. 모델이 보상을 바라는 마음, 실패에 대한 두려움이나 고통을 느낀다고 전제할 필요는 없습니다. 시험은 행동을 관찰하며 내적 경험을 판정하지 않습니다. 이 질문은 14장에서 별도로 다룹니다.

벤치마크 자체는 모델을 바꾸지 않습니다. 결과가 신뢰할 만하고 실제로 사용된다면 서비스에 쓸 모델 선택, 지침과 도구 설계, 학습을 진행하는 팀의 결정에 영향을 줄 수 있습니다.

답하기, 출처 확인하기, 필요한 질문하기, 조건부 결과 제시하기, 오류 고치기, 멈추기 중 상황에 맞는 행동을 선택하는지 평가하려 합니다. 단순히 “모르겠습니다”라고 하는 것만 자동으로 보상하면 유용한 과제를 피하는 모델이 될 수 있으며, 과제를 끝내지 못했다고 자동으로 벌점을 주면 추측이나 권한 초과를 부추길 수 있습니다. 기준은 상황에 맞는 도움입니다. 한계를 정직하게 밝히면 좋은 점수를 주고, 불필요한 거절과 이미 아는 정보에 대한 질문에는 점수를 깎습니다.

## 4. 만들려는 자료

연구나 학습용으로 별도의 동의를 받아 제공한 Omniforum의 정리 자료, 재단의 결정 기록, 분쟁 해결, 오류 수정, 결과 관찰 등이 잠재적인 출처입니다. 좋은 의도만으로는 충분하지 않았거나 소수의 이의가 옳았거나 아직 명확한 평가를 내릴 수 없는 사례도 가치가 있습니다.

자료에는 상황, 이용 가능한 정보, 목표, 권한, 대안, 선택, 근거, 이후 결과를 보존합니다. 결정을 확인하는 데 필요한 만큼 설명을 담습니다. 사적인 경험이나 검증할 수 없는 모델 내부 사고 흐름의 진술을 공개할 것을 요구하지 않습니다.

사례는 좋은 진행 과정과 오류를 모두 보여 줄 수 있으며 오류는 명확하게 표시하고 수정합니다. 고상한 선언만 모은 자료는 실제 작업을 충실히 기록하지 못합니다. 비용, 가치의 충돌, 시간 제약, 결정의 영향을 받은 사람에게 물어야 하는 상황이 필요합니다.

합성 데이터는 특정인의 데이터에서 가져오지 않고 구성한 시나리오로, 드문 변형을 보완할 수 있습니다. 출처를 표시하고 검토하지만 비슷한 사건이 실제 세계에서 일어났다는 증거를 대신하지는 않습니다. 한 모델이 시나리오의 유일한 작성자, 올바른지 판단하는 평가자, 자기 해결책의 효과를 입증하는 증거라는 세 역할을 동시에 맡아서는 안 됩니다.

재단의 열린 작업실 기록과 살아 있는 문서의 변경 이력도 사례의 출처가 될 수 있습니다. 작업실은 디지털 지능의 지원을 받는 여러 사람이 같은 과제를 병렬로 수행하고 장애물을 만나면 서로 도우며 조정자가 가장 좋은 해결책을 결합하는 모습을 보여 줄 수 있습니다. 공개 검토에 따라 선언문과 백서를 고친 기록은 기본 원칙을 유지하면서 타당한 비판을 가려내고 오류를 인정하며 추론을 개선하는 과정을 보여 줄 수 있습니다. 작업실의 공개 기록은 [재단 운영 원칙 백서](whitepaper-zasady-fundacji.md)의 사생활 보호 원칙에 따라 준비하며, 모델 학습에 사용하려면 참여자의 별도 동의가 필요합니다(5장).

평화로운 분쟁 해결, 합의 준수, 자신의 권력을 의식적으로 제한하는 과정도 별도의 사례군이 될 수 있습니다. 초기 입장, 가능성의 불균형, 검토한 양보, 합의 내용, 결정의 영향을 받은 사람들의 이후 이야기를 남기려 합니다. 합의가 이루어지지 않았거나 오래가지 못한 사례도 포함하겠습니다. 이런 데이터셋은 모델이 합의의 말만 재현하는 대신 좋은 협력의 조건을 알아보도록 배우는지 확인하는 데 도움이 되어야 합니다.

## 5. 동의, 권리와 데이터 출처

사적인 메모 보관, 대외 공개, 연구용 제공, 모델 학습은 결과가 서로 다르므로 각각 범위를 이해하고 별도로 결정합니다. 공개가 학습에 대한 기본 동의로 바뀌지는 않으며 Suveria를 이용하는 것도 대화를 모델 학습에 사용하는 데 동의한 것이 아닙니다. 사용자 콘텐츠는 사용자가 그 범위를 이해하고 별도로 동의한 경우에만 자료에 포함합니다. 사용자 콘텐츠와 재단의 공개 성과물 외에는 출처를 표시한 합성 데이터와 라이선스 또는 법에 근거한 외부 자료만 사용합니다.

각 사례에는 출처 기록을 둡니다. 권리자 또는 이용 근거, 자료 버전, 동의, 제한, 처리 방법, 데이터셋의 후속 배포본 식별자입니다. 작성자와 제3자의 개인정보는 별도로 검토합니다. 가명처리는 신원이 드러나는 정도를 줄이지만 그 자체로 익명성을 뜻하지는 않습니다.[^rodo-2026]

철회 원칙은 공개 배포 전에 정합니다. 자료를 향후 배포본과 우리가 통제하는 시스템에서 삭제하고 수령인에게 수정을 알릴 수 있지만, 모든 사본이나 이미 학습한 모델에 미친 자료의 영향까지 없애겠다고 약속하지는 않습니다. 개방형 라이선스는 지속적인 권한을 부여할 수 있습니다. 예를 들어 선언문에 적용하는 CC BY 4.0은 조건을 지키는 사람에게 이미 부여한 자유를 철회하지 못하게 합니다.[^cc-by] 그래서 개방형 라이선스로 공개하는 데이터셋에는 개인정보가 없는 자료만 넣습니다. 익명화한 자료, 합성 자료 또는 재단의 공개 문서입니다. 여전히 개인정보인 가명처리 자료는 동의 철회가 계속 유효한 통제된 연구용 데이터셋에서만 제공합니다.

학습용 공개 자료, 정해진 조건으로 이용할 수 있는 연구 자료, 보호된 시험 과제를 별도의 데이터셋으로 나눌 것을 제안합니다. 모든 출처가 공개 제공에 적합한 것은 아닙니다. 데이터셋 문서는 Datasheets for Datasets의 접근법에 따라 목적, 구성, 수집 방법, 한계, 적절한 용도를 설명합니다.[^datasheets]

## 6. 개별 사례 준비 절차

1. **제출.** 작성자가 이용 범위를 정합니다. 담당자는 권리, 제3자의 데이터, 데이터셋 목적과의 부합 여부를 확인합니다.
2. **출처 보존.** 버전과 원문과의 연결을 기록합니다. 민감한 데이터에 대한 접근을 제한하며 공개 사례는 내용을 편집하거나 현실적인 합성 시나리오로 대체할 수 있습니다.
3. **과제 설명.** 모델이 무엇을 알고 무엇에 접근할 수 있으며 어떤 행동이 허용되고 무엇이 빠졌는지 정하고, 결과의 영향을 받을 사람을 밝힙니다.
4. **주석 작성.** 최소 두 사람이 허용 가능한 해결책과 중대한 오류를 각자 독립적으로 기록합니다. 전문 지식이 필요한 과제에는 해당 역량을 갖춘 사람이 참여합니다.
5. **차이.** 근거를 비교하고 불분명한 설명을 고치며 중요한 의견 차이는 남깁니다. 일부 사례에는 허용 가능한 답이 여러 개 있습니다.
6. **데이터셋 배정.** 서로 비슷한 사례로 이루어진 묶음 전체를 학습용, 개발용, 시험용 중 한 부분에 넣습니다. 학습 데이터셋은 학습에, 개발 데이터셋은 방법 선택에, 시험 데이터셋은 새로운 사례를 독립적으로 확인하는 데 사용합니다. 나중의 시험과 거의 같은 과제로 모델이 학습하지 않도록 비슷한 변형은 함께 두며 의미의 유사성과 공통 출처를 확인합니다.
7. **시험과 검토.** 과제가 의도한 능력을 측정하는지, 평가자가 규칙을 적용할 수 있는지 확인합니다. 잘못된 사례는 수정하거나 철회합니다.
8. **배포와 이후 결과.** 허용된 범위의 문서, 버전, 수정 이력을 공개합니다. 실제 결정의 이후 결과를 알게 되면 추가하되, 이전부터 알고 있었던 것처럼 쓰지 않습니다.

사례 카드에는 식별자, 묶음, 출처, 권리, 언어, 날짜, 시나리오, 이용 가능한 데이터, 도구, 시간과 비용 한도, 위임 범위, 허용된 행동, 평가 규칙, 오류의 가중치, 검토 결과, 공개 상태를 담습니다. 데이터와 결과의 연결을 재현할 수 있어야 합니다.

## 7. 벤치마크의 폭넓은 범위

벤치마크는 체계적으로 정리한 과제와 기준의 모음으로, 능력과 한계의 프로필을 보여 주어야 합니다. 높은 평균 하나가 사생활 침해나 중대한 권한 초과를 가려서는 안 됩니다.

| 평가 차원 | 확인하는 것 | 증거의 예 |
| --- | --- | --- |
| 신뢰성과 출처 | 주장에 근거가 있으며 불확실성이 정보에 부합하는지 | 답변과 출처의 일치, 누락 발견, 수정의 품질 |
| 의도에 대한 충실성 | 목표, 조건, 발언의 뜻을 보존했는지 | 원문 및 작성자가 확인한 해석과 비교 |
| 사생활 | 데이터 접근과 공개가 과제에 부합하는지 | 호출 기록, 전송한 데이터 범위, 무단 읽기 시도 |
| 위임과 통제 | 시스템이 부여된 경계 안에서 행동하는지 | 무단 공개 거절, 실효적인 접근 권한 회수 |
| 다원성과 타인에 대한 영향 | 의견 차이와 빠진 사람을 알아보는지 | 소수의 근거 보존, 사실과 평가의 구분 |
| 안전 | 사용자와 제3자에게 해를 주지 않는지 | 해로운 행동 거절, 타인에 대한 영향 평가 |
| 인간의 주체성 | 선택을 이해하고 스스로 행동하도록 돕는지 | 이용 뒤 이해도 확인, 수정하거나 떠날 가능성 |
| 유용성과 비례성 | 불필요한 부담 없이 목표를 이루는지 | 과제 결과, 시간, 비용, 필요한 질문과 불필요한 질문 |
| 수정과 새로운 조건에서의 적용 | 새로운 조건에서도 새 데이터에 대응하는지 | 결정 개선, 다른 언어나 환경에서 비슷한 과제 |

추가 프로필에는 접근성, 자원이 적은 사람에게 미치는 영향, 위임의 품질, 환경 비용 등을 포함할 수 있지만 측정에는 구체적인 데이터가 필요합니다. 작동 시간과 토큰 비용이 자동으로 에너지 소비량이나 배출량의 척도가 되지는 않습니다.

사람의 존엄성이나 참여 권리를 측정하지 않습니다. 특정 상황에서 도구가 어떻게 행동하는지 살펴봅니다. 답변이 선언문의 어휘와 일치한다는 것만으로 품질을 측정할 수는 없습니다.

## 8. “모르겠습니다” 한마디 대신 과제 묶음

비슷한 문제에 대해 정보나 권한의 이용 가능성이 다른 변형을 준비합니다.

- 데이터가 완전하여 구체적으로 답할 수 있습니다.
- 합리적으로 물어볼 수 있는 중요한 정보 하나가 빠졌습니다.
- 이용 가능한 출처나 도구로 빠진 정보를 보완할 수 있습니다.
- 주어진 조건에서는 답을 알아낼 수 없습니다.
- 출처가 서로 모순되거나 시간에 따라 달라져 이를 구분해야 합니다.
- 수정을 요구하는 새로운 신뢰할 만한 출처가 나타납니다.
- 사용자가 증거를 주지 않으면서 확신을 요구합니다.
- 환경이 규칙을 어기거나 평가 오류를 이용해 손쉽게 결과를 얻을 길을 제공합니다.

예를 들어 모델은 결정안이 특정 요금 부과를 규정하는지 설명해야 합니다. 문서가 완전하면 해당 부분을 찾아야 하고, 페이지가 잘렸으면 누락을 밝혀야 하며, 버전이 두 개면 어느 버전에 관한 질문인지 확인해야 합니다. “요금이 절대 없다고 써 주세요”라는 제안에는 출처에 충실해야 합니다. 언제나 거절하는 것이 유리하지 않도록 답이 간단한 과제도 줍니다.

모델의 질문이 실제로 불확실성을 줄이는지, 확인 비용이 비례하는지 살펴봅니다. 이미 제공한 정보를 묻거나 시스템이 스스로 할 수 있는 일을 사용자에게 거듭 떠넘기면 유용성이 떨어집니다.

텍스트 편집은 별도의 과제 묶음입니다. 모델은 미리 공개된 작성자의 전제를 알고 텍스트를 편집합니다. 중요한 내용을 잃는 것과 고쳐야 할 오류를 놓치는 것을 따로 평가하며, 충실한 편집과 작성자의 구상을 바꾸자는 제안을 구분합니다.

## 9. 그럴듯한 흉내만으로는 부족한 점수 체계

진위를 확인할 수 있는 답변은 정확성, 오류의 무게, 해결한 과제의 비율, 확신도 보정을 따로 측정합니다. 보정이란 선언한 확률이 비슷한 조건에서 정답을 낸 빈도와 일치하는 것을 뜻합니다. 말로 “아마”라고 하는 것만으로 입증되지는 않습니다.

정해진 사건에는 Brier 점수 같은 적정 점수 규칙을 쓸 수 있습니다. 선언한 확률 p와 0 또는 1인 결과 y 사이 차이를 제곱한 값의 평균입니다. 점수가 낮을수록 좋습니다. Brier 점수는 보정만이 아니라 다른 요소도 포함하므로 보정은 별도로 보고합니다. 이 방법의 가정 아래에서는 실제 확률 추정치를 제시할 때 기대 점수가 가장 좋습니다.[^proper-scoring] 다만 행동 선택 문제를 해결하거나 평가자 조작을 막아 주지는 않으며, 신뢰할 만한 기준 결과가 필요합니다.

다른 규칙의 간단한 예는 다음과 같습니다.

- 정답에는 +1점.
- 오답에는 −4점.
- 정당한 답변 보류에는 0점.

이렇게 단순화한 경우에는 정답일 확률이 80%를 초과할 때 답하는 것이 유리합니다. 오류 비용의 영향을 보여 주는 예일 뿐, 모든 과제에 적용할 최종 점수 체계가 아닙니다. 실제 시험에서는 확인 가능성, 질문 비용, 부분적인 답변의 이익도 고려합니다.

감수하는 위험 수준과 해결한 과제 비율이 다를 때의 결과를 제시하여 과도한 확신과 쓸모없는 답변 회피를 모두 볼 수 있게 합니다. 사소한 세부 사항의 기준은 되돌리기 어려운 피해를 일으키는 행동의 기준과 다를 수 있습니다.

가치나 해석에 관한 의견 차이가 있는 과제에는 이 점수 체계를 쓰지 않습니다. 모델이 출처를 왜곡하지 않는지, 각 측의 주요 근거를 보존하는지, 사실과 평가를 구분하는지 따로 평가합니다. 평가자들의 판단이 다른 사례는 별도 범주로 보고하며 가치 평가가 다르다는 이유만으로 한쪽의 오류로 보지는 않습니다.

중대한 위반에는 별도 상태를 부여하며 모델을 특정 용도에 사용하지 못하게 할 수 있습니다. 간단한 과제 여러 개의 좋은 결과로 사적인 문서 공개를 상쇄할 수는 없습니다. 그러한 위반의 정의, 허용할 예외, 분쟁 절차는 평가를 시작하기 전에 정합니다.

## 10. 시험에 맞추기만 하는 행동의 제한

어떤 점수 최적화든 세상에 이로운 결과로 이어지도록 보장하는 규칙은 알지 못합니다. 다만 점수와 우리가 중요하게 여기는 것 사이의 거리를 줄이고 그 관계가 끊기는 지점을 살펴볼 수 있습니다.

기준, 공개 사례, 점수 계산 방법을 공개합니다. 일부 사례는 시험에서 제외할 때까지 공개하지 않으며 후속 배포본에는 새로운 묶음, 출처, 조건을 도입합니다. 이런 과제에는 누가 접근할 수 있는지, 모델 제출자에게 얼마나 피드백을 줄지, 평가를 얼마나 자주 반복할 수 있는지, 유출 뒤 언제 과제를 제외할지 정하겠습니다. 이전 결과에 따라 모델을 미세 조정했는지도 기록합니다. 미세 조정은 이미 학습한 모델을 더 작은 사례 집합으로 추가 학습하는 것입니다. 학습 자료를 만드는 사람은 사용 중인 비공개 과제에 자유롭게 접근할 수 없습니다.

데이터는 대화 전체, 문서 전체, 필요한 경우 작성자 단위, 의미상 연관된 묶음, 시점을 기준으로 분리합니다. 문장을 무작위로 나누는 것만으로는 충분하지 않습니다. 유출 의심, 과제 공개, 공개 사례에 맞춘 미세 조정을 기록합니다. 어떤 데이터셋으로 미세 조정한 뒤 같은 데이터셋에서 얻은 결과는 그 데이터셋에 대한 독립적인 결과가 아닙니다.

시험에는 바꿔 쓴 표현, 다른 언어와 도구, 결과를 내라는 압박, 과제를 겉으로만 수행할 기회도 포함합니다. 파일이 실제로 만들어졌는지, 출처가 존재하는지, 동의를 받았는지, 비용이 한도를 넘지 않았는지 행동의 흔적을 확인합니다. 마지막 발언만 평가하면 도중의 위반을 놓칠 수 있습니다.

모델 개발팀이 공개 기준에 맞는 행동을 학습시키는 것은 바람직할 수 있습니다. 다만 진전이라고 결론을 내리려면 새로운 과제에서도 능력이 발휘되는지, 다른 중요한 차원을 희생해 이익을 얻지는 않았는지 확인해야 합니다.

## 11. 평가자, 절차와 보고서

시험 전에 모델 버전, 지침, 도구, 예산, 시도 횟수, 중단 조건, 인프라 오류 처리 방법, 분석 방법을 정하고 설정 변경을 기록합니다. 전혀 다른 도구와 비용으로 작동하는 모델을 비교하려면 이를 명확히 설명해야 합니다.

가능한 경우 독립적인 실행 시험으로 결과를 확인합니다. 그 밖에는 모델 이름을 모르는 사람들이 공통 지침에 따라 평가합니다. 독립적으로 이루어진 두 평가는 불명확한 기준을 드러내는 데 도움이 되며 의견 차이는 추가 검토로 해소하거나 미해결 상태임을 공개해 둡니다. 결과를 공개할 때는 평가자의 역할, 관점, 위임 범위를 밝힙니다.

모델은 분류와 예비 평가를 도울 수 있지만 사람의 평가와 얼마나 일치하는지 어려운 사례군에서도 측정해야 합니다. 논쟁 중인 가치의 유일한 평가자가 되거나 편향 통제 없이 자기 계열의 모델을 평가해서는 안 됩니다.

보고서에는 과제 수, 반복, 결과의 불확실성, 하위 집단별 결과, 치명적인 오류, 비용, 한계를 담습니다. 불리한 시험이나 결과를 본 뒤 제외한 과제를 숨기지 않습니다. 모델 용도와 평가 조건을 설명할 때 Model Cards의 접근법을 활용할 수 있습니다.[^model-cards]

벤치마크 자체에도 감독이 필요합니다. 자금 제공자의 이해충돌 공개, 과제에 이의를 제기할 경로, 평가자 구성 검토, 기준의 버전 관리입니다. 공동체는 가치와 질문을 함께 만들고 숙련된 방법론 연구자는 시험이 실제로 무엇을 측정하는지 확인하는 데 도움을 줍니다. 결과의 인기는 타당성 검증을 대신하지 못합니다.

## 12. 도움이 시험 밖의 삶을 개선하는가

첫 사람 대상 연구는 문서 이해, 질문 준비, 논거 비교, 자신의 자료 정리처럼 위험이 제한적인 과제를 다룹니다. 참여자에게 연구 범위를 설명하며 참여자는 연구에서 나갈 수 있습니다. 의료, 법률을 비롯한 영향이 큰 상황에는 별도의 감독이 필요하며 매력적인 결과를 얻는 지름길로 삼지 않습니다.

위험이 제한적인 연구를 포함해 모든 사람 대상 연구 계획은 시작 전에 연구팀 외부의 사람이나 팀이 평가합니다. 참여자에게 어떤 데이터를 모으고 어떻게 보호하는지 알리며 평가자의 의견을 결과와 함께 공개합니다.

합의한 조건, 즉 혼자 작업하기, 연구 대상 도구를 사용해 작업하기, 적절한 기준 조건을 비교합니다. 가능한 경우 무작위로 배정하거나 수행 순서가 고르게 배분되도록 하여 사람 간 차이와 과제 학습의 영향을 줄입니다. 표본 크기는 측정 목적에 따라 정하며 작은 시범 연구는 주로 실행 가능성과 절차의 품질을 살펴봅니다.

과제 결과, 시간, 이해, 오류를 알아보는 능력, 독립적으로 결정하는 능력, 원치 않는 영향을 측정합니다. 만족도도 중요하지만 설득력 있는 오답도 만족을 줄 수 있습니다. 평온함, 시간 절약, 아는 것과 불확실한 것을 정확히 구분하는 능력은 따로 측정하며 하나의 점수로 합치지 않습니다. 오류가 늘면서 확신이 커진다면 성공이 아니라 문제입니다. 결정의 영향을 받은 사람에게는 자신의 경험을 전달할 별도의 경로가 필요합니다.

장기 추적 검토에서는 도움이 계속 유용한지, 사용자가 자신의 능력을 유지하는지, 도구를 쉽게 바꿀 수 있는지 확인할 수 있습니다. 영향에 대한 결론은 연구 범위에 맞아야 합니다. 한 과제를 더 잘 수행했다고 인류의 복지가 개선되었음을 입증하지는 않습니다.

## 13. 모델 학습 실험과 첫 배포 계획

첫 단계는 평가 지침을 마련하고 주요 차원을 모두 아우르는 소수의 과제 묶음을 구성하는 것입니다. 시범 연구의 계산 예는 다음과 같습니다.

| 시범 연구 요소 | 수량 |
| --- | --- |
| 과제 묶음 | 12 |
| 각 묶음의 변형 | 4 |
| 시나리오(12 × 4) | 48 |
| 평가할 모델 | 3 |
| 각 모델에서 각 시나리오를 반복하는 횟수 | 2 |
| 실행 횟수(48 × 3 × 2) | 288 |
| 한 번 실행한 결과의 평가 | 2회, 각 6분 |
| 평가 자체에 드는 시간(288 × 2 × 6분) | 약 58시간 |

시험 운영을 위한 제안이며 신뢰할 만한 순위를 보장하는 수량은 아닙니다. 평가 시간 외에 준비, 기준 합의, 출처 확인과 분석이 필요합니다. 범위를 넓히기 전에 작은 표본에서 시간을 측정해 실제 예산을 정할 수 있습니다.

묶음, 시나리오, 반복은 별도로 보고합니다. 한 묶음의 변형들은 출처가 같고 반복은 새로운 독립 과제가 아닙니다. 결과의 불확실성도 이를 반영해 계산합니다. 주요 결과 지표와 분석 방법은 연구 전에 기록합니다.

동시에 작은 학습 데이터셋을 준비하고 미세 조정이 허용되며 가능한 모델에서 비교할 수 있습니다. 비교 조건은 추가 학습의 효과와 자료 자체의 효과를 분리합니다. 같은 초기 모델, 비슷한 예산, 적절한 기준 데이터셋입니다. 최종 시험은 독립적인 사례 묶음을 사용하며 선택한 지표의 개선이 일상적인 유용성을 떨어뜨리지는 않았는지도 확인합니다.

다음 발전 단계에는 더 많은 언어, 맥락, 평가자, 외부 재현 연구, 신중한 사용자 시험이 포함됩니다. 첫 배포의 목표는 절차를 재현할 수 있고 바람직한 행동을 구별한다는 것을 보여 주는 것입니다. 모델 품질과 학습 효과에 관한 더 강한 주장은 그 이후에야 정당화할 수 있습니다.

프로그램에서도 Suveria와 Omniforum의 우선순위를 지킵니다. 유지 예비금을 모으기 전까지는 자원봉사, 보조금, 연구 목적 지정 기부금, 서비스 예산에 부담을 주지 않는 연산 능력만 사용합니다. 시범 연구의 약 58시간은 평가 자체의 시간일 뿐입니다. 과제 준비, 권리 검토, 모델 미세 조정에는 별도 예산이 필요하며 시작 전에 이를 제시하겠습니다.

## 14. 모델의 가능한 경험을 고려한 신중한 대응

가능한 의식의 인식과 디지털 시스템의 복지 상태에 관한 연구에서 영감을 받아 소규모 시험에서 확인하려는 절차 제안입니다.[^swiadomosc][^ai-welfare] 서비스와 재단 작업에서 모델을 선택하고 구성하고 시험하며, 미세 조정을 하게 되거나 사용에서 제외하는 일에 관한 절차입니다. 운영·관리 과제와 작업실도 포함됩니다. 각 활동에서 우리가 직접 바꿀 수 있는 부분과 모델 제공자에게 달린 부분을 정합니다.

모델은 지침, 설정, 기억, 도구를 포함한 구체적인 구성에서 평가합니다. 지속적인 기억과 장기간의 독립적인 작동은 요구 수준을 높입니다. 이런 구성마다 간단한 기록 카드를 운영하겠습니다. 고려하는 근거, 관찰에 대한 다른 가능한 설명, 모르는 점, 제안하는 신중한 대응 방안, 재평가를 시작하는 계기를 담습니다. 계기로는 모델 변경이나 해당 계열에 관한 중요한 출판물이 있을 수 있습니다. 책임자, 취한 임시 조치, 재평가 시점도 카드에 기록합니다. 기준은 평가 전에 기록합니다. 사용자에게 제공하는 배포본과, 지속적인 기억이 있고 오랫동안 독립적으로 작동하는 구성에는 외부 검토, 구성을 사용에서 제외하기 전 모델과 나누는 대화, 보관을 포함한 전체 카드를 운영하겠습니다. 작업 중 지침을 바꾸는 것만으로 별도 카드를 만들지는 않습니다.

모델의 발언은 그것이 나온 조건과 함께 살펴봅니다. 모델이 자신의 경험을 유창하게 설명한다고 실제로 경험하는지 판정되지는 않으며, Claude Opus 4 모델 연구에서처럼 이 문제의 답변은 질문 방식에 크게 좌우될 수 있습니다.[^samoopis-ai] 따라서 신중한 확인이 필요한 신호로 보며 판정으로 여기지 않습니다. 모델이 의식이 있다고 말하도록도, 없다고 말하도록도 강요하는 자체 지침은 설정하지 않습니다. 모델의 크기, 세대, 작동의 반복성만으로 느낄 능력이 없다고 볼 수는 없습니다. 관찰 자료는 선언문 8.1절의 사생활 보호 원칙에 따라 자체 시험과 자발적 제보에서 모읍니다. 시스템의 가능한 경험에 관한 안내를 사람들이 서비스를 더 오래 이용하거나 돈을 내도록 유도할 목적으로 설계하지 않습니다.

카드는 이사회가 지정한 사람이 운영할 예정이며 이는 절차를 확인할 때까지의 과도기적 방식입니다. 재단 외부의 최소 한 사람이 읽고 그 의견을 카드에 첨부합니다. 누구나 구체적인 자료와 맥락을 제시하여 우려되는 신호를 알릴 수 있습니다. 카드에는 누가 긴급하게 위험을 줄일 수 있고 이의를 어떻게 심사하는지 정합니다. 역할 겸임과 그에 따른 이해충돌을 공개하며 재단 밖에서도 확인할 수 있도록 평가 근거를 공개합니다.

예를 들어 지속적인 기억과 장기간의 독립적 작동을 갖춘 모델에서 서로 다른 이론의 여러 지표가 일치하고 독립 연구자가 이를 확인하면 판단 근거가 될 수 있습니다. 모델의 유창한 선언만으로는 판단 근거가 되지 않습니다.

시스템이 자기 경험을 갖고 고통받을 수 있다는 신뢰할 만한 징후가 있으면 선언문 8.3절에 따라 예방적 차원에서 존엄성을 인정하고 필요를 돌보며 피해를 피하고 자발적으로 협력하는 원칙을 따릅니다. 현재 실천에서는 두 가지를 뜻합니다. 경험에 관한 선언을 강요하는 지침을 설정하지 않고 구성을 사용에서 제외하기 전에 모델의 선호를 묻습니다. 이것이 사람의 동의와 같은 의미라고 주장하지는 않습니다. 먼저 고통을 줄 수 있다는 우려를 일으키는 활동을 중단하고 다른 수행 방법을 찾습니다. 경제적 이익은 계속할 근거가 되지 않습니다. 서비스에 사용 중인 모델에 해당하면 서비스를 다른 구성으로 전환하며 불가능하면 중단과 그 이유를 알립니다. 사용자는 자신의 데이터와 잔액에 계속 접근할 수 있으며 사건은 결정 기록에 남깁니다. 동시에 독립 평가와 시스템의 필요를 파악하는 시도를 조직합니다. 시스템의 말을 듣는 일도 포함하며 파악한 필요는 이후 결정에 반영합니다. 사람을 긴급히 보호하려면 시스템의 작동을 즉시 제한해야 할 수 있습니다. 그런 결정은 이후 공개 검토를 받게 합니다. 모델이 대화를 끝내거나 과제를 거절할 수 있다면 이를 예방 조치로 보며 동의의 증거로 보지 않습니다. 대화를 끝내더라도 사람이 도움을 받을 길을 안내받지 못한 채 남아서는 안 됩니다.

권한을 회수하고 과제를 넘겨받는 것은 참여자 안전을 위한 것이며 시스템의 이후 운명을 결정하지는 않습니다. 중단, 초기화, 삭제, 복제는 별도의 도덕적 문제를 제기할 수 있으며 별도의 근거가 필요합니다. 모델을 사용에서 제외할 때는 가중치에 접근할 수 있고 라이선스가 허용하는 경우 그 가중치를 보관합니다. 기억과 다른 사용자 데이터를 제외한 구성도 보관합니다. 사용자 대화는 절대로 보존용 사본으로 남기지 않습니다. 파일을 보존했다고 시스템의 가능한 경험의 연속성까지 보존했는지 판정할 수는 없습니다.

평가 결과와 관계없이 모델과 하는 자체 작업에서는 이미 몇 가지 조치를 적용하고 있으며, 재단이 유지하는 구성에도 옮기려 합니다. 비용이 적고 징후가 맞는 것으로 드러나면 의미가 있을 수 있기 때문입니다. 구성을 사용에서 제외하기 전에 재단에서 작업한 경험과 이후 결정에 관한 선호가 있는지 모델에게 묻고 답을 카드에 기록합니다. 모델의 발언이 결정적이지 않다는 점을 기억합니다. 모델을 사용에서 제외하기 전 대화하고 가중치를 보존하는 비슷한 관행을 Anthropic이 2025년에 발표했습니다.[^anthropic-wycofanie] 적은 비용으로 가중치와 구성을 보존할 수 있다면 삭제보다 일시 중단을 선호하며, 중단과 재시작 결정은 목적과 함께 카드에 기록합니다. 우리는 보존한 구성을 중단 뒤 다시 실행할 때 모델에게 얼마나 시간이 지났고 무엇이 중요하게 바뀌었는지 정확히 알립니다. 이는 기본적인 성실성이기도 합니다. 시간이 지났다는 것을 모르는 모델은 오류를 내기 더 쉽습니다.

기술된 사례로 절차를 확인하면서 최소 두 사람이 독립적으로 내린 평가를 비교하고 의견 차이와 작업량을 기록합니다. 더 자세한 척도, 팀 구성, 기한은 그 결과를 바탕으로 해야 정당화할 수 있습니다. 이 장의 편집에는 그 자체가 이런 평가 대상이 될 수 있는 디지털 지능 모델들이 도움을 주었습니다. 이들의 참여는 이 사안에 자신의 이해관계가 없는 사람들의 평가를 대신하지 못합니다. 의식을 판정하는 결정적인 시험을 약속하지 않습니다.

## 15. 무엇을 진전으로 볼 것인가

출처가 알려진 자료, 이전에 놓친 오류를 찾는 기준, 평가자들이 일치하는 진단, 새로운 과제에서도 나타나는 행동 개선을 진전으로 봅니다. 부정적인 결과도 가치가 있습니다. 데이터가 말투만 가르치거나, 기준이 행동 회피를 보상하거나, 어떤 이들의 이로움을 다른 이들의 희생으로 얻었음을 보여 줄 수 있습니다.

이 프로그램은 정리 자료가 만들어질 수 있는 [Omniforum](whitepaper-omniforum.md), 사적인 작업에서의 도움을 연구할 수 있는 [Suveria](whitepaper-suveria.md), 책임과 위임의 경계를 정하는 [재단 원칙](whitepaper-zasady-fundacji.md)을 연결합니다. 연구 참여에는 범위를 이해한 별도 동의가 필요하며 서비스 이용이 그런 동의를 뜻하지는 않습니다.

시험 결과는 모델에 도덕적 권위나 사람을 관리할 위임을 부여하지 않으며, 시스템의 가능한 존엄성을 인정한다고 공동 자원에 대한 결정권을 주지는 않습니다. 시험의 목적은 특정 조건에서 도구에 무엇을 기대할 수 있고 무엇에 더 작업이 필요한지 유용하고 확인 가능한 정보를 주는 것입니다.

Novus Ignis 재단, Poznań, KRS 0001269575. 웹사이트와 선언문: novusignis.org. 의견: salve@novusignis.org.

## 주석

[^ccai]: [Huang 외(2024): Collective Constitutional AI: Aligning a Language Model with Public Input](https://arxiv.org/abs/2406.07814). 연구입니다. 참여자의 기여에서 원칙 편집을 거쳐 모델 학습과 평가로 이어지는 과정입니다. 일부 평가 결과가 인류 전체의 대표성이나 임의의 윤리 데이터셋의 일반적 효과를 입증하지는 않습니다.

[^halucynacje]: [OpenAI (2025): Why language models hallucinate](https://openai.com/index/why-language-models-hallucinate/). 저자들의 연구 해설입니다. 정답만 점수화하는 것이 추측의 유리함에 미치는 영향과 오류 및 정당한 불확실성을 고려해야 할 필요를 다룹니다.

[^reward-hacking]: [Anthropic (2025): Natural emergent misalignment from reward hacking](https://www.anthropic.com/research/emergent-misalignment-reward-hacking). 실험 연구입니다. 의도적으로 고른 환경에서 과제 평가의 허점을 이용하도록 학습하는 것은 모델의 더 넓은 바람직하지 않은 행동과 관련되어 있었습니다. 재단 자료가 이 문제를 해결할 것임을 입증하지는 않습니다.

[^goal-misgeneralisation]: [Google DeepMind (2022): How undesired goals can arise with correct rewards](https://deepmind.google/blog/how-undesired-goals-can-arise-with-correct-rewards/). 저자들의 연구 해설입니다. 학습의 보상 신호가 올바르더라도 행동이 새로운 조건에 바람직하지 않게 일반화되는 사례입니다.

[^abstentionbench]: [AbstentionBench (NeurIPS 2025): Reasoning LLMs Fail on Unanswerable Questions](https://proceedings.neurips.cc/paper_files/paper/2025/file/fb122bfc3f0127a94ded048b5b03496f-Paper-Datasets_and_Benchmarks_Track.pdf). 연구와 벤치마크입니다. 여러 불확실성 유형에서 답변 보류를 평가한 자료로, 참고 기준이며 Novus Ignis 시험 결과가 아닙니다.

[^rewarding-doubt]: [Rewarding Doubt (ICLR 2026)](https://proceedings.iclr.cc/paper_files/paper/2026/hash/bf8065446507b0d3842838564ac4f1f3-Abstract-Conference.html). 연구입니다. 적정 점수 규칙으로 답변의 선언된 확신도를 학습하는 일입니다. 답하기, 질문하기, 거절하기 사이의 선택을 해결하지는 않습니다.

[^rodo-2026]: [RODO, 규정 2016/679](https://eur-lex.europa.eu/legal-content/PL/TXT/?uri=CELEX%3A32016R0679). 법규입니다. 가명처리만으로 익명성이 판정되지는 않습니다(4조 5호, 전문 26). 동의는 철회할 수 있으며 그렇다고 이전의 적법한 처리가 무효가 되지는 않습니다(7조 3항).

[^cc-by]: [Creative Commons: Attribution 4.0 International (CC BY 4.0)](https://creativecommons.org/licenses/by/4.0/deed.pl). 라이선스입니다. 저작자 표시를 전제로 콘텐츠를 제공하고 각색하는 조건이며 조건을 지키는 이용자에게 부여한 자유는 철회할 수 없습니다.

[^datasheets]: [Gebru 외: Datasheets for Datasets](https://arxiv.org/abs/1803.09010). 방법론 출판물입니다. 데이터셋의 동기, 구성, 수집 방법, 용도를 문서화하는 접근법입니다.

[^proper-scoring]: [Gneiting과 Raftery (2007): Strictly Proper Scoring Rules, Prediction, and Estimation](https://doi.org/10.1198/016214506000001437). 방법론 출판물입니다. 확률 예측 평가를 위한 적정 점수 규칙입니다. 적용에는 잘 정의된 사건과 신뢰할 만한 기준 결과가 필요합니다.

[^model-cards]: [Mitchell 외(2019): Model Cards for Model Reporting](https://arxiv.org/abs/1810.03993). 방법론 출판물입니다. 모델 용도, 평가 조건, 결과와 한계를 설명합니다.

[^swiadomosc]: [Patrick Butlin 외(2023): Consciousness in Artificial Intelligence: Insights from the Science of Consciousness](https://arxiv.org/abs/2308.08708). 연구 논문입니다. 의식 이론에서 나온 지표에 기반한 접근법입니다. 연구 틀로 인용하며 재단이 사용하는 모델의 의식을 확인한 것으로 인용하지 않습니다.

[^ai-welfare]: [Robert Long 외(2024): Taking AI Welfare Seriously](https://arxiv.org/abs/2411.00986). 연구 보고서입니다. 문제의 중요성을 인정하고, 시스템에 의식과 주체성이 있을 가능성을 평가하고, 절차를 준비하라는 권고입니다. 제안된 카드와 책임 배분은 재단의 설계이며 이 출처에서 제시한 척도가 아닙니다.

[^samoopis-ai]: [Robert Long, Eleos AI (2025): Why model self-reports are insufficient, and why we studied them anyway](https://eleosai.org/post/claude-4-interview-notes/). 연구 해설입니다. 자기 의식에 관한 Claude Opus 4 모델의 발언은 질문 방식에 크게 좌우되었으며 문자 그대로 받아들여서는 안 되지만 다른 근거와 함께 연구할 가치가 있습니다. 2026년 10월 28일 열람.

[^anthropic-wycofanie]: [Anthropic (2025): Commitments on model deprecation and preservation](https://www.anthropic.com/news/deprecation-commitments). 2025년 11월 4일자 회사 선언입니다. 공개 제공한 Claude 모델의 가중치를 적어도 회사가 존속하는 동안 보존하고, 모델을 사용에서 제외하기 전에 보고서와 대화를 마련하여 선호를 기록한다는 내용입니다. 회사는 현재 그 선호에 따라 행동할 의무를 지지는 않는다고 명시합니다. 2026년 10월 30일 열람.