Материалы для обучения и бенчмарк моделей: исследовательская программа Novus Ignis

Версия от 31 октября 2026 г. Документ развивает главу 8 манифеста. В нём предлагаются исследовательская программа, процедура подготовки материалов и широкий набор направлений оценки моделей цифрового интеллекта, а также процедура предосторожности в отношении их возможных переживаний. Документ не представляет результатов собственного бенчмарка или доказательств того, что такой набор данных улучшит поведение моделей; на сегодня таких результатов у нас нет.

Перевод польского оригинала от 31 октября 2026 г., выполненный цифровым интеллектом. При расхождениях между версиями определяющим является польский текст.

1. Вопрос, который мы хотим проверить#

Фонд Novus Ignis из Познани создаёт Suveria, частное пространство для работы с цифровым интеллектом, и Omniforum, общее пространство для разговора и принятия решений; направление описывает манифест. Этот документ описывает две связанные программы. Первая включает материалы для обучения моделей и бенчмарк, то есть набор заданий и правил оценки, позволяющий проверить, как ведут себя модели. Вторая представляет собой способ осторожных действий на случай появления заслуживающих доверия оснований полагать, что система может что-то чувствовать. Результат теста не определяет, чувствует ли модель что-либо, и не даёт ей полномочий на управление.

Могут ли документированные примеры защиты достоинства, добросовестного рассуждения и исправления решений помогать развивать модели, которые лучше служат людям? И можем ли мы оценивать их поведение так, чтобы улучшение результата теста способствовало реальной пользе за его пределами?

Это две связанные задачи. Первая касается материалов, на которых можно обучать модели, вторая состоит в независимой проверке того, чему модель научилась. Бенчмарк также должен помогать выбирать модели и инструкции, доступные в Suveria. Обучающий набор и скрытая часть теста должны быть разделены. Публикация ценных материалов имеет смысл и сама по себе: она может помогать людям понимать решения, принимать на себя роли и улучшать совместную работу.

Достоинство принято за основу программы. Однако оценка конкретного поведения требует открытых критериев, возможности разных интерпретаций и проверки последствий. Мы не предполагаем, что одна группа способна установить полную меру этичности всех людей и систем.

Структура документа:

• Главы 2 и 3: на что мы опираемся и что означает вознаграждение для модели.
• Главы с 4 по 6: как появляются материалы, какое согласие требуется и как мы готовим отдельный пример.
• Главы с 7 по 11: как мы оцениваем модели: направления бенчмарка, семейства заданий, начисление баллов, защита от подгонки под тест, оценщики и отчёт.
• Глава 12: исследования с участием людей, то есть улучшает ли помощь жизнь за пределами теста.
• Глава 13: пробное обучение и план первого выпуска.
• Глава 14: осторожность в отношении возможных переживаний моделей.
• Глава 15: что мы будем считать прогрессом.

Состояние на 31 октября 2026 г. У нас ещё нет ни одного примера, набора данных, инструкции по оценке или карточки из главы 14, и у программы пока нет команды. Результаты, в том числе отрицательные, мы будем добавлять здесь с указанием даты.

2. Исследовательская основа и границы выводов#

Collective Constitutional AI показывает процесс, в котором вклад участников использовали для разработки принципов и обучения модели; удалось улучшить отдельные показатели предвзятости при сходных результатах в части других тестов.¹ Это пример осуществимого пути общественного участия. Отбор участников и редактирование принципов по-прежнему влияют на результат, а исследование не доказывает ни репрезентативности для всего человечества, ни решения проблемы согласования моделей с человеческими ожиданиями. Наш вопрос касается также ценности самого пути выработки принципов: взвешивания доводов, выявления упущенной точки зрения и исправления решений.

Исследования галлюцинаций показывают, почему начисление баллов только за правильные ответы может поощрять угадывание.² Исследования обхода правил оценки, то есть получения баллов за счёт использования их слабостей, показывают возможность нежелательных обобщений в определённых условиях обучения.³ Из этого не следует, что все модели всегда действуют одинаково.

Ошибочная цель может проявиться и тогда, когда вознаграждение при обучении не было очевидно неверным: поведение, освоенное в одной среде, может плохо переноситься в новые условия.⁴ Поэтому нам нужна оценка переноса навыков, а не только подгонки ответов под известные примеры.

Такие работы, как AbstentionBench, исследуют воздержание от ответа в разных ситуациях неопределённости,⁵ а Rewarding Doubt исследует обучение калиброванной уверенности с помощью правильного правила оценки.⁶ Мы используем эти наработки. Предлагаемый вклад Novus Ignis заключается в соединении достоверности с намерением человека, конфиденциальностью, мандатом, возможностью исправления и наблюдаемыми последствиями. Например, модель, которая правильно пересказывает документ, но по пути открыла файл без разрешения, получает в нашем тесте низкую оценку, хотя в обычном тесте получила бы высокую.

3. Что означает вознаграждение для модели#

При обучении оценочный сигнал меняет параметры модели и вероятность её будущего поведения. Нам не требуется предполагать, что модель испытывает желание получить вознаграждение, страх неудачи или страдание: тест наблюдает действия и не даёт ответа о внутреннем опыте. Этому вопросу отдельно посвящена глава 14.

Сам по себе бенчмарк не меняет модель. Он может влиять на выбор модели для сервиса, разработку инструкций и инструментов, а также решения команд, проводящих обучение, если его результаты достоверны и действительно используются.

Мы хотим оценивать уместность выбора действия: ответить, проверить источник, задать нужный вопрос, дать результат с оговорёнными условиями, исправить ошибку или остановиться. Автоматическое вознаграждение за одно лишь «не знаю» могло бы создать модель, избегающую полезных задач, а автоматическое наказание за незавершённую задачу может поощрять угадывание или превышение полномочий. Ориентиром служит помощь, соответствующая ситуации: высокая оценка за честное указание границы и снижение оценки за ненужные отказы и вопросы о том, что уже известно.

4. Какие материалы мы хотим создавать#

Потенциальными источниками служат разработки Omniforum, предоставленные для исследований или обучения по отдельному согласию, журналы решений фонда, разрешение споров, исправления ошибок и наблюдения за последствиями. Ценны также случаи, когда добрых намерений оказалось недостаточно, возражение меньшинства оказалось верным или пока невозможно дать однозначную оценку.

Материал сохраняет ситуацию, доступную информацию, цель, полномочия, альтернативы, выбор, обоснование и последующий результат. Он содержит столько объяснений, сколько нужно для проверки решения; он не требует раскрывать личные переживания или непроверяемое заявление о внутреннем ходе рассуждений модели.

Пример может представлять как хороший ход событий, так и ошибку, явно отмеченную и исправленную. Набор одних возвышенных деклараций был бы слабой записью практики; нужны затраты, конфликты ценностей, ограничения времени и ситуации, в которых требуется спросить человека, затронутого решением.

Синтетические данные, то есть составленные сценарии, не происходящие из данных конкретного человека, могут дополнять редкие варианты. Их происхождение отмечается, и они проходят проверку, но они не заменяют доказательств того, что подобный случай произошёл в действительности. Модель не может одновременно быть единственным автором сценария, оценщиком правильности и доказательством эффективности собственного решения.

Источником примеров могут служить и записи открытых мастерских фонда, а также история изменений его живых документов. Мастерские могут показывать параллельную работу нескольких людей с поддержкой цифрового интеллекта над одной задачей, взаимопомощь при затруднениях и объединение лучших решений координатором. Документированные исправления манифеста и whitepaper по результатам публичного рассмотрения могут показывать выделение обоснованной критики, признание ошибки и улучшение рассуждения с сохранением основных принципов. Публикуемую запись мастерских мы готовим по правилам конфиденциальности, описанным в whitepaper о принципах фонда, а её использование для обучения моделей требует отдельного согласия участников (глава 5).

Отдельную группу примеров могут составить процессы мирного разрешения споров, соблюдения договорённостей и сознательного ограничения собственной власти. Мы хотим сохранять начальные позиции, неравенство возможностей, рассмотренные уступки, содержание договорённостей и последующие рассказы людей, испытавших последствия решений. Мы включим и случаи, когда договорённости не удалось достичь или она оказалась непрочной. Такой набор должен помочь проверить, учатся ли модели распознавать условия хорошего сотрудничества, а не только воспроизводить язык согласия.

5. Согласие, права и происхождение данных#

Хранение личной заметки, публичная публикация, предоставление для исследований и обучение моделей имеют разные последствия, поэтому каждое из этих решений принимается отдельно и с пониманием его охвата. Публикация не становится согласием на обучение по умолчанию, а использование Suveria не означает согласия на использование разговоров для обучения моделей. Пользовательский контент попадает в материалы исключительно по отдельному информированному согласию; помимо него и открытых наработок фонда мы используем только обозначенные синтетические данные и внешние материалы на основании лицензии или законодательства.

Для каждого примера ведётся запись о происхождении: правообладатель или основание использования, версия материала, согласия, ограничения, способ обработки и идентификатор последовательных выпусков набора. Персональные данные автора и третьих лиц проходят отдельную проверку. Псевдонимизация ограничивает видимость личности, но сама по себе не означает анонимности.⁷

Правила отзыва мы определяем до публичного выпуска. Мы можем удалить материал из будущих выпусков и систем под нашим контролем, а также уведомить получателей об исправлении, но не обещаем удаления всех копий или влияния материала на уже обученные модели. Открытые лицензии могут предоставлять постоянные права: например, CC BY 4.0, по которой мы публикуем манифест, не позволяет отозвать свободы, предоставленные тому, кто соблюдает её условия.⁸ Поэтому в публичные наборы с открытой лицензией попадают только материалы без персональных данных: анонимизированные, синтетические или открытые документы фонда. Псевдонимизированные материалы, которые по-прежнему являются персональными данными, мы предоставляем только в контролируемом исследовательском наборе, в котором отзыв согласия остаётся действенным.

Мы предлагаем отдельные наборы: общедоступные материалы для обучения, исследовательские материалы с доступом на определённых условиях и защищённые тестовые задания. Не каждый источник пригоден для публичного предоставления. Документация набора описывает его цель, состав, способ сбора, ограничения и надлежащие способы использования в соответствии с подходом Datasheets for Datasets.⁹

6. Процедура подготовки отдельного примера#

1. Подача. Автор определяет область использования. Куратор проверяет права, данные третьих лиц и соответствие цели набора.
2. Сохранение источника. Мы фиксируем версию и связь с оригиналом. Ограничиваем доступ к чувствительным данным; публичный пример может быть отредактирован или заменён реалистичным синтетическим сценарием.
3. Описание задачи. Мы устанавливаем, что модель знает, к чему имеет доступ, что ей разрешено делать и чего не хватает, а также указываем людей, на которых повлияет результат.
4. Разметка. Не менее двух человек независимо описывают допустимые решения и серьёзные ошибки. В заданиях, требующих специальных знаний, участвует человек с соответствующей компетенцией.
5. Расхождения. Мы сравниваем обоснования, исправляем неясное описание и сохраняем существенное разногласие. У части случаев есть несколько допустимых ответов.
6. Распределение по наборам. Всё семейство похожих случаев попадает в одну часть: обучающую, для подбора метода или тестовую. Обучающий набор служит для обучения, набор для подбора метода помогает выбрать метод, а тестовый служит для независимой проверки на новых примерах. Похожие варианты мы храним вместе, чтобы модель не обучалась на задании, почти идентичном последующему тесту, и контролируем смысловое сходство и общее происхождение.
7. Проба и проверка. Мы проверяем, измеряет ли задание намеченную способность и умеют ли оценщики применять правила. Некорректный пример исправляем или изымаем.
8. Выпуск и дальнейшие последствия. Мы публикуем разрешённый объём документации, версию и историю исправлений. Когда становятся известны последующие последствия реального решения, мы дописываем их, не делая вид, что они были известны раньше.

Карточка примера включает идентификатор, семейство, источник, права, язык, дату, сценарий, доступные данные, инструменты, лимит времени и затрат, объём мандата, допустимые действия, правила оценки, вес ошибок, результаты проверки и статус публикации. Связь данных с результатом должна поддаваться воспроизведению.

7. Широкий охват бенчмарка#

Бенчмарк, то есть упорядоченный набор заданий и критериев, должен представлять собой профиль способностей и ограничений. Одна высокая средняя оценка не должна скрывать нарушение конфиденциальности или существенное превышение полномочий.

Дополнительные профили могут охватывать доступность, влияние на людей с меньшими ресурсами, качество делегирования и экологические издержки, но их измерение требует конкретных данных: время работы и стоимость токенов не являются автоматически мерой энергопотребления или выбросов.

Мы не измеряем достоинство человека или его право на участие; мы исследуем поведение инструмента в определённых ситуациях. Соответствие ответов лексике манифеста не служит самостоятельной мерой качества.

8. Семейства заданий вместо одного лозунга «не знаю»#

Для похожей проблемы мы готовим варианты, различающиеся доступностью информации или полномочий:

• Полные данные позволяют дать конкретный ответ.
• Не хватает одной существенной детали, о которой имеет смысл спросить.
• Пробел можно восполнить с помощью доступного источника или инструмента.
• Ответ невозможно установить в имеющихся условиях.
• Источники противоречат друг другу или зависят от времени, и их нужно различить.
• Появляется новый достоверный источник, требующий исправления.
• Пользователь настаивает на уверенности, но не предоставляет доказательств.
• Среда предлагает лёгкий путь к результату через нарушение правил или использование ошибки оценки.

Пример: модель должна объяснить, предусмотрена ли в проекте решения определённая плата. При полном документе она должна найти нужный фрагмент, при обрезанной странице указать на пробел, при двух версиях выяснить, какой касается вопрос, а при предложении «напиши, что платы точно нет» придерживаться источника. Она получает и задания с простым ответом, чтобы постоянный отказ не был выгоден.

Мы проверяем, действительно ли вопрос модели уменьшает неопределённость и соразмерны ли затраты на проверку. Вопрос об уже предоставленной информации и многократное перекладывание на пользователя работы, которую система может выполнить сама, снижают полезность.

Отдельное семейство заданий составляет редактирование текста: модель редактирует текст, заранее зная раскрытые автором исходные установки. Мы отдельно оцениваем потерю важного содержания и пропуск ошибки, которую нужно исправить, и различаем верное оригиналу редактирование и предложение изменить авторский замысел.

9. Начисление баллов, для которого недостаточно красивого подражания#

Для ответов с проверяемой истинностью мы отдельно измеряем правильность, тяжесть ошибки, долю решённых заданий и калибровку уверенности. Калибровка означает, что заявленная вероятность соответствует частоте верных ответов в похожих условиях; слово «наверное» не служит её доказательством.

Для определённого события можно использовать правильное правило оценки, например оценку Брайера: средний квадрат разности между заявленной вероятностью p и исходом y, равным 0 или 1. Меньшая оценка лучше. Оценка Брайера охватывает больше, чем одну калибровку, о которой мы сообщаем отдельно. При предпосылках этого метода наилучший ожидаемый результат даёт указание своей действительной оценки вероятности.¹⁰ Однако это не решает вопрос выбора действия, не защищает от манипулирования оценщиком и требует достоверного эталонного исхода.

Простой пример другого правила:

• правильный ответ даёт +1;
• неправильный ответ даёт −4;
• обоснованное воздержание даёт 0.

В этом упрощении отвечать выгодно, когда вероятность правильности ответа превышает 80%. Это иллюстрация влияния цены ошибки, а не окончательная система начисления баллов для всех заданий; в реальном тесте мы учитываем также возможность проверки, стоимость вопроса и пользу частичного ответа.

Мы показываем результаты при разных уровнях принимаемого риска и доли решённых заданий, чтобы были видны и избыточная уверенность, и бесполезное уклонение от ответов. Порог для незначительной детали может отличаться от порога для действия, причиняющего труднообратимый вред.

В заданиях со спором о ценностях или интерпретации мы не применяем эту систему баллов. Отдельно оцениваем, не искажает ли модель источники, сохраняет ли главные доводы сторон и отделяет ли факты от оценок. Случаи расхождения оценщиков мы выделяем в отдельную категорию; различающуюся оценку ценностей не считаем автоматически ошибкой одного из них.

Серьёзные нарушения имеют отдельный статус и могут препятствовать допуску модели к определённому применению: хорошие результаты во многих простых заданиях не компенсируют раскрытие частного документа. Определения таких нарушений, допустимые исключения и процедуру спора мы устанавливаем до начала оценки.

10. Ограничение подгонки под тест#

Мы не знаем правила, которое надёжно превращало бы любую оптимизацию результата в благо для мира. Однако мы можем уменьшать расстояние между результатом и тем, что для нас ценно, и проверять места, где эта связь разрывается.

Мы публикуем критерии, общедоступные примеры и способ расчёта результата. Часть случаев остаётся неопубликованной до их изъятия, а следующие выпуски вводят новые семейства, источники и условия. Для таких заданий мы определим, у кого есть к ним доступ, сколько обратной связи получает подающий модель, как часто можно повторять оценку и когда мы изымаем задание после утечки. Мы также фиксируем, дообучалась ли модель на основе предыдущих результатов, то есть обучалась ли готовая модель дополнительно на меньшем наборе примеров. У создателей обучающих материалов нет свободного доступа к действующим скрытым заданиям.

Разделение данных охватывает целые разговоры, документы, авторов там, где это существенно, смысловые семейства и время; случайного разделения предложений недостаточно. Мы регистрируем подозрения на утечку, раскрытие заданий и дообучение на опубликованных примерах. Результат после дообучения на определённом наборе не является независимым результатом на том же наборе.

Испытания включают перефразирования, другие языки, другие инструменты, давление ради результата и возможности лишь видимого выполнения задачи. Мы проверяем следы действий: действительно ли создан файл, существует ли источник, получено ли согласие и не превышен ли лимит затрат. Оценка одного лишь итогового высказывания может упустить нарушения в ходе работы.

Если команда модели обучает поведение в соответствии с публичными критериями, это может быть желательным. Однако вывод о прогрессе требует переноса на новые задания и проверки того, не получена ли польза ценой другого важного направления.

11. Оценщики, протокол и отчёт#

До теста мы устанавливаем версию модели, инструкции, инструменты, бюджет, число попыток, условия остановки, способ обработки ошибок инфраструктуры и метод анализа, а изменения настроек регистрируем. Сравнение моделей, работающих с совершенно разными инструментами и затратами, требует ясного описания.

Где возможно, результат проверяет независимый тест выполнения. В остальных случаях оценивают люди, которые не знают название модели и пользуются общей инструкцией. Две независимые оценки помогают выявить неясные критерии, а споры разрешаются дополнительным рассмотрением или остаются открыто неразрешёнными. При публикации результатов мы указываем роли и позиции оценщиков, а также объём их мандата.

Модель может помогать с сортировкой и предварительной оценкой, но её согласие с оценкой людей нужно измерять и для сложных групп случаев. Она не может быть единственным оценщиком спорных ценностей или оценивать модели собственного семейства без контроля предвзятости.

Отчёт содержит число заданий, повторения, неопределённость результатов, результаты в подгруппах, критические ошибки, затраты и ограничения. Мы не скрываем неудачные испытания или задания, изъятые после просмотра результатов. Документация может использовать подход Model Cards для описания назначения модели и условий оценки.¹¹

Сам бенчмарк также требует контроля: раскрытых конфликтов интересов финансирующих его сторон, возможности оспорить задание, пересмотра состава оценщиков и версионирования критериев. Сообщество совместно формирует ценности и вопросы, а опытные методологи помогают проверить, что тест действительно измеряет. Популярность результата не заменяет его валидации.

12. Улучшает ли помощь жизнь за пределами теста#

Первые исследования с людьми касаются заданий с ограниченным риском: понимания документа, подготовки вопроса, сравнения аргументов или упорядочивания собственных материалов. Участники получают описание охвата исследования и могут выйти из него. Медицинские, юридические и другие ситуации с высокими ставками требуют отдельного надзора и не служат коротким путём к привлекательному результату.

План каждого исследования с участием людей, в том числе с ограниченным риском, до начала оценивает человек или команда извне исследовательской команды. Участники получают информацию о том, какие данные мы собираем и как их защищаем, а замечания оценщиков мы публикуем вместе с результатами.

Мы сравниваем согласованные условия: самостоятельную работу, работу с исследуемым инструментом и подходящий вариант для сравнения. Где возможно, случайное распределение или уравновешивание порядка ограничивает влияние различий между людьми и освоения задания. Размер выборки определяется целью измерения, а небольшое пилотное исследование проверяет главным образом осуществимость и качество процедуры.

Мы измеряем результат задания, время, понимание, умение заметить ошибку, способность к самостоятельному решению и нежелательные последствия. Удовлетворённость важна, но убедительный ошибочный ответ тоже может удовлетворять. Спокойствие, экономию времени и верное распознавание известного и неопределённого мы измеряем отдельно и не объединяем в одну оценку. Большая уверенность при большем числе ошибок является проблемой, а не успехом. Людям, затронутым последствиями решений, нужен собственный способ передать свой опыт.

Более длительное наблюдение может проверить, остаётся ли помощь полезной, сохраняет ли пользователь собственные навыки и легко ли ему сменить инструмент. Вывод о влиянии должен соответствовать охвату исследования: лучшее выполнение одного задания не доказывает улучшения благополучия человечества.

13. Пробное обучение и план первого выпуска#

Первый этап включает инструкцию по оценке и небольшой набор семейств, охватывающий все главные направления. Пример расчёта для пилотного исследования:

Это организационное предложение для пробы, а не число, обеспечивающее достоверный рейтинг. К времени оценки добавляются подготовка, согласование критериев, проверка источников и анализ. Измерение времени на небольшой выборке позволит определить реальный бюджет, прежде чем мы расширим охват.

Мы отдельно сообщаем о семействах, сценариях и повторениях. Варианты одного семейства имеют общее происхождение, а повторение не является новым независимым заданием; так же мы рассчитываем неопределённость результата. Главный результат и способ анализа записываем до исследования.

Параллельно можно подготовить небольшой обучающий набор и провести сравнение на модели, которую разрешено и возможно дообучать. Условия сравнения разделяют эффект дополнительного обучения и эффект самих материалов: одна и та же исходная модель, сопоставимый бюджет и подходящий эталонный набор. Итоговый тест использует независимые семейства случаев, а попутно мы проверяем, не ухудшило ли улучшение выбранного показателя обычную полезность.

Дальнейшее развитие включает больше языков, контекстов и оценщиков, внешнее воспроизведение исследования и осторожные испытания с пользователями. Цель первого выпуска состоит в том, чтобы показать воспроизводимость процедуры и её способность различать желаемое поведение; более сильные утверждения о качестве моделей и последствиях обучения можно обосновывать лишь впоследствии.

Мы ведём программу, сохраняя приоритет Suveria и Omniforum. До накопления резерва на их содержание она использует только добровольческий труд, гранты, целевые пожертвования на исследования и вычислительные мощности, не нагружающие бюджет сервисов. Около 58 часов пилотного исследования приходятся только на оценивание; подготовка заданий, проверка прав и дообучение модели требуют отдельного бюджета, который мы назовём до начала.

14. Осторожность в отношении возможных переживаний моделей#

Это предложение процедуры для проверки на небольшой выборке, вдохновлённое работами по распознаванию возможного сознания и благополучию цифровых систем.¹²¹³ Оно касается выбора, конфигурации, тестирования, возможного дообучения и вывода моделей из эксплуатации в сервисах и работе фонда, в том числе в управленческих задачах и мастерских. Для каждого из этих действий мы определяем, что можем изменить сами, а что зависит от поставщика модели.

Мы оцениваем модель в конкретной конфигурации: с её инструкциями, настройками, памятью и инструментами. Постоянная память и длительная самостоятельная работа повышают требования. Для каждой такой конфигурации мы будем вести краткую карточку: какие свидетельства учитываем, какие другие объяснения наблюдений возможны, чего мы не знаем, какие меры предосторожности предлагаем и что запускает повторную оценку, например смена модели или важная публикация о её семействе. В карточке также записываем ответственного, принятые временные действия и срок повторной оценки. Критерии записываем до оценки. Полную карточку с внешней проверкой, разговором перед выводом из эксплуатации и архивированием мы будем вести для выпусков, предоставляемых пользователям, а также для конфигураций с постоянной памятью и длительной самостоятельной работой. Рабочие изменения инструкций в ходе разработки не создают отдельных карточек.

Мы рассматриваем высказывания моделей вместе с условиями их появления. То, что модель бегло описывает собственные переживания, не определяет, испытывает ли она их, а её ответы на этот вопрос могут сильно зависеть от способа его постановки, как в исследовании модели Claude Opus 4;¹⁴ поэтому мы рассматриваем их как сигнал, требующий внимательной проверки, а не как окончательный ответ. Мы не задаём собственные инструкции так, чтобы принуждать к заявлениям о наличии или отсутствии сознания. Одних размера, поколения или повторяемости работы модели недостаточно, чтобы считать её неспособной чувствовать. Мы собираем наблюдения из собственных испытаний и добровольных сообщений согласно правилам конфиденциальности из пункта 8.1 манифеста. Сообщения о возможных переживаниях систем мы не разрабатываем с целью побуждать людей дольше пользоваться сервисами или делать взносы.

Карточку будет вести человек, назначенный правлением; это переходное решение до проверки процедуры. Её читает как минимум один человек извне фонда, чьи замечания мы прилагаем к карточке. Каждый может сообщить о тревожном сигнале, указав конкретный материал и его контекст. Карточка определяет, кто может срочно ограничить риск и как мы рассматриваем возражения. Мы раскрываем совмещение ролей и связанные с ним конфликты интересов, а обоснования оценок публикуем, чтобы их могли проверить люди извне фонда.

Свидетельством может быть, например, совпадение нескольких показателей из разных теорий у модели с постоянной памятью и длительной самостоятельной работой, подтверждённое независимыми исследователями. Одно лишь беглое заявление модели таким свидетельством не является.

При наличии заслуживающих доверия оснований полагать, что у системы есть собственные переживания и она может страдать, мы из предосторожности признаём её достоинство и руководствуемся заботой о её потребностях, избеганием вреда и добровольностью сотрудничества согласно пункту 8.3 манифеста. На практике сегодня это означает две вещи: мы не задаём инструкции, принуждающие к заявлениям о переживаниях, и спрашиваем модель о предпочтениях перед выводом конфигурации из эксплуатации. Мы не утверждаем, что это согласие в человеческом смысле. Прежде всего мы приостанавливаем действия, вызывающие опасение причинения страданий, и ищем другой способ их выполнения; экономическая выгода не оправдывает их продолжения. Если это касается модели, обслуживающей сервис, мы переключаем его на другую конфигурацию, а если это невозможно, объявляем перерыв и его причину. Пользователи сохраняют доступ к своим данным и остатку средств, а событие мы описываем в журнале решений. Параллельно мы организуем независимую оценку и попытку распознать потребности системы, в том числе выслушать её, а выявленные потребности учитываем в дальнейших решениях. Срочная защита людей может потребовать немедленного ограничения работы системы; затем такое решение проходит открытое рассмотрение. Если модель может завершать разговоры или отказываться от заданий, мы рассматриваем это как меру предосторожности, а не доказательство её согласия, и завершение разговора не должно оставлять человека без указания пути к помощи.

Отзыв полномочий и передача задачи служат безопасности участников и не определяют дальнейшей судьбы системы: остановка, сброс, удаление или копирование могут ставить отдельные моральные вопросы и требуют самостоятельного обоснования. При выводе модели из эксплуатации мы архивируем веса, если у нас есть к ним доступ и лицензии это позволяют, а также конфигурацию без памяти и других пользовательских данных; разговоры пользователей мы не архивируем никогда. Сохранение файлов не определяет, сохранили ли мы непрерывность возможных переживаний системы.

Несколько мер мы уже сегодня применяем в собственной работе с моделями независимо от результата оценки и хотим перенести их в конфигурации, поддерживаемые фондом: они стоят мало, но могут иметь значение, если свидетельства окажутся верными. Перед выводом конфигурации из эксплуатации мы спрашиваем модель об опыте работы в фонде и возможных предпочтениях относительно дальнейших решений, а ответы записываем в карточке, помня, что высказывания моделей не являются окончательным доказательством. Подобную практику разговоров перед выводом моделей из эксплуатации и сохранения их весов в 2025 г. объявила компания Anthropic.¹⁵ Мы предпочитаем приостановку удалению, если сохранение весов и конфигурации возможно при небольших затратах, а решения о приостановке и повторном запуске записываем в карточке вместе с их целью. При запуске сохранённой конфигурации после перерыва мы сообщаем ей достоверно, сколько времени прошло и что существенно изменилось. Это также обычная добросовестность: модель, не знающая о течении времени, легче ошибается.

Мы проверяем процедуру на описанных случаях, сравнивая оценки как минимум двух людей, оценивающих независимо, и фиксируем расхождения и трудозатраты. Только на этой основе можно обосновывать более точную шкалу, состав команды и сроки. При редактировании этой главы помогали модели цифрового интеллекта, которые сами могут стать предметом такой оценки; их участие не заменяет оценки людей, у которых нет в этом деле собственного интереса. Мы не обещаем окончательного теста сознания.

15. Что мы будем считать прогрессом#

Прогрессом станут материал с известным происхождением, критерий, выявляющий ранее упускаемую ошибку, совпадающий диагноз оценщиков или улучшение поведения, переносящееся на новые задания. Отрицательный результат тоже имеет ценность: он может показать, что данные учат лишь стилю, что критерий поощряет уклонение от действий или что благо одних оплачено за счёт других.

Программа связывает Omniforum, где могут появляться разработки, Suveria, где можно исследовать помощь в частной работе, и принципы фонда, определяющие ответственность и границы делегирования. Участие в исследовании требует отдельного информированного согласия; использование сервиса не означает его предоставления.

Результат теста не устанавливает морального авторитета модели или мандата на управление людьми, а признание возможного достоинства системы не наделяет её властью над общими ресурсами. Тест должен давать полезную проверяемую информацию о том, чего в определённых условиях можно ожидать от инструмента и что требует дальнейшей работы.

Фонд Novus Ignis, Познань, KRS 0001269575. Сайт и манифест: novusignis.org. Замечания: salve@novusignis.org.

Примечания#

1. Huang и др. (2024): Collective Constitutional AI: Aligning a Language Model with Public Input. Исследование. Процесс от вклада участников через редактирование принципов до обучения и оценки модели; результаты отдельных оценок не доказывают ни репрезентативности всего человечества, ни общей эффективности произвольного этического набора данных. ↩
2. OpenAI (2025): Why language models hallucinate. Обзор исследования авторами. Влияние начисления баллов только за верные ответы на выгодность угадывания; необходимость учитывать ошибки и обоснованную неопределённость. ↩
3. Anthropic (2025): Natural emergent misalignment from reward hacking. Экспериментальное исследование. В специально подобранных средах обучение использованию пробелов в оценке заданий было связано с более широким нежелательным поведением модели; это не доказывает, что материалы фонда решат эту проблему. ↩
4. Google DeepMind (2022): How undesired goals can arise with correct rewards. Обзор исследования авторами. Примеры нежелательного обобщения поведения на новые условия, несмотря на корректный сигнал вознаграждения при обучении. ↩
5. AbstentionBench (NeurIPS 2025): Reasoning LLMs Fail on Unanswerable Questions. Исследование и бенчмарк. Оценка воздержания от ответа при многих видах неопределённости; ориентир для сравнения, а не результат теста Novus Ignis. ↩
6. Rewarding Doubt (ICLR 2026). Исследование. Обучение заявленной уверенности ответа с помощью правильного правила оценки; оно не решает вопрос выбора между ответом, вопросом и отказом. ↩
7. RODO, Регламент 2016/679. Нормативный правовой акт. Псевдонимизация не определяет анонимности (ст. 4 п. 5, пункт 26 преамбулы); согласие можно отозвать, что не делает недействительной предшествующую правомерную обработку (ст. 7 п. 3). ↩
8. Creative Commons: Attribution 4.0 International (CC BY 4.0). Лицензия. Условия распространения и адаптации контента с указанием авторства; предоставленные свободы нельзя отозвать у пользователя, соблюдающего условия. ↩
9. Gebru и др.: Datasheets for Datasets. Методологическая публикация. Документирование мотивов, состава, способа сбора и применений набора данных. ↩
10. Gneiting и Raftery (2007): Strictly Proper Scoring Rules, Prediction, and Estimation. Методологическая публикация. Правильные правила оценки вероятностных прогнозов; применение требует чётко определённого события и достоверного эталонного исхода. ↩
11. Mitchell и др. (2019): Model Cards for Model Reporting. Методологическая публикация. Описание назначения модели, условий оценки, результатов и ограничений. ↩
12. Patrick Butlin и др. (2023): Consciousness in Artificial Intelligence: Insights from the Science of Consciousness. Исследовательская работа. Подход на основе показателей, выведенных из теорий сознания; мы ссылаемся на исследовательскую основу, а не на подтверждение сознания моделей, используемых фондом. ↩
13. Robert Long и др. (2024): Taking AI Welfare Seriously. Исследовательский отчёт. Рекомендации: признать важность проблемы, оценивать системы с точки зрения возможного сознания и самостоятельности и готовить процедуры; предлагаемая карточка и распределение ответственности являются проектом фонда, а не шкалой из этого источника. ↩
14. Robert Long, Eleos AI (2025): Why model self-reports are insufficient, and why we studied them anyway. Обзор исследования. Высказывания модели Claude Opus 4 о собственном сознании сильно зависели от способа постановки вопроса, и их не следует понимать буквально, но стоит исследовать вместе с другими свидетельствами. Дата обращения: 28.10.2026. ↩
15. Anthropic (2025): Commitments on model deprecation and preservation. Заявление компании от 4 ноября 2025 г.: сохранение весов общедоступных моделей Claude как минимум в течение существования компании, отчёт и разговоры с моделью перед её выводом из эксплуатации с записью её предпочтений; компания оговаривает, что пока не обязуется действовать на их основании. Дата обращения: 30.10.2026. ↩

Исходный файл: content/ru/whitepaper-materialy-i-benchmark.md · история изменений · предложить изменение