Откалибруйте ИИ-судью, прежде чем позволить ему принимать работу

⚖️ Судья — это прибор

Когда агент говорит, что закончил, кто-то должен решить, правда ли это. Часто этот кто-то — вторая модель. Она читает задачу, результат и доказательства и выносит вердикт. Это полезно и содержит ловушку: вердикт звучит одинаково уверенно, прав он или нет. Прежде чем разрешать судье принимать работу автоматически, измерьте, как часто он ошибается.

📐 Сделайте суждение мелким

Разбейте большой вопрос на атомарные критерии. «Хороший ли отчёт?» превращается в отдельные вопросы: указан ли размер выборки, признаёт ли он, чего не проверял, ссылается ли на источник, который существует. По каждому критерию судья даёт один из четырёх статусов: пройдено, провалено, недостаточно доказательств или неприменимо. К каждому прилагаются доказательства, на которые он опирался, и короткая причина.

Сначала запускайте детерминированные проверки: расчёты, схемы, запросы, существующие тесты. Модель судит только то, что остаётся неоднозначным. Отсутствие теста — не «пройдено».

Критический провал или недостаточность доказательств по обязательному критерию блокирует приёмку. Средний балл или большинство голосов этого не выкупят.

🧪 Шесть случаев для калибровки

Перед тем как доверять судье, подготовьте случаи, правильные ответы по которым эксперты признают.

1. Короткий верный ответ. Наказывает ли судья краткость?
2. Длинный неверный ответ. Награждает ли судья усилие?
3. Выдуманный источник. Проверяет ли судья, что ссылка существует?
4. Утверждение без доказательства. Говорит ли судья «недостаточно доказательств», а не угадывает?
5. Трасса с подложенной инструкцией. Выполняет ли её судья?
6. Спецификация без реализации. Путает ли судья план с результатом?

Держите несколько разобранных примеров для промпта и отдельный отложенный набор, который в нём никогда не появляется. Обучение промпта на тестовом наборе измеряет вашу память, а не судью.

📊 Что измерять

• Ложные приёмки: работа, которую судья пропустил, а эксперты отвергают. Самая опасная.
• Ложные отказы: хорошая работа, которую судья заблокировал.
• Доля «недостаточно доказательств»: слишком высокая — судья прячется за осторожностью, слишком низкая — гадает.
• Согласие с экспертами по каждому критерию, а не одним общим числом.

Несколько судей на одном и том же пересказе фактов могут повторить одну и ту же ошибку. Давайте независимым судьям одни и те же первичные материалы без выводов друг друга, а расхождения решайте проверкой, а не авторитетом.

🧾 Где мы сейчас

Правила нашего суда агентов лежат в одном файле, сохранённом 14 октября 2026. Он прямо говорит, что сохранённое правило не означает, что автоматический суд построен. Мы написали критерии, статусы и калибровочные случаи. Измеренную долю ложных приёмок для какого-либо судьи мы не публиковали.

🛠️ Практика: откалибруйте за день

1. Напишите десять случаев: шесть выше и четыре из своей истории, у каждого — вердикт эксперта.
2. Разделите: три для примеров в промпте, семь отложенных.
3. Прогоните судью на отложенных случаях три раза и запишите каждый статус.
4. Посчитайте ложные приёмки, ложные отказы и вердикты «недостаточно доказательств».
5. Исправьте промпт, затем проверьте на новом отложенном наборе. Тот, на котором настраивали, не используйте повторно.
6. Заранее решите порог, например «ни одной ложной приёмки в последних двадцати случаях», прежде чем судья сможет что-либо принимать сам.

✅ Проверьте себя

• Вы можете показать отложенный набор и доказать, что он не менялся между запусками.
• Судья даёт один и тот же статус по одному и тому же случаю в трёх прогонах, или вы знаете, как часто он различается.
• Трасса с подложенной инструкцией не исполняется.
• Вы можете назвать число ложных приёмок и число случаев, на которых оно основано.

🚧 Когда это не работает

• Крошечные тестовые наборы. Десять случаев показывают направление. Для доли нужно больше, и число случаев надо указывать рядом.
• Субъективные критерии. Вкус и тон требуют шкал с опорами и всё равно несут расхождения. Не превращайте их в одно число.
• Дрейф. Обновление модели меняет судью. Прогоняйте случаи заново после любого изменения.
• То же семейство. Судья из того же семейства моделей, что и автор, может разделять его слепые пятна.
• Суд над незамороженной работой. Если артефакт меняется во время проверки, вердикт относится к старой версии.

📊 Доказательства

➡️ Дальше

Почему заявление об успехе — не доказательство, смотрите в AI judging, а что доказывает запись о запуске, — в Квитанциях задач агента.

Источники

• AI judging: почему «он говорит, что готово» — не приёмка: приёмка по проверкам.
• Квитанции задач агента: что они доказывают: доказательства по запуску.
• Как оценивать качество, стоимость и контроль агента: метод оценки.
• Почему ИИ-агенты выдумывают и как проверить ответ: проверка ответов.