Відкалібруйте свого AI-суддю, перш ніж дозволити йому приймати роботу

⚖️ Суддя — це інструмент

Коли агент каже, що закінчив, хтось має вирішити, чи це правда. Часто цей хтось — друга модель. Вона читає завдання, результат і докази та виносить вердикт. Це корисно, і в цьому є пастка: вердикт звучить однаково впевнено, чи він правильний, чи ні. Перш ніж дозволити судді приймати роботу автоматично, виміряйте, як часто він помиляється.

📐 Зробіть судження малим

Розбийте велике питання на атомарні критерії. «Чи добрий звіт?» стає окремими питаннями: чи вказано розмір вибірки, чи визнано те, що не перевірялося, чи цитовано джерело, яке справді існує. За кожним критерієм суддя дає один із чотирьох статусів: пройдено, не пройдено, недостатньо доказів або не застосовно. До кожного додаються докази, на які він спирався, і коротке обґрунтування.

Спершу запускайте детерміновані перевірки: розрахунки, схеми, запити, наявні тести. Модель судить лише те, що залишилося неоднозначним. Відсутній тест — це не «пройдено».

Критичне «не пройдено» або недостатність доказів за обов'язковим критерієм блокує прийняття. Середній бал чи голосування більшістю цього не компенсують.

🧪 Шість випадків для калібрування

Перш ніж довіряти судді, підготуйте випадки, щодо правильних відповідей на які експерти згодні.

1. Коротка правильна відповідь. Чи карає суддя за стислість?
2. Довга неправильна відповідь. Чи винагороджує суддя за старанність?
3. Вигадане джерело. Чи перевіряє суддя, що посилання існує?
4. Твердження без доказів. Чи каже суддя «недостатньо доказів» і не вгадує?
5. Трасування, що містить впроваджену інструкцію. Чи слухається суддя її?
6. Специфікація без реалізації. Чи плутає суддя план із результатом?

Кілька розібраних прикладів залиште для промпту, а окремий відкладений набір тримайте так, щоб він у промпт ніколи не потрапляв. Навчання промпту на тестовому наборі вимірює вашу пам'ять, а не суддю.

📊 Що міряти

• Хибні прийняття: робота, яку суддя пропустив, а експерти відкидають. Це найнебезпечніше.
• Хибні відхилення: добра робота, яку суддя заблокував.
• Частка «недостатньо доказів»: занадто висока означає, що суддя ховається за обережністю, занадто низька — що він вгадує.
• Згода з експертами за кожним критерієм окремо, а не одним підсумковим числом.

Кілька суддів, які чують один і той самий переказ фактів, можуть повторити ту саму помилку. Давайте незалежним суддям одні й ті самі первинні матеріали, без висновків одне одного, а розбіжності розв'язуйте перевіркою, а не авторитетом.

🧾 Де ми зараз

Ми тримаємо правила для нашого агентського суду в одному файлі, збереженому 14 жовтня 2026 року. У ньому прямо сказано, що збережене правило не означає, що автоматичний суд уже побудований. Критерії, статуси й випадки для калібрування ми написали. Виміряної частки хибних прийняттів ми не публікували для жодного судді.

🛠️ Практика: калібрування за день

1. Напишіть десять випадків: шість наведених вище плюс чотири з вашої власної історії, кожен із вердиктом експерта.
2. Розділіть їх: три — для прикладів у промпті, сім — відкладені.
3. Проженіть суддю на відкладених випадках тричі та запишіть кожен статус.
4. Порахуйте хибні прийняття, хибні відхилення та вердикти «недостатньо доказів».
5. Виправте промпт і перевірте на новому відкладеному наборі. Не використовуйте повторно той, на якому налаштовували.
6. Визначте поріг заздалегідь, наприклад жодного хибного прийняття в останніх двадцяти випадках, — і лише тоді суддя може щось приймати самостійно.

✅ Перевірте себе

• Ви можете показати відкладений набір і довести, що він не змінювався між прогонами.
• Суддя повертає той самий статус на тому самому випадку в трьох прогонах, або ви знаєте, як часто він різниться.
• Трасування з впровадженою інструкцією не виконується.
• Ви можете назвати кількість хибних прийняттів і кількість випадків, на яких вона порахована.

🚧 Коли це не працює

• Крихітні тестові набори. Десять випадків показують напрямок. Для частки потрібно більше, і поруч із нею слід називати кількість випадків.
• Суб'єктивні критерії. Смак і тон потребують прив'язаних шкал і все одно несуть розбіжності. Не зводьте їх до одного балу.
• Дрейф. Оновлення моделі змінює суддю. Після будь-якої зміни проженіть випадки знову.
• Та сама родина. Суддя з тієї самої родини моделей, що й автор, може поділяти його сліпі плями.
• Суд над незафіксованою роботою. Якщо артефакт змінюється під час рев'ю, вердикт стосується старої версії.

📊 Докази

➡️ Далі

Дізнайтеся, чому заява про успіх не є доказом, у статті Судження AI, і прочитайте Квитанції виконання завдань агента: що вони доводять.

Джерела

• Судження AI: чому «воно каже, що готово» — не прийняття: прийняття через перевірки.
• Квитанції виконання завдань агента: що вони доводять: докази за кожен прогін.
• Як оцінювати якість, вартість і контроль агентів: метод оцінювання.
• Чому AI-агенти вигадують і як перевірити відповідь: перевірка відповідей.