Вартість на прийнятий результат: як її рахувати і чого не скаже журнал обліку

🧮 Формула

Вартість на прийнятий результат — це загальні витрати на завдання, поділені на кількість результатів, що пройшли приймання. Загальні витрати охоплюють кожну спробу: першу спробу, повторні запуски, перехід на іншу модель, відхилену роботу й час людини, яка її перевіряла. Якщо відхилену роботу не врахувати, число виглядає добре і не говорить нічого.

У нижній частині дробу є дві речі, які легко переплутати. Виклик моделі, що повернув відповідь, — це не прийнятий результат. Результат, що пройшов автоматичну перевірку, ближчий до нього. Найсильніший варіант — результат, який людина прочитала й підписала. Скажіть, що саме ви рахуєте.

📒 Що показує наш журнал обліку

Кожен оплачений виклик моделі в нашому транспорті з вимірюванням записує один рядок, зокрема повторні запуски й переходи на іншу модель. Від 2026-09-21 журнал містить 10 150 рядків із загальною вартістю $16,17. З них 9 860 рядків мають результат "ok", 220 було відмовами до того, як постачальник щось згенерував, а 70 завершилися помилкою.

Якщо поділити загальну суму на кількість рядків зі статусом "ok", виходить близько $0,0016 за виклик з відповіддю. Це справжня арифметика, але це не вартість на прийнятий результат. "Ok" тут означає, що постачальник відповів. Про те, чи використали відповідь, це не говорить нічого.

🧩 Чого бракує і де це лежить

Нижня частина дробу походить із записів про приймання: перевірка, що пройшла, вердикт судді, підпис рецензента. У нашій конфігурації вони лежать поряд із завданням, а не в журналі обліку витрат. Зіставити ці два джерела — і є робота. Поки її не зроблено, будь-яке число лише з журналу — це вартість на виклик.

Друга прогалина — люди. Дешевий запуск, що потребує двадцяти хвилин перевірки, може коштувати більше, ніж дорогий запуск, якому потрібно дві. Виміряного часу на перевірку в журналі немає, тому підсумкову суму ми не публікуємо.

🛠️ Практика: почніть вимірювати за один день

1. Виберіть одне повторюване завдання, наприклад "підсумувати тікет" або "написати чернетку нотатки до релізу".
2. За останні два тижні порахуйте спроби, зокрема повторні запуски. Це є в панелі постачальника або в журналі обліку.
3. Сформулюйте визначення приймання одним реченням і дайте скрипту перевіряти те, що він може: формат, довжину, обов'язкові поля, посилання, що відкриваються.
4. Порахуйте, скільки результатів пройшло. Позначте ті, які ще й підписала людина.
5. Поділіть загальні витрати на кількість результатів, що пройшли. Запишіть дату й визначення поруч із числом.
6. Додайте хвилини перевірки у верхню частину дробу за фіксованою погодинною ставкою, яку ви вказуєте. Подайте результат і з часом перевірки, і без нього.
7. Після зміни моделі чи промпту виміряйте знову й порівнюйте порівнюване.

✅ Перевірте себе

• Ви можете назвати визначення "прийнято" одним реченням і показати скрипт, що за ним стоїть.
• Число змінюється, коли ви враховуєте повторні запуски. Якщо не змінюється, ви, найімовірніше, їх не порахували.
• Ви можете сказати читачеві, скільки результатів відхилили і скільки вони коштували.
• Два запуски з різними моделями порівнюються на тих самих завданнях із тією самою перевіркою приймання.

🚧 Коли це не працює

• Крихітні вибірки. Десять завдань не дають стабільного числа. Подавайте кількість поруч із числом.
• Приймання, що змінюється. Якщо під час вимірювання перевірку послабили, результат нічого не вартий. Спершу зафіксуйте її.
• Приховані витрати. Підписки, спільні пули й безкоштовні тарифи не показують ціну за виклик. Позначайте такі числа як невідомі. Невідоме — це не нуль.
• Якість, яку не перевірити скриптом. Тон, судження й смак потребують людини, і тоді вартість людини домінує.
• Середні значення. Кілька дорогих провалів можуть сховатися за низьким середнім. Показуйте також десять найгірших.

📊 Докази

➡️ Далі

Ставте обмеження до того, як вимірювати, разом із Витрати, бюджети й обмеження, і порівнюйте питомі витрати в Скільки коштує AI-агент для кодування на одне завдання?.

Джерела

• Витрати, бюджети й обмеження: як задати бюджет на завдання.
• Скільки коштує AI-агент для кодування на одне завдання?: токени, обмеження й безкоштовні старти.
• Квитанції завдань агента: що вони доводять: докази по кожному запуску.
• Суддівство AI: чому «воно каже, що готово» — не приймання: як вирішити, що результат прийнято.