Цена за принятый результат: как считать и чего не скажет леджер

🧮 Формула

Цена за принятый результат — это общие затраты на задачу, делённые на число результатов, прошедших приёмку. В затраты входит каждая попытка: первая, повторы, переключение на другую модель, отклонённая работа и время человека, который проверял. Если не учесть отклонённое, число выглядит хорошо и ничего не значит.

В знаменателе легко перепутать три разные вещи. Вызов модели, вернувший ответ, — ещё не принятый результат. Результат, прошедший автоматическую проверку, ближе. Результат, который человек прочитал и подписал, — самый сильный. Скажите, какой из них вы считаете.

📒 Что показывает наш леджер

Каждый платный вызов модели через наш измеряющий транспорт пишет одну строку, включая повторы и переключения. С 2026-09-21 в леджере 10 150 строк с общей стоимостью $16,17. Из них 9 860 со статусом «ok», 220 отклонены до того, как провайдер что-либо сгенерировал, и 70 закончились ошибкой.

Если разделить сумму на число строк «ok», выходит около $0,0016 за отвеченный вызов. Это честная арифметика, но не цена за принятый результат. «Ok» здесь значит, что провайдер ответил. Он ничего не говорит о том, использовали ли ответ.

🧩 Чего не хватает и где это лежит

Низ дроби берётся из записей приёмки: прошла проверка, вердикт судьи, подпись ревьюера. В нашей схеме они лежат рядом с задачей, а не в платёжном леджере. Работа состоит в том, чтобы их связать. Пока этого нет, любая цифра из одного леджера — это цена за вызов.

Второй пробел — люди. Дешёвый запуск, требующий двадцати минут ревью, может обойтись дороже дорогого, которому хватает двух. Измеренного времени ревью в леджере у нас нет, поэтому итоговую сумму мы не публикуем.

🛠️ Практика: начните измерять за один вечер

1. Выберите одну повторяющуюся задачу, например «резюме тикета» или «черновик заметок к релизу».
2. За последние две недели посчитайте попытки, включая повторы. Это есть в панели провайдера или в леджере.
3. Определите приёмку одним предложением и пусть скрипт проверит то, что может: формат, длину, обязательные поля, ссылки, которые открываются.
4. Посчитайте, сколько результатов прошли. Отдельно отметьте те, что подписал человек.
5. Разделите общие затраты на число прошедших. Рядом с числом запишите дату и определение.
6. Добавьте в числитель минуты ревью по заявленной вами фиксированной ставке. Покажите результат с учётом и без учёта времени ревью.
7. Измеряйте заново после смены модели или промпта и сравнивайте сопоставимое с сопоставимым.

✅ Проверьте себя

• Вы можете назвать определение «принято» одним предложением и показать скрипт за ним.
• Число меняется, когда вы включаете повторы. Если не меняется, вы, скорее всего, их не посчитали.
• Вы можете сказать читателю, сколько результатов отклонено и во сколько они обошлись.
• Два запуска с разными моделями сравниваются на одних и тех же задачах с одной и той же проверкой.

🚧 Когда это не работает

• Малая выборка. Десять задач не дают устойчивого числа. Указывайте объём выборки рядом с цифрой.
• Приёмка, которая меняется. Если проверку ослабляют в ходе измерения, результат бессмысленен. Заморозьте её заранее.
• Скрытые затраты. Подписки, общие пулы и бесплатные тарифы не показывают цену за вызов. Помечайте такие цифры как неизвестные. Неизвестное — не ноль.
• Качество, которое скриптом не проверить. Тон, суждение и вкус требуют человека, и тогда в цене доминирует человек.
• Средние. Несколько дорогих сбоев прячутся за низким средним. Показывайте и десять худших.

📊 Доказательства

➡️ Дальше

Задайте лимиты до измерения по материалу Расходы, бюджеты и лимиты и сравните единичные цены в Сколько стоит ИИ-агент для кода за задачу.

Источники

• Расходы, бюджеты и лимиты: бюджет на задачу.
• Сколько стоит ИИ-агент для кода за задачу: токены, лимиты и бесплатные старты.
• Квитанции задач агента: что они доказывают: доказательства по запуску.
• AI judging: почему «он говорит, что готово» — не приёмка: как решить, что результат принят.