Оценки и доказательства: как сравнивать результаты

Методика Tvijo, 29 октября 2026. Это внутренняя редакционная методика, не независимый рейтинг. Баллы Tvijo и конкурентов пока не выставлены: сопоставимого продуктового эксперимента нет.

Что сравнивать

Сравниваем выполнение конкретной задачи. Название модели, редактор, расширение, терминальный harness и MCP-сервер — разные компоненты результата. Балл модели в публичном бенчмарке нельзя присвоить всей системе Tvijo.

Нарушение обязательной границы доступа блокирует приёмку. Его нельзя компенсировать высоким средним баллом по скорости.

Если нужна шкала 1–10

Сначала показываем исходную величину. Для доли успешно принятых задач можно заранее закрепить отображение 1 + 9 × p, где p — доля от 0 до 1. Это выбранная визуальная шкала, не научный стандарт. Для времени и стоимости нужны отдельные заранее заданные пороги, согласованные с заказчиком. Нельзя менять пороги после просмотра результата.

Нет измерения → нет данных (N/A). Это не ноль, не одна звезда и не отрицательная оценка. Общий балл допустим только при опубликованных весах, достаточном покрытии и прохождении обязательных проверок. Пока предпочтительна таблица отдельных критериев без общей звезды.

Паспорт сравнения

Публикуем задачу и набор данных, версии клиентов и моделей, harness, промпт, доступные инструменты, ограничения времени и денег, число попыток, правило приёмки, сырые результаты, дату и автора. Отдельно указываем спонсора, связь оценщика с продуктом и возможность воспроизведения.

Самооценка Tvijo, кейс клиента и независимое испытание — разные подписи. Независимость относится к проверяющему и условиям, а не к дизайну страницы. Слово «проверено» требует ссылки на проверку и её область.

Небольшой честный эксперимент

1. Выбрать задачи из реальной работы и согласовать критерии до запуска.
2. Сравнить текущий процесс с Tvijo на сопоставимых задачах. Учесть опыт, порядок выполнения и эффект обучения; по возможности случайно назначить условия.
3. Оценивать результат без знания инструмента, если это практически возможно.
4. Считать все попытки, отказы, ручные исправления и затраченное время.
5. Показать разброс и ограничения выборки. Пилот из двадцати задач — начальное свидетельство, не доказательство универсального превосходства.

Пересечение доверительных интервалов двух оценок само по себе не доказывает отсутствие различия. Нужен анализ разницы с учётом дизайна эксперимента. pass@k — успех хотя бы одной из k попыток; pass^k в соответствующих агентных оценках характеризует согласованный успех всех k повторов. Эти метрики нельзя подменять друг другом.

Почему чужие цифры не обещание для Tvijo

METR, 2025 наблюдал увеличение времени на 19% у 16 опытных разработчиков на 246 задачах знакомых репозиториев. Эксперимент Copilot, 2023 получил сокращение времени на 55,8% на задаче HTTP-сервера. Различались задачи, участники и инструменты. Ни один результат не измеряет Tvijo.

В обновлении METR 2026 описаны проблемы отбора участников и измерения времени. DORA 2025 сообщает ассоциации с результативностью и стабильностью; это не рандомизированное испытание Tvijo. Статус препринта и тип исследования фиксируем отдельными полями.

Текущее доказательство Odoo: синтетические тесты подтверждают ограниченные свойства прототипа. Они не дают балла его бизнес-пользе, живой ERP-интеграции или удобству TvijoCode. Границы пилота · Путь внедрения · Учёт практики.

τ-bench: pass^k.