Как оценивать качество, стоимость и контроль агентов

Это проект методики, а не завершённый бенчмарк. Статья не присваивает место Tvijo, Codex, Claude, Gemini или Sakana. Она описывает доказательства, необходимые для сравнения.

Карта технологий · Учебные задания

Сравнивать одну и ту же задачу

До запуска зафиксируйте корпус заданий, коммит, образ среды, доступные инструменты, команды приёмки, способ измерения времени и бюджеты. Разделите модель, провайдера, оркестрацию и режим разрешений. Сравнение модели и управляемого процесса допустимо только при явном описании обоих условий. Используйте свежие изолированные рабочие каталоги, повторы, размер выборки, все отказы и неопределённость.

Начните с синтетических задач документации, кода и поиска. FullAccess и Max Speed — названия настроек, а не доказательства качества или безопасности. Проверки рискованных режимов выполняются в одноразовой песочнице с фиктивными ключами, без рабочих аккаунтов и с ограниченной сетью. Не отключайте защиту продакшена ради сравнения.

Фиксировать результаты и знаменатели

Прайс и запрошенное имя модели не заменяют квитанцию использования и подтверждение обслужившей модели. Разделяйте API, долю подписки, вычисления и человеческую проверку; неизвестно не равно нулю. Указывайте резервы и незавершённый расход. Неизвестный биллинг после таймаута блокирует новые платные повторы до сверки.

Что показала проверка 28 октября

Два разных совещательных задания на дешёвых маршрутах стоили $0,00139078856 и $0,00161825. Один ответ назвал нулевой расход вопреки журналу, другой перевернул формулу цены принятой задачи. Проверка Gemini 4 Argon стоила $0,021426 и достигла лимита вывода. Она также связала canonical главной с невозможностью индексации Workspace; такой причинный вывод из переданных данных не следует. Это основания для детерминированной проверки, не для таблицы мест моделей.

Суммарный API-расход — $0,02443503856, резервы и незавершённый расход на сверке равны нулю. Маленький набор разных задач не позволяет оценить общее качество, частоту ошибок или ценовое превосходство. Судья тоже ошибается: его ответ нужно сохранить и объяснить отклонённые утверждения.

METR измеряет другое

Горизонты METR связывают вероятность успеха агента с длительностью задачи для человека-эксперта. Это не просто время работы агента и не счётчик нарушений правил. Исследование Tvijo должно называться своим именем, пока не воспроизведён соответствующий протокол и не обоснованы методологические заявления. Здесь нет утверждения о валидации, сертификации METR или эквивалентном горизонте.

Исследование видимости в поиске и ИИ

Ведите три журнала: доступность обхода/индексации, наблюдавшийся поисковый трафик, наблюдавшиеся ответы ИИ. Для панели цитирования зафиксируйте брендовые и небрендовые вопросы на каждом языке; клиента, модель, дату, известную географию, наличие поиска/инструментов и фактические ссылки ответа. Разделяйте подсказанное упоминание, самостоятельное упоминание и цитирование ссылки. Повторяйте по установленному расписанию, частоту считайте только для этой панели. Один хороший ответ не доказывает глобальную узнаваемость или присутствие в обучении.

Для Google определите знаменатель допустимых URL по sitemap и robots, объедините canonical-дубли, затем проверьте описанную выборку или все адреса в пределах квоты API. Недоступность и неизвестность фиксируются явно. Четыре URL от 28 октября не измеряют охват всего сайта.

Условия публикации результатов

1. Допустить маршрут с исполнимым бюджетным ограничением и известным провайдером.
2. Зафиксировать задание и среду; отделить ключи и рабочие службы.
3. Выполнить объявленные повторы; сохранить все неудачи и расходы.
4. Проверить приёмку независимо от исполнителя.
5. Опубликовать агрегаты, хеши источников, ограничения и заинтересованность автора. Частные трассы оставить за авторизацией.
6. Повторять при объявленном изменении версии или протокола, не отбирать только удачные запуски.

Описание моделей Sakana — источник производителя. Сопоставлять его заявления с нашим неконтролируемым пилотом некорректно. Следующий этап — общий ограниченный корпус задач, а не звёздный рейтинг из прайсов.