Tvijo wiki
Каталог

Темы

Сначала проверьте оценку AI-harness офлайн, до любого live-пилота

Проверьте процедуру оценки coding-агентов без запроса к модели, затем разберите восемь реальных слотов инженерного пилота. Руководство связывает команды, независимую приёмку, полное время и квитанции расходов, объясняя, почему сохранённый ответ и новый принятый результат различаются.

🎯 Для Разработчики и оценщики, которым нужно проверить процедуру оценки harness, не вызывая модель.

📚 Вы узнаете
  • Установить зафиксированную локальную версию CLI.
  • Запустить Promptfoo по сохранённым примерам с отключённой телеметрией и без вызовов модели.
  • Отделить результат локальных фикстур от live-попытки harness.

По состоянию на 9 ноября 2026 года пилот Tvijo включает офлайн-конфигурацию Promptfoo 0.125.1, которая читает обезличенные сохранённые фикстуры. Этот запуск проверяет разбор и отчет об оценке; он не вызывает модель и не считается новой попыткой benchmark. Чистый прогон фикстур не доказывает, что агент выполнил задачу.

Цель

Проверить, что офлайн-процедура читает сохраненные данные и возвращает ожидаемые статусы без запросов к провайдеру.

Практика

Из корня репозитория установите точные версии из lock-файла, затем запустите офлайн-конфигурацию:

npm ci --prefix evals/tvijo-harness-pilot
cd evals/tvijo-harness-pilot
PROMPTFOO_DISABLE_TELEMETRY=1 PROMPTFOO_DISABLE_UPDATE=1 node node_modules/promptfoo/dist/src/main.js eval -c promptfooconfig.offline.yaml --no-cache

Конфигурация использует локальный file-provider, cache: false, один параллельный слот, один повтор и четыре сохранённые фикстуры. Ожидается результат для каждой фикстуры с отметкой сохранённого источника; это фикстуры, а не попытки участников. Связанные материалы: что такое MCP и стоимость задачи AI coding-agent.

Разделяйте офлайн и live результаты

Live-обёртка использует действующий native meter и зафиксированный выбор запусков. Она требует явного task-scoped флага, проверяет хеши исходников и независимое подтверждение допуска, а при неясном учёте останавливается. Live-запуск может обратиться к провайдеру. Это руководство его не разрешает и не утверждает, что он был выполнен; не снимайте эти ограничения и не подменяйте live-квитанцию результатом фикстуры.

Когда это не работает

Успешная офлайн-команда должна показать четыре сохраненных примера и не создавать новых запросов к провайдеру. Если Node не находит CLI, установите зависимости по lock-файлу. Если установка пакета или фикстура завершается ошибкой, зафиксируйте ошибку настройки и остановитесь; не переключайтесь на live-обёртку ради зелёного результата.

Область утверждения: EVAL-01, наблюдение 2026-11-09. Только локальная фиксированная офлайн-конфигурация и сохраненные фикстуры. Нет утверждений о live-качестве harness, выполнении реальных задач или production-поведении.

Наблюдаемый пилот

Восемь слотов на двух задачах: 4 PASS, 3 FAIL, 1 INFRA_ERROR до модели. Ошибка контроллера Hermes A сохранена в ITT; это не результат модели. Ниже — независимая приёмка артефактов. Счёт провайдера UNKNOWN; доллары рассчитаны по usage и тарифу. Сохранённые офлайн-ответы в эти восемь слотов не входят.

Оболочка PASS/слоты Медиана, с API $, оценка API $/PASS Минут/PASS
DSHREM 1/2 167.80 0.009505932 0.009505932 5.593
Pi 1/2 45.03 0.009056040 0.009056040 1.501
MiniSWE 2/2 51.59 0.008224230 0.004112115 0.860
Hermes 0/2 27.85 0.004547244 — —

Полные строки по задачам, Q, версии и ограничения: Compare. Две задачи не дают основания объявить универсального победителя или доказанное равенство.

Проверить опубликованные цифры

curl --fail --silent --show-error https://tvijo.com/evals/tvijo-eval-comms-radar-20261109/data.json -o tvijo-pilot-data.json
python3 -c 'import json; d=json.load(open("tvijo-pilot-data.json")); print(len(d["runs"]), sum(r["status"]=="PASS" for r in d["runs"]), d["API_total_usage_estimate_usd"])'

Ожидается: 8 4 0.031333446. Резервы закрыты, полномочие текущего live-пилота отозвано. Повтор требует нового task ID, бюджета, замороженной спецификации и независимого допуска. Команда с прежним ID не является разрешением на повтор.

Телефон и VS Code

С телефона используйте Termius/SSH и Bash в отдельной рабочей копии; команды вводятся в терминал, а не в поле задания Codex/DSHREM. В VS Code Remote SSH откройте терминал этой же рабочей копии. Инструкции общего доступа: MCP в VS Code. Мобильная веб-проверка выполнена в браузере на ширинах 320/390; физический iPhone в этом пакете не проверялся.

Доказательства

Проверено 2026-11-09. Исходные файлы доступны сопровождающим в приватном checkout, содержащем этот выпуск; команды офлайн рассчитаны на этот checkout, Node 26.7.0 и Python 3.12. Структурированные данные и claim IDs · Аудит первоисточников · QM, изученный commit · Promptfoo custom providers.

9 ноября 2026 UTC. Проверены зафиксированные данные пилота и локальные сценарии, перечисленные выше. До отдельной квитанции публикации локальная сборка и скриншот не считаются доказательством доступности публичного URL.

Проверьте себя

Почему офлайн-проверка должна принять сохранённый FAIL, если статус совпадает с фикстурой? Где находится независимая проверка артефакта? Найдите строку без вызова модели и объясните её место в ITT. Затем найдите стоимость при нуле принятых результатов: она не должна превращаться в ноль. Сверьте конкретный task ID и число API-запросов, прежде чем переносить цифру в собственный отчёт.

Дальше

Перейдите к связанным урокам: оценка, доставка и проверка источников. Следующая расширенная выборка пока только запланирована. Новые skills остаются гипотезами: проверять пользу нужно на других задачах, с фиксированной методикой и независимой приёмкой.

Источники

Данные пилота, аудит десяти материалов, документация Promptfoo, QM: изученный commit. Источники дают происхождение утверждения; применимость и полезность определяются условиями конкретной проверки.

Связи опубликованных статей. Выберите узел, чтобы открыть статью у заголовка.

Показать граф связей
100%
→ Связанные статьи← Ссылаются сюда⋯ Та же тема
Связи статей · клавиатура / текст

💬 Комментарии

Комментарии публичны и модерируются. Не публикуйте персональные данные.
  • Комментариев пока нет. Будьте первым!

Следующие шаги

Основа ИИ и процессов

Система агентов Tvijo: PRIZMA, RUNLEDGER и приёмка

Tvijo развивает управляемый путь от задачи в репозитории до принятого результата: с разрешениями, ограничениями ресурсов и проверяемыми свидетельствами выполнения. PRIZMA описывает профиль ресурсов, RUNLEDGER связывает работу с проверками и…

Основа ИИ и процессов

Как читать квитанции агента и не путать доставку с прочтением

Разберитесь, на каком этапе находится сообщение роя, не смешивая сохранение, доставку, приём runtime и просмотр. Руководство показывает локальные проверки, приватный экран наблюдения и отдельные квитанции, чтобы подтверждение доставки не превращалось в недоказанное обещание выполненного действия.

Основа ИИ и процессов

Проверяйте AI-радар по первоисточникам до добавления новости

Проверьте технологическую новость по первоисточнику, версии и дате события до решения о внедрении. Руководство разбирает фиксированную выборку из десяти материалов, отделяет факты от выводов и прогнозов и показывает, как сохранить ограничения и условие следующей проверки.