Сначала проверьте оценку AI-harness офлайн, до любого live-пилота
Проверьте процедуру оценки coding-агентов без запроса к модели, затем разберите восемь реальных слотов инженерного пилота. Руководство связывает команды, независимую приёмку, полное время и квитанции расходов, объясняя, почему сохранённый ответ и новый принятый результат различаются.
🎯 Для Разработчики и оценщики, которым нужно проверить процедуру оценки harness, не вызывая модель.
- Установить зафиксированную локальную версию CLI.
- Запустить Promptfoo по сохранённым примерам с отключённой телеметрией и без вызовов модели.
- Отделить результат локальных фикстур от live-попытки harness.
По состоянию на 9 ноября 2026 года пилот Tvijo включает офлайн-конфигурацию Promptfoo 0.125.1, которая читает обезличенные сохранённые фикстуры. Этот запуск проверяет разбор и отчет об оценке; он не вызывает модель и не считается новой попыткой benchmark. Чистый прогон фикстур не доказывает, что агент выполнил задачу.
Цель
Проверить, что офлайн-процедура читает сохраненные данные и возвращает ожидаемые статусы без запросов к провайдеру.
Практика
Из корня репозитория установите точные версии из lock-файла, затем запустите офлайн-конфигурацию:
npm ci --prefix evals/tvijo-harness-pilot
cd evals/tvijo-harness-pilot
PROMPTFOO_DISABLE_TELEMETRY=1 PROMPTFOO_DISABLE_UPDATE=1 node node_modules/promptfoo/dist/src/main.js eval -c promptfooconfig.offline.yaml --no-cache
Конфигурация использует локальный file-provider, cache: false, один параллельный слот, один повтор и четыре сохранённые фикстуры. Ожидается результат для каждой фикстуры с отметкой сохранённого источника; это фикстуры, а не попытки участников. Связанные материалы: что такое MCP и стоимость задачи AI coding-agent.
Разделяйте офлайн и live результаты
Live-обёртка использует действующий native meter и зафиксированный выбор запусков. Она требует явного task-scoped флага, проверяет хеши исходников и независимое подтверждение допуска, а при неясном учёте останавливается. Live-запуск может обратиться к провайдеру. Это руководство его не разрешает и не утверждает, что он был выполнен; не снимайте эти ограничения и не подменяйте live-квитанцию результатом фикстуры.
Когда это не работает
Успешная офлайн-команда должна показать четыре сохраненных примера и не создавать новых запросов к провайдеру. Если Node не находит CLI, установите зависимости по lock-файлу. Если установка пакета или фикстура завершается ошибкой, зафиксируйте ошибку настройки и остановитесь; не переключайтесь на live-обёртку ради зелёного результата.
Область утверждения: EVAL-01, наблюдение 2026-11-09. Только локальная фиксированная офлайн-конфигурация и сохраненные фикстуры. Нет утверждений о live-качестве harness, выполнении реальных задач или production-поведении.
Наблюдаемый пилот
Восемь слотов на двух задачах: 4 PASS, 3 FAIL, 1 INFRA_ERROR до модели. Ошибка контроллера Hermes A сохранена в ITT; это не результат модели. Ниже — независимая приёмка артефактов. Счёт провайдера UNKNOWN; доллары рассчитаны по usage и тарифу. Сохранённые офлайн-ответы в эти восемь слотов не входят.
| Оболочка | PASS/слоты | Медиана, с | API $, оценка | API $/PASS | Минут/PASS |
|---|---|---|---|---|---|
| DSHREM | 1/2 | 167.80 | 0.009505932 | 0.009505932 | 5.593 |
| Pi | 1/2 | 45.03 | 0.009056040 | 0.009056040 | 1.501 |
| MiniSWE | 2/2 | 51.59 | 0.008224230 | 0.004112115 | 0.860 |
| Hermes | 0/2 | 27.85 | 0.004547244 | — | — |
Полные строки по задачам, Q, версии и ограничения: Compare. Две задачи не дают основания объявить универсального победителя или доказанное равенство.
Проверить опубликованные цифры
curl --fail --silent --show-error https://tvijo.com/evals/tvijo-eval-comms-radar-20261109/data.json -o tvijo-pilot-data.json
python3 -c 'import json; d=json.load(open("tvijo-pilot-data.json")); print(len(d["runs"]), sum(r["status"]=="PASS" for r in d["runs"]), d["API_total_usage_estimate_usd"])'
Ожидается: 8 4 0.031333446. Резервы закрыты, полномочие текущего live-пилота отозвано. Повтор требует нового task ID, бюджета, замороженной спецификации и независимого допуска. Команда с прежним ID не является разрешением на повтор.
Телефон и VS Code
С телефона используйте Termius/SSH и Bash в отдельной рабочей копии; команды вводятся в терминал, а не в поле задания Codex/DSHREM. В VS Code Remote SSH откройте терминал этой же рабочей копии. Инструкции общего доступа: MCP в VS Code. Мобильная веб-проверка выполнена в браузере на ширинах 320/390; физический iPhone в этом пакете не проверялся.
Доказательства
Проверено 2026-11-09. Исходные файлы доступны сопровождающим в приватном checkout, содержащем этот выпуск; команды офлайн рассчитаны на этот checkout, Node 26.7.0 и Python 3.12. Структурированные данные и claim IDs · Аудит первоисточников · QM, изученный commit · Promptfoo custom providers.
9 ноября 2026 UTC. Проверены зафиксированные данные пилота и локальные сценарии, перечисленные выше. До отдельной квитанции публикации локальная сборка и скриншот не считаются доказательством доступности публичного URL.
Проверьте себя
Почему офлайн-проверка должна принять сохранённый FAIL, если статус совпадает с фикстурой? Где находится независимая проверка артефакта? Найдите строку без вызова модели и объясните её место в ITT. Затем найдите стоимость при нуле принятых результатов: она не должна превращаться в ноль. Сверьте конкретный task ID и число API-запросов, прежде чем переносить цифру в собственный отчёт.
Дальше
Перейдите к связанным урокам: оценка, доставка и проверка источников. Следующая расширенная выборка пока только запланирована. Новые skills остаются гипотезами: проверять пользу нужно на других задачах, с фиксированной методикой и независимой приёмкой.
Источники
Данные пилота, аудит десяти материалов, документация Promptfoo, QM: изученный commit. Источники дают происхождение утверждения; применимость и полезность определяются условиями конкретной проверки.
🔗 Связи статьи
Открыть полный граф знаний ↗Связи опубликованных статей. Выберите узел, чтобы открыть статью у заголовка.
Показать граф связей
Связи статей · клавиатура / текст
Та же тема
- Система агентов Tvijo: PRIZMA, RUNLEDGER и приёмка
- Как читать квитанции агента и не путать доставку с прочтением
- Проверяйте AI-радар по первоисточникам до добавления новости
- DSHREM с телефона: SSH, tmux и безопасная передача задачи
- Практика владельца DSHREM: cwd, worktree, WIP и границы root
- Экономический рой DSHREM: контрольные точки, маршруты и стоимость
Следующие шаги
Связанные материалы
Система агентов Tvijo: PRIZMA, RUNLEDGER и приёмка
Tvijo развивает управляемый путь от задачи в репозитории до принятого результата: с разрешениями, ограничениями ресурсов и проверяемыми свидетельствами выполнения. PRIZMA описывает профиль ресурсов, RUNLEDGER связывает работу с проверками и…
Основа ИИ и процессовКак читать квитанции агента и не путать доставку с прочтением
Разберитесь, на каком этапе находится сообщение роя, не смешивая сохранение, доставку, приём runtime и просмотр. Руководство показывает локальные проверки, приватный экран наблюдения и отдельные квитанции, чтобы подтверждение доставки не превращалось в недоказанное обещание выполненного действия.
Основа ИИ и процессовПроверяйте AI-радар по первоисточникам до добавления новости
Проверьте технологическую новость по первоисточнику, версии и дате события до решения о внедрении. Руководство разбирает фиксированную выборку из десяти материалов, отделяет факты от выводов и прогнозов и показывает, как сохранить ограничения и условие следующей проверки.
💬 Комментарии