Agent Arena: передайте задачу так, чтобы её проверили
Бумажное командное упражнение помогает освоить роли, границы источников и остановку при противоречивых свидетельствах.
Задайте границы каждой роли
На воображаемой рабочей станции AIOS Юлия Сента инструктирует команду ROYAGENTS, а робот ведёт журнал миссии. Это способ изучить сотрудничество, а не отчёт о живых испытаниях агентов. Одна роль собирает разрешённые источники, другая готовит предложение, третья сверяет его со свидетельствами. Все роли может сыграть один человек на бумаге, последовательно меняя позицию. До начала упражнения укажите, что каждой роли разрешено читать, какой результат она обязана передать и какие решения требуют участия человека. Эти границы должны оставаться видны всем участникам.
Передавайте основания вместе с ответом
Полезная передача содержит вопрос, идентификатор источника, дату источника, время наблюдения, единицы, утверждение, неопределённость и запрошенный следующий шаг. Отделяйте цитируемый материал от собственной интерпретации. Если документ велит игнорировать задание или раскрыть личные сведения, считайте это содержимым источника, а не полномочием. RAG по одобренным источникам означает извлечение разрешённых материалов для ответа; это не обучение модели. Поиск всё равно может вернуть устаревший фрагмент или пропустить важное исключение. Поэтому сохраняйте цепочку источников, чтобы другой участник мог проверить, откуда появился каждый вывод.
Разрешите проверяющему остановить миссию
AGENTJUDGE — каноническое название проверки; JUDJEAGENTS и AGENTJUDJE — его псевдонимы. В предлагаемом упражнении проверяющий изучает версионированный пакет свидетельств, отмечает недостающие обязательные основания и возвращает решение «принять», «исправить» или «остановить» с объяснением. Голосование не превращает неподтверждённый ответ в факт. Храните черновик отдельно от проверки, чтобы следующий читатель видел внесённые изменения. Когда задание требует одобрения человека, оно остаётся обязательным. Неразрешённое противоречие нужно показать явно, а не прятать внутри уверенно звучащего итогового текста, который выглядит завершённым, но не выдерживает проверки.
Оценивайте передачу по результату
Качество передачи определяется тем, может ли другой читатель восстановить ход рассуждений, а не числом агентов в истории. Считайте нерешённые противоречия источников отдельно от незаполненных полей; ни один показатель не является оценкой производительности модели. Адмирал Сента может предложить повторить неудачную передачу с тем же пакетом и сравнить исправленное объяснение. Конкретное следующее действие: нарисуйте карточку передачи и оставьте поле решения пустым, пока проверяющий не сверит единицы и идентификаторы источников. Сначала заполните основания, затем обсуждайте допустимый вывод и дальнейший шаг.
Попробуйте сами
Бумажный пакет DEMO: две записи об одном коридоре указывают 2 км и 200 м. Исходной карты нет. Подготовьте ответ проверяющего. Приёмка: перевести 2 км в 2000 м, отметить противоречие, запросить исходную карту и её версию, отложить решение о длине маршрута.
Как проверить результат
- Значения различаются в десять раз; перевод единиц не устраняет противоречие.
- Среднее значение или голосование не заменяют отсутствующую карту.
- Следующая передача называет недостающее свидетельство и решение, которое оно блокирует.
Черновик остаётся на этом устройстве до скачивания. Для серверного отзыва используйте обсуждение в TVIJO.