Как разбить большую задачу для дешёвой модели: урок 24 000 байт

📦 Объёмная работа и дешёвые модели

Много задач — это большой объём одной и той же мелкой работы: проверить каждую страницу, извлечь поля из каждого файла, просмотреть каждую страну. Недорогая модель хорошо подходит для каждой небольшой единицы. Беда начинается, когда ей отдают всю кучу одним запросом. Она теряет нить, обрезает ответ или провайдер отклоняет запрос, когда вход уже оплачен.

🚫 Предел и инцидент

Наш терминальный агент принимает задачу от 1 до 24 000 байт и отклоняет всё остальное до вызова модели. 21 октября 2026 пакет примерно в 125 КБ отправили на пять линий параллельно для проверки. Все пять вернулись с кодом 1 и сообщением, что задача должна быть от 1 до 24 000 байт. Модель не вызывалась, деньги не потрачены, а проверка не состоялась. Цена — время ночного прогона.

Предел сработал как защита. Ошибка была выше по цепочке: никто не проверил размер, когда строили пакет.

✂️ Как резать

Режьте по единицам, которые не зависят друг от друга: файл, страна, клиент, страница. Тогда у каждой задачи свой вход, своя инструкция и своя проверка приёмки. Проверяющий запускается на каждом результате отдельно.

Помогают несколько правил.

• Проверка размера при сборке. Сборщик пакетов отказывается писать пакет сверх предела. Не оставляйте это воркеру.
• Одна единица — один файл результата. Называйте результаты по единице, чтобы сбойную задачу можно было перезапустить отдельно.
• Общий контекст — в коротком заголовке. Общая инструкция в несколько сотен байт — нормально. Копировать целую политику в каждую задачу — нет.
• Слияние скриптом. Склеивайте результаты детерминированным скриптом и проверяйте полноту: у каждой единицы есть результат, и ни одной дважды.

📏 Небольшой реальный пример

Для выбора тем этой wiki мы отправили трём моделям один пакет со списком разделов-источников, заголовками наших статей и форматом ответа. Он весил 17 880 байт, в пределе. Два платных запуска стоили $0,0020 и $0,0028. Ту же работу одним большим документом отклонили бы или обрезали.

🛠️ Практика: сделайте разрезатель

1. Определите единицу: самый маленький кусок входа, дающий результат сам по себе.
2. Напишите инструкцию один раз, с форматом вывода и проверкой приёмки.
3. Напишите сборщик, который создаёт пакет на единицу и отказывается от любого пакета выше вашего предела, называя единицу в сообщении.
4. Запустите сборщик на всём входе. Посчитайте пакеты, наибольший размер и общий размер.
5. Сначала прогоните пять пакетов. Проверьте их скриптом, а не на глаз.
6. Запустите остальные, затем склейте скриптом, который сообщает о пропущенных и дублирующихся единицах.

✅ Проверьте себя

• Подайте сборщику слишком большую единицу. Он останавливается и называет её.
• Отчёт слияния показывает ноль пропущенных и ноль дублей.
• Одну сбойную единицу можно перезапустить, не трогая остальные.
• Вы можете назвать цену единицы по своему леджеру.

🚧 Когда это не работает

• Единицы, зависящие друг от друга. Документ, который ссылается на страницу из другого пакета, отдельно не оценить. Добавьте краткую сводку соседа в рамках предела.
• Единица сама слишком велика. Один файл выше предела требует второго разреза по разделам, с вниманием к границам.
• Вопросы поверх единиц. «Какая из 40 стран лучшая?» — не задача единицы. Решайте вторым проходом по коротким результатам.
• Накладные расходы. Для десятка элементов разрезание стоит больше, чем даёт. Делайте одним запросом.
• Качество между единицами. Разные задачи могут дать разный стиль. Зафиксируйте формат и примеры в заголовке.

📊 Доказательства

➡️ Дальше

Как передавать работу с критериями приёмки — в Разработке по спецификации, а как считать её цену — в Цене за принятый результат.

Источники

• Разработка по спецификации на готовых пакетах задач: пакеты задач.
• Цена за принятый результат: как считать и чего не скажет леджер: подсчёт стоимости.
• Делить работу между агентами — и когда не стоит: работа роя.
• Контекстные окна и токены: что помещается в запрос.