Розбиття великого завдання для дешевої моделі: урок про 24 000 байтів

📦 Об'ємна робота і дешеві моделі

Багато завдань — це велика кількість однакової дрібної роботи: перевірити кожну сторінку, витягти поля з кожного файлу, переглянути кожну країну. Недорога модель добре підходить для кожної малої одиниці. Провал настає, коли їй віддають усе нагромадження одним запитом. Вона втрачає нитку, обрізає відповідь, або провайдер відмовляє вже після того, як ви заплатили за вхідні дані.

🚫 Обмеження та інцидент

Наш термінальний агент приймає завдання від 1 до 24 000 байтів і відмовляє в будь-чому іншому ще до виклику моделі. 21 жовтня 2026 року пакет обсягом близько 125 КБ подали на п'ять ліній паралельно для рев'ю. Усі п'ять повернулися з кодом виходу 1 і повідомленням, що завдання мусить бути від 1 до 24 000 байтів. Модель не викликали, тож гроші не витратили, але й рев'ю не відбулося. Ціною став час прогону без нагляду.

Обмеження — це запобіжник, і він спрацював. Помилка була вище за течією: ніхто не перевірив розмір, коли пакет складали.

✂️ Як ділити

Діліть на одиниці, які не залежать одна від одної: один файл, одна країна, один клієнт, одна сторінка. Тоді кожне завдання має власний вхід, власну інструкцію й власну перевірку приймання. Перевірка може працювати з кожним результатом окремо.

Кілька правил допомагають.

• Перевірка розміру під час складання. Складач пакетів відмовляється писати пакет понад ліміт. Не залишайте це виконавцю.
• Одна одиниця — один файл результату. Називайте результати за одиницею, щоб невдале завдання можна було перезапустити окремо.
• Спільний контекст — у короткому заголовку. Загальна інструкція на кілька сотень байтів — це нормально. Копіювати цілу політику в кожне завдання — ні.
• Крок злиття скриптом. З'єднуйте результати детермінованим скриптом і перевіряйте повноту: кожна одиниця має результат, жодна не має двох.

📏 Малий реальний приклад

Для вибору тем на цій вікі ми надіслали трьом моделям один пакет зі списком референсних розділів, нашими власними назвами статей і форматом виводу. Він мав 17 880 байтів — менше за ліміт. Два платні прогони коштували $0,0020 і $0,0028. Те саме завдання як один великий документ було б відхилене або обрізане.

🛠️ Практика: зберіть ділильник

1. Визначте одиницю: найменший шматок входу, який сам дає результат.
2. Напишіть інструкцію один раз, з форматом виводу та перевіркою приймання.
3. Напишіть складач, який створює по одному пакету на одиницю і відмовляє в будь-якому пакеті понад ваш ліміт, з повідомленням, що називає одиницю.
4. Проженіть складач на всьому вході. Порахуйте пакети, найбільший розмір і загальний розмір.
5. Спершу проженіть п'ять пакетів. Перевіряйте їх скриптом, а не на око.
6. Проженіть решту, потім злийте скриптом, який повідомляє про відсутні та дубльовані одиниці.

✅ Перевірте себе

• Дайте складачу одиницю, що є завеликою. Він зупиняється і називає одиницю.
• Звіт злиття показує нуль відсутніх і нуль дубльованих одиниць.
• Одну невдалу одиницю можна перезапустити, не чіпаючи інших.
• Ви можете назвати вартість одиниці зі свого журналу.

🚧 Коли це не працює

• Одиниці, що залежать одна від одної. Документ, який посилається на сторінку в іншому пакеті, не можна оцінити окремо. Додайте короткий підсумок сусіднього в межах ліміту.
• Одиниця, що сама є завеликою. Один файл понад ліміт потребує другого поділу — за розділами, з обережністю на межах.
• Питання крізь одиниці. «Яка з 40 країн найкраща?» — це не одиничне завдання. Робіть це потім, другим проходом по коротких результатах.
• Накладні витрати. Для десятка позицій поділ коштує більше, ніж економить. Зробіть роботу одним запитом.
• Якість між одиницями. Різні завдання можуть давати різний стиль. Зафіксуйте формат і приклади в заголовку.

📊 Докази

➡️ Далі

Навчіться передавати роботу разом із критеріями приймання в Розробка від специфікації з наявними пакетами завдань, а рахувати, скільки це коштує, — у Вартість прийнятого результату.

Джерела

• Розробка від специфікації з наявними пакетами завдань: пакети завдань.
• Вартість прийнятого результату: підрахунок вартості.
• Поділ роботи між агентами і коли цього не робити: робота роєм.
• Контекстні вікна та токени: що вміщується в запит.