Денний бюджет для AI, який відмовляє за замовчуванням: ліміти, ідентифікатори сесій і прогалина, яку ми знайшли

🔥 Що сталося

26 червня 2026 року наша база трасування записала 117 917 викликів моделі за один день із вартістю $17,88. Днем раніше було 1 809 викликів і $2,14. Це приблизно в 65 разів більший обсяг. З 117 917 викликів 116 382 не мали ідентифікатора сесії, тож трасування не могло сказати, яке завдання їх зробило. Спершу вина лягла на не те завдання. Лише числа за день і за сесією вказали на справжнє — автоматичний цикл перекладу. У нашій нотатці про інцидент збитки оцінені приблизно у сімнадцять з половиною доларів. Трасування за той день показує $17,88, і це також включає звичайний трафік дня.

Гроші були невеликі. Урок — ні: цикл, який викликає модель для кожного елемента без ліміту, масштабується до того, що є на вході.

🧱 Два правила

Правило перше: кожен автоматичний шлях має денний ліміт, а відсутній ліміт означає відмову. Ліміт читається з явно заданого налаштування. Якщо налаштування порожнє, дорівнює нулю або від'ємне, завдання не повинно запускатися. Протилежне замовчування — «немає налаштування, немає обмеження» — перетворює забутий рядок конфігурації на необмежені витрати.

Правило друге: кожен виклик несе ідентифікатор сесії. Ідентифікатор називає завдання, а не людину. Без нього перше питання після тривоги — «хто це зробив?» — залишається без відповіді. Ми не комітимо автоматизацію, яка викликає модель без нього.

🔎 Прогалина, яку ми знайшли, поки писали це

Наш помічник, що відстежує денний бюджет для фонових завдань, читає ліміт із змінної середовища. Ми запустили його 3 листопада 2026 року з порожньою змінною. Ліміт вийшов 0,0, а виклик із питанням, чи дозволені витрати, повернув «так». Іншими словами, у цьому помічнику відсутній ліміт означає відсутність ліміту, а це протилежність правилу першому. Виклики, які задають додатний ліміт, у безпеці. Виклик, що забув змінну, не захищений.

Наш транспорт із обліком, смуга, яка платить провайдерам, поводиться правильно: він відмовляє з повідомленням «explicit daily cap required», коли ліміту немає. Два помічники розходяться, і ми зафіксували помічник як дефект, який треба виправити. Урок — перевіряти власний запобіжник із видаленим налаштуванням.

📈 Яка частка без міток

Від 2026-04-24 наша база трасування містить 777 526 викликів загальною вартістю $164,31. З них 125 541 виклик, 16,1 відсотка, не має ідентифікатора сесії, і вони коштували $24,57 — 15,0 відсотка від загальної суми. Більшість цього припадає на той самий день. Витрати без міток — не похибка округлення.

🛠️ Практика: закрийте обидві прогалини

1. Перелічіть кожне місце, яке викликає модель у циклі, за розкладом або у фоні.
2. Для кожного знайдіть налаштування денного ліміту. Якщо його немає, додайте. Якщо код вважає порожнє значення необмеженим, змініть його на відмову.
3. Напишіть тест, який запускає завдання з видаленим налаштуванням і перевіряє, що жодного виклику не зроблено.
4. Додайте ідентифікатор сесії до кожного виклику. Зробіть так, щоб обгортка кидала помилку, коли його немає.
5. Запитуйте у трасуванні виклики без ідентифікатора, за кожен день. Зробіть цей запит тривогою.
6. Задайте поріг тривоги від вашого звичайного дня, наприклад утричі більше за медіану останніх чотирнадцяти днів.

✅ Перевірте себе

• Приберіть ліміт для одного завдання в тестовому середовищі. Завдання відмовляється і пояснює чому.
• Візьміть будь-який виклик з минулого тижня. Ви можете назвати завдання, яке його зробило.
• Кількість викликів без ідентифікатора дорівнює нулю за останні сім днів, або ви можете пояснити кожен із них.
• Ви можете прочитати вчорашні витрати за кожним завданням одним запитом.

🚧 Коли це не працює

• Занадто високий ліміт. Ліміт у сто доларів не захищає нічого для завдання на десять доларів. Задавайте його з реальної потреби.
• Витрати, що надходять із запізненням. Деякі провайдери повідомляють вартість після виклику. Ліміт, заснований на повідомлених витратах, можна перевищити на те, що зараз у дорозі. Резервуйте до виклику.
• Спільні ключі. Якщо п'ять завдань ділять один ключ, рахунок провайдера не може їх розділити. Це має зробити ваш ідентифікатор сесії.
• Повтори. Цикл повторів може примножити витрати. Рахуйте кожну спробу проти ліміту.
• Безкоштовні моделі. Безкоштовні рівні мають обмеження частоти й можуть зникнути. Ліміт у нуль доларів усе одно потребує обмеження кількості викликів.

📊 Докази

➡️ Далі

Запишіть обмеження разом із Витрати, бюджети й ліміти, а в Порадник з інцидентів AI для маленької команди визначте, що відбувається, коли завдання йде не так.

Джерела

• Витрати, бюджети й ліміти: задайте бюджет на кожне завдання.
• Порадник з інцидентів AI для маленької команди: кроки реагування.
• Контекстні вікна й токени: що агент може бачити і скільки це коштує.
• Моделі й маршрутизація: що змінює маршрутизація.