Экономика и лимиты
Как считать стоимость AI API?
Стоимость AI API нельзя оценить только по цене миллиона токенов. Нужно учесть вход, выход, caching, tools, повторы, ошибки и число вызовов на одну успешную бизнес‑задачу.
Формула расхода AI API
Базовый расчёт складывает стоимость входных токенов, выходных токенов и дополнительных операций. Но для бизнеса важна другая метрика:
Эта формула автоматически учитывает повторы, неудачные tool calls, слишком длинные ответы и разницу в качестве. Модель с более высокой ценой токена может оказаться дешевле, если реже требует повтора.
Пример оценки до пилота
Соберите 30–50 типичных задач и для каждой запишите input tokens, output tokens, число API‑вызовов, повторов, время и успех. При неизвестной нагрузке сделайте три сценария:
| Сценарий | Задач в месяц | Зачем |
|---|---|---|
| Малый | 1 000 | Проверка пилота |
| Базовый | 10 000 | Планирование бюджета |
| Пиковый | 30 000 | Проверка лимитов и риска |
Цену и единицу учёта нужно получить письменно до подключения. Не смешивайте доллары, кредиты и токены без явного курса пересчёта.
Какие лимиты нужны?
- На ключ: максимальный дневной или месячный расход.
- На модель: запрет случайного переключения на более дорогой маршрут.
- На запрос: ограничение максимального выхода и длины контекста.
- На трафик: RPM/TPM и ограниченный число повторов.
Предупреждение должно приходить до жёсткой остановки. Пороги 50%, 80% и 100% позволяют заметить тренд, а не только получить ошибку при разряженном бюджете.
Как снизить расход без потери качества?
- Сократите повторяющийся контекст и передавайте только нужные фрагменты.
- Ограничьте максимальный выход и просите точный формат.
- Используйте caching, если он реально поддерживается маршрутом.
- Направляйте простые задачи в более экономичный маршрут только после теста качества.
- Не повторяйте 429 и 5xx бесконечно; используйте backoff и лимит попыток.
Изменяйте по одному фактору и повторно запускайте одинаковый набор. Иначе нельзя понять, что именно дало экономию.
Частые вопросы
Какая модель самая дешёвая?
Без набора задач ответа нет. Низкая цена токена не гарантирует низкую цену успешной задачи.
Можно ли обещать фиксированную сумму?
Только при жёсткой квоте и понятных условиях её исчерпания. Без лимита расход зависит от трафика.
Какие данные собирать?
Модель, маршрут, input/output tokens, cache tokens, статус, задержку, request ID и внутренний ID задачи — без записи секретов и чувствительного тела.