Делаем лимиты ИИ почти бесконечными: умный роутер, который режет затраты на токены в разы и делает их почти б…
Делаем лимиты ИИ почти бесконечными: умный роутер, который режет затраты на токены в разы и делает их почти бесплатными $47 за неделю на LLM API — при том что половина запросов тривиальные. Поставил ClawRouter — open source роутер, который анализирует промт по 15 параметрам и отправляет в самую дешёвую подходящую модель. За следующую неделю потратил $1.80. Рассказываю, как работает, что понравилось, что нет и какие есть альтернативы. https://clck.ru/3SvHYp
Автор: Habr все новости об IT