Как я добавил llama.cpp бэкенд в CosyVoice3 и ускорил инференс в 2.6x CosyVoice3 — одна из лучших open source…
Как я добавил llama.cpp бэкенд в CosyVoice3 и ускорил инференс в 2.6x CosyVoice3 — одна из лучших open source TTS моделей, но LLM-часть на PyTorch работает медленно. Я добавил llama-cpp-python бэкенд с GGUF квантизацией — RTF упал с 1.17 до 0.45, ускорение 2.6x на T4. Установка одной командой, никакого Docker. https://clck.ru/3THNK3
Автор: Habr все новости об IT