Lemonade — локальный LLM-сервер при поддержке AMD. Зачем он нужен, если есть Ollama? Ryzen AI 9 HX 370 - это …
Lemonade — локальный LLM-сервер при поддержке AMD. Зачем он нужен, если есть Ollama? Ryzen AI 9 HX 370 - это чип с NPU на 50 TOPS и Ollama его не видит - из-за своей архитектуры. Собственно, сама Ollama работает поверх llama.cpp, llama.cpp поддерживает GPU через CUDA, Metal, Vulkan и ROCm. А вот AMD GPU Ollama запускает - через ROCm и Vulkan. Но AMD NPU на базе архитектуры XDNA туда, к сожалению, не входит. Ryzen AI 300, Ryzen 8040, Ryzen 7040 - у всех этих чипов есть нейронный пр... https://clck.ru/3TRd7W
Автор: Habr все новости об IT