Распределённый инференс llama.cpp через RPC Приветствую, хабровчане!Идея создания данной публикации крутилась…
Распределённый инференс llama.cpp через RPC Приветствую, хабровчане!Идея создания данной публикации крутилась в моей голове уже давно, дело в том, что одно из моих хобби связанно с распределёнными вычислениями, а другое хобби связанно с нейросетями и мне давно не давала покоя идея запустить инференс LLM на нескольких компьютерах, но так чтобы все они выполняли работу над одной и той же моделью параллельно.Погуглив некоторое время узнал, что... https://clck.ru/3DKLSJ
Автор: Habr все новости об IT