Как я запустил локальную LLM на Raspberry Pi 5 Последние пару лет я много экспериментировал с LLM на разных ж…
Как я запустил локальную LLM на Raspberry Pi 5 Последние пару лет я много экспериментировал с LLM на разных железках от GPU-кластеров в облаке до маленьких Raspberry Pi. И вот одна из любимых задачек-провокаций: «А можно ли запустить модель на Pi 4, 5?» Если коротко: можно попробовать, но физика тут сильнее хайпа. У платы есть 8-16 ГБ памяти, у модели десятки гигабайт даже в самых «жестких» квантовках. В лоб это не работает, но зато эксперимен... https://clck.ru/3QEBsE
Автор: Habr все новости об IT