Как сжимать языковые модели без дообучения Привет, Хабр! Меня зовут Валентин Малых, я - и.о. руководителя нап…
Как сжимать языковые модели без дообучения Привет, Хабр! Меня зовут Валентин Малых, я - и.о. руководителя направления фундаментальных исследований в MWS AI. Сегодня я расскажу об одном нашем исследовании по сжатию LLM. Если простыми словами, то это про то, как сделать большую модель чуть-чуть менее требовательной в плане памяти и времени выполнения. Для это придумано три базовых техники: квантизация (загрубление весов модели), дистилляция ... https://clck.ru/3Qe7i9
Автор: Habr все новости об IT