Оптимизация сервинга нейросетей Я работаю ML-инженером в OK и последнее время занимался оптимизацией скорости…
Оптимизация сервинга нейросетей Я работаю ML-инженером в OK и последнее время занимался оптимизацией скорости инференса нейросетей, поэтому сегодня расскажу о них. И не просто о нейросетях, а о нейросетях в продакшене. Как вы обычно представляете себе нейросеть в продакшене? Мне приходят в голову 4 варианта: 1. В batch режиме - разово применили модель к данным и используем только полученные предсказания. 2. В потоке о... https://clck.ru/sEywe
Автор: Habr все новости об IT