AI-компаньон в проде на третьем месяце — 5 архитектурных решений и инфра-тюнинг

Каждый, кто пробовал собрать AI-чат по типовой схеме — chat-completions API, OpenAI Memory, один эндпоинт Stable Diffusion — рано или поздно упирается в одни и те же стены. Бот забывает разговор через десять реплик. Иногда сервер бодро отвечает HTTP 200, а внутри пустая строка: ни ошибки, ни таймаута, модель просто отказалась говорить и сделала это молча. Один и тот же запрос рисует двух разных пе...

https://clck.ru/3TwDuE