Тег
VLLM
2 статьи по теме «VLLM».
·7 мин
vLLM: как развернуть LLM-сервер для компании — руководство 2026
Установка vLLM, запуск модели с API как у OpenAI, несколько видеокарт, память и квантование, Docker, сравнение с Ollama и llama.cpp.
·5 мин
Llama 3.3 70B на двух RTX 4090: как собрать локальный AI-сервер
Что реально запускается на 2×RTX 4090 (48 ГБ): Llama 3.3 70B в 4 битах через Ollama или vLLM, требования к железу и когда выбрать модель новее.