Тег
LLAMA
2 статьи по теме «LLAMA».
·5 мин
Llama 3.3 70B на двух RTX 4090: как собрать локальный AI-сервер
Что реально запускается на 2×RTX 4090 (48 ГБ): Llama 3.3 70B в 4 битах через Ollama или vLLM, требования к железу и когда выбрать модель новее.
·2 мин
LLM на своём железе: как мы запустили Llama 3.3 на двух RTX
Полный путь от выбора модели до продакшена: бенчмарки, нюансы инфраструктуры, реальная экономика приватного AI-стека.