LLM на своём железе: как мы запустили Llama 3.3 на двух RTX

Коротко

Мы развернули для клиента приватную LLM-платформу на собственном сервере с двумя видеокартами NVIDIA RTX по 24 ГБ: vLLM с батчингом, 4-битное AWQ-квантование, nginx с авторизацией и rate-limit, мониторинг в Prometheus и Grafana. Результат по данным проекта: задержка p50 — 42 мс, 187 токенов в секунду, контекст 32 768 токенов. При 1,5 млн запросов в месяц такой стек окупается за 4–5 месяцев по сравнению с OpenAI API.

Зачем локальная LLM в 2025

Облачные API удобны, но у них есть три проблемы для среднего и крупного бизнеса: стоимость на масштабе, передача данных третьим сторонам и зависимость от провайдера. В прошлом квартале мы развернули клиенту приватный стек на базе Llama 3.3 70B на двух RTX и получили предсказуемый latency и нулевую утечку чувствительных данных.

Конфигурация

• 2× NVIDIA RTX (24 GB VRAM каждая)
• vLLM как сервер инференса с батчингом — для более простых сценариев без батчинга под нагрузкой достаточно Ollama
• AWQ-квантование 4-bit для влезания в память
• nginx + auth-прокси с rate-limit
• Prometheus + Grafana для метрик

Бенчмарки

Что важно учесть

• Тепловой режим: при сутки-в-сутки работе нужна нормальная вентиляция и мониторинг
• Батчинг запросов — vLLM прибавляет 3–4× к throughput против naive serving
• Backpressure: при пиках лучше очередь, чем 502 от прокси
• Обновления: модели выходят каждые 1–2 месяца, готовьте процесс ротации

Экономика

При 1.5M запросов в месяц и средней длине ответа 600 токенов локальный стек окупается за 4–5 месяцев против OpenAI API. После этого — экономия в разы.

Когда не нужно

Если у вас нерегулярные запросы и нет требований к приватности — оставайтесь на API. Локальный стек оправдан там, где есть стабильный поток или конфиденциальность.

Вопросы и ответы

Когда своя LLM выгоднее облачного API? Когда есть стабильный поток запросов или требования к приватности данных. В нашем проекте при 1,5 млн запросов в месяц и средней длине ответа 600 токенов локальный стек окупился за 4–5 месяцев против OpenAI API.

Какое железо нужно для приватной LLM? В нашем проекте — сервер с двумя видеокартами NVIDIA RTX по 24 ГБ видеопамяти, vLLM как сервер инференса и 4-битное AWQ-квантование, чтобы модель поместилась в память.

Когда своя LLM не нужна? Если запросы нерегулярные и нет требований к приватности данных — выгоднее оставаться на облачном API.

Что важно учесть при эксплуатации своего LLM-сервера? Тепловой режим при круглосуточной работе, батчинг запросов (в vLLM он даёт кратный прирост пропускной способности), очередь вместо ошибок при пиках нагрузки и процесс обновления моделей, которые выходят каждые 1–2 месяца.