Llama 3.3 70B на двух RTX 4090: как собрать локальный AI-сервер

Что реально запускается на 2×RTX 4090 (48 ГБ): Llama 3.3 70B в 4 битах через Ollama или vLLM, требования к железу и когда выбрать модель новее.

Коротко

Две RTX 4090 дают 48 ГБ видеопамяти, 24 ГБ на каждой карте. Этого хватает, чтобы запустить Llama 3.3 70B в 4-битной квантизации: в Ollama модель весит 43 ГБ. Проще всего начать с Ollama, для одновременной работы нескольких пользователей подойдёт vLLM с тензорным параллелизмом. Но в 2026 году Llama 3.3 уже не самый сильный выбор для такого железа. О моделях новее расскажем в конце статьи.

Что важно знать про Llama 3.3

Размер один: 70B. Meta выпустила Llama 3.3 только в варианте на 70 млрд параметров (Llama-3.3-70B-Instruct, декабрь 2024 года). Версий 8B или 30B у Llama 3.3 нет. Если такие встречаются в инструкциях, это ошибка.
Контекст: 128K токенов.
Лицензия: Llama 3.3 Community License. Коммерческое использование разрешено, но компаниям, у продуктов которых больше 700 млн активных пользователей в месяц, нужна отдельная лицензия от Meta.
Доступ: оригинальные веса на Hugging Face закрыты формой, нужно принять лицензию и указать контакты.
Языки: официально поддерживаются 8 языков, русского среди них нет. Отвечать по-русски модель может, но качество никто не гарантирует.

Для компаний

Нужна такая модель внутри компании?

Развернём языковую модель на серверах вашей компании: данные не уходят во внешние сервисы, а ваши системы работают с моделью через API. Пример — приватная Llama 3.3 для финтех-компании на двух видеокартах: 187 токенов в секунду, окупаемость 4–5 месяцев по сравнению с облачным API. Кейс целиком →

Железо

Видеокарты. У RTX 4090 24 ГБ памяти, энергопотребление по спецификации NVIDIA до 450 Вт на карту. NVLink у 4090 нет, поэтому карты обмениваются данными через PCIe. Две карты не сливаются в одну быструю память на 48 ГБ: модель просто делится между ними, и часть скорости уходит на обмен.

Блок питания и корпус. Две карты по 450 Вт плюс процессор и остальная система — рассчитывайте на блок питания с хорошим запасом по мощности и отдельными кабелями питания для каждой карты. Карты массивные, так что проверьте, что корпус и материнская плата физически вмещают две штуки и между ними остаётся место для охлаждения.

Материнская плата. Нужны два слота PCIe x16 по размеру. Уточните в инструкции к плате, по скольким линиям они работают, когда заняты оба: во многих потребительских платах вторая карта получает меньше линий.

Оперативная память и диск. Модель на 43 ГБ сначала читается с диска, поэтому быстрый NVMe заметно сокращает время загрузки. Объём ОЗУ лучше брать не меньше объёма модели.

Вариант 1: Ollama — быстрый старт

Ollama сама решает, как разместить модель. Если модель помещается на одну карту, она грузится на одну. Если нет, слои делятся между всеми видеокартами пропорционально их памяти.

ollama run llama3.3:70b

Модель весит 43 ГБ, так что на 48 ГБ остаётся около 5 ГБ под контекст. Этого хватает для обычного диалога, но не для полного окна в 128K. Проверить, как модель распределилась по картам, можно командой nvidia-smi.

Ollama поднимает API на http://localhost:11434, в том числе совместимый с OpenAI. Для одного-двух пользователей это самый простой вариант.

Вариант 2: vLLM — для нескольких пользователей

Если к серверу обращается команда или приложение с параллельными запросами, лучше взять vLLM (установка и настройка — в нашем руководстве по vLLM). Он делит каждый слой между картами (тензорный параллелизм) и эффективно обрабатывает много запросов одновременно.

Для 48 ГБ нужна 4-битная сборка модели, например в формате AWQ. Официальной AWQ-версии от Meta нет, есть сборки сообщества на Hugging Face, например casperhansen/llama-3.3-70b-instruct-awq. Перед использованием проверьте карточку конкретной сборки.

vllm serve casperhansen/llama-3.3-70b-instruct-awq \
  --tensor-parallel-size 2 \
  --max-model-len 8192

--tensor-parallel-size 2 делит модель на две карты.
--max-model-len ограничивает длину контекста. Кэш контекста (KV-кэш) тоже занимает видеопамять, поэтому на 48 ГБ полный контекст в 128K недоступен. Начните с 8K и увеличивайте, пока модель помещается.

vLLM тоже отдаёт OpenAI-совместимый API (по умолчанию порт 8000), так что клиенты и редакторы подключаются к нему так же, как к облачному API.

Стоит ли вообще брать Llama 3.3 в 2026 году

Llama 3.3 вышла в конце 2024 года. С тех пор появились открытые модели, которые на тех же 48 ГБ дают больше:

Qwen3.6-27B (Apache 2.0, контекст 256K) в Ollama весит 18 ГБ и помещается на одну 4090. Вторая карта остаётся свободной под длинный контекст, под вторую модель или под параллельные запросы.
Gemma 4 31B (Apache 2.0) весит 20 ГБ и тоже помещается на одну карту.
Qwen3-Coder-Next (80B, из них около 3B активных, Apache 2.0) — модель для агентной разработки, ей как раз нужна память уровня двух 4090.

Плюс лицензии: у всех трёх Apache 2.0 без ограничений Llama Community License. Подробное сравнение моделей для кода, с таблицей по памяти, — в статье лучшие локальные LLM для программирования. Как посчитать видеопамять под модель и контекст, разбираем в статье про GPU-память для LLM.

Llama 3.3 70B по-прежнему разумна, если у вас уже есть пайплайны, промпты или дообучение под семейство Llama и менять модель дорого.

Итог

2×RTX 4090 = 48 ГБ. Llama 3.3 70B в 4 битах помещается, но места под контекст остаётся немного.
Для одного пользователя — Ollama (ollama run llama3.3:70b), для команды — vLLM с --tensor-parallel-size 2 и AWQ-сборкой.
Для нового проекта сначала попробуйте Qwen3.6-27B или Gemma 4 31B на одной карте: вторая останется в запасе.
Если нужна экономика собственного AI-стека, мы разбирали её в статье LLM на своём железе.

Вопросы и ответы

Поместится ли Llama 3.3 70B на две RTX 4090? Да, в 4-битной квантизации: в Ollama модель весит 43 ГБ, а у двух RTX 4090 48 ГБ видеопамяти. Под контекст остаётся около 5 ГБ, поэтому полное окно в 128K недоступно.

Что выбрать для запуска: Ollama или vLLM? Для одного-двух пользователей проще Ollama (ollama run llama3.3:70b). Для команды или приложения с параллельными запросами — vLLM с --tensor-parallel-size 2 и 4-битной AWQ-сборкой.

Можно ли использовать Llama 3.3 в коммерческом проекте? Да, лицензия Llama 3.3 Community License это разрешает. Отдельная лицензия от Meta нужна только компаниям, у продуктов которых больше 700 млн активных пользователей в месяц.

Какую модель взять вместо Llama 3.3 для нового проекта? Сначала стоит попробовать Qwen3.6-27B (18 ГБ в Ollama) или Gemma 4 31B (20 ГБ): обе помещаются на одну RTX 4090 и распространяются под Apache 2.0.