llama.cpp: как установить и запустить модель — руководство 2026

Коротко

llama.cpp — открытый движок на C/C++ для запуска языковых моделей на своём компьютере или сервере. Лицензия MIT. Работает на процессоре и на видеокартах NVIDIA, AMD, Intel и Apple Silicon. Модели использует в формате GGUF и умеет скачивать их прямо с Hugging Face.

Быстрее всего начать так:

# установка (Linux и macOS)
curl -LsSf https://llama.app/install.sh | sh

# чат с моделью в терминале
llama cli -hf ggml-org/Qwen3.6-27B-GGUF

# сервер с API, совместимым с OpenAI, и веб-интерфейсом
llama serve -hf ggml-org/Qwen3.6-27B-GGUF

Сервер по умолчанию слушает http://127.0.0.1:9931 — в старых инструкциях встречается порт 8080, сейчас по умолчанию другой. Ниже — все способы установки, какую сборку брать под вашу видеокарту, основные настройки и запуск на нескольких GPU.

Чем llama.cpp отличается от Ollama и LM Studio

	llama.cpp	Ollama	LM Studio
Что это	Движок и набор утилит командной строки	Программа-сервис с каталогом моделей	Приложение с графическим интерфейсом
Модели	Любые GGUF с Hugging Face	Из библиотеки Ollama и GGUF	Каталог в приложении (GGUF, на Mac — MLX)
Настройки	Все параметры запуска доступны напрямую	Основные, через Modelfile и переменные	Основные, в интерфейсе
Кому подходит	Тем, кому нужен полный контроль и сервер под свою задачу	Быстрый старт и интеграции	Тем, кто хочет без командной строки

Если вы только начинаете, проще LM Studio или Ollama — сравнение двух программ есть в статье «Ollama или LM Studio». llama.cpp выбирают, когда нужно точно управлять памятью, контекстом, числом параллельных запросов и распределением модели между видеокартами.

Установка

Способ	Система	Команда или где взять
Установщик llama.app	Linux, macOS	curl -LsSf https://llama.app/install.sh | sh
Установщик llama.app	Windows (PowerShell)	irm https://llama.app/install.ps1 | iex
winget	Windows	winget install llama.cpp
Homebrew	macOS, Linux	brew install llama.cpp
conda-forge	Windows, macOS, Linux	conda install -c conda-forge llama.cpp
Nix	macOS, Linux	nix profile install nixpkgs#llama-cpp
Готовые архивы	Все	страница Releases на GitHub
Docker	Linux	образы ghcr.io/ggml-org/llama.cpp
Сборка из исходников	Все	cmake, см. ниже

Установщик llama.app сам определяет, есть ли видеокарта NVIDIA (CUDA) или поддержка Vulkan, скачивает подходящую сборку и ставит одну команду llama в ~/.local/bin. Дальше используются подкоманды llama cli и llama serve.

Пакетные менеджеры и архивы ставят отдельные программы: llama-cli (чат в терминале), llama-server (сервер с API) и другие утилиты. Параметры у них те же.

Какой архив скачать на Windows

На странице Releases для Windows выложены отдельные сборки под разное железо:

Видеокарта	Архив
NVIDIA	llama-…-bin-win-cuda-12.4-x64.zip или …cuda-13.4-x64.zip, плюс архив cudart-llama-bin-win-cuda-…-x64.zip той же версии CUDA с библиотеками
AMD	…-bin-win-vulkan-x64.zip или …-bin-win-rocm-…-x64.zip
Intel	…-bin-win-vulkan-x64.zip или …-bin-win-sycl-x64.zip
Без видеокарты	…-bin-win-cpu-x64.zip

Архивы распакуйте в одну папку и запускайте llama-cli.exe или llama-server.exe из неё. Vulkan — самый универсальный вариант: работает на видеокартах разных производителей.

Сборка из исходников

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp

# только процессор
cmake -B build
cmake --build build --config Release -j 8

# с поддержкой NVIDIA (нужен CUDA Toolkit)
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j 8

На Mac с Apple Silicon поддержка Metal включена по умолчанию. Для Vulkan используется флаг -DGGML_VULKAN=ON. Готовые программы появятся в build/bin.

Первый запуск модели

Ключ -hf скачивает модель с Hugging Face и сразу её запускает:

llama-cli -hf ggml-org/Qwen3.6-27B-GGUF

• Формат: -hf <автор>/<репозиторий>[:квантование]. Если квантование не указано, берётся Q4_K_M, а если такого файла нет — первый файл в репозитории.
• Для мультимодальных моделей файл для работы с картинками (mmproj) скачивается автоматически.
• Уже скачанный файл можно запустить по пути: llama-cli -m ./models/model.gguf.

Для примера, в репозитории ggml-org/Qwen3.6-27B-GGUF файл Q4_K_M весит 19,1 ГБ, Q8_0 — 28,6 ГБ, BF16 — 53,8 ГБ. Чем ниже разрядность, тем меньше памяти нужно, но тем сильнее может упасть качество. Q4_K_M — разумный компромисс для большинства задач. Какую модель выбрать под вашу видеокарту — в подборке «Модели для Ollama и LM Studio»: те же модели есть в GGUF и запускаются в llama.cpp.

Сервер с OpenAI API и веб-интерфейсом

llama-server -hf ggml-org/Qwen3.6-27B-GGUF

• Сервер слушает 127.0.0.1:9931. По тому же адресу открывается встроенный веб-интерфейс для чата.
• API совместим с OpenAI: /v1/chat/completions, /v1/completions, /v1/embeddings, /v1/models. Приложения, которые умеют работать с OpenAI, подключаются заменой адреса на http://localhost:9931/v1.

Проверка запросом:

curl http://localhost:9931/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Привет! Ответь одним предложением."}]}'

Основные параметры сервера:

Параметр	Что делает	По умолчанию
-c, --ctx-size	Длина контекста в токенах	0 — берётся из модели
-ngl, --gpu-layers	Сколько слоёв держать в видеопамяти: число, auto или all	auto
-np, --parallel	Сколько запросов обрабатывать одновременно	автоматически
--host, --port	Адрес и порт	127.0.0.1, 9931
--api-key	Ключ для доступа к API, можно несколько через запятую	нет
-fa, --flash-attn	Flash Attention: on, off, auto	auto
-ctk, -ctv	Формат KV-кэша, например q8_0 вместо f16	f16
--no-ui	Отключить веб-интерфейс	интерфейс включён

Если сервер должен быть доступен с других компьютеров, укажите --host 0.0.0.0 и обязательно задайте --api-key — иначе модель сможет использовать любой, кто достучится до порта.

Видеокарта и память

По умолчанию (-ngl auto) llama.cpp сам решает, сколько слоёв модели положить в видеопамять. Если модель целиком не помещается, часть слоёв остаётся в оперативной памяти и считается на процессоре. Модель работает, но заметно медленнее.

Память уходит на веса модели и на KV-кэш, который растёт с длиной контекста и числом параллельных запросов. Чтобы сэкономить:

• уменьшите контекст: -c 8192 вместо максимума модели;
• квантуйте кэш: -ctk q8_0 -ctv q8_0 — для квантованного V-кэша нужен включённый Flash Attention (по умолчанию он auto);
• возьмите квантование весов пониже, например Q4_K_M вместо Q8_0.

Посчитать, поместится ли модель с нужным контекстом, можно в нашем калькуляторе видеопамяти, а формулы разобраны в статье «Сколько видеопамяти нужно для LLM».

Несколько видеокарт

llama.cpp сам использует все видимые видеокарты. Способ разделения задаётся ключом --split-mode (-sm):

Режим	Как работает	Когда брать
layer (по умолчанию)	Каждая карта хранит свою часть слоёв	Самый совместимый вариант, терпит медленную связь между картами
tensor	Каждый слой делится между картами	Экспериментальный режим: быстрее генерация, но сильно зависит от скорости связи между картами. Лучше всего работает на нескольких NVIDIA с CUDA
none	Только одна карта, выбирается --main-gpu	Если модель помещается на одну карту

Пропорции задаются --tensor-split, например -ts 3,1 отдаёт 75% модели первой карте. Список устройств с объёмом памяти покажет --list-devices. Пример сборки сервера на двух RTX 4090 разобран в статье «Llama 3.3 70B на двух RTX 4090».

Запуск в Docker

Готовые образы лежат в ghcr.io/ggml-org/llama.cpp: server — только сервер, light — утилиты командной строки, full — всё, включая конвертацию моделей. Для видеокарт есть варианты с суффиксами -cuda (CUDA 12), -cuda13, -rocm, -vulkan, -intel.

docker run -p 8080:8080 -v /path/to/models:/models --gpus all \
  ghcr.io/ggml-org/llama.cpp:server-cuda \
  -m /models/model.gguf -c 8192 --host 0.0.0.0 --port 8080 --n-gpu-layers 99

Для образа с CUDA на хосте нужен драйвер NVIDIA и NVIDIA Container Toolkit.

llama.cpp в компании

llama.cpp хорошо подходит для одного сервера с небольшим числом пользователей и для слабого или смешанного железа. Если к модели обращается много сервисов одновременно, обычно берут vLLM — он рассчитан на высокую нагрузку. Если нужна языковая модель внутри компании без отправки данных во внешние сервисы, посмотрите, как мы разворачиваем локальные LLM, и все материалы по теме — на странице «Локальные LLM».

Вопросы и ответы

Что такое llama.cpp простыми словами? Бесплатный открытый движок для запуска языковых моделей на своём компьютере или сервере. Работает с моделями в формате GGUF на процессоре и на видеокартах NVIDIA, AMD, Intel и Apple Silicon. Лицензия MIT.

Как установить llama.cpp на Windows? Через PowerShell командой irm https://llama.app/install.ps1 | iex, через winget install llama.cpp или скачать архив со страницы Releases на GitHub: для NVIDIA — сборку с CUDA вместе с архивом cudart, для AMD и Intel — сборку Vulkan.

Какой порт у llama-server? По умолчанию 127.0.0.1:9931. Порт меняется ключом --port, адрес — ключом --host. По тому же адресу открывается веб-интерфейс, а API, совместимый с OpenAI, доступен по пути /v1.

Как скачать модель для llama.cpp? Ключом -hf с именем репозитория на Hugging Face, например llama-cli -hf ggml-org/Qwen3.6-27B-GGUF. Без указания квантования скачивается файл Q4_K_M. Уже скачанный GGUF-файл запускается ключом -m.

Что делать, если модель не помещается в видеопамять? Уменьшить контекст (-c), квантовать KV-кэш (-ctk q8_0 -ctv q8_0), взять квантование весов пониже или оставить часть слоёв в оперативной памяти — llama.cpp делает это автоматически, но скорость падает.

Источники

• Репозиторий и README llama.cpp: https://github.com/ggml-org/llama.cpp
• Установка готовых сборок: https://github.com/ggml-org/llama.cpp/blob/master/docs/install.md
• Сборка из исходников: https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md
• Документация llama-server: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
• Несколько видеокарт: https://github.com/ggml-org/llama.cpp/blob/master/docs/multi-gpu.md
• Docker-образы: https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md
• Модель Qwen3.6-27B в GGUF: https://huggingface.co/ggml-org/Qwen3.6-27B-GGUF