Ollama: как запустить LLM на своём ПК — полное руководство

Коротко

Ollama — бесплатная программа, которая скачивает и запускает открытые языковые модели на вашем компьютере одной командой: ollama run <модель>. Она работает на Linux, macOS, Windows и в Docker, поднимает API на http://localhost:11434 (в том числе OpenAI-совместимый) и сама делит модель между видеопамятью и оперативной памятью. Главная неочевидная настройка — окно контекста: по умолчанию 4096 токенов, его стоит увеличить для длинных документов.

Что такое Ollama

Ollama — бесплатная программа для запуска открытых языковых моделей на своём компьютере. Она сама скачивает модель, подбирает, куда её загрузить (видеокарта, оперативная память или обе сразу), и поднимает локальный API. К этому API можно подключить чат-клиент, редактор кода или собственное приложение.

Ниже — всё, что нужно для работы: установка, основные команды, выбор модели под видеопамять, настройка и API. Команды и настройки сверены с официальной документацией Ollama 19 октября 2026 года.

Установка

Linux — одной командой:

curl -fsSL https://ollama.com/install.sh | sh

Скрипт ставит Ollama как systemd-сервис ollama. Логи смотрятся командой journalctl -e -u ollama.

macOS и Windows — установщики с ollama.com/download.

Docker — официальный образ ollama/ollama. С видеокартой NVIDIA:

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
docker exec -it ollama ollama run llama3.2

Для видеокарт AMD есть образ ollama/ollama:rocm, без видеокарты флаг --gpus=all просто не указывается.

Основные команды

Команда	Что делает
ollama run <модель>	Запускает модель и открывает чат. Если модели нет, сначала скачивает
ollama pull <модель>	Только скачивает модель
ollama ls	Список скачанных моделей
ollama ps	Какие модели сейчас загружены в память
ollama stop <модель>	Выгружает модель из памяти
ollama rm <модель>	Удаляет модель с диска
ollama create <имя> -f Modelfile	Создаёт свою модель на основе Modelfile
ollama serve	Запускает сервер вручную (если он не работает как сервис)

Посмотреть все переменные окружения сервера можно командой ollama serve --help.

Как выбрать модель под свою видеокарту

Модели берутся из библиотеки Ollama. У каждой модели есть теги: размер (:12b, :27b) и иногда вариант квантования. На странице модели указан размер загрузки. Это главный ориентир: модель должна поместиться в видеопамять, плюс нужен запас под контекст.

Для примера, размеры некоторых популярных моделей в библиотеке Ollama:

Модель	Размер загрузки
gemma4:12b	7,7 ГБ
gpt-oss:20b	14 ГБ
qwen3.6:27b	18 ГБ
qwen3.8:27b	18 ГБ
llama3.3:70b	43 ГБ

Если модель не помещается в видеопамять целиком, Ollama загружает часть слоёв в обычную оперативную память. Работать это будет, но медленнее. Если в системе несколько видеокарт, Ollama сначала пытается разместить модель на одной, а если не выходит, делит её между всеми.

Подборка моделей для общих задач под разный объём видеопамяти — в статье «Модели для Ollama и LM Studio», как запустить DeepSeek — в статье «DeepSeek на ПК». Подробнее о выборе модели для программирования — в статье лучшие локальные LLM для программирования. Про запуск 70B-модели на двух видеокартах — в статье Llama 3.3 70B на двух RTX 4090.

Контекст: почему модель «забывает» начало разговора

По умолчанию Ollama использует окно контекста в 4096 токенов, даже если сама модель поддерживает 128K или 256K. Для длинных документов и работы с кодом этого мало. Увеличить можно тремя способами:

• для всего сервера — переменной окружения: OLLAMA_CONTEXT_LENGTH=32768 ollama serve;
• в чате — командой /set parameter num_ctx 32768;
• в запросе к API — параметром "options": {"num_ctx": 32768}.

Больший контекст занимает больше памяти. Сэкономить можно квантованием кэша контекста: OLLAMA_KV_CACHE_TYPE=q8_0 расходует примерно вдвое меньше памяти, чем значение по умолчанию f16, при очень небольшой потере точности. Как точно посчитать, сколько видеопамяти нужно под контекст и веса модели, разбирали отдельно.

Modelfile: своя модель на основе готовой

Modelfile — текстовый файл, который описывает модель: базовая модель, параметры и системный промпт.

FROM qwen3.6:27b
PARAMETER temperature 0.2
PARAMETER num_ctx 32768
SYSTEM Ты помощник разработчика. Отвечай кратко, код приводи целиком.

ollama create code-helper -f Modelfile
ollama run code-helper

Основные инструкции: FROM (базовая модель, обязательная), PARAMETER (temperature, num_ctx, top_p, top_k, stop, num_predict и другие), SYSTEM (системное сообщение), TEMPLATE (шаблон промпта), MESSAGE (заготовленная история диалога).

Важно: Ollama запускает модели, но не обучает их. Если нужна дообученная модель, её обучают отдельными инструментами, а в Ollama импортируют уже готовый результат.

Настройки сервера

Сервер Ollama настраивается переменными окружения. Самые полезные:

Переменная	Что задаёт	По умолчанию
OLLAMA_HOST	Адрес и порт сервера	127.0.0.1:11434
OLLAMA_MODELS	Папка для моделей	см. ниже
OLLAMA_CONTEXT_LENGTH	Окно контекста	4096
OLLAMA_KEEP_ALIVE	Сколько модель остаётся в памяти после запроса	5 минут
OLLAMA_NUM_PARALLEL	Сколько запросов к одной модели обрабатывать одновременно	1
OLLAMA_MAX_LOADED_MODELS	Сколько моделей держать в памяти одновременно	3 на каждую видеокарту
OLLAMA_KV_CACHE_TYPE	Тип кэша контекста: f16, q8_0, q4_0	f16

Учтите, что OLLAMA_NUM_PARALLEL умножает расход памяти: каждому параллельному запросу нужен свой контекст.

На Linux переменные для сервиса задаются через sudo systemctl edit ollama:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_CONTEXT_LENGTH=32768"

После этого — sudo systemctl daemon-reload && sudo systemctl restart ollama.

Где лежат модели: macOS — ~/.ollama/models, Linux (при установке скриптом) — /usr/share/ollama/.ollama/models, Windows — C:\Users\<пользователь>\.ollama\models.

Про файлы в папке .ollama. Кроме моделей, там хранятся служебные файлы Ollama. Настройка сервера в виде файла, описанная в документации, — это ~/.ollama/server.json. В нём, например, можно отключить облачные функции ("disable_ollama_cloud": true); то же самое делает переменная окружения OLLAMA_NO_CLOUD=1. После изменения Ollama нужно перезапустить. Файл config.json в официальной документации не описан. Основной способ настройки Ollama — переменные окружения из таблицы выше.

Доступ из сети. По умолчанию Ollama слушает только локальный адрес. Чтобы к нему обращались другие машины, задайте OLLAMA_HOST=0.0.0.0:11434. У API Ollama нет встроенной авторизации, поэтому не открывайте порт в интернет. Используйте локальную сеть, VPN или обратный прокси с авторизацией.

API: подключаем Ollama к своему коду

Сервер работает на http://localhost:11434. Основные эндпоинты: /api/chat, /api/generate, /api/embed, /api/tags (список моделей), /api/ps.

curl http://localhost:11434/api/chat -d '{
  "model": "gemma4:12b",
  "messages": [{"role": "user", "content": "Объясни, что такое KV-кэш"}],
  "stream": false
}'

Есть и OpenAI-совместимый API по адресу http://localhost:11434/v1/: /v1/chat/completions, /v1/completions, /v1/models, /v1/embeddings, /v1/responses. Любой код, написанный под OpenAI SDK, переключается на локальную модель заменой адреса:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1/", api_key="ollama")  # ключ Ollama игнорирует
r = client.chat.completions.create(
    model="gemma4:12b",
    messages=[{"role": "user", "content": "Привет!"}],
)
print(r.choices[0].message.content)

Официальные библиотеки: pip install ollama для Python и npm i ollama для JavaScript.

Через этот же API к Ollama подключаются редакторы кода, например расширения Continue и Cline для VS Code. Если удобнее графический интерфейс, посмотрите на LM Studio: как её установить и настроить — в руководстве по LM Studio, а про функцию удалённого доступа LM Link есть отдельная статья. Чем две программы отличаются и что выбрать, разобрали в сравнении «Ollama или LM Studio».

Итог

• Установка — одна команда на Linux или установщик для macOS и Windows, для серверов есть Docker-образ.
• Модель выбирайте по размеру загрузки и оставляйте запас видеопамяти под контекст.
• По умолчанию контекст 4096 токенов. Для работы с кодом и документами его нужно увеличить.
• Настройка — переменные окружения. Доступ извне — только через VPN или прокси, не открывая порт.
• API совместим с OpenAI, поэтому существующий код переводится на локальную модель заменой адреса.

Вопросы и ответы

Как установить Ollama? На Linux — одной командой установочного скрипта, Ollama встанет как systemd-сервис. На macOS и Windows — установщиком с ollama.com/download. В Docker — официальный образ ollama/ollama (для AMD — ollama/ollama:rocm).

Почему модель в Ollama «забывает» начало разговора? По умолчанию Ollama использует контекст 4096 токенов, даже если модель поддерживает больше. Увеличьте его переменной OLLAMA_CONTEXT_LENGTH, командой /set parameter num_ctx в чате или параметром num_ctx в запросе к API.

Какую модель запустить в Ollama под мою видеокарту? Ориентируйтесь на размер загрузки: gemma4:12b — 7,7 ГБ, gpt-oss:20b — 14 ГБ, qwen3.6:27b — 18 ГБ, llama3.3:70b — 43 ГБ. Сверху нужен запас под контекст; если модель не помещается, часть слоёв уйдёт в оперативную память и работа замедлится.

Можно ли подключить Ollama к коду, написанному под OpenAI? Да, у Ollama есть OpenAI-совместимый API по адресу http://localhost:11434/v1/. В клиенте OpenAI достаточно указать base_url этого адреса, ключ Ollama игнорирует.

Источники

• Документация Ollama: https://docs.ollama.com/
• CLI: https://docs.ollama.com/cli
• FAQ (переменные окружения, контекст, расположение моделей, несколько GPU): https://docs.ollama.com/faq
• Modelfile: https://docs.ollama.com/modelfile
• Установка на Linux: https://docs.ollama.com/linux
• Docker: https://docs.ollama.com/docker
• API: https://docs.ollama.com/api/introduction
• OpenAI-совместимость: https://docs.ollama.com/api/openai-compatibility
• Библиотека моделей: https://ollama.com/library