Qwen локально: какую версию выбрать и как запустить в 2026

Коротко

Qwen — семейство открытых моделей от Alibaba. Почти все модели, которые запускают дома и на своих серверах, распространяются под лицензией Apache 2.0, то есть их можно бесплатно использовать в том числе в коммерческих проектах. Самый быстрый способ запустить Qwen локально:

ollama run qwen3.8

Это Qwen3.8-27B — 18 ГБ в Ollama, нужна видеокарта на 24 ГБ. Для карт поменьше есть Qwen3.5 на 4 и 9 млрд параметров. Ниже — таблица, какую версию брать под ваш объём видеопамяти, и как запустить её в Ollama, LM Studio, llama.cpp и vLLM.

Какие версии Qwen актуальны

Есть и серверные модели серии 3.8 (Qwen3.8-Flash-Next на ~180 млрд параметров и больше) — их запускают на серверах с несколькими профессиональными GPU, и лицензия у них не Apache 2.0, а собственная. Для дома и небольшого сервера они не подходят.

Плотная или MoE. В плотной модели (27B) в каждом ответе работают все параметры. В MoE-модели (35B-A3B) параметров больше, но на каждый токен работает около 3 млрд — поэтому она отвечает быстрее и спокойнее переносит выгрузку части слоёв в оперативную память, хотя файл весит больше.

Какую Qwen выбрать под видеокарту

Размеры — вес 4-битной версии в библиотеке Ollama. К нему нужно прибавить память под контекст.

У моделей Qwen3.6 и Qwen3.8 на 27B память под контекст расходуется экономно: полный кэш хранят только 16 слоёв из 64, остальные используют линейное внимание. Кэш на 32 тысячи токенов занимает около 2 ГБ в 16-битном формате. Точнее прикинуть, поместится ли модель с нужным контекстом, можно в калькуляторе видеопамяти — Qwen3.6-27B там есть в списке моделей, у Qwen3.8-27B такие же параметры кэша.

На Mac с Apple Silicon берите версии MLX (qwen3.8:27b-mlx в Ollama или MLX-сборки в LM Studio) — они рассчитаны на чипы Apple. Оперативная память Mac общая с видеочипом, поэтому ориентируйтесь на её объём.

Как запустить

Ollama

ollama run qwen3.8          # Qwen3.8-27B, 18 ГБ
ollama run qwen3.5:9b       # для видеокарты на 8 ГБ
ollama run qwen3.6:27b-coding

Ollama сама скачает модель и откроет чат в терминале, а API будет доступен на http://localhost:11434. Подробно — в руководстве по Ollama.

LM Studio

В поиске моделей введите «Qwen3.8» или «Qwen3.5», выберите размер и квантование — LM Studio подсветит, поместится ли версия в память. На Mac выбирайте MLX. Пошагово — в руководстве по LM Studio.

llama.cpp

llama-server -hf ggml-org/Qwen3.8-27B-GGUF

Без указания квантования скачается Q4_K_M. Сервер с веб-интерфейсом и API, совместимым с OpenAI, будет на http://127.0.0.1:9931. Подробно — в руководстве по llama.cpp.

vLLM — для сервера с несколькими пользователями

vllm serve Qwen/Qwen3.8-27B-FP8 --tensor-parallel-size 2 --max-model-len 32768 --reasoning-parser qwen3

Официальная FP8-версия весит около 31 ГБ — на две карты по 24 ГБ она помещается с запасом под контекст. Флаг --reasoning-parser qwen3 отделяет размышления модели от ответа в API. Подробно — в статье «vLLM: как развернуть LLM-сервер для компании».

Режим размышлений

Qwen3.8 по умолчанию сначала «думает» — пишет рассуждение в блоке <think>…</think>, а потом отвечает. Это повышает качество на сложных задачах, но замедляет простые ответы. Отключить можно в запросе к API: в Ollama — полем "think": false, в vLLM и других серверах — параметром enable_thinking в шаблоне чата (примеры есть в карточке модели на Hugging Face).

Авторы рекомендуют разные настройки генерации для двух режимов:

Qwen для программирования

Для кода на 24 ГБ подойдут qwen3.8:27b и специальная сборка qwen3.6:27b-coding. Сравнение Qwen с другими моделями для кода — Devstral, Gemma 4, gpt-oss — с таблицей по памяти и лицензиям есть в статье «Лучшие локальные LLM для программирования».

Qwen в компании

Лицензия Apache 2.0 позволяет развернуть Qwen на своих серверах и встроить в продукты компании без отчислений. Данные при этом не уходят во внешние сервисы. Если нужно развернуть модель под задачи компании — посмотрите, как мы внедряем локальные LLM; все материалы по теме — на странице «Локальные LLM».

Вопросы и ответы

Какую версию Qwen скачать для локального запуска? При видеокарте на 24 ГБ — Qwen3.8-27B (ollama run qwen3.8, 18 ГБ). При 8 ГБ — Qwen3.5-9B, при 4–6 ГБ — Qwen3.5-4B или 2B. Для кода на 24 ГБ — Qwen3.8-27B или qwen3.6:27b-coding.

Можно ли использовать Qwen в коммерческих целях? Да, модели Qwen3.5, Qwen3.6 и Qwen3.8-27B распространяются под лицензией Apache 2.0. Исключение — крупные серверные модели серии 3.8 вроде Qwen3.8-Flash-Next: у них собственная лицензия, её нужно читать отдельно.

Сколько видеопамяти нужно для Qwen3.8-27B? В 4-битной версии модель весит 18 ГБ, плюс память под контекст — около 2 ГБ на 32 тысячи токенов. Видеокарты на 24 ГБ хватает.

Как отключить размышления у Qwen3.8? В запросе к API: в Ollama — полем "think": false, в других серверах — параметром enable_thinking: false в шаблоне чата.

Чем Qwen3.8 отличается от Qwen3.6? Qwen3.8-27B вышла в августе 2026 года и, по данным разработчиков, сильнее в программировании, работе с документами и многошаговых задачах агентов. Архитектура и требования к памяти у 27B-версий практически одинаковые.

Источники

• Qwen3.8-27B (карточка модели): https://huggingface.co/Qwen/Qwen3.8-27B
• Qwen3.6-27B и Qwen3.6-35B-A3B: https://huggingface.co/Qwen/Qwen3.6-27B, https://huggingface.co/Qwen/Qwen3.6-35B-A3B
• Qwen3.8 в Ollama: https://ollama.com/library/qwen3.8
• Qwen3.6 в Ollama: https://ollama.com/library/qwen3.6
• Qwen3.5 в Ollama: https://ollama.com/library/qwen3.5
• Qwen3.8-27B в GGUF: https://huggingface.co/ggml-org/Qwen3.8-27B-GGUF
• Режим размышлений в Ollama: https://docs.ollama.com/capabilities/thinking