Квантование LLM: GGUF, AWQ или EXL2 — как выбрать и не потерять качество
Все статьи
AI / LLM 5 мин чтения

Квантование LLM: GGUF, AWQ или EXL2 — как выбрать и не потерять качество

Разбираем GGUF, AWQ, EXL2 и GPTQ: под какое железо и сценарий подходит каждый формат, как делать квантование самому и каких ошибок избегать.

Разбираем GGUF, AWQ, EXL2 и GPTQ: под какое железо и сценарий подходит каждый формат, как делать квантование самому и каких ошибок избегать.

Коротко

Если вы не уверены в железе, берите GGUF: он работает на CPU, GPU и в гибридном режиме. Для одного пользователя на NVIDIA, которому нужна максимальная скорость, лучше подходит EXL2 с 4–6 bpw, а для многопользовательского сервинга через vLLM и режима «мало VRAM» – AWQ. GPTQ нужен в основном для совместимости со старыми чекпоинтами.

Какой формат выбрать под ваше железо и задачу

Выбор определяется железом и рантаймом, а не «качеством формата» вообще.

  • GGUF создан Георгием Гергановым для llama.cpp. По данным local-ai-zone, это де-факто стандарт локального инференса. Он запускается на NVIDIA, AMD, Apple Silicon, процессорах Intel и даже на Raspberry Pi. Это основной формат для llama.cpp, Ollama и LM Studio. Cloudzy называет его самым портируемым и безопасным выбором, если вы не знаете, что поддерживает ваше железо.
  • EXL2 работает через ExLlamaV2 на NVIDIA. Local-ai-zone оценивает его как лучший баланс скорости и качества на 4–6 bpw. Runlocalai рекомендует связку EXL2 + ExLlamaV2 + TabbyAPI для одного пользователя, которому нужен максимум токенов в секунду на потребительской NVIDIA.
  • AWQ, по данным local-ai-zone, даёт лучшее качество на бит при 4-бит на NVIDIA с малым объёмом VRAM. Local-llm.net считает его лучшим выбором для продакшен-сервинга на GPU через vLLM. Runlocalai советует AWQ-INT4 для многопользовательской выдачи (vLLM/SGLang).
  • GPTQ local-ai-zone рекомендует только для обратной совместимости: формат вытеснен AWQ и EXL2.

Краткая шпаргалка:

Ситуация Что брать
Mac, AMD, только CPU, неясное железо GGUF
AMD GPU GGUF Q4_K_M (путь через ROCm)
Один пользователь, потребительская NVIDIA, нужна скорость EXL2
Много пользователей, vLLM/SGLang AWQ
Модель выложена только в GPTQ GPTQ

Для Intel Arc и NPU runlocalai указывает квантования ONNX Runtime – это отдельная ветка вне основной четвёрки.

Чем форматы различаются по устройству

Главное различие – в том, как распределяются биты по весам.

В GGUF вы выбираете один уровень квантования на всю модель: Q4_K_M, Q5_K_M, Q8_0 и так далее. EXL2 устроен иначе: по данным local-llm.net, вы задаёте целевую среднюю битность (например, 4.0 бита на вес), а формат неравномерно распределяет биты по слоям, чтобы получить наилучшее качество при этом среднем значении. Для GPTQ и AWQ тот же источник описывает фиксированные 4 или 8 бит на все веса.

Local-ai-zone уточняет, что EXL2 использует ту же математику, что и GPTQ (калибровочное квантование), но хранит результат эффективнее. Поэтому битность можно подобрать под конкретный объём видеопамяти, а не выбирать из фиксированного набора.

Скорость и ограничения: на что смотреть

Относительный порядок форматов по скорости стабилен, но абсолютным цифрам из старых бенчмарков верить не стоит.

По данным local-llm.net, EXL2 обычно на 10–30% быстрее GGUF на том же железе при чистом GPU-инференсе. Cloudzy резюмирует так: EXL2 создан для скорости, AWQ жертвует VRAM ради быстрой загрузки, GGUF остаётся компактным и портируемым. При этом Cloudzy оговаривает, что их рейтинги скорости и VRAM опираются на бенчмарк oobabooga, который гонялся на железе 2023–2024 годов. Относительный порядок можно считать устойчивым, а абсолютные токены в секунду – нет.

У EXL2 есть практическое ограничение: по данным runlocalai, он не поддерживает continuous batching так, как vLLM, поэтому с множеством одновременных пользователей будут проблемы. Для сервиса с конкурентными запросами это аргумент в пользу AWQ.

Про FP8 runlocalai пишет, что он оправдан только на H100 и только если 1% качества важнее двукратной стоимости VRAM.

Как сделать квантование самому

Пайплайны у форматов разные, и инструменты не взаимозаменяемы.

Для GGUF исходные веса HF safetensors конвертируются скриптом convert_hf_to_gguf.py из репозитория llama.cpp, затем утилита llama-quantize приводит файл к нужному формату:

python convert_hf_to_gguf.py /path/to/hf-model --outfile model-f16.gguf --outtype f16
llama-quantize model-f16.gguf model-Q4_K_M.gguf Q4_K_M

AWQ делают библиотекой AutoAWQ (или llm-compressor) поверх PyTorch/Transformers. GPTQ – через AutoGPTQ или GPTQModel. EXL2 – скриптом convert.py из репозитория ExLlamaV2, где указывается целевая средняя битность.

Прикидка размера: 4 бита × 8 млрд параметров ÷ 8 = 4 ГБ. Cloudzy приводит это как «салфеточный» расчёт для 4-битного файла модели на 8 млрд параметров. Так оценивается только размер весов, поэтому запас под остальные нужды памяти закладывайте отдельно.

Как не потерять качество: типичные ошибки

Потери качества чаще возникают из-за неверного выбора, чем из-за самого квантования.

  1. Путаница с инструментами. llama-convert-llama2c-to-ggml из комплекта llama.cpp решает узкую задачу: переносит чекпоинты формата llama2.c (учебный проект Андрея Карпатого) в GGUF. К квантованию в AWQ, GPTQ или EXL2 он отношения не имеет.
  2. Слишком агрессивная битность. Для EXL2 ориентир – 4–6 bpw (по local-ai-zone). Для GGUF, если позволяет память, не жалейте уровней выше Q4_K_M, например Q5_K_M или Q8_0. Опускаться ниже стоит, только когда иначе модель не помещается.
  3. Расчёт на устаревшие бенчмарки. Не принимайте решение по абсолютным цифрам скорости из чужих тестов: проверьте на своей карте и своём рантайме.
  4. Неподходящий формат для сценария. EXL2 для многопользовательского сервинга или GGUF-файл там, где нужен vLLM, – типичные промахи. Ориентируйтесь на таблицу выше.
  5. GPTQ «по привычке». Берите его, когда модель выложена только в этом виде, когда вы работаете через ExLlamaV2 или когда нужно 3-битное квантование (runlocalai называет 4 бита нижней границей AWQ). В остальных случаях есть варианты лучше.

Проверяйте итоговую модель на своих задачах, а не только по общим метрикам.

Вопросы и ответы

Какой формат выбрать, если у меня Mac или AMD-карта? GGUF. По данным Cloudzy и runlocalai, для Mac, AMD и CPU-only это самый безопасный вариант, а для AMD runlocalai называет GGUF Q4_K_M через ROCm.

EXL2 действительно быстрее GGUF? По данным local-llm.net, при чистом GPU-инференсе на том же железе EXL2 обычно быстрее GGUF на 10–30%. Cloudzy предупреждает, что абсолютные цифры старых бенчмарков устарели, а относительный порядок остаётся в силе.

Чем EXL2 отличается от AWQ и GPTQ по битности? В EXL2 задаётся средняя битность, а биты неравномерно распределяются по слоям. В GPTQ и AWQ, по данным local-llm.net, используются фиксированные 4 или 8 бит на все веса.

Подходит ли llama-convert-llama2c-to-ggml для квантования? Нет. Эта утилита только переносит чекпоинты формата llama2.c в GGUF и не связана с квантованием в AWQ, GPTQ или EXL2. Для GGUF-квантования используйте convert_hf_to_gguf.py и llama-quantize.

Источники

  1. Квантование AI-моделей: GGUF, AWQ, GPTQ, EXL2 под ваш GPU
  2. GGUF vs EXL2 vs AWQ vs GPTQ - Quantization Formats Guide
  3. Understanding LLM Quantization: GGUF, GPTQ, AWQ, EXL2 Explained
  4. GGUF vs GPTQ vs AWQ vs EXL2: Quantization Formats Explained · Cloudzy Blog
  5. Quantization formats for local AI — GGUF, AWQ, GPTQ, EXL2, FP8, MLX (May 2026)
АП
Автор
Антон Правкин, основатель ITOQ

Внедряет ИИ и LLM в процессы компаний, разрабатывает платформы и чат-ботов. LinkedIn

Делаем это для бизнеса

Внедрение ИИ и разработка чат-ботов для бизнеса

Внедряем LLM в процессы компании: AI-агенты, Telegram-боты, автоматизация на n8n, облачные и локальные модели на своей инфраструктуре.

от 60 000 ₽ · от 2 недель

Подробнее об услуге и стоимости
CTA

Похожая задача в вашем бизнесе?

Расскажите коротко — предложим путь от аудита до запуска. Можно без формальностей.

Читать дальше