
Коротко
Если вы не уверены в железе, берите GGUF: он работает на CPU, GPU и в гибридном режиме. Для одного пользователя на NVIDIA, которому нужна максимальная скорость, лучше подходит EXL2 с 4–6 bpw, а для многопользовательского сервинга через vLLM и режима «мало VRAM» – AWQ. GPTQ нужен в основном для совместимости со старыми чекпоинтами.
Какой формат выбрать под ваше железо и задачу
Выбор определяется железом и рантаймом, а не «качеством формата» вообще.
- GGUF создан Георгием Гергановым для llama.cpp. По данным local-ai-zone, это де-факто стандарт локального инференса. Он запускается на NVIDIA, AMD, Apple Silicon, процессорах Intel и даже на Raspberry Pi. Это основной формат для llama.cpp, Ollama и LM Studio. Cloudzy называет его самым портируемым и безопасным выбором, если вы не знаете, что поддерживает ваше железо.
- EXL2 работает через ExLlamaV2 на NVIDIA. Local-ai-zone оценивает его как лучший баланс скорости и качества на 4–6 bpw. Runlocalai рекомендует связку EXL2 + ExLlamaV2 + TabbyAPI для одного пользователя, которому нужен максимум токенов в секунду на потребительской NVIDIA.
- AWQ, по данным local-ai-zone, даёт лучшее качество на бит при 4-бит на NVIDIA с малым объёмом VRAM. Local-llm.net считает его лучшим выбором для продакшен-сервинга на GPU через vLLM. Runlocalai советует AWQ-INT4 для многопользовательской выдачи (vLLM/SGLang).
- GPTQ local-ai-zone рекомендует только для обратной совместимости: формат вытеснен AWQ и EXL2.
Краткая шпаргалка:
| Ситуация | Что брать |
|---|---|
| Mac, AMD, только CPU, неясное железо | GGUF |
| AMD GPU | GGUF Q4_K_M (путь через ROCm) |
| Один пользователь, потребительская NVIDIA, нужна скорость | EXL2 |
| Много пользователей, vLLM/SGLang | AWQ |
| Модель выложена только в GPTQ | GPTQ |
Для Intel Arc и NPU runlocalai указывает квантования ONNX Runtime – это отдельная ветка вне основной четвёрки.
Чем форматы различаются по устройству
Главное различие – в том, как распределяются биты по весам.
В GGUF вы выбираете один уровень квантования на всю модель: Q4_K_M, Q5_K_M, Q8_0 и так далее. EXL2 устроен иначе: по данным local-llm.net, вы задаёте целевую среднюю битность (например, 4.0 бита на вес), а формат неравномерно распределяет биты по слоям, чтобы получить наилучшее качество при этом среднем значении. Для GPTQ и AWQ тот же источник описывает фиксированные 4 или 8 бит на все веса.
Local-ai-zone уточняет, что EXL2 использует ту же математику, что и GPTQ (калибровочное квантование), но хранит результат эффективнее. Поэтому битность можно подобрать под конкретный объём видеопамяти, а не выбирать из фиксированного набора.
Скорость и ограничения: на что смотреть
Относительный порядок форматов по скорости стабилен, но абсолютным цифрам из старых бенчмарков верить не стоит.
По данным local-llm.net, EXL2 обычно на 10–30% быстрее GGUF на том же железе при чистом GPU-инференсе. Cloudzy резюмирует так: EXL2 создан для скорости, AWQ жертвует VRAM ради быстрой загрузки, GGUF остаётся компактным и портируемым. При этом Cloudzy оговаривает, что их рейтинги скорости и VRAM опираются на бенчмарк oobabooga, который гонялся на железе 2023–2024 годов. Относительный порядок можно считать устойчивым, а абсолютные токены в секунду – нет.
У EXL2 есть практическое ограничение: по данным runlocalai, он не поддерживает continuous batching так, как vLLM, поэтому с множеством одновременных пользователей будут проблемы. Для сервиса с конкурентными запросами это аргумент в пользу AWQ.
Про FP8 runlocalai пишет, что он оправдан только на H100 и только если 1% качества важнее двукратной стоимости VRAM.
Как сделать квантование самому
Пайплайны у форматов разные, и инструменты не взаимозаменяемы.
Для GGUF исходные веса HF safetensors конвертируются скриптом convert_hf_to_gguf.py из репозитория llama.cpp, затем утилита llama-quantize приводит файл к нужному формату:
python convert_hf_to_gguf.py /path/to/hf-model --outfile model-f16.gguf --outtype f16
llama-quantize model-f16.gguf model-Q4_K_M.gguf Q4_K_M
AWQ делают библиотекой AutoAWQ (или llm-compressor) поверх PyTorch/Transformers. GPTQ – через AutoGPTQ или GPTQModel. EXL2 – скриптом convert.py из репозитория ExLlamaV2, где указывается целевая средняя битность.
Прикидка размера: 4 бита × 8 млрд параметров ÷ 8 = 4 ГБ. Cloudzy приводит это как «салфеточный» расчёт для 4-битного файла модели на 8 млрд параметров. Так оценивается только размер весов, поэтому запас под остальные нужды памяти закладывайте отдельно.
Как не потерять качество: типичные ошибки
Потери качества чаще возникают из-за неверного выбора, чем из-за самого квантования.
- Путаница с инструментами.
llama-convert-llama2c-to-ggmlиз комплекта llama.cpp решает узкую задачу: переносит чекпоинты формата llama2.c (учебный проект Андрея Карпатого) в GGUF. К квантованию в AWQ, GPTQ или EXL2 он отношения не имеет. - Слишком агрессивная битность. Для EXL2 ориентир – 4–6 bpw (по local-ai-zone). Для GGUF, если позволяет память, не жалейте уровней выше Q4_K_M, например Q5_K_M или Q8_0. Опускаться ниже стоит, только когда иначе модель не помещается.
- Расчёт на устаревшие бенчмарки. Не принимайте решение по абсолютным цифрам скорости из чужих тестов: проверьте на своей карте и своём рантайме.
- Неподходящий формат для сценария. EXL2 для многопользовательского сервинга или GGUF-файл там, где нужен vLLM, – типичные промахи. Ориентируйтесь на таблицу выше.
- GPTQ «по привычке». Берите его, когда модель выложена только в этом виде, когда вы работаете через ExLlamaV2 или когда нужно 3-битное квантование (runlocalai называет 4 бита нижней границей AWQ). В остальных случаях есть варианты лучше.
Проверяйте итоговую модель на своих задачах, а не только по общим метрикам.
Вопросы и ответы
Какой формат выбрать, если у меня Mac или AMD-карта? GGUF. По данным Cloudzy и runlocalai, для Mac, AMD и CPU-only это самый безопасный вариант, а для AMD runlocalai называет GGUF Q4_K_M через ROCm.
EXL2 действительно быстрее GGUF? По данным local-llm.net, при чистом GPU-инференсе на том же железе EXL2 обычно быстрее GGUF на 10–30%. Cloudzy предупреждает, что абсолютные цифры старых бенчмарков устарели, а относительный порядок остаётся в силе.
Чем EXL2 отличается от AWQ и GPTQ по битности? В EXL2 задаётся средняя битность, а биты неравномерно распределяются по слоям. В GPTQ и AWQ, по данным local-llm.net, используются фиксированные 4 или 8 бит на все веса.
Подходит ли llama-convert-llama2c-to-ggml для квантования?
Нет. Эта утилита только переносит чекпоинты формата llama2.c в GGUF и не связана с квантованием в AWQ, GPTQ или EXL2. Для GGUF-квантования используйте convert_hf_to_gguf.py и llama-quantize.
Источники
- Квантование AI-моделей: GGUF, AWQ, GPTQ, EXL2 под ваш GPU
- GGUF vs EXL2 vs AWQ vs GPTQ - Quantization Formats Guide
- Understanding LLM Quantization: GGUF, GPTQ, AWQ, EXL2 Explained
- GGUF vs GPTQ vs AWQ vs EXL2: Quantization Formats Explained · Cloudzy Blog
- Quantization formats for local AI — GGUF, AWQ, GPTQ, EXL2, FP8, MLX (May 2026)
Внедряет ИИ и LLM в процессы компаний, разрабатывает платформы и чат-ботов. LinkedIn
Внедрение ИИ и разработка чат-ботов для бизнеса
Внедряем LLM в процессы компании: AI-агенты, Telegram-боты, автоматизация на n8n, облачные и локальные модели на своей инфраструктуре.
от 60 000 ₽ · от 2 недель
Подробнее об услуге и стоимостиПохожая задача в вашем бизнесе?
Расскажите коротко — предложим путь от аудита до запуска. Можно без формальностей.


