Тег

КВАНТОВАНИЕ

2 статьи по теме «КВАНТОВАНИЕ».

·5 мин

Квантование LLM: GGUF, AWQ или EXL2 — как выбрать и не потерять качество

Разбираем GGUF, AWQ, EXL2 и GPTQ: под какое железо и сценарий подходит каждый формат, как делать квантование самому и каких ошибок избегать.

·5 мин

Сколько видеопамяти нужно для LLM: расчёт под GPU

Формулы расчёта видеопамяти для LLM: вес модели при разном квантовании, KV-кэш контекста, память на обучение. Разбор на примере Llama 3.3 70B и Qwen3.6-27B.