Тег
LLAMA.CPP
2 статьи по теме «LLAMA.CPP».
·5 мин
Квантование LLM: GGUF, AWQ или EXL2 — как выбрать и не потерять качество
Разбираем GGUF, AWQ, EXL2 и GPTQ: под какое железо и сценарий подходит каждый формат, как делать квантование самому и каких ошибок избегать.
·7 мин
llama.cpp: как установить и запустить модель — руководство 2026
Установка llama.cpp на Windows, macOS и Linux, первый запуск модели с Hugging Face, сервер с OpenAI API, видеокарта, несколько GPU и Docker.

