Тег

LLAMA.CPP

2 статьи по теме «LLAMA.CPP».

·5 мин

Квантование LLM: GGUF, AWQ или EXL2 — как выбрать и не потерять качество

Разбираем GGUF, AWQ, EXL2 и GPTQ: под какое железо и сценарий подходит каждый формат, как делать квантование самому и каких ошибок избегать.

·7 мин

llama.cpp: как установить и запустить модель — руководство 2026

Установка llama.cpp на Windows, macOS и Linux, первый запуск модели с Hugging Face, сервер с OpenAI API, видеокарта, несколько GPU и Docker.