Тег
VRAM
1 статья по теме «VRAM».
·5 мин
Сколько видеопамяти нужно для LLM: расчёт под GPU
Формулы расчёта видеопамяти для LLM: вес модели при разном квантовании, KV-кэш контекста, память на обучение. Разбор на примере Llama 3.3 70B и Qwen3.6-27B.
1 статья по теме «VRAM».
Формулы расчёта видеопамяти для LLM: вес модели при разном квантовании, KV-кэш контекста, память на обучение. Разбор на примере Llama 3.3 70B и Qwen3.6-27B.