GPU

Как поставить Ollama на Windows, проверить, работает ли видеокарта, и что делать, если модель уходит на CPU, не находится PATH или не хватает памяти.

Установка vLLM, запуск модели с API как у OpenAI, несколько видеокарт, память и квантование, Docker, сравнение с Ollama и llama.cpp.

Какие модели скачать в Ollama и LM Studio под 6, 8, 12–16, 24 и 48+ ГБ: размеры, контекст, русский язык, картинки, модели для поиска по документам и лицензии.

Сравнили 6 бесплатных open-source LLM для кода (Apache 2.0): Qwen3.6, Qwen3-Coder, Devstral, Gemma 4, gpt-oss. Под какую видеопамять что подходит и как запустить.

Формулы расчёта видеопамяти для LLM: вес модели при разном квантовании, KV-кэш контекста, память на обучение. Разбор на примере Llama 3.3 70B и Qwen3.6-27B.