Локальные LLM: запускаем языковые модели у себя
Локальная LLM — языковая модель, которая работает на вашем компьютере или сервере, а не в чужом облаке. Запросы и документы остаются у вас, а работать с моделью можно без подписки на внешний сервис.
Здесь собраны материалы ITOQ по теме: как выбрать модель под свою видеокарту, чем отличаются Ollama и LM Studio, как всё установить и сколько нужно видеопамяти. Для компаний — внизу: можем развернуть модель на ваших серверах.
Выбрать модель и инструмент
Какая модель подойдёт под вашу видеокарту и что выбрать: Ollama или LM Studio.
Лучшие локальные LLM для программирования 2026: 6 моделей
Сравнили 6 бесплатных open-source LLM для кода (Apache 2.0): Qwen3.6, Qwen3-Coder, Devstral, Gemma 4, gpt-oss. Под какую видеопамять что подходит и как запустить.
Ollama или LM Studio: что выбрать в 2026 — сравнение
Ollama и LM Studio по 13 пунктам: интерфейс, системы, модели, API, контекст, сервер, облако, агенты. Кому что подходит и можно ли поставить обе программы.
Модели для Ollama и LM Studio: какую скачать под вашу видеокарту
Какие модели скачать в Ollama и LM Studio под 6, 8, 12–16, 24 и 48+ ГБ: размеры, контекст, русский язык, картинки, модели для поиска по документам и лицензии.
Qwen локально: какую версию выбрать и как запустить в 2026
Какую модель Qwen скачать под вашу видеокарту — Qwen3.5, Qwen3.6 или Qwen3.8, — и как запустить её через Ollama, LM Studio, llama.cpp и vLLM.
DeepSeek на ПК: как скачать и запустить локально в 2026
Три способа пользоваться DeepSeek на компьютере: веб-чат, приложение Harness и локальный запуск через Ollama или LM Studio. Какая версия влезет в видеокарту.
Локальные LLM для C#, .NET и Java: какие модели кодируют
Какие локальные LLM подходят для кода на C#, .NET и Java: Qwen3.8, Devstral, Qwen3-Coder, gpt-oss — размеры под 16–24 ГБ, ограничения и подключение через API.
Установить и запустить
Пошаговые руководства по установке и настройке.
Ollama: как запустить LLM на своём ПК — полное руководство
Установка Ollama на Linux, macOS, Windows и в Docker, команды, выбор модели под видеопамять, Modelfile, настройки через переменные окружения и API.
LM Studio: как установить и настроить — полное руководство 2026
Установка LM Studio на Windows, macOS и Linux, русский интерфейс, выбор и загрузка модели, настройки GPU и контекста, чат с документами, локальный сервер и API.
llama.cpp: как установить и запустить модель — руководство 2026
Установка llama.cpp на Windows, macOS и Linux, первый запуск модели с Hugging Face, сервер с OpenAI API, видеокарта, несколько GPU и Docker.
LM Studio Bionic: что это, чем отличается от LM Studio и как начать
Bionic — ИИ-агент от LM Studio для кода и документов на открытых моделях. Чем отличается от LM Studio, где работает модель, сколько стоит и как начать.
LM Link для Android: есть ли и как подключить
LM Link — доступ к LM Studio с телефона. Официального приложения для Android нет (проверили по документации), но есть рабочий обходной путь через Tailscale.
Сервер для команды и компании
Как дать модель сотрудникам через браузер и выдержать нагрузку от многих пользователей.
vLLM: как развернуть LLM-сервер для компании — руководство 2026
Установка vLLM, запуск модели с API как у OpenAI, несколько видеокарт, память и квантование, Docker, сравнение с Ollama и llama.cpp.
Open WebUI: как установить и подключить к Ollama — свой чат для команды
Установка Open WebUI через Docker и pip, подключение к Ollama, vLLM и llama.cpp, пользователи и права, чат с документами, лицензия и частые ошибки.
Железо и ресурсы
Сколько нужно видеопамяти и как собрать сервер под локальную модель.
Сколько видеопамяти нужно для LLM: расчёт под GPU
Формулы расчёта видеопамяти для LLM: вес модели при разном квантовании, KV-кэш контекста, память на обучение. Разбор на примере Llama 3.3 70B и Qwen3.6-27B.
Llama 3.3 70B на двух RTX 4090: как собрать локальный AI-сервер
Что реально запускается на 2×RTX 4090 (48 ГБ): Llama 3.3 70B в 4 битах через Ollama или vLLM, требования к железу и когда выбрать модель новее.
LLM на своём железе: как мы запустили Llama 3.3 на двух RTX
Полный путь от выбора модели до продакшена: бенчмарки, нюансы инфраструктуры, реальная экономика приватного AI-стека.