Локальный RAG: поиск по своим документам без облака

Как собрать поиск по PDF и внутренней документации на своём железе: из чего состоит RAG, какие инструменты выбрать и где ошибаются чаще всего.

Коротко

Локальный RAG (Retrieval-Augmented Generation) – это связка из поиска по вашим файлам и языковой модели, которая формирует ответ на основе найденных фрагментов. Всё работает на вашем компьютере или сервере: документы, поисковый индекс, история запросов и сама модель остаются внутри вашего контура. Базовый вариант можно развернуть за вечер на готовых инструментах – от плагина для LM Studio до связки ChromaDB, LlamaIndex и Ollama.

Из чего состоит локальный RAG

Локальный RAG состоит из двух частей: поиска по документам и генерации ответа. Сначала система находит в ваших файлах нужные куски, затем модель формирует ответ только на их основе. По описанию в материале itcodik.com, это способ дать нейросети «память» о ваших PDF, документации, заметках и ТЗ.

«Локальный» значит, что в облако не уходит ни один элемент цепочки. Автор статьи на digital-razor.ru перечисляет, что остаётся внутри корпоративного контура:

исходные файлы;
поисковый индекс;
история запросов;
языковая модель.

Последние два пункта часто забывают. Если документы лежат у вас, а запросы улетают во внешний API, данные всё равно утекают: вопрос нередко раскрывает не меньше, чем документ.

Какой способ развёртывания выбрать

Выбор зависит от того, кто будет пользоваться системой и сколько времени вы готовы потратить на настройку. В источниках описаны три подхода.

Плагин для LM Studio

Это самый короткий путь для одного пользователя. Плагин rag-local из LM Studio Hub ищет по вашим документам без отправки данных в облако. Вы указываете папку с документами, а модель сама вызывает инструмент rag_search, когда вопрос может относиться к загруженным файлам. В примере из описания плагин сообщает, что загрузил 8 документов, после чего отвечает на вопрос про настройку подключения к базе данных.

Собственный стек

Руководство на local-ai.com.ru собирает аналог «Умного поиска» полностью локально из ChromaDB, LlamaIndex, Ollama, модели Qwen3.5-9B и SearXNG. Автор оценивает время развёртывания в 20 минут и обещает, что документы остаются только у вас. RAG из этого руководства можно подключить к DeepSeek Harness: агент ищет по документам и отвечает со ссылками на источники.

Готовый проект для технической документации

Репозиторий VladimirMitienko/local-rag использует гибридный поиск: эмбеддинги bge-m3 плюс BM25. Он ищет и «по смыслу», и «по словам». Есть MCP-сервер для Claude Code. Индексация запускается одной командой:

rag index "/путь/к/документам" -c docs

Здесь -c docs задаёт имя коллекции. Для команды с серверной инфраструктурой есть и платформенный вариант: digital-razor.ru упоминает инструмент OneStack, который ускоряет развёртывание локальной модели, интерфейса и RAG без ручной настройки окружения.

Ориентир по выбору:

один человек и несколько папок с PDF – плагин для LM Studio;
нужен контроль над каждым слоем – стек из векторной базы, фреймворка и локального рантайма модели;
документация с точными терминами и названиями – гибридный поиск, как в local-rag;
команда и общий сервер – платформа с готовым интерфейсом.

Как собрать минимальный пайплайн

Пайплайн строится в четыре шага: загрузить документы, нарезать их на фрагменты, проиндексировать и передать найденное модели.

1. Подготовьте корпус

Соберите PDF, документацию и заметки в одну папку. Уберите дубли и устаревшие версии: иначе поиск вернёт противоречащие друг другу фрагменты.

2. Проиндексируйте

Фрагменты превращаются в векторы и попадают в базу. Для проверки идеи хватит ChromaDB. Ниже схематичный пример на Python: тексты в реальной системе вы получаете из своих файлов.

import chromadb

client = chromadb.PersistentClient(path="./rag_db")
col = client.get_or_create_collection("docs")

# chunks — список текстовых фрагментов из ваших документов
col.add(documents=chunks, ids=[f"c{i}" for i in range(len(chunks))])

res = col.query(query_texts=["Как настроить подключение к БД?"], n_results=3)
print(res["documents"][0])

3. Подключите модель

Найденные фрагменты добавьте в промпт локальной модели, например запущенной через Ollama. Отдельно прямо укажите: отвечать только по предоставленному контексту. Плагин rag-local делает это через системную инструкцию: если вопрос может касаться загруженных документов, модель сначала вызывает rag_search.

4. Проверьте на своих вопросах

Возьмите 10–20 реальных вопросов, ответы на которые вы точно знаете, и сверьте результат с документами.

Если нужны ссылки на источники в ответе, закладывайте это сразу: в руководстве local-ai.com.ru агент отвечает именно со ссылками, и по ним удобно проверять ответ.

На что смотреть и какие ошибки встречаются

Главная ошибка – оценивать систему по объёму загруженного и размеру модели. Автор материала на digital-razor.ru прямо пишет, что главный показатель успеха – не число загруженных документов и не размер модели. Поэтому измеряйте качество на реальных вопросах ваших пользователей, а не на количестве проиндексированных файлов.

Типичные проблемы и способы их избежать.

Поиск только по смыслу или только по словам

Семантический поиск может промахнуться на кодах, артикулах и терминах, а ключевой – на перефразированных вопросах. Гибридная схема из local-rag (bge-m3 плюс BM25) закрывает оба случая: по описанию проекта, запрос «где заводить сегменты для балансовой модели» находит раздел «Операции».

Частичная локальность

Проверьте, что модель, индекс и логи запросов действительно не покидают контур. Облачный компонент в любом звене сводит на нет смысл затеи.

Нет проверки ответа

Без ссылок на источник невозможно отличить ответ по документу от выдумки модели. Требуйте цитирование фрагментов.

Грязный корпус

Устаревшие версии документов и дубли ухудшают ответы сильнее, чем слабая модель.

Расчёт железа «впритык»

В описании серверных конфигураций на digital-razor.ru сказано, что вариант с 32 ГБ даёт больше свободы в выборе моделей, длины контекста и одновременной работе нескольких компонентов. Для RAG это важно: модель, эмбеддинги и интерфейс обычно работают одновременно. Для команд, которым нужна платформа на 4–6 GPU, источник упоминает конфигурации с видеокартами от RTX 5090 до PRO RTX 6000. Для личного использования такая мощность не обязательна: начните с компактной модели вроде Qwen3.5-9B из руководства.

Вопросы и ответы

Что такое локальный RAG простыми словами?

Это поиск по вашим файлам плюс генерация ответа на основе найденного. Система сначала достаёт нужные куски из документов, потом модель формирует ответ, а все компоненты работают на вашем железе.

Можно ли подключить PDF к нейросети без облака?

Да. Материал itcodik.com описывает запуск RAG на локальном ПК с подключением PDF и других документов к LLM. Плагин rag-local для LM Studio тоже ищет по документам без отправки данных в облако.

Какие инструменты нужны для собственного стека?

В руководстве local-ai.com.ru используются ChromaDB, LlamaIndex, Ollama, Qwen3.5-9B и SearXNG. Время развёртывания автор оценивает в 20 минут.

Что считать главным показателем успеха внедрения?

По мнению автора digital-razor.ru, это не число загруженных документов и не размер модели. Поэтому качество стоит проверять на реальных вопросах и сверять ответы со ссылками на источники.