
Коротко
RAG отвечает правильно ровно настолько, насколько качественно подготовлены данные, из которых он ищет. Чтобы поиск «не врал», нужно выверить источники, корректно распознать сканы, разумно разбить тексты на фрагменты, снабдить их метаданными и правами доступа, регулярно обновлять индекс и проверять ответы на реальных вопросах. Порядок в знаниях модель не заменяет, он ей нужен.
Почему поиск «врёт»: проблема чаще в данных, чем в модели
Неверные ответы в RAG чаще объясняются плохой базой знаний, а не слабой генеративной частью. В архитектуре RAG (Retrieval-Augmented Generation) модель не «вытаскивает знания из головы»: она ищет ответ в ваших данных и только потом формулирует результат. Блог Watbot описывает это так: модель не «помнит» ваши данные, а каждый раз ищет ответ в подключённых документах и строит фразу на основе найденного.
Отсюда два следствия.
Если в базе лежит устаревший, противоречивый или неразобранный текст, модель аккуратно и уверенно перескажет именно его. Авторы Документерры говорят об этом образно: хорошая документация ускорит систему, плохая «мгновенно испортит двигатель».
Границы компетенции системы задаются содержимым базы. По материалу Ailean, релевантность данных определяет эти границы. Для корпоративного помощника это внутренние регламенты, процедуры и базы знаний, а не всё подряд.
Поэтому начинать стоит не с выбора модели, а с вопроса: что именно система должна знать и какие документы это подтверждают.
Чек-лист подготовки: от источников до индекса
Подготовка данных идёт цепочкой шагов, и пропуск любого звена ухудшает поиск. NBM-IT в практическом чеклисте выделяет такие блоки: источники, OCR, чанкинг, метаданные, ACL, обновление индекса и тестирование ответов.
| Шаг | Что сделать | На что смотреть |
|---|---|---|
| Источники | Составить перечень документов, которые действительно нужны для задач бота | Дубликаты, черновики, документы без владельца |
| OCR | Распознать сканы и PDF-изображения | Таблицы, штампы, многоколоночная вёрстка, «мусор» вместо текста |
| Чанкинг | Разбить тексты на фрагменты для индексации | Фрагмент должен быть понятен сам по себе и не обрывать мысль |
| Метаданные | Добавить тип, версию, дату, продукт, отдел | Возможность фильтровать выдачу |
| ACL | Привязать права доступа к фрагментам | Сотрудник не должен получать то, что ему видеть нельзя |
| Обновление индекса | Настроить регулярную переиндексацию | Что происходит при изменении или удалении документа |
| Тестирование | Прогнать набор реальных вопросов | Точность и обоснованность ответов |
Несколько практических замечаний.
- Отбирайте документы, а не загружайте всё. Для техподдержки Watbot советует держать отдельную базу с инструкциями и FAQ, а под разные задачи подключать разные базы к разным агентам. Узкая тематическая база снижает шанс, что в ответ попадёт чужой по смыслу фрагмент.
- Проверяйте результат OCR глазами. Распознанный текст со сломанными таблицами или перепутанным порядком строк попадает в индекс как есть, и ошибка потом выглядит как «галлюцинация» модели.
- Режьте по смыслу. Разбивка по заголовкам и разделам обычно лучше механической нарезки. Фрагмент без контекста («см. выше», «как указано в п. 3») при извлечении теряет смысл.
Метаданные, права доступа и актуальность
Метаданные, ACL и процесс обновления отличают демонстрационный прототип от рабочей системы. Ailean прямо называет типичные проблемы: устаревшие данные из-за отсутствия процесса обновления базы и плохие метаданные, из-за которых нельзя точно фильтровать результаты.
Метаданные
Если у фрагмента нет информации о версии, продукте и дате, система не отличит действующий регламент от архивного. Минимум, с которого можно начать: тип документа, продукт или подразделение, версия, дата актуальности, статус «действует / архив». По этим полям поиск сужается ещё до того, как модель начнёт формулировать ответ.
Права доступа
NBM-IT включает ACL в чеклист подготовки. Права нужно хранить вместе с данными и применять при поиске, иначе общий индекс может выдать конфиденциальный фрагмент любому пользователю. Исправлять это после запуска дороже, чем заложить заранее.
Обновление
Подготовка данных для RAG, как подчёркивает Ailean, – итеративный процесс. Нужны ответственные за документы и понятное правило: изменился документ – переиндексируется его версия, удалён – исчезает из индекса. Иначе система будет ссылаться на то, чего уже нет. Авторы Документерры резюмируют: хаос не масштабируется, а знания масштабируются, если ими правильно управлять.
Типичные ошибки и как проверять ответы
Большинство сбоев повторяется от проекта к проекту, и почти все они выявляются тестами до запуска.
Чаще всего встречаются такие ошибки:
- загрузка «всего подряд» без отбора и без владельцев документов;
- сканы без проверки качества распознавания;
- отсутствие метаданных, из-за чего нельзя отфильтровать старые версии;
- единая база для всех задач вместо тематических;
- индекс, который никто не обновляет после выгрузки;
- права доступа, настроенные «потом»;
- запуск без тестового набора вопросов.
Для проверки соберите список реальных вопросов пользователей и для каждого заранее определите, в каком документе лежит правильный ответ. Затем смотрите на два уровня отдельно.
- Нашёл ли поиск нужный фрагмент? Если нет, проблема в данных, разбивке или метаданных.
- Корректно ли модель изложила найденное? Если фрагмент верный, а ответ нет, проблема в генерации и инструкциях.
Так видно, где чинить: в базе или в промпте. После каждой правки данных тест стоит повторять, ведь подготовка RAG строится итеративно. Конкретные пороги точности в источниках не приводятся, поэтому критерии приёмки каждая команда задаёт сама.
Вопросы и ответы
Почему RAG-бот отвечает неверно, хотя модель мощная? Модель формулирует ответ на основе найденных в базе фрагментов, поэтому устаревшие, дублирующиеся или плохо распознанные данные приводят к неверному результату. Сначала стоит проверить базу знаний и поиск, а потом саму модель.
Какие шаги входят в подготовку базы знаний для RAG? По чеклисту NBM-IT это источники, OCR, чанкинг, метаданные, ACL, обновление индекса и тестирование ответов. Ailean добавляет, что подготовка данных – итеративный процесс.
Зачем нужны метаданные? Без них нельзя точно фильтровать результаты поиска: система не отличит актуальный документ от устаревшего. Ailean называет плохие метаданные одной из типичных проблем RAG.
Нужна ли одна общая база или несколько? Watbot описывает практичный вариант: под разные задачи держать разные базы. Например, агенту техподдержки подключают базу с инструкциями и FAQ.
Источники
- Как превратить базу знаний в топливо для ИИ: подготовка к RAG и LLM | Документерра
- Preparing a knowledge base for RAG: checklist and steps | NBM-IT
- Подготовка данных для RAG: пошаговое руководство - Ailean
- КАК ПРАВИЛЬНО СОБРАТЬ БАЗУ ЗНАНИЙ (RAG), ЧТОБЫ БОТ НЕ ГАЛЛЮЦИНИРОВАЛ | Блог Watbot
- r/Rag on Reddit: How do you build a solid RAG knowledge base for clients across multiple industries?
Внедряет ИИ и LLM в процессы компаний, разрабатывает платформы и чат-ботов. LinkedIn
Внедрение ИИ и разработка чат-ботов для бизнеса
Внедряем LLM в процессы компании: AI-агенты, Telegram-боты, автоматизация на n8n, облачные и локальные модели на своей инфраструктуре.
от 60 000 ₽ · от 2 недель
Подробнее об услуге и стоимостиПохожая задача в вашем бизнесе?
Расскажите коротко — предложим путь от аудита до запуска. Можно без формальностей.


