Почему нейросеть выдумывает
Языковая модель обучалась на текстах из интернета, а не на документах вашей компании. Когда ответа она не знает, она подбирает правдоподобный текст — так появляются несуществующие пункты договоров и придуманные цены. Дообучать модель на своих данных долго и дорого, а при каждом обновлении документов пришлось бы делать это заново.
Как работает RAG
RAG (Retrieval-Augmented Generation) — «генерация с поиском». Перед ответом система сначала находит в ваших документах нужные фрагменты и только потом просит модель ответить, опираясь на них.
- Документы — регламенты, договоры, инструкции, переписка — делятся на смысловые фрагменты.
- Каждый фрагмент превращается в числовой «отпечаток смысла» и сохраняется в векторной базе, например Qdrant.
- Когда приходит вопрос, система находит фрагменты, близкие по смыслу, даже если слова в них другие.
- Модель получает вопрос вместе с найденными фрагментами и отвечает только по ним, указывая источник.
Где это применяется
- База знаний для сотрудников: новичок спрашивает, как оформить возврат, и получает ответ со ссылкой на регламент.
- Поддержка клиентов: ответы по условиям, тарифам и инструкциям без ожидания оператора.
- Юристы и договорной отдел: поиск условий по сотням договоров.
- Продажи: ассистент отвечает клиенту по актуальному прайсу и характеристикам.
От чего зависит качество
- Документы. Устаревшие и противоречивые инструкции дадут такие же ответы — перед запуском их стоит навести в порядок.
- Разбиение. Слишком мелкие фрагменты теряют контекст, слишком крупные — точность.
- Проверка. Систему тестируют на реальных вопросах сотрудников и клиентов, а не на придуманных примерах.
- Честность. Если ответа в базе нет, ассистент должен сказать «не знаю» и передать вопрос человеку.
Безопасность данных
Если документы нельзя передавать за пределы компании, и векторная база, и языковая модель разворачиваются на вашем сервере. Права доступа сохраняются: сотрудник получает ответы только из тех документов, которые ему разрешено видеть.
Как начать
Возьмите один набор документов и список из 30–50 реальных вопросов, которые сейчас задают людям. На них собирается пилот за 1–2 недели — и сразу видно, насколько точно система отвечает именно на ваших данных.
Частые вопросы
Дообучение меняет саму модель — это долго, дорого и повторяется при каждом обновлении данных. RAG просто ищет по актуальным документам: обновили файл — ответы обновились.
Тексты, PDF, таблицы, страницы базы знаний, переписка. Сканы предварительно распознаются.
Да. Вся система — база и модель — может работать на вашем сервере.