AI-помощник по внутренней базе знаний (RAG): бот в Telegram с уровнями доступа

Сбор: слияние по id, а не rsync

Чаты снимаются лейнами и сливаются по id сообщения. Это не педантизм: простое копирование поверх стёрло бы историю при первом же неполном съёме — источник отдаёт последние N сообщений, а не всё. Голосовые расшифровываются через whisper, скриншоты — через OCR, пересланные документы попадают в индекс как отдельные источники. На выходе всё — текст, у каждого чанка есть ссылка обратно.

Уровни доступа задаются в одном месте

Три уровня: владелец — команда — общий хаб. Права заданы на уровне источников, а не на уровне ответов. Дальше самое важное: над базой работает не только бот, но и выжимка фактов, и её фильтр — отдельный код, который легко разойдётся с правами доступа бота.

Поэтому обе стороны ходят в одну функцию is_private_source, а на дрейф между ними стоит гард-тест: если кто-то заведёт вторую копию логики приватности, падает CI, а не приватность.

Поиск: BM25 в памяти → SQLite FTS5

Первая версия держала весь индекс в памяти процесса. Работало, пока бот жил на ноутбуке. Переписал хранение на SQLite FTS5, но с нюансом: FTS5 используется только как хранилище индекса (через fts5vocab), а ранжирование остаётся своим.

Причина конкретная: встроенная bm25() в FTS5 отдаёт по документу одно число и не показывает вклад каждого слова — а он нужен, чтобы понять, насколько документ покрывает слова запроса, а не просто набрал вес на одном частом слове). Отдать ранжирование движку значило бы ухудшить выдачу.

Миграция сделана без риска: движок переключается одной переменной окружения, старый и новый прогоняются на одних запросах, выдача сверена ранг-в-ранг. Отличий нет — изменилась только цена.

Что надстроено сверху базы

База знаний оказалась платформой, а не отдельной функцией. Поверх неё живут:

• Дистилляция фактов — переписка сворачивается в структурированные факты, а не пересказ
• Утренние сводки и доски в Telegram-хабе: бизнес-пульс, пульс кампаний, инфра-пульс, дайджест трекера
• Около двух десятков сторожей по принципу «упало — напиши в личку и в Discord»: живость CRM, зависшие заказы, срок на оспаривание платежа, важное сообщение владельца, устаревание индекса
• MCP-сервер над базой — личные модели владельца видят ту же базу знаний, без второй такой же системы

Бот съехал с ноутбука

Падение памяти в 20 раз — не цифра ради цифры. Именно оно позволило унести бота с ноутбука подрядчика на сервер, где всего 961 МБ RAM. Хроническая болезнь «ноутбук уснул — бот молчит ночью» закрыта в корне: бот отвечает круглосуточно, а не пока у кого-то открыта крышка.

Приватность: замерили, а не понадеялись

Права доступа можно долго обсуждать на словах. Вместо этого сделан замер на живом индексе: сколько приватных фрагментов реально видит уровень «команда». Ответ был неприятный — 1327.

После правки прав доступный этому уровню объём сжался с 6139 до 4560 фрагментов, приватных среди них — 0, при этом рабочих данных не потеряно. Отдельно поднят лог обращений: проверка подтвердила, что реального доступа к этим фрагментам никто не успел получить.

Что изменилось в работе

Вопрос «что мы решили по этому» теперь задаётся боту и возвращается ответом с цитатами на конкретные сообщения — включая те, что были голосовыми. Утренние сводки приходят сами, сторожа пишут раньше, чем проблему заметит клиент, а личные модели владельца через MCP работают с той же базой — без второй такой же системы и второй копии данных.