«Можно ли сделать свой ChatGPT, но чтобы данные никуда не уходили?» — с этого запроса обычно начинается проект. Речь идёт о закрытом (приватном) AI-чате: том же удобном интерфейсе, но развёрнутом внутри инфраструктуры компании.
Что такое закрытый AI-чат
Это корпоративный чат-интерфейс к языковой модели (LLM), которая:
- работает на серверах компании — в собственном дата-центре, частном облаке или изолированном контуре;
- подключена к внутренним документам: регламентам, договорам, политикам, базе знаний;
- отвечает на вопросы сотрудников и показывает, на какие документы опирается ответ;
- не требует передавать запросы и документы в публичные AI-сервисы.
Чем это отличается от публичного ChatGPT
- Расположение данных. Запрос, документы и ответ модели остаются внутри периметра компании.
- Контроль. Компания управляет инфраструктурой и доступом; служба ИБ может проверить код и конфигурацию.
- Знания. Модель отвечает по внутренним документам компании, а не по публичным данным из интернета.
- Независимость. Нет привязки к тарифам и условиям доступа внешнего облачного провайдера.
Из чего он состоит
Типовой стек закрытого AI-чата:
- Локальный рантайм для запуска моделей (например, Ollama) на сервере компании;
- Открытая языковая модель подходящего размера (например, семейства Qwen или Llama) — выбор зависит от задач и доступных вычислительных ресурсов;
- Слой поиска по документам, который находит релевантные фрагменты и передаёт их модели вместе с вопросом;
- Корпоративный веб-интерфейс для сотрудников с историей чатов и ссылками на источники.
Какие нужны ресурсы
Требования к серверу, GPU/CPU и хранению данных зависят от выбранной модели и ожидаемой нагрузки. Небольшие модели запускаются на CPU или одной GPU; для более качественных ответов и высокой нагрузки нужна более мощная конфигурация. Точные параметры имеет смысл считать под конкретный сценарий на технической консультации.
С чего начать
- Определите 1–2 сценария, где поиск по документам экономит больше всего времени (договоры, регламенты, база знаний).
- Соберите ограниченный набор документов для пилота.
- Согласуйте с ИБ способ развёртывания и границу обработки данных.
- Запустите пилот и оцените качество ответов на реальных данных.
Полной гарантии от любых утечек не даёт ни одно решение — но закрытый контур позволяет чётко обозначить, где проходит граница ответственности, и держать её под контролем компании.