19 Июля 2024 16:53 | 19 Июл 2024 16:53 | |

Поделиться

ChatGPT, нам с тобой не по пути

Русский чат-бот: какой он

На российском рынке наблюдается явная тенденция — компании отдают предпочтение Open Source моделям генеративного ИИ (например, Llama, Gemma, Wizard, Qwen), а также доменным (узкопрофильным) чат-ботам, которые удовлетворяют не только требованиям ИБ, но и осуществляют цифровизацию специфических бизнес-процессов.

Одной из ключевых архитектур для создания доменно-специфического (domain-specific) чат-бота на базе генеративного ИИ является архитектура RAG (Retrieval-Augmented Generation). RAG — метод работы с большими языковыми моделями, когда пользователь пишет свой запрос, к которому на программном уровне «подмешивается» дополнительная информация из каких‑либо внешних источников и подается на вход языковой модели.

Иными словами, RAG автоматически добавляет в контекст запроса к языковой модели информацию, на основе которой пользователю может быть дан более полный и точный ответ.

Как это работает?

Процесс начинается с выбора подходящей базы данных — это может быть векторная (ChromaDB, QDrant), ориентированная на документы (ElasticSearch, OpenSearch), реляционная (PostgreSQL, MySQL, Oracle) или же графовое представление данных (Neo4J, OrientDB). БД станет основой для хранения и поиска информации.

Далее подключается модель ИИ, которая будет использовать базу знаний в качестве источника. Взаимодействие с моделью происходит на естественном языке: пользователь формулирует запрос, а ретривер (инструмент в рамках RAG-архитектуры) выбирает наиболее подходящий фрагмент информации, используя методы оценки семантической близости вопроса и фрагмента.

Если находится релевантный фрагмент, ретривер передает его в контекст модели, и она генерирует ответ. Все устроено так, как если бы кто-то помогал человеку сформулировать максимально корректный ответ с помощью подсказок.

Простые и недорогие в части развертывания и эксплуатации ИИ-модели без подключения к интернету могут не справляться со сложными запросами. Однако архитектура RAG позволяет компенсировать такие ограничения и даже на базе «бюджетных» ИИ-моделей обеспечивать высокое качество ответов.

Этот подход делает кастомизированные чат-боты на генеративном ИИ не только доступными, но и эффективными инструментами для бизнеса в РФ, несмотря на ограничения взаимодействия с ChatGPT и решениями других зарубежных вендоров.

Всем пример

Примером эффективности доменного чат-бота может служить создание «медицинского» ИИ-ассистента.

Процесс начинается с подготовки базы данных по медицинским исследованиям, включающей в себя не только тематическое насыщение БД, но и форматирование, а также структуризацию данных. ИИ-модель устанавливает последовательность обработки запросов: обращение к базе данных, поиск релевантных фрагментов, их отправка на обработку в модель, выгрузка.

Другой пример: создание цифрового ассистента для оптимизации цепочек поставок (supply chain). Используемый фреймворк SCOR обладает древовидной структурой, что делает предпочтительным использование графовой базы данных для хранения информации.

Процесс работы схож: сначала осуществляется поиск той ноды графа, которая хранит наиболее релевантную информацию, после чего информация из этой ноды и всех дочерних извлекается ретривером и отправляется в контекст модели для формирования ответа.

Это общий шаблон для создания доменно-специфичного чат-бота, который может эффективно работать в узкой области знаний. Использование же open-source компонентов для RAG-архитектуры позволяет построить недорогой инструмент для работы со специфической отраслевой информацией.

Через тернии

Реализация платформ для запуска ботов генеративного ИИ в России сегодня сталкивается с рядом сложностей.

Одной из главных задач является проектирование архитектуры, учитывая возможное наличие множества взаимозаменяемых моделей в рамках такой платформы. Кроме того, подготовка данных требует не только их размещения в БД, но и генерации описаний полей в таблицах и других необходимых метаданных — а это кропотливая, нередко почти полностью ручная работа.

Open Source модели генеративного ИИ, у которых до 70 миллиардов параметров, обеспечивают довольно качественное покрытие текущих потребностей. Однако здесь нужно учитывать их стоимость и требования к ИТ-ресурсам по сравнению с использованием API OpenAI.

Тем не менее, при некоторых доработках (fine-tuning, RAG) они отлично справляются с большинством задач текстовой модальности, обеспечивая требуемый уровень информационной безопасности и SLA. Поэтому для отечественной ИИ-отрасли важно скорее не конкурировать с OpenAI, а помогать компаниям интегрировать подобные инструменты в ИТ-ландшафт для быстрого получения бизнес-ценности.

Например, оптимизация работы металлургического предприятия с помощью чат-бота может быть менее интересна крупным игрокам, но она представляет собой уникальный нишевой проект. Он требует специализированного подхода, и тогда на авансцену выходят небольшие, но компетентные в рамках отраслевого направления разработчики и интеграторы.

Сможем?

В России лидеры рынка активно развивают ИИ, и даже если не сотрудничают напрямую, то взаимодействуют и координируют усилия. На уровне инженеров и технических специалистов диалог и взаимодействие происходят на постоянной основе, что позволяет объединять усилия для создания мощных решений.

Кто-то обладает кадрами и технологической базой, кто-то финансовыми ресурсами и GR-поддержкой, кто-то имеет отраслевые компетенции. Объединение усилий может привести к синергетическому эффекту, который может вылиться в успешное решение целого ряда текущих задач.

Тем не менее, важно осознавать, что дефицит кадров, инвестиций в наукоемкие производства и науку в целом, а также деиндустриализация в части разработки собственного «железа» и тотальная зависимость от поставок зарубежных компонентов откинули нас на годы назад.

Наша задача — искать способы скоординированно нагонять это отставание. Вопрос реиндустриализации — крайне острый, комплексный и требует системных решений.

Частные договоренности между компаниями-разработчиками и провайдерами могут стимулировать развитие сегмента ИИ через предоставление льготных тарифов на соответствующий стек — машины в оптимальной конфигурации, софт, биллинг и т.д.

Главное преимущество России — сила горизонтальных связей как между специалистами, так и на уровне компаний.

Поделиться

Короткая ссылка