Vector Store: Движок для ваших RAG-приложений

Vector Store — это высокопроизводительный бэкенд-сервис, разработанный как комплексное решение для создания сложных приложений с технологией Retrieval-Augmented Generation (RAG). Он предоставляет базовую инфраструктуру для семантического поиска, позволяя вашим AI-моделям работать с вашими частными документами и данными, обеспечивая точность, релевантность и контекстную осведомленность ответов.

Как это работает: современная, масштабируемая архитектура

Vector Store построен с учетом производительности и простоты эксплуатации. Его архитектура предназначена для эффективной обработки всего жизненного цикла индексации документов и семантического извлечения.

Конвейер индексации: от исходного документа до векторов для поиска

Наш надежный, асинхронный конвейер индексации гарантирует, что ваше приложение останется отзывчивым, пока документы обрабатываются в фоновом режиме.

1. Прием документов: Ваше приложение отправляет документы (PDF, DOCX, TXT, MD, HTML) через API.
2. Парсинг контента: Документ безопасно направляется на внешний сервис для парсинга, который извлекает чистый, структурированный текст.
3. Асинхронная очередь: Задание на индексацию помещается в высокоэффективную очередь на базе PostgreSQL. Этот легковесный подход позволяет избежать тяжелых брокеров сообщений и идеально подходит для развертывания в контейнерных средах, таких как Kubernetes.
4. Чанкинг и эмбеддинг: Фоновый воркер забирает задание и разделяет текст документа на части (чанки) в соответствии с вашей стратегией. Каждый чанк затем отправляется на внешний, совместимый с OpenAI API для преобразования в вектор.
5. Хранение: Сгенерированный вектор вместе с соответствующим текстовым чанком и метаданными сохраняется и индексируется в базе данных PostgreSQL с расширением pgvector для эффективного поиска по сходству.

Поиск и извлечение: мгновенный поиск нужного контекста

1. API-запрос: Ваше приложение отправляет запрос на естественном языке на эндпоинт поиска Vector Store.
2. Преобразование в вектор: Запрос преобразуется в вектор с использованием той же модели, что и в конвейере индексации.
3. Поиск по сходству: pgvector выполняет высокоскоростной поиск для нахождения чанков документов с наиболее близким семантическим значением к вашему запросу.
4. Фильтрация и ранжирование: Начальные результаты фильтруются по метаданным (например, ID пользователя, теги документа), а затем проходят через алгоритм начального ранжирования.
5. Доставка контекста: Наиболее релевантные чанки документов с самым высоким рангом возвращаются вашему приложению.

Ключевые особенности

Полная совместимость с OpenAI

• OpenAI-Compatible API: Создан как полная замена OpenAI Vector Store API. Вы можете использовать существующую экосистему OpenAI и клиентские библиотеки для интеграции Vector Store за минуты, а не недели.

Продвинутая обработка данных

• Гибкая обработка документов: Поддерживает широкий спектр популярных форматов документов.
• Асинхронная индексация: Надежный фоновый процесс индексации гарантирует, что производительность вашего приложения никогда не снизится из-за приема документов.
• Настраиваемый чанкинг: Адаптируйте стратегию разделения документов под ваши конкретные нужды.

Мощный поиск и извлечение

• Высокоскоростной векторный поиск: Использует всю мощь PostgreSQL и pgvector для предоставления быстрых и точных результатов семантического поиска.
• Гибридный поиск: Комбинируйте поиск по векторному сходству с точной фильтрацией по метаданным.