Оценка релевантности документов в RAG-системах

# Оценка релевантности документов из векторной базы для тестирования RAG-систем

Этот шаблон автоматизации позволяет измерять качество работы RAG-системы, оценивая, насколько релевантны документы, извлечённые из векторного хранилища, к заданному вопросу. Используется GPT-4o-mini для анализа соответствия и формирования метрики (0 или 1). Подходит для команд, которые тестируют чат-ботов и системы на основе знаний.

## Кому подойдёт
- Разработчики RAG-систем, которым нужно тестировать точность ответов.
- Инженеры по машинному обучению, оценивающие качество retrieval в чат-ботах.
- Команды, автоматизирующие метрики качества ИИ-ответов в n8n.
- Аналитики, использующие Google Sheets как источник тестовых данных.

## Что делает автоматизация
- Загружает пары «вопрос — извлечённый документ» из Google Sheets.
- Обрабатывает текст через LangChain-компоненты: разделение, эмбеддинги, временная векторная база.
- Запускает оценку релевантности через OpenAI (GPT-4o-mini) только при активированном режиме тестирования.
- Формирует бинарную метрику (0 или 1) и сохраняет результат для анализа.
- Срабатывает по триггерам: получение сообщения, запуск вручную или выбор строки из датасета.

## Что входит в пакет
- Готовый workflow для n8n.
- Логика триггеров и условной активации режима оценки.
- Интеграции с Google Sheets, OpenAI и внутренним векторным хранилищем через LangChain.
- Базовая текстовая инструкция по запуску и адаптации.

## Что нужно для запуска
- Аккаунт n8n с доступом к выполнению workflow.
- Аккаунт Google с доступом к Google Sheets API.
- Ключ OpenAI с доступом к модели GPT-4o-mini.
- Доступ к исходному датасету с вопросами и документами в Google Sheets.

## Польза и эффекты
- Автоматическое измерение качества retrieval без ручной проверки.
- Снижение расходов на оценку за счёт условного запуска.
- Возможность масштабирования тестирования на сотни примеров.
- Прозрачная метрика для улучшения RAG-системы.
- Интеграция в существующие процессы тестирования ИИ.
- Поддержка повторяемых экспериментов с различными параметрами.

## Важное о формате продукта и поддержке
**Важно:** вы приобретаете именно готовый шаблон сценария автоматизации. Разворот под вашу инфраструктуру, интеграция с конкретными аккаунтами и сервисами, индивидуальная помощь в настройке, доработки под нестандартные стеки и любая консультационная поддержка оказываются отдельно и оплачиваются по индивидуальному тарифу. Для обсуждения доработок и индивидуальной помощи вы можете связаться с нами через чат.