Оценка релевантности ответов ИИ через эмбеддинги

# Оценка релевантности ответов ИИ с помощью эмбеддингов и Google Таблиц

Этот сценарий автоматизирует измерение качества ответов AI-агента, позволяя объективно оценивать их релевантность по отношению к исходному запросу. Решение подходит для команд, которые тестируют чат-ботов, развивают RAG-системы или внедряют процессы контроля качества ИИ.

## Кому подойдёт
- Разработчики AI-агентов, которым нужно тестировать качество ответов.
- Менеджеры по качеству в чат-бот проектах.
- Инженеры MLOps, внедряющие системы оценки RAG-решений.
- Команды, использующие n8n для автоматизации тестирования ИИ.

## Что делает автоматизация
- Получает пары «вопрос–ответ» из Google Таблицы.
- Использует второй LLM (через OpenAI API) для генерации вопроса на основе предоставленного ответа.
- Генерирует эмбеддинги для оригинального и восстановленного вопроса.
- Вычисляет косинусное сходство между векторами — чем выше значение, тем релевантнее ответ.
- Записывает балл релевантности обратно в Google Таблицу для анализа.
- Может запускаться как по событию получения сообщения, так и по расписанию для пакетной обработки.

## Что входит в пакет
- Готовый workflow под n8n с использованием LangChain agent.
- Логика триггеров и обработчиков на основе chat_message_received и fetch_dataset_row.
- Интеграции с Google Sheets API, OpenAI API и HTTP API.
- Базовая текстовая инструкция по запуску и адаптации.

## Что нужно для запуска
- Аккаунт в n8n (облако или self-hosted).
- Доступ к Google Таблице с данными (входные вопросы и выходные ответы).
- Ключ API OpenAI.
- Учётная запись с правами на редактирование таблицы.

## Польза и эффекты
- Автоматическое измерение качества работы ИИ без ручной проверки.
- Объективная метрика для сравнения разных моделей (например, gpt-4 vs gpt-3.5).
- Возможность A/B-тестирования версий агента.
- Интеграция в существующие процессы тестирования через Google Таблицы.
- Поддержка масштабных тестовых наборов.
- Совместимость с n8n для дальнейшей интеграции в CI/CD или аналитические дашборды.

## Важное о формате продукта и поддержке
**Важно:** вы приобретаете именно готовый шаблон сценария автоматизации. Разворот под вашу инфраструктуру, интеграция с конкретными аккаунтами и сервисами, индивидуальная помощь в настройке, доработки под нестандартные стеки и любая консультационная поддержка оказываются отдельно и оплачиваются по индивидуальному тарифу. Для обсуждения доработок и индивидуальной помощи вы можете связаться с нами через чат.