Оценка точности AI через эмбеддинги и Google Таблицы

# Оценка точности AI-ответов через косинусное сходство эмбеддингов в Google Таблицах

Этот workflow автоматизирует оценку качества ответов AI-агентов, сравнивая их с эталонными с помощью косинусного сходства эмбеддингов OpenAI. Подходит для команд, которые тестируют LLM, развивают RAG-системы или внедряют чат-ботов и хотят объективно измерять их точность и согласованность.

## Кому подойдёт
- Разработчики AI-агентов, тестирующие точность моделей
- ML-инженеры, оценивающие согласованность LLM
- Команды, внедряющие RAG-системы и нуждающиеся в метриках качества
- Аналитики, отслеживающие производительность чат-ботов по эталонным данным

## Что делает автоматизация
- Запускается при получении новой строки в Google Таблице или при ручном запуске
- Извлекает вопрос, эталонный ответ и полученный AI-ответ из таблицы
- Генерирует эмбеддинги для эталонного и полученного ответа через OpenAI API
- Вычисляет косинусное сходство между векторами — показатель точности
- Записывает числовой результат обратно в Google Таблицу для последующего анализа
- Поддерживает регресс-тестирование после обновления модели

## Что входит в пакет
- Готовый workflow для n8n с логикой LangChain agent
- Логика триггеров и обработчиков на основе Google Sheets
- Интеграции с Google Sheets, OpenAI и Embeddings API
- Базовая текстовая инструкция по запуску и адаптации

## Что нужно для запуска
- Аккаунт в n8n (облако или self-hosted)
- Доступ к Google Таблице с тестовыми данными
- Ключ API от OpenAI
- Установленные ноды для Google Sheets и HTTP-запросов в n8n

## Польза и эффекты
- Объективная метрика качества AI-ответов без ручной проверки
- Возможность отслеживать улучшения или регресс модели во времени
- Снижение времени на тестирование новых версий агентов
- Автоматическая фиксация результатов в удобной для анализа форме
- Поддержка масштабируемого тестирования множества сценариев
- Гибкость в добавлении новых тестовых случаев через Google Таблицу

## Важное о формате продукта и поддержке
**Важно:** вы приобретаете именно готовый шаблон сценария автоматизации. Разворот под вашу инфраструктуру, интеграция с конкретными аккаунтами и сервисами, индивидуальная помощь в настройке, доработки под нестандартные стеки и любая консультационная поддержка оказываются отдельно и оплачиваются по индивидуальному тарифу. Для обсуждения доработок и индивидуальной помощи вы можете связаться с нами через чат.