Сравнение LLM в чате с логированием в Google Таблицы
| Продавец | Продано | Возвратов | Отзывы | ||
|---|---|---|---|---|---|
| Automatizator | 0 | 0 |
|
||
₽ 597.00
Описание
# Сравнение ответов двух LLM в чате с логированием в Google ТаблицыЭтот шаблон автоматизации помогает объективно сравнивать качество ответов двух языковых моделей на одинаковые запросы в реальном времени. Ответы отображаются пользователю в интерфейсе чата и одновременно сохраняются в Google Таблицы вместе с контекстом и метаданными — что упрощает анализ и принятие решений о выборе лучшей модели для конкретного кейса.
## Кому подойдёт
- Разработчики ИИ-агентов, выбирающие оптимальную LLM для продакшена
- ML-инженеры, тестирующие производительность разных моделей на типовых задачах
- Продуктовые команды, которым нужно проводить A/B тестирование ответов моделей
## Что делает автоматизация
- Запускается при получении сообщения в чатовом интерфейсе
- Передаёт ввод пользователя двум разным LLM (например, GPT-4 и Mistral) через OpenRouter
- Поддерживает изолированный контекст памяти для каждой модели с помощью LangChain Memory Buffer
- Отображает ответы моделей последовательно в чате
- Логирует запрос, ответы, ID сессии и названия моделей в Google Таблицы для ручной или автоматической оценки
## Что входит в пакет
- Готовый workflow для n8n
- Логика триггеров и обработчиков на основе LangChain
- Интеграции с OpenRouter, Google Sheets и чат-интерфейсом
- Базовая текстовая инструкция по запуску и адаптации
## Что нужно для запуска
- Аккаунт в n8n с доступом к редактированию workflows
- API-ключ OpenRouter
- Доступ к Google Таблицам (Google Sheets API)
- Настроененный чат-интерфейс для приёма входящих сообщений
## Польза и эффекты
- Ускоряет процесс сравнения LLM без ручного копирования ответов
- Обеспечивает единое пространство для оценки качества моделей
- Позволяет командам без технической экспертизы участвовать в оценке через интерфейс таблиц
- Упрощает регулярное тестирование новых моделей из OpenRouter
- Создаёт аудитируемую историю тестов с привязкой к контексту и сессиям
## Важное о формате продукта и поддержке
**Важно:** вы приобретаете именно готовый шаблон сценария автоматизации. Разворот под вашу инфраструктуру, интеграция с конкретными аккаунтами и сервисами, индивидуальная помощь в настройке, доработки под нестандартные стеки и любая консультационная поддержка оказываются отдельно и оплачиваются по индивидуальному тарифу. Для обсуждения доработок и индивидуальной помощи вы можете связаться с нами через чат.
Дополнительное описание