Оценка точности LLM по документам

# Оценка точности LLM по PDF из Google Диска с записью результатов в Таблицы

Этот сценарий автоматизирует аудит точности ответов языковых моделей (LLM) на основе эталонных документов. Он извлекает тестовые случаи из Google Таблицы, скачивает соответствующие PDF-файлы из Google Диска, анализирует их содержание и передаёт данные модели-судье через OpenRouter для оценки фактической корректности выводов. Результаты — решение Pass/Fail и объяснение — сохраняются обратно в таблицу. Решение особенно полезно для тех, кто регулярно тестирует или контролирует качество работы ИИ.

## Кому подойдёт
- Специалисты по оценке моделей ИИ, тестирующие точность генерации текста
- Инженеры машинного обучения, которым нужно автоматизировать аудит LLM
- Команды разработки чат-ботов, проверяющие качество ответов на эталонных данных
- Юридические и регуляторные команды, контролирующие достоверность ИИ-выводов

## Что делает автоматизация
- Запускается вручную по требованию пользователя
- Извлекает тестовые случаи из Google Таблицы: входной запрос, ответ LLM, ссылку на PDF
- Скачивает PDF из Google Диска и извлекает текст с помощью Google Drive API
- Передаёт контекст (запрос, ответ, документ) модели-судье через OpenRouter
- Получает структурированную оценку в формате JSON: Pass/Fail, причины, выявленные hallucinations или пропуски
- Сохраняет результаты в ту же Google Таблицу для последующего анализа
- Добавляет паузу между запросами для соблюдения лимитов API

## Что входит в пакет
- Готовый workflow для n8n с использованием LangChain agent
- Логика ручного запуска и обработки батчей тестовых случаев
- Интеграции с Google Sheets, Google Drive и OpenRouter
- Базовая текстовая инструкция по адаптации и запуску

## Что нужно для запуска
- Аккаунт n8n с доступом к выполнению workflow
- Аккаунт Google с включёнными Google Drive и Google Sheets API
- Аккаунт OpenRouter с доступом к выбранной модели-судье
- Доступ к исходным PDF-документам и тестовым данным в Google Таблице

## Польза и эффекты
- Устранение ручной проверки ответов LLM
- Снижение времени на аудит качества ИИ с часов до минут
- Объективная, согласованная оценка на основе единого судьи-модели
- Возможность масштабируемого тестирования разных версий LLM
- Прозрачный аудит: все решения сохраняются с пояснениями
- Совместимость с регуляторными требованиями к контролю ИИ

## Важное о формате продукта и поддержке
**Важно:** вы приобретаете именно готовый шаблон сценария автоматизации. Разворот под вашу инфраструктуру, интеграция с конкретными аккаунтами и сервисами, индивидуальная помощь в настройке, доработки под нестандартные стеки и любая консультационная поддержка оказываются отдельно и оплачиваются по индивидуальному тарифу. Для обсуждения доработок и индивидуальной помощи вы можете связаться с нами через чат.