Answer Relevance — это метрика качества ответа в системах информационного поиска и генеративного ИИ, показывающая, насколько содержание ответа соответствует заданному вопросу пользователя. В отличие от релевантности документа (document relevance), которая оценивает соответствие найденного источника запросу, Answer Relevance измеряет именно пригодность сгенерированного или извлечённого ответа как решения конкретной задачи. Метрика применяется в оценке RAG-систем, чат-ботов, поисковых сниппетов и голосовых ассистентов. Численно выражается в шкале от 0 до 1 (или от 1 до 5 при экспертной разметке), где 1 — ответ полностью отвечает на вопрос, 0 — не отвечает вовсе.
Как рассчитывается Answer Relevance
В автоматических фреймворках (RAGAS, TruLens, DeepEval) метрика считается без эталонного ответа — через обратную генерацию вопросов. Логика такая: если ответ действительно релевантен, из него можно восстановить исходный вопрос.
- LLM получает ответ и генерирует N вероятных вопросов, на которые он мог бы отвечать (обычно 3–5).
- Каждый сгенерированный вопрос сравнивается с исходным через косинусное сходство эмбеддингов.
- Итоговый балл — среднее значение сходств. Порог 0,8+ считается хорошим результатом.
- При экспертной оценке разметчики ставят оценку по шкале Лайкерта, отдельно штрафуя за неполноту и за лишнюю информацию.
Чем отличается от Context Relevance
Эти две метрики часто путают, но они оценивают разные этапы пайплайна. Context Relevance смотрит на то, насколько хорошо ретривер нашёл нужные фрагменты в базе знаний. Answer Relevance оценивает финальный текст, который увидел пользователь. Бывает так: контекст подобран идеально, а модель всё равно отвечает не по теме — тогда Context Relevance высокая, а Answer Relevance низкая. Для диагностики таких разрывов помогает SEO-аудит сайта — он показывает, где в контентной цепочке теряется смысл.
Практическое применение в SEO и GEO
С ростом доли AI Overviews, Perplexity и ChatGPT-поиска Answer Relevance превратилась в рабочую метрику для оптимизаторов. Если страница не даёт прямой ответ на вопрос в первых 40–60 словах, генеративный движок не процитирует её. Практические шаги:
- Формулировать H2 как реальные пользовательские вопросы из Wordstat и People Also Ask.
- Давать определение в первом абзаце блока — без вводных конструкций.
- Добавлять структурированные данные FAQPage и HowTo.
- Проверять, восстанавливается ли вопрос из ответа — это и есть ручной тест Answer Relevance.
Для сайтов, которые хотят попадать в ответы нейросетей, эта работа входит в GEO продвижение и требует перестройки контента под формат «вопрос — короткий ответ — детали». Смежные темы: AEO, Answer Engine, Context Relevance, Topical Relevance.
