Context Relevance

Context Relevance (релевантность контекста) — метрика оценки RAG-систем и LLM-приложений, показывающая, насколько извлечённые из базы знаний фрагменты соответствуют исходному запросу пользователя. Если Answer Relevance измеряет качество финального ответа, то Context Relevance оценивает качество входных данных: сколько «шума» попало в контекст модели и есть ли там вообще информация, необходимая для ответа. Метрика рассчитывается автоматически — обычно через LLM-судью, который для каждого чанка ставит оценку от 0 до 1, — и усредняется по всей выборке.

Как работает оценка

• Система получает запрос и извлекает из векторной базы топ-K фрагментов (например, 5–10 чанков).
• LLM-судья анализирует каждый чанк отдельно: содержит ли он факты, нужные для ответа на вопрос.
• Каждому фрагменту присваивается оценка релевантности — бинарная (0/1) или градуированная (0–1).
• Итоговое значение — среднее по чанкам. Хорошим считается показатель выше 0,7–0,8.
• Низкий Context Relevance сигнализирует о проблемах ретривера: плохой чанкинг, слабые эмбеддинги или нерелевантная база.

Зачем это нужно на практике

Метрика напрямую влияет на стоимость и точность. Чем больше нерелевантных чанков попадает в промпт, тем выше расход токенов и риск галлюцинаций: модель начинает опираться на посторонние факты. Оптимизация ретривера — пересборка чанков, добавление реранкера, фильтрация по метаданным — способна поднять Context Relevance с 0,4 до 0,85 и одновременно сократить длину промпта вдвое. Для проектов, где качество ответов критично, полезна SEO-аудит сайта — он показывает, какие страницы и разделы дают слабый контент для извлечения, а оптимизация помогает перестроить структуру так, чтобы нужные фрагменты находились с первого раза.

Типичные ошибки и способы их устранить

1. Слишком крупные чанки: в один фрагмент попадают разные темы, релевантность размывается. Решение — чанкинг 200–500 токенов с перекрытием.
2. Только векторный поиск без реранкера: топ-K содержит «похожие по смыслу, но не по факту» куски. Решение — гибридный поиск (BM25 + эмбеддинги) и cross-encoder.
3. Устаревшая база знаний: чанки формально релевантны, но содержат неверные данные. Решение — регулярная переиндексация.
4. Отсутствие метаданных: фильтры по дате, разделу или языку отсекают лишнее ещё до ранжирования.

Context Relevance тесно связана с другими метриками RAG-пайплайна. Её стоит оценивать вместе с Context Precision — точностью ранжирования, Context Recall — полнотой извлечения и Answer Relevance — соответствием финального ответа запросу. Для проектов, где контекст собирается из веб-страниц, полезна GEO продвижение: оптимизированный под ИИ-поиск контент чаще попадает в контекст моделей и повышает шансы на цитирование. Понимание Context Window помогает рассчитать, сколько чанков реально влезет в промпт без потери качества.