Context Recall — это метрика оценки качества работы RAG-систем (Retrieval-Augmented Generation), которая показывает, какую долю релевантной информации из эталонного набора данных система смогла извлечь при поиске. Простыми словами: если в базе знаний есть 10 фактов, необходимых для правильного ответа на вопрос, а поисковый модуль нашёл только 7 из них, то Context Recall равен 0,7 или 70%. Эта метрика критически важна для систем, где полнота извлечения данных напрямую влияет на точность генерации, например, в чат-ботах поддержки или интеллектуальном поиске по документации.
Как рассчитывается Context Recall
Метрика вычисляется путём сравнения извлечённых фрагментов с эталонным ответом (ground truth). Процесс включает несколько этапов:
- Формируется эталонный набор данных, где для каждого вопроса вручную или автоматически размечены все релевантные фрагменты текста.
- Система выполняет поиск и возвращает список найденных чанков (фрагментов).
- Каждый эталонный фрагмент проверяется на наличие в выдаче. Если он найден — засчитывается как True Positive.
- Итоговое значение рассчитывается как отношение числа найденных релевантных фрагментов к их общему количеству в эталоне.
Например, при тестировании SEO-аудита сайта с использованием RAG-модели для анализа технических ошибок, Context Recall покажет, сколько именно проблем из размеченного списка алгоритм смог обнаружить в тексте. Если из 50 известных ошибок найдено 40, метрика составит 0,8.
Практическое значение и связь с другими метриками
Высокий Context Recall означает, что система не упускает важные данные, однако это не гарантирует точность ответа. Метрика работает в паре с Context Precision, которая оценивает, сколько мусора попало в выдачу. Идеальная система должна иметь высокие значения обеих метрик: находить всё нужное и не приносить лишнего. Низкий Context Recall часто свидетельствует о проблемах с чанкингом (нарезкой текста), неудачной модели эмбеддингов или слишком узком окне поиска.
Для бизнеса эта метрика напрямую связана с качеством клиентской поддержки. Если RAG-бот не находит нужную информацию в базе знаний, он либо галлюцинирует, либо отвечает «не знаю». Оптимизация Context Recall требует комплексного подхода: настройки семантики, улучшения структуры документов и регулярного тестирования на размеченных данных. В проектах по оптимизации сайта это помогает точнее отвечать на запросы пользователей через умные поисковые системы.
Ограничения и способы улучшения
- Зависимость от качества эталонной разметки: если ground truth составлен с ошибками, метрика будет искажена.
- Сложность оценки для больших документов: чем больше объём текста, тем труднее определить все релевантные фрагменты.
- Не учитывает порядок фрагментов: Context Recall не показывает, насколько логично расположена информация в выдаче.
- Требует баланса с точностью: погоня за 100% Recall может привести к зашумлению контекста и падению Precision.
Для улучшения показателя применяют иерархический поиск, гибридные методы (BM25 + векторный поиск), переранжирование результатов и тонкую настройку размера чанков. В контексте Context Engineering эта метрика служит одним из ключевых индикаторов качества проектирования всей системы. Связанные понятия: Context Precision, Context Relevance и Context Window — все они описывают разные аспекты работы с контекстом в LLM.
