Context Precision

Context Precision (точность контекста) — метрика оценки RAG-систем (Retrieval-Augmented Generation), которая измеряет, какая доля фрагментов, извлечённых из базы знаний, действительно относится к заданному вопросу. Если система достала 10 чанков, а релевантными оказались 4 — precision равен 0,4. В отличие от recall, который считает полноту охвата, precision отвечает на вопрос «сколько мусора попало в промпт модели».

Как считается метрика

• Система получает вопрос и возвращает ранжированный список из K фрагментов.
• Каждый фрагмент оценивается как релевантный (1) или нет (0) — вручную или LLM-судьёй.
• Context Precision = число релевантных фрагментов / общее число извлечённых.
• В продвинутых вариантах используют mean average precision (MAP), где учитывается позиция: релевантный чанк на 1-м месте весит больше, чем на 8-м.

Зачем это нужно на практике

Низкий precision — прямая причина галлюцинаций и размытых ответов. Когда в контекст попадают нерелевантные куски, модель либо игнорирует инструкцию, либо смешивает факты из разных источников. На проектах с оптимизацией сайта под ИИ-поиск мы обычно видим: precision ниже 0,5 коррелирует с падением точности ответов на 30–40%. Поднять метрику помогают гибридный поиск (BM25 + вектор), реранкер и правильная нарезка документов на чанки по 300–500 токенов с перекрытием.

Как улучшить Context Precision

1. Добавить cross-encoder реранкер после первичного поиска — он переупорядочивает топ-50 и оставляет топ-5.
2. Настроить метаданные: фильтрация по дате, разделу, типу документа отсекает половину шума.
3. Использовать query rewriting — переформулировать вопрос пользователя в 2–3 поисковых запроса.
4. Регулярно измерять precision на золотом наборе из 50–100 вопросов и логировать регрессии.

Метрика напрямую влияет на видимость сайта в ответах ИИ-поисковиков, поэтому при GEO продвижении структура контента подбирается так, чтобы каждый блок был самодостаточным и легко извлекался ретривером. Смежные понятия: RAG, Context Recall, векторный поиск, LLM.