Faithfulness

Faithfulness (от англ. faithfulness — «верность, достоверность») — метрика оценки качества текстов, генерируемых языковыми моделями, которая показывает, насколько содержание ответа соответствует исходным данным, контексту или запросу пользователя. В отличие от беглости и связности, faithfulness измеряет не «красоту» текста, а его фактическую привязку к источнику: нет ли выдуманных фактов, искажений, домыслов и логических разрывов. Метрика широко применяется в RAG-системах (Retrieval-Augmented Generation), где модель отвечает на вопрос на основе найденных документов, и в SEO-задачах, где важно, чтобы сгенерированный контент не противоречил данным сайта и не вводил пользователя в заблуждение.

Как рассчитывается faithfulness

• Ответ модели разбивается на отдельные утверждения (claims) — атомарные факты, которые можно проверить.
• Каждое утверждение сопоставляется с исходным контекстом или документом-источником.
• Утверждение помечается как подтверждённое, если источник содержит прямой или логически выводимый факт.
• Итоговая метрика — доля подтверждённых утверждений от общего числа: например, 18 из 20 = 0,9.
• Значения ниже 0,7 обычно сигнализируют о галлюцинациях и требуют правки промпта или источника.

Где faithfulness критична на практике

• RAG-чатботы поддержки: ответ должен опираться на базу знаний, а не на «память» модели.
• Медицинские и юридические ассистенты: любая выдуманная норма или дозировка — критическая ошибка.
• Генерация описаний товаров и статей: факты о характеристиках берутся из карточек, а не придумываются.
• Автоматическая проверка контента перед публикацией: низкий faithfulness = риск санкций за недостоверные данные.

Как повысить faithfulness

• Указывать модели явный контекст и запрещать использовать внешние знания.
• Требовать цитирования фрагментов источника для каждого утверждения.
• Снижать temperature генерации — меньше «творчества», больше опоры на данные.
• Прогонять ответ через автоматический фактчекер и ручную выборку.
• Регулярно обновлять базу знаний, чтобы источник не устаревал.

Для сайтов, где контент генерируется массово, контроль faithfulness напрямую влияет на доверие аудитории и позиции в поиске — здесь помогает копирайтинг с фактчекингом и оптимизация сайта под требования поисковых систем. Связанные понятия: галлюцинации, RAG, LLM.