Dense Retrieval

Dense Retrieval (плотный поиск) — метод информационного поиска, при котором запрос и документы представляются в виде плотных векторных представлений (эмбеддингов) фиксированной размерности, а релевантность вычисляется через метрику близости, чаще всего косинусное сходство или скалярное произведение. В отличие от разреженных моделей, где вектор имеет размерность словаря и большинство координат равны нулю, dense-вектор содержит ненулевые значения почти во всех измерениях и кодирует семантику текста, а не точное совпадение слов.

Как это работает

• Документы и запросы пропускаются через энкодер — обычно это двунаправленный трансформер (BERT, E5, BGE, GTE) или его дистиллированные версии.
• На выходе берётся усреднённый пул токенов или вектор специального токена [CLS], получается эмбеддинг размерностью 384–1536 измерений.
• Все документы корпуса заранее кодируются и складываются в индекс — чаще всего это HNSW или IVF-PQ внутри FAISS, Milvus, Qdrant или pgvector.
• На этапе запроса вычисляется эмбеддинг вопроса и выполняется приближённый поиск ближайших соседей (ANN) за миллисекунды даже на миллионах фрагментов.
• Топ-k кандидатов передаётся в реранкер (cross-encoder), который уточняет порядок выдачи.

Где применяется на практике

• Семантический поиск по базе знаний и документации: пользователь пишет «как вернуть товар», система находит статью «условия возврата покупки», хотя дословных совпадений нет.
• RAG-пайплайны для LLM: dense-ретривер подбирает контекст, который затем подаётся в генеративную модель для ответа.
• Мультиязычный поиск: одна модель кодирует русский запрос и английский документ в общее пространство, что критично для SEO продвижение англоязычных сайтов.
• Внутренний поиск на крупных сайтах и в интернет-магазинах, где важна обработка опечаток, синонимов и перефразировок.
• Дедупликация и кластеризация контента при сборе семантики и анализе конкурентов.

Сильные и слабые стороны

• Плюсы: понимает смысл, устойчив к перефразировкам, работает с разными языками, компактно хранит индекс.
• Минусы: плохо ловит точные совпадения артикулов, номеров, редких имён; требует GPU для обучения и качественных эмбеддингов; ошибки ANN-поиска могут терять релевантные документы.
• Поэтому на практике dense retrieval комбинируют со sparse-подходом (BM25) в гибридных схемах, а качество оценивают метриками Recall@k, MRR и nDCG.

Для SEO-команд dense retrieval важен там, где нужно строить умный поиск по контенту, подбирать похожие статьи и автоматизировать внутреннюю перелинковку. Связанные понятия: Retrieval, Semantic Retrieval, Sparse Retrieval, RAG. Если стоит задача внедрить такие механизмы в клиентский проект, поможет оптимизация сайта и техническая поддержка.