Multimodal Search

Multimodal Search — это технология поиска, при которой запрос и/или поисковый индекс содержат данные разных модальностей: текст, изображения, аудио, видео. Вместо сопоставления только ключевых слов система строит единое векторное пространство, где смысл картинки, фразы и звука представлен в одной системе координат. Пользователь может загрузить фото товара и получить ссылки на похожие модели, произнести вопрос голосом или найти видео по кадру — поисковик поймёт намерение независимо от формата ввода.

Как это работает на практике

• Мультимодальная модель-энкодер превращает каждый объект (текст, изображение, аудио) в вектор фиксированной размерности — обычно 512–1536 чисел.
• Векторы хранятся в индексе, поддерживающем приближённый поиск ближайших соседей: HNSW, IVF, ScaNN. Это позволяет сравнивать миллионы объектов за миллисекунды.
• Запрос любой модальности кодируется тем же энкодером, и система возвращает ближайшие по косинусной близости документы — независимо от того, был ли исходный объект текстом или картинкой.
• Результаты переранжируются: учитывается релевантность, свежесть, авторитет источника, поведенческие сигналы.

Где применяется

• E-commerce: поиск по фото («найди такие же кроссовки»), визуальный шопинг в Pinterest и Яндекс Маркете.
• Google Lens и Яндекс Картинки: распознавание объектов, перевод вывесок, поиск источника изображения.
• Голосовые ассистенты: Алиса, Siri, Google Assistant обрабатывают аудио-запрос и возвращают текстовый или визуальный ответ.
• Корпоративный поиск: нахождение нужного слайда в презентации по описанию графика или фрагмента совещания по цитате.

Что это значит для SEO

Оптимизация под мультимодальный поиск требует не только текстовой релевантности, но и качественных метаданных у медиа: alt-текстов, структурированных данных Schema.org (ImageObject, VideoObject), транскриптов аудио и субтитров. Изображения без описания и видео без разметки теряют видимость в таких выдачах. Чтобы сайт корректно индексировался по всем модальностям, полезно провести SEO-аудит сайта и настроить оптимизацию медиаконтента. Связанные понятия: Multimodal AI, Vector Search, Semantic Search, AI Search.