AI Indexing — это процесс, при котором поисковые системы и AI-платформы (ChatGPT, Perplexity, Gemini) автоматически сканируют, обрабатывают и включают контент сайта в свою базу знаний для генерации ответов. В отличие от классического индексирования, где робот формирует индекс для выдачи ссылок, AI Indexing создаёт векторные представления (embeddings) — числовые модели смысла текста. Когда пользователь задаёт вопрос, система находит ближайшие по смыслу фрагменты и синтезирует ответ, ссылаясь на источник.
Как работает AI Indexing
- Краулер скачивает страницу и передаёт её в парсер, который очищает HTML от разметки.
- Текст разбивается на чанки — фрагменты по 200–500 токенов с перекрытием, чтобы не терять контекст на границах.
- Каждый чанк превращается в embedding через модель (например, text-embedding-3-large) и сохраняется в векторной базе.
- При запросе система ищет ближайшие векторы по косинусному сходству и формирует ответ с указанием источника.
Ключевое отличие от SEO: здесь важна не плотность ключей, а семантическая полнота и однозначность формулировок. Если страница не попала в AI-индекс, она не будет цитироваться в ответах — трафик уходит к конкурентам. Для попадания в индекс помогает GEO продвижение, которое адаптирует контент под генеративные модели.
Что влияет на попадание в AI-индекс
- Структура: заголовки H2/H3, списки, таблицы — модели лучше извлекают факты из размеченного текста.
- Фактологичность: конкретные цифры, даты, определения повышают шанс цитирования.
- Скорость загрузки: если страница грузится дольше 3 секунд, краулер может не дождаться контента.
- Доступность: robots.txt не должен блокировать GPTBot, PerplexityBot, Google-Extended.
- Свежесть: дата обновления влияет на приоритет в векторной базе.
Технические ошибки — битые canonical, дубли, закрытые в noindex страницы — полностью исключают попадание в AI-индекс. Проверить это можно через SEO-аудит сайта, который покажет, какие страницы недоступны для AI-краулеров.
Практические шаги для оптимизации
- Разрешите в robots.txt ботов GPTBot, ClaudeBot, PerplexityBot, Google-Extended.
- Добавьте schema.org разметку (Article, FAQPage, HowTo) — она помогает моделям извлекать факты.
- Пишите короткие абзацы по 2–3 предложения с одним тезисом.
- Обновляйте контент раз в 3–6 месяцев, указывайте дату публикации.
- Создавайте FAQ-блоки с прямыми вопросами и ответами.
AI Indexing уже влияет на трафик: по данным исследований, до 30% информационных запросов в 2024 году завершаются без клика по ссылке — пользователь получает ответ прямо в чате. Связанные темы: Gemini, Perplexity, ChatGPT, GEO.
