Google-Extended

Google-Extended — это специальный токен управления, который Google добавил в файл robots.txt для сайтов, чей контент используется в обучении и улучшении генеративных ИИ-моделей компании. Он не блокирует индексацию страниц в поиске и не влияет на обычный краулинг Googlebot. Его задача — дать владельцам сайтов отдельный «переключатель»: разрешить или запретить использование их материалов в моделях вроде Gemini и Vertex AI, не отказываясь при этом от поискового трафика.

Как работает Google-Extended

• Токен прописывается в robots.txt отдельной директивой User-agent: Google-Extended, а не как Googlebot.
• Директива Disallow: / в блоке Google-Extended запрещает использование контента для обучения ИИ-моделей, но страницы продолжают индексироваться в поиске.
• Директива Allow: / действует наоборот — контент остаётся доступным для ИИ-обучения.
• Google-Extended не является отдельным краулером: он управляет уже собранными данными, а не запускает новый обход сайта.
• Настройка не влияет на позиции в выдаче, сниппеты и работу Google Search Console.

Зачем это нужно бизнесу

С ростом генеративных ответов контент сайта всё чаще попадает в обучающие датасеты. Google-Extended даёт возможность управлять этим процессом осознанно. Например, интернет-магазин может запретить обучение ИИ на описаниях товаров, чтобы конкуренты не получали готовые формулировки через генеративные модели. Медиа и блоги часто выбирают противоположную стратегию: разрешают использование, чтобы их материалы цитировались в AI Overviews и привлекали переходы. Для корректной настройки и проверки директив стоит заказать SEO-аудит сайта, который покажет, как robots.txt взаимодействует с остальными техническими параметрами.

Практические нюансы

1. Директива Google-Extended не заменяет запрет для Googlebot — это разные механизмы.
2. Изменения в robots.txt вступают в силу не мгновенно: Google перечитывает файл с задержкой.
3. Запрет обучения не гарантирует, что контент не попадёт в модели, собранные до введения токена.
4. Для сайтов, ориентированных на англоязычный рынок, управление ИИ-доступом особенно актуально — здесь помогает SEO продвижение англоязычных сайтов.
5. Перед изменением директив полезно оценить, как контент уже используется в генеративных ответах.

Google-Extended — часть более широкой экосистемы управления видимостью в поиске и ИИ-сервисах. Чтобы понять, как ваш сайт взаимодействует с Google, изучите материалы вики: Google, Google Search Console, Google AI Overviews и Google AI Mode. Грамотная настройка токена позволяет сохранить контроль над контентом, не теряя поисковый трафик.