OAI-SearchBot

OAI-SearchBot — это поисковый робот (краулер) компании OpenAI, который сканирует веб-страницы для формирования поисковой выдачи и ответов в ChatGPT Search. В отличие от GPTBot, собирающего данные для обучения моделей, OAI-SearchBot индексирует контент в реальном времени, чтобы показывать актуальные ссылки и цитаты в ответах на запросы пользователей. Его user-agent — OAI-SearchBot/1.0, а официальные IP-адреса публикуются в документации OpenAI и обновляются через JSON-файл.

Как работает OAI-SearchBot

• Робот обходит страницы по ссылкам и через карты сайта, ориентируясь на правила robots.txt.
• Скачанный HTML проходит очистку: удаляются скрипты, навигация и реклама, остаётся основной текст.
• Контент разбивается на фрагменты и индексируется в векторном хранилище для быстрого поиска.
• При запросе пользователя система находит релевантные фрагменты и формирует ответ со ссылками на источники.
• Свежесть индекса зависит от частоты обхода: популярные сайты сканируются чаще, статичные — реже.

Чем отличается от GPTBot и других краулеров

• GPTBot — сбор данных для обучения моделей; OAI-SearchBot — только для поисковой выдачи.
• ChatGPT-User — агент, который заходит на страницу по прямому запросу пользователя, а не индексирует сайт.
• Googlebot и ЯндексБот формируют классическую поисковую выдачу, OAI-SearchBot — ответы внутри ChatGPT.
• Блокировка OAI-SearchBot в robots.txt исключает сайт из цитирования в ChatGPT Search, но не влияет на обучение моделей.

Как оптимизировать сайт под OAI-SearchBot

• Разрешите робота в robots.txt директивой User-agent: OAI-SearchBot / Allow: /.
• Держите чистую семантику и структурированные данные Schema.org — они помогают извлекать факты.
• Пишите короткие абзацы с прямыми ответами: модели проще цитировать конкретику, чем общие рассуждения.
• Обновляйте контент регулярно — устаревшие страницы реже попадают в ответы.
• Проверяйте доступность через логи сервера: запросы OAI-SearchBot видны по user-agent.

Для сайтов, ориентированных на видимость в AI-ответах, работа с OAI-SearchBot — часть более широкой стратегии. Настроить индексацию и структуру поможет SEO-аудит сайта, а рост цитируемости в генеративных системах обеспечит GEO продвижение. Связанные темы: GPTBot, ChatGPT, robots.txt, llms.txt.