Каких ИИ-краулеров пускать на сайт интернет-магазина и как это настроить?
Пускайте краулеров, которые забирают страницы для ответов, и отдельно решите судьбу тех, кто собирает текст для обучения. Магазину, который хотят цитировать, имеет смысл открыть OAI-SearchBot, PerplexityBot и Bingbot. GPTBot, ClaudeBot, Google-Extended и Applebot-Extended — это переключатели обучения, и это не тот же тумблер.
Агенты и зачем каждый
OpenAI описывает трёх агентов, и настройки независимы. Страница: https://developers.openai.com/api/docs/bots.
OAI-SearchBot — для поиска. OpenAI пишет, что им показывают сайты в поиске ChatGPT. Сайт с Disallow не попадает в ответы поиска ChatGPT и всё ещё может появиться как навигационная ссылка. Смена robots.txt, по словам OpenAI, может занять около 24 часов. Список IP: https://openai.com/searchbot.json.
GPTBot обходит контент, который может пойти в обучение генеративных моделей. Disallow для GPTBot говорит, что контент не следует использовать для этого обучения. Сам по себе он не закрывает OAI-SearchBot. Если разрешены оба, OpenAI может использовать один обход на обе цели, поэтому отказ от обучения должен называть GPTBot. Список IP: https://openai.com/gptbot.json.
ChatGPT-User забирает страницу из-за действия пользователя в ChatGPT или в custom GPT. OpenAI пишет, что это не автоматический поисковый краулер и не обход для обучения. Список IP: https://openai.com/chatgpt-user.json.
OpenAI пишет, что правила robots.txt могут не применяться к ChatGPT-User: запрос начал пользователь. Disallow для этого токена — не надёжный запрет. Отказ от поиска — это OAI-SearchBot.
У Perplexity два агента: https://docs.perplexity.ai/docs/resources/perplexity-crawlers. PerplexityBot показывает сайты и ставит ссылки в поиске Perplexity. Perplexity пишет, что им не собирают текст для обучения базовых моделей. Perplexity-User забирает страницу, потому что спросил пользователь, и Perplexity пишет, что этот агент обычно не смотрит robots.txt. Списки IP: https://www.perplexity.ai/perplexitybot.json и https://www.perplexity.ai/perplexity-user.json.
У Anthropic роботы разделены. ClaudeBot собирает контент, который может войти в обучение моделей. Ограничение означает, что будущие материалы не должны попадать в обучающие наборы. Страница: https://privacy.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler. Там же описаны Claude-SearchBot для поиска и Claude-User для запроса пользователя. Закрыть только ClaudeBot — не значит высказать решение про поиск Claude.
Google-Extended — токен в robots.txt, а не краулер, которого вы увидите в логах под этим именем. В обзоре краулеров Google сказано, что он управляет использованием для Gemini Apps и Vertex AI и не влияет на включение и ранжирование в Google Search. Своего HTTP user-agent у него нет. AI Overviews и AI Mode идут за Googlebot. На странице AI features правило robots.txt для Googlebot управляет обходом для Search, а Google-Extended указан для других систем Google. Disallow для Google-Extended не убирает страницу из AI Overviews. Страницы: https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers и https://developers.google.com/search/docs/appearance/ai-features.
Bingbot — краулер Bing. В списке краулеров Bing нет отдельного краулера Copilot. В рекомендациях вебмастерам сказано не блокировать Bingbot, а noindex убирает URL из поиска Bing, Copilot и grounding. noarchive не даёт брать текст страницы в ответы Copilot. Рекомендации: https://www2.bing.com/webmasters/help/webmaster-guidelines-30fba23a.
Applebot-Extended сам страницы не забирает. Apple пишет, что обходит Applebot, а Applebot-Extended только решает, можно ли эти данные использовать для обучения базовых моделей Apple, включая Apple Intelligence. Страницу можно закрыть для Applebot-Extended и оставить доступной поиску Apple. Страница: https://support.apple.com/en-us/119829.
Что открыть и что закрыть
Откройте URL товаров, категорий, которые готовы цитировать, и страницы правил. Разрешите OAI-SearchBot, PerplexityBot и Bingbot, если цель — чтобы страницы забирали для ответов. Разрешите Googlebot, если нужен Google Search.
Обучение закрывайте, только если решение такое. Disallow для GPTBot, ClaudeBot, Google-Extended и Applebot-Extended — это оно. Оно не заменяет Allow для поисковых агентов.
Закройте корзину, оформление, кабинет и URL фильтров, которые плодятся без конца. Не закрывайте URL товаров, если цитировать нужно их. Файрвол может остановить агента, которого robots.txt пускает. Проверьте и этот слой.
Пример robots.txt
Файл лежит по адресу https://example.com/robots.txt на том хосте, который вводят люди. Правила на www не покрывают хост без www. Токены чувствительны к регистру. GPTBot — это не gptbot. В OAI-SearchBot дефисы на месте.
В примере поисковые запросы разрешены, а обучение закрыто. Поменяйте строки обучения на Allow, если эти использования тоже нужны. Группа со звёздочкой по-прежнему прячет корзину.
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /accountЧто такое llms.txt
llms.txt — договорённость, не замена robots.txt. Описание: https://llmstxt.org/. Магазин кладёт короткий Markdown на /llms.txt. Там имя сайта и ссылки на страницы, которые стоит прочитать. Краулер не обязан его забирать. Доступ он не выдаёт и не отнимает. Это делает robots.txt.
Держите файл коротким. Дайте ссылку на каталог, доставку и страницу о том, как устроены цены. Не вставляйте в файл весь каталог.
# Example Store
> Outdoor goods sold from Warsaw. Prices on product pages are in PLN and include VAT.
## Pages
- [Catalog](https://example.com/collections/all): Current products, with price and stock on each product URL.
- [Shipping and returns](https://example.com/policies/shipping): Delivery countries and the return window.
- [Contact](https://example.com/pages/contact): How to reach the shop.Как увидеть их в логах
Ищите в access log токен user-agent, не маркетинговое имя. Токены: OAI-SearchBot, GPTBot, ChatGPT-User, PerplexityBot, Perplexity-User, ClaudeBot, Claude-SearchBot, Claude-User, Bingbot и Applebot.
Не ждите строки Google-Extended или Applebot-Extended. Это токены robots.txt. Страницы забирают Googlebot и Applebot.
Запрос OpenAI сверьте со списками IP в JSON по ссылкам выше, прежде чем считать подделанный user-agent настоящим. Клиент может прислать любую строку.
Префиксы краулеров лежат на https://claude.com/crawling/bots.json, один список на всех ботов. В статье о приватности сказано: IP из этого списка — это Anthropic, а блокировка этих адресов может помешать ботам прочитать robots.txt. Используйте токен в robots.txt.
Оставьте токен, путь и статус. OAI-SearchBot на URL товара с ответом 200 — это поисковый запрос. ChatGPT-User или Perplexity-User на том же пути — запрос по действию пользователя. Токен без пути не показывает, забрали ли URL товара.
HTML с сервера и цена из браузера
robots.txt решает только, можно ли забрать страницу. Цену в ответ он не кладёт. URL товара должен отдать название, цену и наличие в первом HTML.
Проверьте через curl или view-source и найдите цену. Если число есть только после гидрации, в сыром ответе его нет.
В руководстве Google по JavaScript SEO сказано, что Googlebot исполняет JavaScript. Это один краулер. Это не утверждение про остальных.
Страницы OpenAI, Perplexity и Anthropic выше не говорят, что эти агенты исполняют JavaScript. HTML сервера — копия, которую могут прочитать остальные.
Если цена печатается только в клиентском компоненте, перенесите её в серверный рендер. Сделайте curl этого URL и найдите те же цифры.
- OAI-SearchBot, PerplexityBot и Bingbot разрешены, если магазин хотят забирать для ответов.
- GPTBot, ClaudeBot, Google-Extended и Applebot-Extended выставлены намеренно, не скопированы из списка «закрыть всех».
- Корзина, оформление и кабинет закрыты, а URL товаров нет.
- Файл лежит на том хосте, который открывают покупатели, и WAF не режет разрешённых агентов.
- /llms.txt — короткое оглавление. Это не каталог и не управление доступом.
- URL товара отдаёт цену в первом HTML-ответе.
- В логах ищут токен user-agent, затем сверяют его со списком IP.
Если закрыть GPTBot, магазин пропадёт из поиска ChatGPT?
OpenAI пишет, что настройки независимы. Disallow для GPTBot — отказ от обучения. Поиск ChatGPT использует OAI-SearchBot. Оставьте OAI-SearchBot разрешённым, если хотите остаться доступными для этих ответов. Если разрешены оба, OpenAI может использовать один обход дважды, поэтому отказ от обучения должен называть GPTBot.
Управляет ли Google-Extended ответами AI Overviews?
Не считайте его этим переключателем. Google-Extended — токен для тех применений, которые описывает Google, отдельно от обычного обхода Googlebot. AI Overviews идут за Googlebot. Disallow для Google-Extended не убирает магазин из AI Overviews.
Пропустит ли ассистент страницу, которой нет в llms.txt?
Нет. llms.txt — необязательное оглавление. Доступ решают robots.txt и ответ HTTP. Карточку можно забрать и процитировать без строки в llms.txt.
Нужно ли разрешать ChatGPT-User?
ChatGPT-User — это забор страницы по действию пользователя. Это не поисковый краулер. OpenAI пишет, что правила robots.txt могут не применяться, потому что запрос начал пользователь. Разрешение токена само не кладёт товар в ответ.