Które crawlery AI wpuścić na stronę sklepu i jak to ustawić?
Wpuszczaj crawlery, które pobierają strony do odpowiedzi, i osobno zdecyduj o tych, które zbierają tekst do trenowania. Sklep, który ma być cytowany, otwiera OAI-SearchBot, PerplexityBot i Bingbot. GPTBot, ClaudeBot, Google-Extended i Applebot-Extended to przełączniki trenowania i nie są tym samym przełącznikiem.
Agenci i do czego służą
OpenAI opisuje trzech agentów i ustawienia są niezależne. Strona: https://developers.openai.com/api/docs/bots.
OAI-SearchBot służy do wyszukiwania. OpenAI pisze, że pokazuje nim strony w wyszukiwaniu ChatGPT. Strona z Disallow nie wchodzi do odpowiedzi wyszukiwania ChatGPT i nadal może pojawić się jako link nawigacyjny. Zmiana robots.txt, według OpenAI, może zająć około 24 godzin. Lista IP: https://openai.com/searchbot.json.
GPTBot obchodzi treść, która może wejść do trenowania modeli generatywnych. Disallow dla GPTBot mówi, że treści nie należy używać do tego trenowania. Sam nie zamyka OAI-SearchBot. Gdy oba są dozwolone, OpenAI może użyć jednego obchodu do obu celów, więc rezygnacja z trenowania musi nazwać GPTBot. Lista IP: https://openai.com/gptbot.json.
ChatGPT-User pobiera stronę przez działanie użytkownika w ChatGPT albo w custom GPT. OpenAI pisze, że to nie jest automatyczny crawler wyszukiwania ani obchód do trenowania. Lista IP: https://openai.com/chatgpt-user.json.
OpenAI pisze, że reguły robots.txt mogą nie dotyczyć ChatGPT-User, bo pobranie zaczął użytkownik. Disallow dla tego tokenu nie jest pewną blokadą. Rezygnacja z wyszukiwania to OAI-SearchBot.
Perplexity opisuje dwóch agentów: https://docs.perplexity.ai/docs/resources/perplexity-crawlers. PerplexityBot pokazuje strony i daje linki w wyszukiwaniu Perplexity. Perplexity pisze, że nie zbiera nim treści do trenowania modeli bazowych. Perplexity-User pobiera stronę, bo zapytał użytkownik, i Perplexity pisze, że ten agent zwykle nie patrzy na robots.txt. Listy IP: https://www.perplexity.ai/perplexitybot.json i https://www.perplexity.ai/perplexity-user.json.
U Anthropic roboty są rozdzielone. ClaudeBot zbiera treść, która może wejść do trenowania modeli. Ograniczenie znaczy, że przyszłe materiały nie powinny trafiać do zbiorów treningowych. Strona: https://privacy.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler. Tam są też Claude-SearchBot do wyszukiwania i Claude-User do pobrania na żądanie użytkownika. Zamknięcie tylko ClaudeBot nie jest decyzją o wyszukiwaniu Claude.
Google-Extended to token w robots.txt, nie crawler, którego zobaczysz w logach pod tą nazwą. Opis crawlerów Google mówi, że steruje użyciem dla Gemini Apps i Vertex AI i nie wpływa na włączenie ani ranking w Google Search. Nie ma własnego HTTP user-agent. AI Overviews i AI Mode idą za Googlebot. Na stronie AI features reguła robots.txt dla Googlebot steruje obchodem dla Search, a Google-Extended jest wskazany dla innych systemów Google. Disallow dla Google-Extended nie usuwa strony z AI Overviews. Strony: https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers i https://developers.google.com/search/docs/appearance/ai-features.
Bingbot to crawler Bing. Lista crawlerów Bing nie nazywa osobnego crawlera Copilot. Wytyczne dla webmasterów mówią, żeby nie blokować Bingbot, a noindex wyjmuje URL z wyszukiwania Bing, Copilot i grounding. noarchive nie pozwala brać treści strony do odpowiedzi Copilot. Wytyczne: https://www2.bing.com/webmasters/help/webmaster-guidelines-30fba23a.
Applebot-Extended sam stron nie pobiera. Apple pisze, że obchodzi Applebot, a Applebot-Extended tylko decyduje, czy te dane mogą trenować modele bazowe Apple, w tym Apple Intelligence. Stronę można zamknąć dla Applebot-Extended i zostawić ją w wyszukiwaniu Apple. Strona: https://support.apple.com/en-us/119829.
Co otworzyć i co zamknąć
Otwórz URL produktów, kategorii, które chcesz cytować, i stron zasad. Zezwól na OAI-SearchBot, PerplexityBot i Bingbot, jeśli celem jest pobieranie stron do odpowiedzi. Zezwól na Googlebot, jeśli chcesz Google Search.
Trenowanie zamykaj tylko wtedy, gdy taka jest decyzja. Disallow dla GPTBot, ClaudeBot, Google-Extended i Applebot-Extended jest tą decyzją. Nie zastępuje Allow dla agentów wyszukiwania.
Zamknij koszyk, checkout, konto i URL filtrów, które mnożą się bez końca. Nie zamykaj URL produktów, jeśli to je chcesz cytować. Firewall może zatrzymać agenta, którego robots.txt wpuszcza. Sprawdź też tę warstwę.
Przykład robots.txt
Plik leży pod https://example.com/robots.txt na hoście, który wpisują ludzie. Reguły na www nie obejmują hosta bez www. Tokeny rozróżniają wielkość liter. GPTBot to nie gptbot. W OAI-SearchBot myślniki zostają.
W przykładzie pobrania do wyszukiwania są dozwolone, a trenowanie jest zamknięte. Zamień linie trenowania na Allow, jeśli te użycia też są potrzebne. Grupa z gwiazdką nadal chowa koszyk.
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /accountCzym jest llms.txt
llms.txt to umowa, nie zamiennik robots.txt. Opis: https://llmstxt.org/. Sklep kładzie krótki Markdown pod /llms.txt. Jest tam nazwa strony i linki do stron, które warto przeczytać. Crawler nie musi go pobrać. Dostępu nie daje i nie odbiera. To robi robots.txt.
Trzymaj plik krótko. Daj link do katalogu, dostawy i strony o tym, jak liczone są ceny. Nie wklejaj do pliku całego katalogu.
# Example Store
> Outdoor goods sold from Warsaw. Prices on product pages are in PLN and include VAT.
## Pages
- [Catalog](https://example.com/collections/all): Current products, with price and stock on each product URL.
- [Shipping and returns](https://example.com/policies/shipping): Delivery countries and the return window.
- [Contact](https://example.com/pages/contact): How to reach the shop.Jak zobaczyć ich w logach
W access log szukaj tokenu user-agent, nie nazwy marketingowej. Tokeny: OAI-SearchBot, GPTBot, ChatGPT-User, PerplexityBot, Perplexity-User, ClaudeBot, Claude-SearchBot, Claude-User, Bingbot i Applebot.
Nie czekaj na linię Google-Extended albo Applebot-Extended. To tokeny robots.txt. Strony pobierają Googlebot i Applebot.
Żądanie OpenAI porównaj z listami IP w JSON pod linkami wyżej, zanim uznasz podrobiony user-agent za prawdziwy. Klient może wysłać dowolny ciąg.
Prefiksy crawlerów są pod https://claude.com/crawling/bots.json, jedna lista dla wszystkich botów. Artykuł o prywatności mówi, że IP z tej listy to Anthropic, a blokada tych adresów może zatrzymać boty przed odczytem robots.txt. Użyj tokenu w robots.txt.
Zostaw token, ścieżkę i status. OAI-SearchBot na URL produktu z odpowiedzią 200 to pobranie wyszukiwania. ChatGPT-User albo Perplexity-User na tej ścieżce to pobranie po działaniu użytkownika. Token bez ścieżki nie pokazuje, czy URL produktu został pobrany.
HTML z serwera i cena z przeglądarki
robots.txt decyduje tylko, czy stronę wolno pobrać. Ceny do odpowiedzi nie wkłada. URL produktu ma oddać nazwę, cenę i stan w pierwszym HTML.
Sprawdź przez curl albo view-source i znajdź cenę. Jeśli liczba jest dopiero po hydracji, w surowej odpowiedzi jej nie ma.
W przewodniku Google o JavaScript SEO jest napisane, że Googlebot wykonuje JavaScript. To jeden crawler. To nie jest twierdzenie o pozostałych.
Strony OpenAI, Perplexity i Anthropic powyżej nie mówią, że te agenty wykonują JavaScript. HTML serwera jest kopią, którą pozostali mogą przeczytać.
Jeśli cena jest drukowana tylko w komponencie klienckim, przenieś ją do renderu serwera. Zrób curl tego URL i znajdź te same cyfry.
- OAI-SearchBot, PerplexityBot i Bingbot są dozwolone, jeśli sklep ma być pobierany do odpowiedzi.
- GPTBot, ClaudeBot, Google-Extended i Applebot-Extended są ustawione celowo, nie skopiowane z listy «zamknij wszystkich».
- Koszyk, checkout i konto są zamknięte, a URL produktów nie.
- Plik leży na hoście, który otwierają kupujący, a WAF nie odcina dozwolonych agentów.
- /llms.txt to krótkie zestawienie. To nie katalog i nie sterowanie dostępem.
- URL produktu oddaje cenę w pierwszej odpowiedzi HTML.
- W logach szukasz tokenu user-agent, potem sprawdzasz go z listą IP.
Jeśli zablokuję GPTBot, sklep zniknie z wyszukiwania ChatGPT?
OpenAI pisze, że ustawienia są niezależne. Disallow dla GPTBot to rezygnacja z trenowania. Wyszukiwanie ChatGPT używa OAI-SearchBot. Zostaw OAI-SearchBot dozwolony, jeśli chcesz zostać przy tych odpowiedziach. Gdy oba są dozwolone, OpenAI może użyć jednego obchodu dwa razy, więc rezygnacja z trenowania musi nazwać GPTBot.
Czy Google-Extended steruje AI Overviews?
Nie traktuj go jako tego przełącznika. Google-Extended to token do zastosowań, które opisuje Google, osobno od zwykłego obchodu Googlebot. AI Overviews idą za Googlebot. Disallow dla Google-Extended nie usuwa sklepu z AI Overviews.
Czy asystent pominie stronę, której nie ma w llms.txt?
Nie. llms.txt to opcjonalne zestawienie. Dostęp rozstrzygają robots.txt i odpowiedź HTTP. Kartę można pobrać i zacytować bez linii w llms.txt.
Czy trzeba zezwolić na ChatGPT-User?
ChatGPT-User to pobranie, które może uruchomić działanie użytkownika. To nie crawler wyszukiwania. OpenAI pisze, że reguły robots.txt mogą nie obowiązywać, bo pobranie zaczął użytkownik. Zezwolenie tokenu samo nie wkłada produktu do odpowiedzi.