Welche KI-Crawler sollte ein Onlineshop zulassen, und wie stellt man das ein?
Lassen Sie die Crawler zu, die Seiten für Antworten abrufen, und entscheiden Sie getrennt über die, die Text für das Training sammeln. Ein Shop, der zitiert werden will, erlaubt OAI-SearchBot, PerplexityBot und Bingbot. GPTBot, ClaudeBot, Google-Extended und Applebot-Extended sind die Training-Schalter, und das ist nicht derselbe Schalter.
Die Agenten und wofür jeder da ist
OpenAI dokumentiert drei Agenten, und die Einstellungen sind unabhängig. Die Seite: https://developers.openai.com/api/docs/bots.
OAI-SearchBot ist für die Suche. OpenAI schreibt, er bringt Seiten in die ChatGPT-Suche. Eine Seite mit Disallow erscheint nicht in ChatGPT-Suchantworten und kann weiter als Navigationslink auftauchen. Eine Änderung an robots.txt kann laut OpenAI etwa 24 Stunden brauchen. Die IP-Liste: https://openai.com/searchbot.json.
GPTBot crawlt Inhalt, der zum Training generativer Modelle verwendet werden kann. Ein Disallow für GPTBot sagt, der Inhalt solle nicht für dieses Training genutzt werden. Er sperrt damit nicht OAI-SearchBot. Sind beide erlaubt, kann OpenAI einen Crawl für beide Zwecke nutzen, deshalb muss ein Training-Opt-out GPTBot nennen. Die IP-Liste: https://openai.com/gptbot.json.
ChatGPT-User holt eine Seite wegen einer Nutzeraktion in ChatGPT oder einem Custom GPT. OpenAI schreibt, das sei nicht der automatische Such-Crawler und nicht der Training-Crawl. Die IP-Liste: https://openai.com/chatgpt-user.json.
OpenAI sagt, robots.txt-Regeln gelten für ChatGPT-User möglicherweise nicht, weil ein Nutzer den Abruf gestartet hat. Ein Disallow für dieses Token ist keine verlässliche Sperre. Die Such-Abwahl ist OAI-SearchBot.
Perplexity dokumentiert zwei Agenten: https://docs.perplexity.ai/docs/resources/perplexity-crawlers. PerplexityBot zeigt Seiten und setzt Links in der Perplexity-Suche. Perplexity schreibt, er sammle keinen Inhalt für das Training von Basismodellen. Perplexity-User holt eine Seite, weil ein Nutzer gefragt hat, und Perplexity schreibt, dieser Abruf ignoriere robots.txt in der Regel. IP-Listen: https://www.perplexity.ai/perplexitybot.json und https://www.perplexity.ai/perplexity-user.json.
Bei Anthropic sind die Robots getrennt. ClaudeBot sammelt Inhalt, der zum Modelltraining beitragen kann. Eine Sperre signalisiert, künftiges Material solle aus Trainingsdatensätzen bleiben. Die Seite: https://privacy.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler. Dieselbe Seite beschreibt Claude-SearchBot für die Suche und Claude-User für einen Abruf auf Nutzerwunsch. Nur ClaudeBot zu sperren sagt nichts über die Claude-Suche.
Google-Extended ist ein robots.txt-Token, kein Crawler, den Sie unter diesem Namen in den Logs sehen. Googles Crawler-Übersicht sagt, es steuert die Nutzung für Gemini Apps und Vertex AI und beeinflusst Aufnahme und Ranking in der Google-Suche nicht. Es hat keinen eigenen HTTP-User-Agent. AI Overviews und AI Mode folgen Googlebot. Auf der AI-Features-Seite steuert eine robots.txt-Regel für Googlebot das Crawling für die Suche, und Google-Extended gilt für andere Google-Systeme. Ein Disallow für Google-Extended nimmt eine Seite nicht aus AI Overviews. Die Seiten sind https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers und https://developers.google.com/search/docs/appearance/ai-features.
Bingbot ist der Crawler für Bing. Bings Crawler-Liste nennt keinen eigenen Copilot-Crawler. Die Webmaster-Richtlinien sagen, Bingbot nicht zu sperren, und noindex hält eine URL aus Bing-Suche, Copilot und Grounding heraus. noarchive hält den Seitentext aus Copilot-Antworten. Die Richtlinien: https://www2.bing.com/webmasters/help/webmaster-guidelines-30fba23a.
Applebot-Extended ruft selbst keine Seiten ab. Apple schreibt, Applebot crawle, und Applebot-Extended steuere nur, ob diese Daten Apple-Basismodelle trainieren dürfen, einschließlich Apple Intelligence. Eine Seite kann Applebot-Extended verbieten und für die Apple-Suche geeignet bleiben. Die Seite: https://support.apple.com/en-us/119829.
Was Sie öffnen und was Sie schließen
Öffnen Sie Produkt-URLs, Kategorie-URLs, die Sie zitieren lassen wollen, und die Richtlinienseiten. Erlauben Sie OAI-SearchBot, PerplexityBot und Bingbot, wenn das Ziel Abrufe für Antworten sind. Erlauben Sie Googlebot, wenn Sie Google Search wollen.
Training schließen Sie nur, wenn das die Entscheidung ist. Ein Disallow für GPTBot, ClaudeBot, Google-Extended und Applebot-Extended ist diese Entscheidung. Er ersetzt kein Allow für die Such-Agenten.
Schließen Sie den Warenkorb, den Checkout, das Konto und Filter-URLs, die sich endlos vervielfachen. Sperren Sie Produkt-URLs nicht, wenn die Produkte zitiert werden sollen. Eine Firewall kann einen Agenten blockieren, den robots.txt erlaubt. Prüfen Sie auch diese Schicht.
Ein robots.txt-Beispiel
Die Datei liegt unter https://example.com/robots.txt auf dem Host, den Menschen eintippen. Regeln auf dem www-Host gelten nicht für den Host ohne www. Die Token unterscheiden Groß- und Kleinschreibung. GPTBot ist nicht gptbot. OAI-SearchBot behält die Bindestriche.
Das Beispiel erlaubt Suchabrufe und verbietet die Training-Steuerung. Tauschen Sie die Training-Zeilen gegen Allow, wenn Sie diese Nutzungen auch wollen. Die Stern-Gruppe versteckt weiter den Warenkorb.
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /accountWas llms.txt ist
llms.txt ist eine Konvention, kein Ersatz für robots.txt. Der Vorschlag steht unter https://llmstxt.org/. Ein Shop legt eine kurze Markdown-Datei unter /llms.txt. Sie nennt die Site und verlinkt die Seiten, die sich zu lesen lohnen. Crawler müssen sie nicht abrufen. Sie gewährt und verweigert keinen Zugang. Das tut robots.txt.
Halten Sie sie kurz. Verlinken Sie den Katalog, den Versand und eine Seite, die sagt, wie Preise gelten. Fügen Sie nicht den ganzen Katalog in die Datei ein.
# Example Store
> Outdoor goods sold from Warsaw. Prices on product pages are in PLN and include VAT.
## Pages
- [Catalog](https://example.com/collections/all): Current products, with price and stock on each product URL.
- [Shipping and returns](https://example.com/policies/shipping): Delivery countries and the return window.
- [Contact](https://example.com/pages/contact): How to reach the shop.Wie Sie sie in den Logs sehen
Suchen Sie im Access-Log nach dem User-Agent-Token, nicht nach einem Marketingnamen. Die Token sind OAI-SearchBot, GPTBot, ChatGPT-User, PerplexityBot, Perplexity-User, ClaudeBot, Claude-SearchBot, Claude-User, Bingbot und Applebot.
Warten Sie nicht auf eine Zeile Google-Extended oder Applebot-Extended. Das sind robots.txt-Token. Googlebot und Applebot sind die Clients, die abrufen.
Gleichen Sie eine OpenAI-Anfrage mit den veröffentlichten JSON-IP-Listen oben ab, bevor Sie einen gefälschten User-Agent für echt halten. Ein Client kann jede User-Agent-Zeichenkette senden.
Crawler-Präfixe stehen unter https://claude.com/crawling/bots.json, eine Liste für alle Bots. Der Datenschutzartikel sagt, eine IP auf dieser Liste ist Anthropic, und das Sperren dieser Adressen kann die Bots am Lesen von robots.txt hindern. Nutzen Sie das robots.txt-Token.
Behalten Sie Token, Pfad und Status. OAI-SearchBot auf einer Produkt-URL mit 200 ist ein Suchabruf. ChatGPT-User oder Perplexity-User auf demselben Pfad ist ein nutzerausgelöster Abruf. Ein Token ohne Pfad zeigt nicht, ob die Produkt-URL abgerufen wurde.
Server-HTML und ein im Browser gerenderter Preis
robots.txt entscheidet nur, ob ein Abruf erlaubt ist. Den Preis legt es nicht in die Antwort. Die Produkt-URL muss Name, Preis und Bestand im ersten HTML liefern.
Prüfen Sie mit curl oder view-source und suchen Sie den Preis. Erscheint die Zahl erst nach der Hydration, enthält die Rohantwort sie nicht.
Googles Leitfaden zu JavaScript-SEO sagt, Googlebot führe JavaScript aus. Das ist ein Crawler. Das ist keine Aussage über die anderen.
Die oben verlinkten Seiten von OpenAI, Perplexity und Anthropic sagen nicht, dass diese Agenten JavaScript ausführen. Das Server-HTML ist die Fassung, die die anderen lesen können.
Steht der Preis nur in einer Client-Komponente, verschieben Sie ihn in das Server-Rendering. Rufen Sie die URL mit curl ab und suchen Sie dieselben Ziffern.
- OAI-SearchBot, PerplexityBot und Bingbot sind erlaubt, wenn der Shop für Antworten abgerufen werden soll.
- GPTBot, ClaudeBot, Google-Extended und Applebot-Extended sind absichtlich gesetzt, nicht aus einer Alles-blockieren-Liste kopiert.
- Warenkorb, Checkout und Konto sind gesperrt, Produkt-URLs nicht.
- Die Datei liegt auf dem Host, den Käufer nutzen, und die WAF blockiert die erlaubten Agenten nicht.
- /llms.txt ist eine kurze Seitenkarte. Sie ist nicht der Katalog und keine Zugangskontrolle.
- Eine Produkt-URL liefert den Preis in der ersten HTML-Antwort.
- Logs werden nach dem User-Agent-Token durchsucht und dann mit der veröffentlichten IP-Liste abgeglichen.
Verschwinde ich aus der ChatGPT-Suche, wenn ich GPTBot blockiere?
OpenAI sagt, die Steuerungen seien unabhängig. Ein Disallow für GPTBot ist das Training-Opt-out. Die ChatGPT-Suche nutzt OAI-SearchBot. Lassen Sie OAI-SearchBot erlaubt, wenn Sie für diese Antworten geeignet bleiben wollen. Sind beide erlaubt, kann OpenAI einen Crawl für beides nutzen, deshalb muss das Training-Opt-out GPTBot nennen.
Steuert Google-Extended AI Overviews?
Behandeln Sie es nicht als diesen Schalter. Google-Extended ist das Token für die Nutzungen, die Google dokumentiert, getrennt vom gewöhnlichen Googlebot-Crawl. AI Overviews folgen Googlebot. Ein Disallow für Google-Extended nimmt den Shop nicht aus AI Overviews.
Überspringt ein Assistent eine Seite, die llms.txt nicht listet?
Nein. llms.txt ist eine optionale Karte. robots.txt und die HTTP-Antwort entscheiden den Zugang. Eine Produktseite kann abgerufen und zitiert werden, ohne Zeile in llms.txt.
Soll ich ChatGPT-User erlauben?
ChatGPT-User ist der Abruf, den eine Nutzeraktion auslösen kann. Er ist nicht der Such-Crawler. OpenAI sagt, robots.txt-Regeln gelten möglicherweise nicht, weil der Nutzer den Abruf gestartet hat. Das Token zu erlauben legt das Produkt nicht in eine Antwort.