أي زواحف AI يُسمح لها بدخول متجر، وكيف يُضبط ذلك؟

الوكلاء وما دور كل واحد

توثّق OpenAI ثلاثة وكلاء والإعدادات مستقلة. الصفحة: https://developers.openai.com/api/docs/bots.

OAI-SearchBot للبحث. تكتب OpenAI أنه يُظهر المواقع في بحث ChatGPT. الموقع الذي عليه Disallow لا يظهر في إجابات بحث ChatGPT وقد يظهر رابطًا للتنقّل. تقول OpenAI إن تغيير robots.txt قد يستغرق نحو 24 ساعة. قائمة IP: https://openai.com/searchbot.json.

GPTBot يجوب محتوى قد يُستخدم لتدريب النماذج التوليدية. Disallow لـ GPTBot يقول ألا يُستخدم المحتوى لذلك التدريب. وهو وحده لا يغلق OAI-SearchBot. إن سُمح للاثنين فقد تستخدم OpenAI جولة واحدة للغرضين، لذا يجب أن يسمّي رفض التدريب GPTBot. قائمة IP: https://openai.com/gptbot.json.

ChatGPT-User يجلب صفحة بسبب فعل مستخدم في ChatGPT أو custom GPT. تكتب OpenAI أنه ليس زاحف البحث الآلي ولا جولة التدريب. قائمة IP: https://openai.com/chatgpt-user.json.

تقول OpenAI إن قواعد robots.txt قد لا تنطبق على ChatGPT-User لأن المستخدم بدأ الجلب. ‏Disallow لهذا الرمز ليس حظرًا موثوقًا. الانسحاب من البحث هو OAI-SearchBot.

توثّق Perplexity وكيلين: https://docs.perplexity.ai/docs/resources/perplexity-crawlers. PerplexityBot يُظهر المواقع ويضع الروابط في بحث Perplexity. تكتب Perplexity أنه لا يجمع به محتوى لتدريب النماذج الأساسية. Perplexity-User يجلب صفحة لأن مستخدمًا سأل، وتكتب Perplexity إن هذا الجالب يتجاهل robots.txt عادة. قوائم IP: https://www.perplexity.ai/perplexitybot.json و https://www.perplexity.ai/perplexity-user.json.

لدى Anthropic الروبوتات منفصلة. ClaudeBot يجمع محتوى قد يدخل في تدريب النماذج. تقييده إشارة إلى أن المواد اللاحقة تبقى خارج مجموعات التدريب. الصفحة: https://privacy.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler. الصفحة نفسها تصف Claude-SearchBot للبحث و Claude-User لجلب يطلبه المستخدم. إغلاق ClaudeBot وحده ليس قرارًا عن بحث Claude.

Google-Extended رمز في robots.txt لا زاحف ستراه في السجلات بهذا الاسم. نظرة زواحف Google تقول إنه يضبط الاستخدام لـ Gemini Apps و Vertex AI ولا يؤثر في الإدراج أو الترتيب في Google Search. ليس له HTTP user-agent خاص. ‏AI Overviews و AI Mode يتبعان Googlebot. في صفحة AI features قاعدة robots.txt لـ Googlebot تضبط الزحف من أجل Search، و Google-Extended مذكور لأنظمة Google الأخرى. ‏Disallow لـ Google-Extended لا يزيل الصفحة من AI Overviews. الصفحتان: https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers و https://developers.google.com/search/docs/appearance/ai-features.

Bingbot زاحف Bing. قائمة زواحف Bing لا تسمّي زاحف Copilot مستقلًا. إرشادات مشرفي المواقع تقول تجنّب حظر Bingbot، و noindex يُخرج العنوان من بحث Bing و Copilot و grounding. ‏noarchive يمنع أخذ نص الصفحة في إجابات Copilot. الإرشادات: https://www2.bing.com/webmasters/help/webmaster-guidelines-30fba23a.

Applebot-Extended لا يجلب الصفحات بنفسه. تكتب Apple إن Applebot يجوب، و Applebot-Extended يقرّر فقط هل تُستخدم تلك البيانات لتدريب نماذج Apple الأساسية، بما فيها Apple Intelligence. يمكن منع Applebot-Extended وتبقى الصفحة مؤهّلة لبحث Apple. الصفحة: https://support.apple.com/en-us/119829.

ماذا يُفتح وماذا يُغلق

افتح عناوين المنتجات والتصنيفات التي تقبل اقتباسها وصفحات السياسات. اسمح لـ OAI-SearchBot و PerplexityBot و Bingbot إن كان الهدف جلب الصفحات للإجابات. اسمح لـ Googlebot إن أردت Google Search.

أغلق التدريب فقط إن كان هذا القرار. Disallow لـ GPTBot و ClaudeBot و Google-Extended و Applebot-Extended هو ذلك القرار. لا يغني عن Allow لوكلاء البحث.

أغلق السلة والدفع والحساب وعناوين المرشّحات التي تتكاثر بلا نهاية. لا تغلق عناوين المنتجات إن كان المراد اقتباسها. قد يوقف الجدار الناري وكيلًا يسمح به robots.txt. افحص تلك الطبقة أيضًا.

مثال robots.txt

الملف على https://example.com/robots.txt في المضيف الذي يكتبه الناس. قواعد www لا تغطي المضيف من دون www. الرموز حسّاسة لحالة الأحرف. GPTBot ليست gptbot. في OAI-SearchBot تبقى الشُّرط.

في المثال جلب البحث مسموح والتدريب مغلق. بدّل سطور التدريب إلى Allow إن أردت تلك الاستخدامات أيضًا. مجموعة النجمة ما زالت تخفي السلة.

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account

ما هو llms.txt

llms.txt عرف لا بديل عن robots.txt. الاقتراح على https://llmstxt.org/. يضع المتجر Markdown قصيرًا على /llms.txt. فيه اسم الموقع وروابط الصفحات التي تستحق القراءة. الزاحف غير ملزم بجلبه. لا يمنح الوصول ولا يمنعه. ذلك دور robots.txt.

أبقِه قصيرًا. اربط الكتالوج والشحن وصفحة تشرح كيف تُحسب الأسعار. لا تلصق الكتالوج كله في الملف.

# Example Store

> Outdoor goods sold from Warsaw. Prices on product pages are in PLN and include VAT.

## Pages

- [Catalog](https://example.com/collections/all): Current products, with price and stock on each product URL.
- [Shipping and returns](https://example.com/policies/shipping): Delivery countries and the return window.
- [Contact](https://example.com/pages/contact): How to reach the shop.

كيف تراها في السجلات

ابحث في سجل الوصول عن رمز user-agent لا عن اسم تسويقي. الرموز: OAI-SearchBot و GPTBot و ChatGPT-User و PerplexityBot و Perplexity-User و ClaudeBot و Claude-SearchBot و Claude-User و Bingbot و Applebot.

لا تنتظر سطرًا يقول Google-Extended أو Applebot-Extended. هذان رمزان في robots.txt. اللذان يجلبان الصفحات هما Googlebot و Applebot.

طابق طلب OpenAI مع قوائم IP المنشورة بصيغة JSON أعلاه قبل أن تعد user-agent مزيّفًا حقيقيًا. يستطيع العميل إرسال أي سلسلة.

بادئات الزواحف على https://claude.com/crawling/bots.json، قائمة واحدة لكل الروبوتات. مقال الخصوصية يقول إن IP في هذه القائمة يعني Anthropic، وإن حظر هذه العناوين قد يمنع الروبوتات من قراءة robots.txt. استخدم الرمز في robots.txt.

أبقِ الرمز والمسار والحالة. ‏OAI-SearchBot على عنوان منتج مع 200 جلب بحث. ‏ChatGPT-User أو Perplexity-User على المسار نفسه جلب بفعل مستخدم. رمز بلا مسار لا يُظهر هل جُلب عنوان المنتج.

HTML من الخادم وسعر من المتصفح

robots.txt يقرّر فقط هل يُسمح بالجلب. لا يضع السعر في الإجابة. يجب أن يعيد عنوان المنتج الاسم والسعر وحالة المخزون في HTML الأول.

تحقق بـ curl أو view-source وابحث عن السعر. إن ظهر الرقم بعد hydration فقط فليس في الاستجابة الخام.

يقول دليل Google عن JavaScript SEO إن Googlebot ينفّذ JavaScript. هذا زاحف واحد. ليس ادّعاءً عن البقية.

صفحات OpenAI و Perplexity و Anthropic أعلاه لا تقول إن هؤلاء الوكلاء ينفّذون JavaScript. ‏HTML الخادم هو النسخة التي يستطيع الباقون قراءتها.

إن طُبع السعر فقط في مكوّن على العميل، انقله إلى تصيير الخادم. نفّذ curl على العنوان وابحث عن الأرقام نفسها.