robots.txt لزوار الذكاء الاصطناعي: القاعدة التي تكسر معظم الملفات

ملف robots.txt لزوار الذكاء الاصطناعي هو ملف نصي بسيط يسمّي كل زاحف ويحدد ما يمكنه جلبه. الملف لا ينكسر بسبب الصياغة. ينكسر بسبب هذا: الزاحف الذي يجد اسمه في ملفك يتوقف عن قراءة قواعد User-agent: *. أضف سطرًا واحدًا لـ GPTBot، وقد تتوقف كل القواعد التي كتبتها للآخرين عن الانطباق عليه.

اقرأ هذا أولًا

يفترض هذا الفصل أن زوار الذكاء الاصطناعي يصلون بالفعل إلى خادمك. إن لم تكن قد تحققت من ذلك، فافعل قبل تعديل أي شيء: ملف مليء بأسطر Allow لا يثبت شيئًا عندما يحدث الرفض في طبقة أعلى من موقعك. النسخة التي تستغرق دقيقتين في التحقق من قراءة الذكاء الاصطناعي لموقعك.

ما يستطيعه robots.txt لزوار الذكاء الاصطناعي وما لا يستطيعه

يعلن النية. هو ملف يختار الزواحف قراءته وطاعته، ولا يفرض شيئًا بنفسه. زواحف الذكاء الاصطناعي المهذبة تحترمه. أما CDN وجدار الحماية وخادم الأصل فهي التي تقرر فعليًا عودة البايتات، ولا أحد منها يقرأ هذا الملف.

robots.txt يحدد ما تسمح به. لا يحدد أبدًا ما تقدّمه.

القاعدة التي تكسر معظم الملفات

يطيع الزاحف مجموعة قواعد واحدة بالضبط: المجموعة التي تسمّيه بأكبر قدر من التحديد. ولا يعود إلى قواعدك العامة لما تركته تلك المجموعة. تقول مواصفة Google بوضوح: «Only one group is valid for a particular crawler»، و«User agent specific groups and global groups (*) are not combined.»

وهذا يعني أن هذا الملف لا يفعل ما يبدو عليه:

User-agent: *
Disallow: /admin/
Disallow: /cart/

User-agent: GPTBot
Disallow: /drafts/

إذا قرأه إنسان، فـ GPTBot ممنوع من ثلاثة مجلدات. وإذا قرأه GPTBot، فلا يوجد إلا سطر واحد: /drafts/. عادت مسارات الإدارة وعربة الشراء إلى القائمة لحظة كتابة المجموعة الثانية. لا شيء ينبهك، والملف يبقى صالحًا.

الإصلاح هو تكرار كل قاعدة مشتركة داخل كل مجموعة مسمّاة. التكرار يبدو خطأ وهو صحيح.

User-agent: GPTBot
Disallow: /admin/
Disallow: /cart/
Disallow: /drafts/

صنّف الزواحف إلى ثلاثة مستويات قبل كتابة سطر

القرار ليس لكل زاحف، بل لكل وظيفة. ثلاث وظائف، ثلاث إجابات. زواحف البحث تغذي الإجابات التي يراها الناس هذا الأسبوع، وحجبها يزيلك من تلك الإجابات. زواحف التدريب تغذي نماذج تُشحن لاحقًا. والجالبون الذين يفعّلهم مستخدم يعملون لأن شخصًا سأل الآن.

الرموز ووظائفها مأخوذة من الجهات نفسها: OpenAI وPerplexity وAnthropic وGoogle وApple وMeta وCommon Crawl. راجعها قبل نسخ أي شيء: هذه القائمة تتحرك.

ملف robots.txt لزوار الذكاء الاصطناعي جاهز للنسخ

هذه صيغة «اسمح بالبحث، قرّر التدريب». استبدل المسارين الخاصين بمساريك، واحذف مجموعة التدريب إن كنت تفضّل أن تُدرَّب.

# زواحف البحث والإجابات — مسموح بها، عدا المسارات الخاصة
User-agent: Googlebot
User-agent: bingbot
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Meta-WebIndexer
Disallow: /admin/
Disallow: /cart/

# تدريب النماذج — مرفوض. احذف هذه المجموعة للسماح به.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# الجميع غير ذلك
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

أسطر User-agent المتراكمة تتشارك مجموعة قواعد واحدة، فكل كتلة أعلاه مجموعة واحدة لا ست. لاحظ أن المسارات الخاصة مكتوبة مرتين عن قصد: هذا هو التكرار الذي يطلبه القسم السابق.

سطران في هذا الملف ليسا زاحفين

Google-Extended وApplebot-Extended لا يرسلان طلبًا إلى خادمك أبدًا. إنهما رمزا تحكم: يغيّران كيف يمكن استخدام محتوى جمعه زاحف آخر. لا توجد حركة يمكن مراقبتها ولا اختبار حي يمكنه تأكيد أن إعدادك سرى.

يُقرأ كلاهما غالبًا كخطر على الترتيب، والجهتان تقولان العكس كتابةً. Google: إن Google-Extended «does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search». وApple: إن Applebot-Extended «does not crawl webpages»، وإن «webpages that disallow Applebot-Extended can still be included in search results».

ما لن يوقفه robots.txt

الجالبون الذين يعملون لأن مستخدمًا طلب شيئًا فئة منفصلة، وجهة واحدة على الأقل تقول صراحة إنها تتجاهل ملفك. وثائق Perplexity عن Perplexity-User: «Since a user requested the fetch, this fetcher generally ignores robots.txt rules.»

الموقف الصادق أن المستوى الأخير في الجدول ليس تحت سيطرتك عبر هذا الملف. إن كانت صفحة يجب ألا تُجلب عند الطلب، فرobots.txt هي الأداة الخطأ: المصادقة هي الأداة الصحيحة. لا نملك قياسًا لتكرار وصول هؤلاء الجالبين، ولن نثق برقم لم نأخذه من سجلاتنا.

ثلاث طرق للخطأ

الثلاثة صامتة. الملف يبقى صالحًا، ولا أداة تبلغ عن خطأ، والضرر لا يظهر إلا لاحقًا كزيارات لا تصل.

1. حجب GPTBot أملًا في اختفاء ChatGPT. GPTBot هو زاحف التدريب. ما يحدد قدرة ChatGPT على ذكرك اليوم هو OAI-SearchBot. حجب الأول مع إبقاء الثاني مفتوحًا خيار متماسك؛ الخلط بينهما ليس كذلك.
2. إضافة مجموعة مسمّاة وفقدان القواعد المشتركة. عطل القسم الثالث. بعد كل تعديل، أعد قراءة الملف مرة لكل زاحف مسمّى واسأل ماذا يرى ذلك الزاحف وحده.
3. تعديل الملف على المضيف الخطأ. تنطبق القواعد فقط على المضيف والبروتوكول والمنفذ التي تخدمه، لذا https://example.com/robots.txt لا يحكم شيئًا على https://www.example.com. إن استجاب الاسمان، فكلاهما يحتاج ملفًا.

أسئلة شائعة

هل يضر حجب Google-Extended بترتيبي في Google؟

لا، وGoogle تقول ذلك مباشرة: «does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search». إنه يحكم تدريب نماذج Gemini فقط.

هل يزيل Disallow محتوى استُخدم للتدريب؟

لا. كل هذه التوجيهات تنظر إلى الأمام. تحكم عمليات الجلب المستقبلية، لا البيانات التي جُمعت قبل كتابة السطر.

كم مرة أراجع الملف؟

عند ظهور زاحف جديد — Meta-WebIndexer حديث بما يكفي لتكون معظم الأمثلة المنشورة قبله — وبعد أي ترحيل منصة، لأن المضيف الجديد يأتي بملفه الافتراضي.

الخطوة التالية

ملفك يقول الآن ما تقصده. هل يوافق خادمك سؤال آخر، والاختلاف المعتاد هو CDN يرفض زواحف يرحّب بها robots.txt. ذلك هو الفصل التالي، وهو السبب الأكثر شيوعًا لبقاء موقع بملف مثالي غير مرئي.

تعديل ملف هو النصف الرخيص. كتابة تغيير ونشره ودفعه للفهرسة هو حيث تتوقف معظم المواقع.