عندما يحجب CDN زواحف الذكاء الاصطناعي وrobots.txt لا يفعل شيئًا

إذا فتح المتصفح الصفحة لكن زاحف الذكاء الاصطناعي تلقّى 403، فالأرجح أن CDN يحجب زواحف الذكاء الاصطناعي قبل أن يصل الطلب إلى خادمك. الحافة ترد قبل أن يرى الخادم الطلب، وترويسة واحدة تكفي لمعرفة المزوّد. حدّد الحافة أولًا، ثم اذهب إلى إعدادات الزواحف عند ذلك المزوّد. تعديل ملفاتك لن يرفع حجبًا فرضه الاستضافة.

اقرأ هذا أولًا

يبدأ هذا الفصل حيث ينتهي التحقق من قراءة الذكاء الاصطناعي لموقعك. إذا أعاد ذلك الفحص 200 لكل الزواحف، فلا شيء لإصلاحه هنا. عُد عندما يعيد أحدهم 403 أو 503؛ هذا هو العَرَض الذي يشخّصه الفصل.

لماذا يحجب CDN ما يسمح به robots.txt

يرد CDN قبل أن يستلم خادمك الطلب. يطبّق قواعد الزواحف الخاصة به، التي يوزّعها المزوّد ويحدّثها وفق جدوله، ولا يستشير robots.txt في قراره. لذلك يمكن أن يختلف الاثنان دائمًا: ملفك يقول ادخلوا، والحافة تقول لا، وكلاهما يعمل كما صُمّم.

لا أحد يطلب إذنك لتغيير إعداد افتراضي نيابة عنك. افحص بعد كل تغيير في الخطة.

اعثر على CDN الذي يحجب زواحف الذكاء الاصطناعي بأمر واحد

لا تحتاج إلى معرفته مسبقًا. ترويسات الاستجابة تقول ذلك، لأن كل حافة كبيرة تضع معرّفًا خاصًا بها. أمر curl واحد، ثم قارن أسماء الترويسات بالجدول.

curl -sI -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)" \
  https://example.com/ | grep -iE 'server|cf-ray|x-vercel|x-nf-request|x-served-by|x-amz-cf-id|x-cache'

ما أظهره الاختبار على أحد عشر موقعًا

في 15 أغسطس 2026 أرسلت هذا الطلب نفسه، بوكيل OAI-SearchBot، إلى أحد عشر موقعًا معروفًا. أعادت جميعها 200. لم يرفض أي موقع لعلامة كبيرة زاحف بحث بالذكاء الاصطناعي عند الحافة في ذلك اليوم، وهذه معلومة مفيدة قبل أن تفترض أن الحجب من عندك.

النتيجة الأكثر فائدة كانت من يقف خلف Cloudflare. أعاد shopify.com وwebflow.com ترويسة cf-ray. إذا كان لديك متجر أو موقع على إحدى هاتين المنصتين، فقواعد الزواحف التي تهمّك هي قواعد Cloudflare، حتى لو لم تكن أنت من يدير ذلك الحساب.

تحفّظ واحد، وهو نفسه في كل فحوص هذا الدليل: الطلبات صدرت من عنواني، لا من عنوان الزاحف. القواعد التي تصفّي حسب نطاق IP تبقى غير مرئية لهذا الاختبار.

أين تحتفظ كل منصة بإعدادات زواحف الذكاء الاصطناعي

ابحث عن الميزة باسمها، لا بمسار القائمة. المزوّدون يحرّكون القوائم باستمرار، والمسار القديم يرسلك للبحث عن شيء غيّر اسمه.

توثّق Vercel أن مجموعتَي القواعد معطّلتان حتى تُفعّلهما. لذلك موقع Vercel الذي يرفض زواحف الذكاء الاصطناعي غالبًا يُرفَض في مكان آخر. المصادر: Cloudflare، Vercel، Shopify.

عندما تتراكب حافتان، ترد الخارجية فقط

كثير من المواقع تضع منصة أمام أخرى؛ Cloudflare أمام Vercel هو المزيج الشائع. الخدمة الخارجية هي التي ترد، لذا ترويساتها هي التي تراها وقواعدها هي التي تعمل. وقد لا تُقرأ إعدادات الزواحف في المنصة الداخلية أبدًا.

تقول Vercel ذلك صراحة في توثيقها: «Bot Protection doesn't work when a reverse proxy (e.g. Cloudflare, Azure, or other CDNs) is placed in front of your Vercel deployment.» إذا أظهرت ترويساتك cf-ray، فابدأ من Cloudflare حتى لو كنت تعتبر موقعك موقع Vercel.

ثلاث طرق للخطأ

كل واحدة تكلّفك بعد ظهر كاملًا في مكان لم تكن فيه الإجابة.

1. تعديل robots.txt لإصلاح 403. الرمز 403 يعني أن الطلب رُفض. وrobots.txt ملف يقرأه الطالب بعد وصول الاستجابة، فلا يمكنه إلغاء الرفض. أصلح الحافة، ثم استخدم robots.txt لتقول ما تريده فعلًا.
2. الاختبار بالمتصفح والاستنتاج أنك بخير. قواعد الزواحف تعتمد على الوكيل، ومتصفحك هو العميل الذي لن يعيد إنتاج المشكلة. أعد الاختبار دائمًا بوكيل الزاحف.
3. إصلاح المنصة الداخلية والحافة الخارجية ترفض. افحص الترويسات قبل تغيير أي إعداد، وإلا فأنت تدير مقابض خدمة لم ترَ الطلب قط.

الأسئلة الشائعة

تقول الاستضافة إنها لا تحجب زواحف الذكاء الاصطناعي. لماذا أتلقى 403؟

قواعد WAF المُدارة وحدود المعدل وصفحات التحدي تنتج رفضًا دون أن يُسمّى «حجب ذكاء اصطناعي». الرمز 503 مع صفحة وسيطة هو تحدٍّ، والزواحف لا تحلّ التحديات: تعامل معه كحجب.

هل يمكن التمييز بين حجب CDN وحجب الخادم؟

غالبًا نعم. رفض الحافة يصل سريعًا ويحمل ترويسات CDN ولا يحمل ترويسات تطبيقك. إذا ظهرت ترويسات إطار العمل أو صفحة رسمها تطبيقك، فقد وصل الطلب إليك.

لماذا لا يقدّم الفصل خطوات مصوّرة للوحة التحكم؟

لأننا سننشر مسارات قوائم لا نستطيع إعادة التحقق منها مع كل تحديث للمزوّدين، والمسار الخاطئ أسوأ من لا شيء. أسماء الميزات تتغير أبطأ بكثير من القوائم.

الخطوة التالية

عندما يتلقى كل زاحف 200، تتوقف المشكلة عن كونها «هل يمكن الوصول إليك» لتصبح «هل يستحق محتواك الزحف». هذا يعني اختيار عمليات البحث القريبة من الفوز، وهنا ينتقل الدليل من السباكة إلى المحتوى.

تشخيص الحجب هو الجزء السريع. إجراء التعديل ونشره ودفع التحديث للفهرسة هو حيث تتوقف معظم المواقع.