التحقق من قراءة الذكاء الاصطناعي لموقعك (بأمر واحد)

يبدأ التحقق من قراءة الذكاء الاصطناعي لموقعك بطريقة أسرع مما تتوقع: اقرع الباب منتحلًا صفة كل زاحف ذكاء اصطناعي واقرأ رمز الحالة. يعني 200 أن ذلك الزاحف وصل إلى صفحتك. أما 403 أو إعادة توجيه إلى صفحة تحقق أو انتهاء المهلة فتعني أن شيئًا أمام موقعك ردّه، ولن يخبرك أي شيء في ملف robots.txt بذلك. يستغرق التحقق نحو دقيقتين ولا يحتاج حسابًا ولا إضافة.

ما الذي يعنيه «هل يستطيع الذكاء الاصطناعي قراءة موقعي» فعلًا

يعني شيئًا واحدًا محددًا: حين يرسل زاحف ذكاء اصطناعي طلب HTTP إلى رابطك، هل تعيد بنيتك التحتية الصفحة؟ ليس هل أذنت به في robots.txt، وليس هل يريد الزاحف محتواك، بل هل عادت البايتات.

هذه الخطوة الأولى في الدليل، لأن كل خطوة تالية تفترض أنها نجحت: صفحة لا يمكن جلبها لا يمكن فهرستها ولا ترتيبها ولا الاستشهاد بها.

لماذا لا يثبت robots.txt الأخضر شيئًا

يعبّر robots.txt عن نيتك. إنه ملف نصي يختار الزواحف طاعته، ولا يحجب شيئًا بنفسه. ثلاث طبقات تقرّر نجاح الطلب: ما يسمح به robots.txt، وما تفعله شبكة التوزيع أو الجدار عند الحافة، وما يعيده خادم الأصل. الحافة هي الطبقة التي تقول لا عادةً، وهي لا تظهر في robots.txt.

robots.txt هو ما تريده. وشبكة التوزيع هي ما يحدث فعلًا.

تأتي الاستضافات المُدارة وشبكات التوزيع بقواعد ضد الزواحف مفعّلة افتراضيًا وتُحدَّث دون سؤالك. يمكنك كتابة سطر Allow مثالي ومع ذلك تعيد 403 لكل زواحف الذكاء الاصطناعي على الإنترنت.

التحقق من قراءة الذكاء الاصطناعي لموقعك بأمر واحد

استبدل SITE برابطك والْصق هذا في الطرفية. طلب واحد لكل زاحف، رمز الحالة فقط، ولا شيء غير curl.

SITE="https://example.com/"

while IFS='|' read -r name ua; do
  [ -z "$name" ] && continue
  code=$(curl -s -o /dev/null -m 20 -w "%{http_code}" -A "$ua" "$SITE")
  printf '%-20s %s\n' "$name" "$code"
done <<'BOTS'
OAI-SearchBot|Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)
ChatGPT-User|Mozilla/5.0 (compatible; ChatGPT-User/1.0; +https://openai.com/bot)
GPTBot|Mozilla/5.0 (compatible; GPTBot/1.4; +https://openai.com/gptbot)
PerplexityBot|Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User|Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Claude-SearchBot|Mozilla/5.0 (compatible; Claude-SearchBot/1.0)
Claude-User|Mozilla/5.0 (compatible; Claude-User/1.0)
ClaudeBot|Mozilla/5.0 (compatible; ClaudeBot/1.0)
Googlebot|Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
bingbot|Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
meta-externalagent|meta-externalagent/1.1
CCBot|CCBot/2.0 (https://commoncrawl.org/faq/)
BOTS

مخرجات حقيقية، نُفّذت في 14 أغسطس 2026 على موقع قيد التشغيل، sizemarker.com: اثنا عشر سطرًا، اثنتا عشرة 200، أربع ثوانٍ.

أي زواحف الذكاء الاصطناعي تستحق الاختبار

ليست كلها تؤدي العمل نفسه، وهذا الفرق يحدّد كلفة الحجب. زواحف البحث تغذّي الإجابات التي يراها المستخدمون اليوم. وزواحف التدريب تغذّي نماذج العام القادم. حجب المجموعة الأولى يجعلك غير مرئي؛ وحجب الثانية قرار تجاري لا مشكلة ظهور.

مصادر السلاسل والأغراض: OpenAI وPerplexity وAnthropic وGoogle وMeta.

اسمان لا يمكنك اختبارهما إطلاقًا

Google-Extended وApplebot-Extended لا يرسلان طلبًا أبدًا. إنهما رمزا تحكم في robots.txt لا زاحفان. تقول وثائق Google إن Google-Extended لا يملك سلسلة مستخدم HTTP مستقلة؛ وتقول وثائق Apple إن Applebot-Extended لا يزحف إلى الصفحات وإنما ينظّم فقط كيفية استخدام محتوى جمعه Applebot سابقًا. فأداة تُبلّغ «Google-Extended: مسموح» تُبلّغ عن ملف robots.txt لديك لا عمّا حدث على الشبكة. لا وجود لطلب يمكن ملاحظته.

ما الذي يعنيه كل رد

اقرأ الرمز أولًا ثم اقرأ المحتوى. هذه الستة تغطي تقريبًا كل ما يعيده موقع عادي للزاحف، وواحد فقط، 200، قد يخدعك.

ثلاث حالات يخدعك فيها هذا التحقق

التحقق سريع لأنه سطحي. ثلاث حدود تستحق معرفتها قبل أن تثق بنتيجة نظيفة.

1. يستخدم عنوان IP الخاص بك لا الخاص بالزاحف. القواعد التي تحجب حسب نطاق IP أو ASN — وهي طريقة عمل عدة منتجات لإدارة الزواحف — تبقى غير مرئية لهذا الاختبار. سجلات الخادم تحسم ذلك.
2. يختبر رابطًا واحدًا. قواعد الحافة كثيرًا ما تكون لنطاق مسار معين. شغّل الحلقة على الصفحة الرئيسية ومقال عميق وصفحة خلف نموذج، ثم قارن.
3. قد يكون 200 صفحة فارغة. إن كان محتواك يُرسم في المتصفح، فقد يستلم الزاحف هيكلًا فقط. أضف -o page.html وابحث عن جملة تعرف أنها في المقال؛ فإن غابت عن HTML فلم يرها الزاحف أيضًا.

النقطة الأخيرة ليست افتراضية. على خمسة مواقع قيد التشغيل، أعادت الطلبات الخمسة والثمانون كلها 200، وظل النص المقروء يتراوح من 961 إلى 13,393 حرفًا. الرمز نفسه، وفارق أربعة عشر ضعفًا.

أسئلة شائعة

هل يعني 403 لـ GPTBot أن ChatGPT لن يستشهد بي؟

ليس بحد ذاته. GPTBot هو زاحف التدريب. الذي يحدّد قدرة ChatGPT على إظهارك اليوم هو OAI-SearchBot وChatGPT-User. افحص هذين قبل أن تستنتج أي شيء.

هل أسمح لزواحف التدريب؟

قرار تجاري لا تقني، وهذا الفصل لا يجيب عنه عن قصد. المهم أن تتخذه بوعي، لا أن تكتشف أن إعدادًا افتراضيًا اتخذه نيابة عنك.

كم مرة أعيد هذا التحقق؟

بعد أي تغيير في شبكة التوزيع أو الاستضافة أو الخطة، فهناك يُعاد تطبيق الإعدادات الافتراضية. وما عدا ذلك مرة كل ربع سنة.

إن عاد كل شيء 200، فقد تحققت للتو من قراءة الذكاء الاصطناعي لموقعك، والسؤال التالي أي عمليات بحث أنت قريب من الفوز بها. وإن عاد شيء بـ 403 أو 503 فأصلحه أولًا: الحجب عند الحافة، والتكملة في الدليل، لا في سطر من robots.txt.

العثور على المشكلة هو النصف السهل. تغيير الصفحة ونشرها ودفع التحديث للفهرسة هو ما تتوقف عنده معظم المواقع، وهو سبب وجود هذا الدليل.