احجز استشارتك

AI Crawler

زاحف الذكاء الاصطناعي

يُكتب أيضاً: AI Bots, GPTBot

بوت تابع لشركات الذكاء الاصطناعي يقرأ صفحات الموقع لتدريب النماذج أو للإجابة عن أسئلة المستخدمين، ويمكنك السماح له أو حظره عبر robots.txt حسب سياسة موقعك ومحتواه.

زاحف الذكاء الاصطناعي (AI Crawler) بوت تابع لشركة ذكاء اصطناعي يزور صفحات المواقع ويقرأ محتواها. بعضها يجمع البيانات لتدريب النماذج، مثل GPTBot من OpenAI وClaudeBot من Anthropic، وبعضها يجلب الصفحات لحظيًا للإجابة عن سؤال مستخدم.

تعلن عن نفسها في معرّف المتصفح، ومعظم الشركات الكبرى تحترم ملف robots.txt، فتستطيع السماح لها أو حظرها بالاسم. وبعض شبكات CDN مثل Cloudflare تتيح حظرها بضغطة زر.

القرار يعتمد على نموذج عملك: موقع تعليمي يريد الظهور في إجابات الذكاء الاصطناعي يسمح لزواحف البحث على الأقل، وموقع يبيع محتوى حصريًا قد يحظر زواحف التدريب. وراقب سجلات الوصول، فبعض الزواحف تضغط على السيرفر بكثافة.

مقالات بتستخدم المصطلح