احجز استشارتك

Web Crawler

زاحف الويب

يُكتب أيضاً: Crawler, Bot, زواحف الذكاء الاصطناعي

برنامج آلي يزور صفحات المواقع ويقرأها لأغراض الفهرسة أو جمع البيانات، مثل Googlebot لمحرك البحث أو GPTBot لتدريب نماذج الذكاء الاصطناعي. ولا تظهر زياراته في أدوات التحليل المعتادة.

زاحف الويب (Web Crawler) برنامج آلي يتنقل بين صفحات الإنترنت عبر الروابط، يقرأ محتواها ويخزّنه. محركات البحث تعتمد عليه لاكتشاف الصفحات وفهرستها، وأشهر الزواحف Googlebot وBingbot.

يبدأ الزاحف من روابط يعرفها، مثل خريطة الموقع، ثم يتبع الروابط الداخلية والخارجية. ولكل موقع «ميزانية زحف» محدودة، فالموقع البطيء أو المليء بروابط مكررة يُزحف منه عدد أقل من الصفحات المهمة.

تتحكم فيه بملف robots.txt الذي يحدد ما يُسمح بزحفه، وبوسم noindex لما لا تريد ظهوره في البحث. وليست كل الزواحف مفيدة: بعضها يجمع البيانات أو يبحث عن ثغرات، وسجلات السيرفر تكشف من يزور موقعك فعلًا.

مقالات بتستخدم المصطلح