احجز استشارتك

robots.txt

ملف robots.txt

ملف نصي في جذر الموقع يحدد للزواحف المسارات المسموح والممنوع زيارتها، ويُستخدم لحجب زواحف التدريب أو السماح لها حسب سياسة الموقع. وهو توجيه تحترمه الزواحف الملتزمة فقط.

ملف robots.txt ملف نصي في جذر الموقع يخبر الزواحف بالمسارات المسموح والممنوع زحفها. يُكتب بقواعد بسيطة: User-agent لتحديد الزاحف، وDisallow وAllow للمسارات، وسطر Sitemap لعنوان خريطة الموقع.

ووردبريس يولّد ملفًا افتراضيًا يمنع مجلد wp-admin، وإضافات السيو تسمح بتعديله من لوحة التحكم. وتستطيع به السماح لزواحف الذكاء الاصطناعي أو حظرها بالاسم.

انتبه لحدّين مهمين: المنع من الزحف لا يمنع الفهرسة، فالصفحة قد تظهر في البحث إن أشارت إليها روابط، والحل لذلك وسم noindex. والملف توجيه طوعي تحترمه الزواحف المهذبة فقط، فلا تعتمد عليه لحماية محتوى خاص.

مقالات بتستخدم المصطلح