ملف robots.txt هو ملف نصي يوضع في المجلد الرئيسي لموقعك (مثلاً /public_html/) يخبر برامج زحف محركات البحث بالصفحات التي يجب زيارتها والتي يجب تجاهلها [3، 4].
- كيفية الاستخدام: يمكنك إنشاء هذا الملف عبر مدير ملفات Hostaday.
- مثال: استخدم
User-agent: *متبوعاً بـDisallow: /admin/لمنع المحركات من أرشفة مجلداتك الخاصة. - تحذير: قد يؤدي التكوين الخاطئ لهذا الملف إلى إخفاء موقعك بالكامل من جوجل، لذا استخدمه بحذر.
