يعد ملف robots.txt جزءًا مهمًا جدًا من طريقة تفاعل موقعك مع المواقع الأخرى وزوار الموقع.  والأهم من ذلك ، محركات البحث.  يحدد الملف ما يمكن لأجهزة الكمبيوتر عرض موقعك عليه.  سبب تسميته بملف robots.txt هو أنه يُستخدم بشكل عام لمنع برامج الروبوت من الزحف إلى موقعك وفهرسته. تزحف روبوتات محركات البحث إلى الويب بشكل روتيني ، وتقوم بفهرسة كل جزء من البيانات على طول الطريق.  إذا لم يكن موقعك جاهزًا لمحركات البحث ، فقد ترغب في تحرير ملف robots.txt لحظر جميع برامج الروبوت.  لا تقوم بعض شركات استضافة الويب بتضمين ملف robots.txt تلقائيًا ، لذا فإن الأمر متروك لك لإنشاء هذا الملف النصي الأساسي.  إذا كنت تواجه مشكلة في إنشاء ملف robots.txt أو استخدامه ، فيجب عليك الاتصال بفريق دعم استضافة الويب.