با کمک این فایل می‌توان دسترسی موتورهای جستجو را مدیریت کرد
2. عدم استفاده از فایل robots.txt می‌تواند به افت عملکرد بهینه سایت دامن بزند
3. استفاده از فایل robots.txt می‌تواند در مدیریت لینک‌ها کاربردی باشد