داشتن فایلrobots.txt الزامی نیست، اما برای وب‌سایت‌هایی که می‌خواهند از خزش صفحات خاص یا مدیریت بهتر منابع استفاده کنند، بسیار مفید است.