حتی بدون فایل robots.txt سایت توسط روبات ها خزش می‌شود. کاربرد این فایل چیز دیگریست.