آیا روبات های گوگل سایتی که فاقد فایل robots.txt است را خزش نمی‌کنند؟
حتی بدون فایل robots.txt سایت توسط روبات ها خزش می‌شود. کاربرد این فایل چیز دیگریست.