عند حظر Googlebots من الزحف إلى موقع الويب الخاص بك. سيتم على الأرجح إزالة الموقع من فهرس google. حاول أن تستخدم هذا الملف بذكاء وقم بحجب الصفحات التي تأخذ بيانات كبيرة وليست مفيدة بشكل عام لمحركات البحث وتؤثر في ميزانية البحث.