مسدود کردن یک صفحه در فایل Robots.txt در واقع یک پیشنهاد از طرف ما به ربات‌های گوگل بوده و هیچ الزامی برای پیروی از آن وجود ندارد. سیگنال‌های متعددی برای ایندکس یک صفحه توسط گوگل وجود دارد.
به عنوان مثال اگر صفحه مورد نظر محتوایی اختصاصی و ارزشمند داشته باشد، آدرس آن در نقشه سایت ما درج شده باشد و لینک‌سازی‌های داخلی و خارجی زیادی برای آن انجام شده باشد؛ ممکن است گوگل دستورات این فایل را نادیده گرفته و صفحه مورد نظر را ایندکس کند.
ایمن‌ترین راه برای جلوگیری از ایندکس استفاده از ویژگی noindex در تگ متا و head صفحه است.