وقتی یک آدرس در robot.txt مسدود می شود طبیعاتا در نقشه سایت نباید باشد زیرا 
گزینه‌ها:
همین سایت‌ها وقتی ترافیک‌شان بالا رفت، زیر کار درماندند و سایت‌شان جواب نمی‌داد.
تبدیل می شود به یکی از دلایلی که به خطای فوق منتهی می شود.
اصولا اینکار منجر به عدم اطمینان مخاطبین از این سرویس ها خواهد شد.
مقدار کدهایی که امکان رخ دادن خطا در آن‌ها وجود دارد کمتر می‌شود و مسیرهای کمتری هم برای نفوذ هکرها وجود خواهد داشت.
جملهٔ کامل: وقتی یک آدرس در robot.txt مسدود می شود طبیعاتا در نقشه سایت نباید باشد زیرا تبدیل می شود به یکی از دلایلی که به خطای فوق منتهی می شود.