خطای Blocked by robots.txt چیست؟
این خطا در سرچ کنسول به این معناست که آن صفحات با خصوصیت Disallow در فایل robots.txt سایت از لیست صفحاتی که باید خزش شوند، جدا شده‌اند. اگر متوجه شده‌اید که ایرادی وجود دارد و صفحاتی به اشتباه در این بخش قرار گرفته‌اند، حتما فایل robots.txt را بررسی کنید و آن خط از کد که صفحه مورد نظر شما را از دسترسی ربات‌های خزش خارج کرده است را اصلاح کنید.