robots.txt یک فایل متنی است که در فهرست اصلی وردپرس شما قرار دارد. می‌توانید با باز کردن your-website.com/robots.txt در مرورگر خود به آن دسترسی داشته باشید. این به ربات‌های موتور جستجو اجازه می‌دهد بدانند که کدام صفحات در وب‌سایت شما باید خزیده شوند و کدام‌ها نباید خزیده شوند.