چگونه به ربات‌ها از طریق فایل robots.txt دستورالعمل دهیم؟
شما با استفاده از دستورالعمل های کاربر عامل همانند User-Agent: * و یا سایر کدها، می‌توانید به ربات‌ها وظایفی را شرح دهید.