وبمستران با قرار دادن دستورات مدنظر خود در این فایل می توانند به خزندگان وب دستور دهند که کدام صفحه، فایل یا بخش از سایت را ایندکس کنند و کدام را نکنند. فایل robots.txt در واقع همین متن مدنظر ماست که در قسمت ریشه سایت قرار می گیرد