When a search engine visits a site, the robots.txt located in the root directory is the first file crawled.
هنگامی‌که یک موتور جستجو از یک سایت بازدید می‌کند فایل robots.txt واقع در دایرکتوری اصلی، نخستین جایی است که مورد خزش قرار می‌گیرد.