فایل روبوتکست، یک فایل و یک پل ارتباطی بین ربات‌های گوگل و وب سایت ما است، با استفاده از دستورالعمل هایی که در فایل ربات می‌نویسیم به ربات‌های گوگل می‌فهمانیم که به کدام قسمت سایت ما بخزند و کدام مناطق ممنوعه است.