קובץ ה-Robots.txt הוא קובץ שדרכו אנחנו מורים לגוגל אילו קבצים אנחנו רוצים שהוא יכלול באינדקס שלו ואילו לא. לדוגמה, יכול להיות שבזמן הפיתוח של האתר אנחנו לא רוצים שיוסיף בכלל עמודים לאינדקס. כשהאתר כבר באוויר, בשל צרכי אבטחה לא נרצה שיוסיף את העמודים דרכם אנחנו מנהלים את האתר.