Der Robots Exclusion Standard ist eine Möglichkeit, Websites (teilweise) vor den Robots von Google zu schützen. Dies geschieht mit Hilfe der Datei Robots.txt. Diese Datei kann bearbeitet werden, um bestimmte Seiten (oder eine ganze Website) einzuschließen. Dies unterscheidet sich von der Verwendung eines noindex-Tags. Ein noindex-Tag verhindert die Indizierung, die Robots.txt verhindert sowohl das Crawlen als auch die Indizierung der Website.