Suchmaschinen-Crawler können auf verschiedene Weise identifiziert werden, einschließlich der Betrachtung des User-Agent-Strings des Crawlers, der Untersuchung der IP-Adresse des Crawlers und der Suche nach Mustern in den Anforderungsheadern.