Im Rahmen des Crawlings wird das Internet automatisiert nach neuen Inhalten und wichtigen Änderungen durchsucht. Dies führt dazu, dass eine neu erstellte Website ohne vorherige Anmeldung im Internet erkannt wird. Der Crawler ist hierbei durchaus auch als Spider bekannt.