Google Crawler durchsuchen das Web nach neuen und aktualisierten Inhalten. Eine crawler-freundliche Webseite erleichtert die Indexierung.