Jede Website wird in regelmäßigen Abständen vom Googlebot gecrawlt. Hierdurch prüft Google, ob es neue Inhalte auf der Seite gibt oder die Website noch existiert. Wird von Dir eine Seite erst nachträglich auf „noindex“ gesetzt, so wird diese erst zeitverzögert aus dem Index genommen. Ein genaues Zeitfenster zu nennen, in welchem die Anpassungen übernommen werden, ist jedoch nicht möglich. Im Schnitt werden laut Google die Seiten spätestens nach 6 Monaten erneut besucht und gecrawlt. Dieser Faktor ist jedoch stark variabel, denn die Besuchshäufigkeit für URLs durch den Googlebot hängt mit einem eigens von Google konzipierten Algorithmus zusammen. Je nach Wichtigkeit der URL kann die Änderung auch bereits schon nach 14 Tagen übernommen worden sein.