Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03615.jsonl.gz/2065

Der Googlebot ist ein Webcrawler, der die Inhalte von Webseiten durchsucht. Der Name wurde für den ersten Spider von Google verwendet. Sobald er neue Domains entdeckt, speichert er diese im Suchmaschinen-Index. Sind darunter neue Informationen von bereits gespeicherten Seiten, verändert er den bereits vorhandenen Eintrag. Dabei werden sowohl Dokumente, als auch Bilder indexiert, damit diese über die Suchfunktion gefunden werden können.
Wie oft der Googlebot eine Seite liest, ist abhängig
- vom Page Rank und
- von der Zahl an externen Links.
Um das gesamte Internet zu durchsuchen, nutzt Google eine Vielzahl von Googlebots, deren Namen unterschiedlich sind. Ziel ist es dadurch die Daten der Suchmaschine immer aktuell zu halten und Veränderungen von Webseiten zu realisieren. Auch die zahlreichen Manipulationsversuche des Rankings haben dazu beigetragen, dass sich die Anzahl an solchen Webcrawlern erhöht hat. So kommt es zum Beispiel öfter vor, dass Webpräsenzen andere Inhalte vortäuschen, um dadurch eine bessere Platzierung zu erreichen. Die Aufgabe des Googlebots ist es aus diesem Grund zu prüfen, ob Texte von Seiten wirklich mit den Daten, die die Suchmaschinen gespeichert hat, zusammenpassen. Die Bots melden sich mit einer Browser-Kennung bei Webservern an, um das Cloaking aufzudecken. Auch experimentelle Spider werden eingesetzt, die zum Beispiel JavaScript erkennen sollen.
Wie sich der Googlebot verhält, kann ebenso von der Datei robots.txt abhängen. In den Webmaster Tools bietet Google unterschiedliche Programme an, die anzeigen, wie der Webcrawler die Datei robots.txt einerseits und andererseits die Webseite interpretiert.