Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03138.jsonl.gz/1807

Crawler oder auch "Robot" und „Spider“ ist eine andere Bezeichnung für eine Suchmaschine. Es ist ein Programm, das das Web selbständig durchsucht. Die Bezeichnung „Crawler“ kommt von der ersten Suchmaschine. Sie hieß WebCrawler.
Crawler arbeiten völlig automatisch, indem sie
- den Inhalt einer Website lesen,
- Links speichern und
- im Anschluss aufrufen.
Dafür nutzen Crawler in erster Linie Suchmaschinen, um mit ihrer Hilfe nach Webseiten zu suchen. Der Inhalt dieser Webseite muss dabei bestimmte Merkmale besitzen. Crawler durchsuchen für die Suchmaschinen das Internet nach Webseiten mit bestimmten Suchbegriffen. Dabei wird auch jeweils die URL aufgenommen. Am Ende einer Suche sind alle gefundenen Webseiten indexiert und ausgewertet.
Indem die Webseiten an die Suchmaschinen weitergeleitet werden, wird jede Internetadresse in eine IP-Adresse umgeformt. Denn so können sie mit den Servern Kontakt aufnehmen. Crawler öffnen für diesen Vorgang viele hundert Verbindungen auf einmal, damit die Übertragungsdauer weniger lang ist und die Server nicht überlastet sind. Sollte es bei einer Verbindung zu Problemen kommen, kann er schnell eine andere wählen. So gelingt es ihm in nur einer Sekunde 30 Seiten zu durchsuchen.
Die Indexierung basiert dabei auf dem Ranking Algorithmus einer bestimmten Suchmaschine. Die Informationen, die der Spider bei seiner Suche gesammelt hat, können auch für jede spätere Suche herangezogen werden. Das gilt vor allem für die Erstellung von Ergebnisseiten durch Suchmaschinen. Crawler sind also wichtiger Bestandteil von Suchmaschinen. Denn sie können alle in ihr verzeichneten Webseiten aufrufen, kontrollieren und in ihren Index integrieren.zur Übersicht