Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03536.jsonl.gz/422

Yahoo Slurp ist der Name des neuen Spiders von Yahoo. Zunächst war er der Spider der Suchmaschine Inktomi. Während dieser Zeit nannte man ihn schlicht Slurp. Doch kaufte Yahoo 2003 Inkomti. Im Jahr 2004 wurde er deshalb in Yahoo Slurp umbenannt Vermutlich bildet er die Grundlage für die Suchmaschine Yahoo.
Aufgabe des Yahoo Slurp ist es, wie bei allen Spidern, das Internet immer wieder nach aktuellen und neuen Inhalten zu durchforsten. Vergleicht man ihn mit dem Googleot, so arbeitet sich der Yahoo Slurp erheblich gleichmäßiger durch das Internet. Der Googlebot hat verschiedene Crawlfrequenzen.
Sämtliche von ihm eigelesene Dokumente, gelangen in den Index von Yahoo. Normalerweise geht das auch sehr schnell vonstatten. Deshalb sollten Webpräsenzen so gestaltet werden, dass sie von den unterschiedlichen Spidern gefunden werden. Andernfalls gelangt diese nicht in die verschiedenen Indizes der Suchdienste. Sie wäre dann natürlich auch nicht in der jeweiligen Suchmaschine zu finden.zur Übersicht