Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03533.jsonl.gz/1862

Bei einer Sitemap handelt es sich um die gegliederte Listung der gesamten Unterseiten einer Website. Der Vorteil für den User ist dabei, dass er eine Gesamtübersicht der Struktur der Seite bekommt. Meistens sind dies XML Dateien, welche den Suchdiensten verfügbar gemacht werden, um alle Bereiche einer Webseite schneller erkennen zu können. Die Vereinfachung betrifft dabei aber nur die Zugänglichkeit der Unterseiten durch die so genannten Web Crawler. Die Seiten, welche über keine gewöhnliche Seitenstruktur verfügen, schaffen es nicht die Indizes der verschiedenen Suchdienste zu erreichen. Des Weiteren kann die Sitemap, auf deren Root-URL ein Link verknüpft wird, leichter von den Spidern eines Suchdienstes entdeckt werden. Es kommt zur Übernahme der Links in die Datenbank des Suchdienstes.
Bei der Suchmaschinenoptimierung ist die Sitemap ein wichtiges Instrument, sie muss aber schnell scanbar sein. Sie sichert dabei ab, dass auch die vielen Unterseiten von ausführlichen Websites von den Suchdiensten wie Bing, Yahoo oder Google ermittelt werden. Bei einigen Programmen, wie zum Beispiel Word Press, können Plug Ins installiert werden, welche die Arbeit eines Webadministratoren durch eine automatische Erstellung der Sitemap vereinfacht.
Deshalb haben die Suchdienste für dieses Problem eine Lösung gefunden, indem nur noch ein kleiner Teil der Links, welche sie in der Sitemap finden, aufgesucht wird. Denn es gab durch Black Hat SEO schon einige gravierende Manipulationen, denen strikt entgegnet werden musste.zur Übersicht