Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03403.jsonl.gz/3073

- "index" bedeutet „Seite indexieren“,
- "noindex" steht für „Seite nicht indexieren“,
- "follow" heißt „Links auf der Seite folgen“,
- "nofollow" ist „Links auf der Seite nicht folgen“.
Durch den Meta Robots-Tag kann also verhindert werden, dass eine Webseite indexiert wird, falls dies gewünscht ist. Durch ihn haben die Spider zudem die Anweisung, den Hyperlinks auf der Webseite nicht zu folgen. Ohne den Tag jedoch indexiert der Spider die Webseite und folgt ihren Verweisen. Zu finden ist der Meta Robots-Tag im Head-Bereich einer Seite. Vor allem geht es darum, doppelten Content zu vemeiden. Es sollen nur HTML-Seiten indexiert werden, die auch im Datenbestand vorkommen sollen.
Daneben gibt es noch die folgenden Parameter, die aber nicht alle Suchdienste verstehen können:
- "noodp": Es wird verhindert, dass die Beschreibung des DMOZ in den Suchergebnissen erscheint.
- "nosnippet": Verhindert, dass ein Teil der Webseite in den Suchergebnissen zu sehen ist.
Im Online-Marketing ist der Einsatz des Meta Robots-Tags üblich, weil sich so die Suchergebnisse einer Webseite regulieren lassen. Doch noch effektiver ist die so genannte “Robots.txt”-Datei, die Spider ebenfalls davon abhält, eine Webseite zu indexieren. Die “Robots.txt”-Datei liefert den groben Rahmen, damit auch nur das indexiert wird, was im Index erscheinen soll. Um gute Suchergebnisse zu erreichen, ist es wesentlich, die Indexierung zu steuern. Mit dem Meta Robots-Tag können dabei Fehler vermieden werden.zur Übersicht