Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03185.jsonl.gz/2503

Die Datei robots.txt wurde als Standard definiert, um den Suchmaschinen mitzuteilen, wenn eine Website oder Teile davon nicht indexiert werden sollen. Dies macht man sich zu Nutzen, um beispielsweise den Admin-Bereich einer Website von der Indexierung auszunehmen. Meist wird die Datei jedoch während dem Aufbau einer neuen Website benötigt, da man die Inhalte erst den Suchmaschinen mitteilen möchte, wenn die Website komplett fertiggestellt und veröffentlicht wurde.
Wir beschreiben folgend, wie Sie die robots.txt-Datei erstellen und verhindern, dass Ihre Website indexiert wird.
- 1
-
Beachten Sie, dass die Datei exakt so benannt sein muss und dass alles in Kleinbuchstaben geschrieben ist, damit die Datei korrekt interpretiert werden kann.
- 2
-
Bearbeiten Sie die Datei und fügen Sie nun folgende Zeile ein:
User-agent: * Disallow: /
Mit diesen Zeilen teilen wir allen Suchmaschinen mit, dass keine Datei und kein Verzeichnis indexiert werden soll, somit die Indexierung nicht erlaubt ist.
Weitere Informationen zur Syntax der robots.txt finden Sie im entsprechenden Wikipedia-Artikel.
Alternative Methode
Es gibt neben der robots.txt auch noch die Möglichkeit Instruktionen über das Meta-Tag im HTML-Code pro Seite zu vergeben. Möchte man beispielsweise nur bei einer bestimmten Seite verhindern, dass deren Inhalt indexiert wird, so kann man im Header der Seite folgendes Meta-Tag erstellen:
<meta name="robots" content="noindex,nofollow">