Die meisten Content Management Systeme verfügen selbst über einen automatisierten Mechanismus, der die robots.txt voll automatisch einrichtet. Üblicherweise steht darin, dass Suchmaschinen alle Seiten (bis auf Backend-Bereiche) untersuchen dürfen und hinterlegen gegebenfalls eine XML-Sitemap schon von selbst. In manchen Fällen wie WordPress passiert zweiteres (bezogen auf die XML Sitemap) über zusätzliche Plugins, wo wir das Yoast SEO Plugin empfehlen können. Unser hauseigenes CMS Condeon bringt für unsere Kundenwebseiten beides bereits mit.
Ist keine robots.txt vorhanden, kann man diese allerdings recht leicht hinterlegen.
Schritt 1: Öffnen Sie einen Texteditor.
TIPP: Wir empfehlen das Programm → Notepad++, aber auch der normale Editor (Notepad) unter Windows funktioniert dafür prima.
HINWEIS: Microsoft Word und andere Programme zum Erstellen von Dokumenten (etwa auch Open Office Writer) eignen sich nicht für die Erstellung einer robots.txt-Datei!
Schritt 2: Fügen Sie entsprechende Befehle ein, auf die wir gleich unter → Tabelle: Befehle für die robots.txt eingehen
Schritt 3: Speichern Sie die Datei unter dem Namen robots.txt ab.
Schritt 4: Laden Sie die robots.txt ins Hauptverzeichnis Ihrer Website hoch.
Beispielpfad für unsere Website: https://www.vioma.de/robots.txt
HINWEIS: Die robots.txt wird in Unterordnern bzw. Verzeichnissen von Suchmaschinen nicht berücksichtigt. Das hochladen einer robots.txt-Datei macht hier keinen Sinn. Die robots.txt muss sich im Hauptverzeichnis der Website befinden.