Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03621.jsonl.gz/1493

Der Robot (auch Webcrawler oder Spider genannt) liest beim Auffinden einer Website zuerst die Datei robots.txt. In dieser Datei kann festgelegt werden, ob und wie die Website von einem Robot besucht werden darf. Der Website-Betreiber hat so die Möglichkeit, ausgewählte Inhalte generell oder auch nur für bestimmte Suchmaschinen zu sperren.
Eine Anleitung erhalten Sie unter folgendem Link:
http://www.worldsoft-downloads.info/pdf/help/robots-txt.pdf
Weitere Informationen zum Thema erhalten Sie unter
http://de.wikipedia.org/wiki/Robots_Exclusion_Standard