Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03260.jsonl.gz/2161

Mit einer Textdatei kann ein Robot/Spider/Agent irgendeines Suchmotors angewiesen werden, die Website nur unter bstimmten Bedingungen zu durchsuchen. Das ist nicht nur bei umfassenden Datenbanken vorteilhaft, bei denen die Indizierung unter Umständen sämtliche E-Commerce-Transaktionen lahmlegen könnte, sondern auch bei Verzeichnissen, die man nicht unbedingt durch einen Robot durchforsten lassen will (z.B. ein Forum).
Eine gute und einfache deutschsprachige Einführung in die Dressur von Robotern und Spider, die manchmal ganze Websites lahmlegen können. Verständliche Beispiele für die Datei robots.txt ermöglichen es unbedarften Webpublishern, innert kürzester Zeit ein solches File anzulegen.
http://www.bjoernsworld.de/suchmaschinen/robots-txt.html>