Robots.txt ist eine Textdatei, die es einer Website ermöglicht, Web-Crawling-Bots Anweisungen zu geben.