Die Robots.txt-Datei steuert, welche Bereiche der Webseite gecrawlt werden. Eine korrekte Konfiguration hilft, unnötiges Crawling zu vermeiden und Prioritäten zu setzen.