Een robots.txt is eigenlijk een menukaart of plattegrond voor jouw website. Elke bezoeker (en in dit geval bots) kan zien waar ze wel en niet naartoe mag gaan.