English: When good web crawlers want to visit your site, they will first look for robots.txt to learn what they may access.
Dutch: Wanneer goede webcrawlers je site willen bezoeken, zullen ze eerst robots.txt opzoeken om te weten te komen waar ze toegang toe hebben.