English: A robots.txt file tells search engine crawlers which pages or files the crawler can or can't request from your site.
Dutch: Een robots.txt bestand vertelt zoekmachine crawlers welke pagina's of bestanden de crawler wel of niet kan aanvragen van je site.