English: Robots.txt is a text file webmasters create to instruct how to crawl & index pages on their website. You can use this file to tell search engine robots what to crawl and what not to crawl on your site. Search bots usually look for this file in a website as soon as they enter one. Therefore, it's very important to have a robots.txt file in the first place.
Dutch: Robots.txt is een tekstbestand dat webmasters maken om te instructieveren hoe ze indexpagina's op hun site moeten crawlen. Je kunt dit bestand gebruiken om zoekmachine robots te vertellen wat ze wel en niet moeten crawlen op je site. Zoekrobots zoeken meestal naar dit bestand zodra ze een site betreden. Daarom is het erg belangrijk om in de eerste plaats een robots.txt bestand te hebben.