Een robots.txt bestand vertelt Google welke pagina's hij wel en niet mag crawlen op uw website.