En Robots.txt er en fil, du laver for at fortælle søgemaskinerne (i vores tilfælde typisk Google), hvordan de skal “crawle” en side på en hjemmeside. […]