Robots.txt är en textfil som är kopplad till din domän och används för att hindra sökmotorspindlar från att indexera sidor specifika sidor på din webbplats. Sidor som du inte vill ska synas i sökresultaten.