Robots.txt-filen används för att informera sökmotorerna om vilka sidor på din webbplats som ska indexeras. Genom att använda robots.txt kan du förhindra att oönskade sidor, som exempelvis admin-sidor eller duplicerat innehåll, indexeras av sökmotorerna och påverkar din SEO-nivå.