A robots.txt segítségével adható meg az, hogy mit engedélyezünk a Google feltérképező robotjai, illetve más szogláltatások robotjai számára az oldalunkon, és mit nem. Laikjusként nem érdemes vele foglalkozni, mert véletlenül akár ki is tilthatjuk a weboldalunkat a Google láthatósága alól. De egy SEO szakember megfelelően tudja kezelni.