Alle domener/nettsteder har sine egne robot.txt. Dette kan kontrolleres ved å skrive inn /robotos.txt i nettleseren.