Kui teie veebisaidi juurkataloogis pole robots.txt faili, ei suuda otsingumootorite roomikud seda leida. Selle tulemusena eeldavad nad, et neil on lubatud kogu saidi indekseerida.