Robots.txt pole veebisaidi jaoks vajalik. Kui bot külastab teie saiti ja sellel pole seda, siis see lihtsalt indekseerib teie saidi ja indekseerib lehed nagu tavaliselt. Robots.txt on vaja ainult siis, kui soovite rohkem kontrolli selle üle, mida saab skaneeritud.