Nie. Gdy Googlebot odwiedza witrynę, najpierw próbuje odczytać plik robots.txt, aby sprawdzić, czy ma pozwolenie na indeksowanie. Witryna bez pliku robots.txt, tagu meta robots lub nagłówków HTTP X-Robots-Tag jest zazwyczaj skanowana i indeksowana w zwykły sposób.