Hayır. Googlebot bir web sitesini ziyaret ettiğinde, ilk olarak robots.txt dosyasını almayı deneyerek tarama izni isteriz. Robots.txt dosyası, robots meta
etiketleri veya X-Robots-Tag HTTP üstbilgileri bulunmayan
bir web sitesi genellikle normal bir şekilde taranıp dizine eklenir.