Google'ın bir sayfayı taramasının engellenmesi, muhtemelen söz konusu sayfayı Google'ın dizininden kaldırır.
Bununla birlikte, robots.txt disallow yönergesini kullanmak, bir sayfanın sonuçlarda görünmeyeceğini garanti etmez. Google, gelen bağlantılar gibi harici bilgilere dayanarak sayfanın alakalı olduğuna karar verip URL'yi sonuçlarda gösterebilir. Bir sayfanın
dizine eklenmesini açık bir şekilde engellemek istiyorsanız
noindex robots meta etiketini veya X-Robots-Tag HTTP üstbilgisini kullanın. Bu durumda, etiketin görülmesi ve buna uyulması için sayfanın taranması gerektiğinden sayfayı robots.txt dosyasında engellemeyin. Google ile paylaştıklarınızı nasıl kontrol edeceğinizi öğrenin.