Uniemożliwienie Google zindeksowania strony zwykle powoduje usunięcie jej z indeksu Google.
Dyrektywa disallow w pliku robots.txt nie gwarantuje jednak, że strona nie będzie pojawiać się w wynikach wyszukiwania – na podstawie informacji zewnętrznych (takich jak linki przychodzące) Google wciąż może uważać ją za istotną i uwzględniać jej URL w wynikach wyszukiwania. Jeśli chcesz wyraźnie zablokować indeksowanie strony, użyj wartości meta tagu noindex robots lub nagłówka HTTP X-Robots-Tag. W takiej sytuacji nie zabraniaj dostępu do strony w pliku robots.txt, bo robot musi zindeksować stronę, aby odczytać tag i postąpić zgodnie z nim. Dowiedz się, jak kontrolować dane udostępniane Google.