Impedir que o Google rastreie uma página provavelmente removerá a página do índice do Google.
No entanto, disallow no robots.txt não garante que uma página
não será exibida nos resultados. O Google ainda pode decidir que ela é relevante com base em informações externas,
como links de entrada, e exibir o URL nos resultados. Para bloquear
explicitamente a indexação de uma página, use a metatag robots
noindex ou o cabeçalho HTTP X-Robots-Tag. Nesse
caso, não bloqueie a página no robots.txt, porque ela precisa ser rastreada
para que a tag seja vista e obedecida. Saiba como
controlar o que você compartilha com o Google.