Manter os rastreadores longe de certas páginas é útil, mas você também quer que o Googlebot encontre suas páginas essenciais imediatamente. Você pode atingir este objetivo assegurando que o Googlebot possa rastejar facilmente através de seu site. Alguns sites são como rastejadores de parede que podem alcançar, mas não podem passar da página inicial. Se seu conteúdo estiver escondido atrás de formulários de login, um rastreador não poderá acessá-lo. Leia mais