Il est utile de tenir les robots d'exploration à l'écart de certaines pages, mais vous souhaitez également que Googlebot trouve immédiatement vos pages essentielles. Vous pouvez atteindre cet objectif en vous assurant que Googlebot peut parcourir votre site facilement. Certains sites sont comme un mur que les robots d'exploration peuvent atteindre, mais ils ne peuvent pas dépasser la page d'accueil initiale. Si votre contenu est caché derrière des formulaires de connexion, un robot d'exploration ne peut pas y accéder. Lire la suite