Mantener a los rastreadores alejados de ciertas páginas es útil, pero también quiere que Googlebot encuentre sus páginas esenciales inmediatamente. Puede lograr este objetivo asegurándose de que Googlebot pueda rastrear su sitio con facilidad. Algunos sitios son como un muro que los rastreadores pueden alcanzar, pero no pueden pasar de la página de inicio. Si su contenido está oculto detrás de formularios de acceso, un rastreador no puede acceder a él. Leer más