O ideal seria que os rastejadores pudessem ver seu site sem nenhum problema. Você pode visitar o Console de Busca do Google se quiser um relatório de Erros de Rastejamento. Este relatório lhe dirá quais URLs têm problemas. Seus arquivos de log do servidor também têm esta informação, mas os iniciantes podem achar difícil acessar este log. Leia mais