Como funciona um rastreador de websites?
O Sitecheckerbot verifica diferentes versões da página inicial e identifica qual delas tem um código de estado 200 HTTP.
O rastreador começa a fazer a análise da página principal e a analizar as regras robôs .txt. Utilizando links em cada página, recolhe todos os URLs disponíveis e verifica se há problemas neles. Se não houver links internos para uma página, o avaliador não a encontrará.
É calculado o parâmetro de Peso da Página de cada página. Ele demonstra o quão forte é o poder de link interno duma determinada página.