Como um mecanismo de pesquisa decide qual URL indexar ou não indexar?
Você pode instruir os rastreadores de mecanismos de pesquisa usando o rel=canonical para permitir que eles incluam a página da Web no índice ou não. Você também pode criar essas instruções por meio da metatag Robots na seção de cabeçalho das páginas HTML href ou da X-Robots-Tag no cabeçalho HTTP.