Ola leitores da MestreSEO!Como muitos de voces sabem, os mecanismos de busca utilizam-se de robos de busca, tambem conhecidos como webcrawlers, para percorrer toda a web, indexando todo ou quase todo o conteudo disponivel. Diante disto, foi criado um padrao onde cada website pode incluir na raiz do seu website um arquivo chamado robots.txt que diz aos robos de busca quais paginas eles nao podem visitar.Pois bem, aprender como funciona o robots.txt e muito importante no processo de otimizacao de sites, evitando assim que algum conteudo restrito fique disponivel na web ou ainda que voce sofra de conteudo duplicado.Vejamos abaixo mais alguns detalhes sobre o padrao robots.txt:Como Criar um Arquivo robots.txtExistem diversas maneiras de criar um arquivo robots.txt, como por exemplo, abrir o bloco de notas e criar a partir de la. Mas aqui na MestreSEO disponibilizamos uma ferramenta online e gratuita onde voce pode inserir quais paginas voce deseja bloquear dos robos de busca e ele simplesmente fornece todo o codigo necessario para gerar o seu arquivo robots.txt. Vale apena testar.Exemplos de Formatacao do robots.txtPermite que todos os arquivos sejam indexadosUser-agent: *Disallow:Nao permite que nenhum arquivo seja indexadoUser-agent: *Disallow: /Nao permite que uma pasta seja indexada, com aexcecao do arquivo myfile.html que esta dentro da pastaUser-agent: GooglebotDisallow: /folder1/Allow: /folder1/myfile.htmlnformacao Contida no robots.txtOs search engines sao vorazes por padrao. Eles querem indexar o maximo de informacao de qualidade que conseguirem, e eles presumem que podem indexar tudo, a menos que alguem diga para eles pararem.Se voce especificar dados para todos os bots (*) e dados para bots especificos (como o Googlebot), entao os comandos especificos para bots serao seguidos enquanto o bot especificado (no nosso exemplo o Googlebot) ira ignorar os comandos globais. Logo, se voce fizer um comando global que queira aplicar para um bot especifico, entao voce devera colocar o comando para o bot especifico tambem.Quando voce bloqueia URLs para que elas nao sejam indexadas no Google pelo robots.txt, ele (o Google) pode ainda mostrar estas URLs nos resultados das pesquisas. Uma solucao completa e bloquear usando as meta tags:Se voce nao tem um arquivo robots.txt, os logs dos servidores irao retornar erros 404 sempre que um bot tentar acessar o arquivo. Voce pode fazer upload do arquivo em branco com o nome robots.txt na pasta raiz do seu site.Alguns search engines tambem permitem que voce especifique o endereco de um sitemap XML no arquivo robots.txt.Caracteres EspeciaisGoogle, Yahoo! e MSN permitem o uso de caracteres especiais no arquivo robots.txt.Para bloquear acesso para todas as URLs que incluem uma interrogacao (? URLs com parametros via GET), voce deve usar o seguinte codigo:User-agent: *Disallow: /*?Voce pode tambem especificar arquivos com determinadas extensoes usando o cifrao ($). Por exemplo: se voce quer bloquear todas as paginas com extensao .asp, coloque no robots.txt :User-agent: GooglebotDisallow: /*.asp$ExcentricidadesSabemos que o Google vem preenchendo formularios de pesquisa e indexando as paginas geradas. Para evitar que tais paginas sejam indexadas, bloqueie pelo robots.txt. Suponha que a variavel de pesquisa na URL seja search. Entao voce poderia por:User-agent: *Disallow: /?search=para evitar que as paginas geradas por pesquisa sejam geradas.Analisando