Robots.txt

O estándar de exclusión de robots (tamén chamado protocolo de exclusión de robots ou protocolo robots.txt ) é unha forma de indicar aos exploradores web e a outros robots web que partes dun sitio web poden ver.

Para darlle aos robots instrucións sobre a que páxinas dun sitio web poden acceder, os propietarios do sitio colocan un ficheiro de texto chamado robots.txt no directorio principal do seu sitio web, por exemplo http://www.example.com/robots.txt . Este ficheiro de texto indica aos robots a que partes do sitio poden acceder ou non. Non obstante, os robots poden ignorar os ficheiros robots.txt, especialmente os robots maliciosos. Se o ficheiro robots.txt non existe, os robots web asumen que poden ver todas as partes do sitio.

 Exemplos de ficheiros robots.txt 

 Google
 YouTube
 Wikipedia

 Notas 

Categoría:Protocolos de Internet