Os rastreadores da Web em geral são muito flexíveis e, normalmente, não são influenciados por pequenos erros no
arquivo robots.txt. Muitas vezes, o pior que pode acontecer é
as diretivas incorretas / sem suporte serem ignoradas. O Google não faz adivinhações ao
interpretar um arquivo robots.txt: ele precisa interpretar o
arquivo robots.txt que foi buscado. Dessa forma, se você estiver ciente dos problemas no seu arquivo robots.txt,
saiba que eles geralmente são
de fácil correção.