El robot de Google no procesa la directiva "crawl-delay" no estándar del archivo robots.txt.