L'instruction non standard "crawl-delay" d'un fichier robots.txt n'est pas traitée par Googlebot.