Googlebot игнорирует директиву crawl-delay в файле robots.txt.