Perintah robots.txt "crawl-delay" non-standar tidak diproses oleh Googlebot.