Her ne kadar öyle olduğuna kimse inanmasa da Google'ın kaynakları sınırlı. Web'de çok fazla spam sayfa var. Bu nedenle Google'ın düşük kaliteli sayfaları ziyaret etmekten kaçınmasını sağlayan mekanizmalar geliştirmesi gerekiyor. Fakat bu kadar ileri bir teknoloji gelişene dek, Google yalnızca en önemli sayfaların taranmasına öncelik vermekte.
Googlebot, sunucunuzun çökmesini önlemek için taramayı sınırlayacak şekilde kodlanmıştır. Google için, web sitenizin sunucusunu çökertmek yerine bazı URL'lerinizi ziyaret etmeyi atlamak veya geciktirmek daha iyidir.