Założenie jest takie że crawl budget to czas lub ilość zapytań, które robot Google zada Twojej stronie w trakcie jej indeksowania. Im strona lepsza tym Google poświęci jej więcej czasu, im słabsza mniej lub wcale (czynnik jakościowy). Dochodzi do tego jeszcze czynnik techniczny, czyli np. wydajność serwera (prędkość jego odpowiedzi, pierwszy bit danych – techniczne seo itd.). Google automatycznie ograniczy prędkość by nie zaszkodzić Twojej infrastrukturze jeśli jest słaba.