Crawl Budget, yani Türkçesiyle tarama bütçesi Google botlarının var olan tüm sayfalarınızın günlük olarak kaç tanesini ziyaret ettiğini ifade eden terimdir. Genellikle ortalama bir rakama sahip olmasına rağmen dinamiktir ve günden güne bazı faktörlerin etkisiyle değişkenlik gösterebilir. Google Örümcekleri Nasıl Çalışır? Google örümcekleri bir siteye geldiğinde yaptığı ilk iş varsa bir robots. txt dosyası aramaktır. Robots. txt dosyasını inceler ve engellenen alt dizinler hariç linkleri taramaya başlar. Her sayfayı teker teker tarar ve taradığı sayfadaki tüm komut dosyalarını ve stil dosyalarını çalıştırır. Daha sonra sayfada tespit ettiği diğer linkleri sıraya alır ve onları da sırasıyla tarar. Botlar daha önceden taramış olduğu bağlantıları da tekrar tekrar tarar. Bunun bir çok sebebi olabilir. Site haritanızda lastmod parametresi ile içeriğin güncellendiğini algılaması da olabilir birisin sizin sayfanıza bağlantı vermiş de olabilir. Bunu tam anlamıyla anlamanın şimdilik imkanı yok gibi bir şey. Yani kısacası Google sayfanıza gelir bütün her şeyi tarar daha sonra tespit ettiği linkleri de sıraya ekler ve sırasıyla o linkleri de tarar. Burada şu soru işareti ortaya çıkıyor: Bütün sayfalarımız birbirine bağlı olduğuna göre Google neden her geldiğinde bütün siteyi taramaz? Tarama Bütçesi Nedir? Google tarafından bir sayfaya verilen öneme göre ziyaret ettiği sayfa sayısıdır. Belli bir oranın altına düştüğünde sitenizin indeksi arama sonuçlarında güncel olmayacak ve günden güne sitenizin/sayfalarınızın değeri azalacaktır. Peki bu oranı nasıl hesaplarız? Çok basit öncelikle Search Console giriyoruz. Menüden Google Dizini &gt; Dizin Durumu sekmesine girdiğimizde aşağıdaki gibi dizine eklenen toplam sayfa sayınızı görüyorsunuz.