Selam Arkadaşlar Web Crawler - Microsoft URL Control - 6.01.978 adında bir crawler uzun zamandir sitemde banlamıştım.. Son bir haftadır banı kaldırdım ve günlük ortalama 500 küsür sayfa indexliyor. Aynı bunun gibi Web Crawler - Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) günlük ortalama 300 sayfa indexliyor.. fakat Googlede site:diyadinnet.com arama yaptığımda yaklaşık 900 sayfa indexli.. ama istatistiklere baktığımda Google ortalama günlük 300 küsür sayfa indexliyor.. Bunun sebebini ve Microsoft URL Control hakkında bildiklerinizi paylaşırsanız sevinirim Kolay Gelsin...