Hocam paylaşımlarınız için çok teşekkür ederim. Sizden bir isteğim olacak. Acaba robot. txt ile ilgili bir makale yazar mısınız? İdeal bir robot. txt dosyası nasıl olur, nelere dikkat edilmeli, örnek bir robot. txt şablonu vs.. Eminim çok faydalı olacaktır. İyi çalışmalar.. iPhone cihazım ile Tapatalk 2 kullanılarak gönderildi. Yazım hataları için özür dilerim.

Yararli olabilecegini dusundugum bir bilgiyi paylasmak istiyorum. Hangi arama motoru ne siklikta robots. txt iceriginizi ceker? Kendi sitemde loglari karistirdim ve su sonuca ulastim. Buyuk ihtimalle cogu site icin sonuclar yakindir. 1. Googlebot cok duzenli bir sekilde saatte bir, 2. Bingbot duzensiz bir sekilde 10 dakika ila 1 saat araliklarla, 3. MSNbot-media neredeyse her dakika basi, 4. Yandexbot 4 saatte bir robots. txt dosyasini cekiyorlar.