Güzel yalnız bende User-agent: ia_archiver Disallow: / User-agent: duggmirror Disallow: / bu satırlarda hata verdi. Seo açısından bunlar allow olması mı gereklidir. Birde Disallow: / . php$ Bu arada paylaşım için teşekkürler +REP

Sorularınızı ve aklınıza takılanları yazara sorabilirsiniz. Buyrun konu linki: http://www.seohocasi.com/robots-txt-analizi-ve-hatalari-tespit-etme.html

. php$ tarzı kullanımlar, belirli bir türdeki dosya formatlarını engellemek için kullanılır. Örneğin aşağıdaki kod php ve gif olan dosyaların indexlenmesini önleyecektir. Kod:

Test aracı 94 standartlarına göre kontrol ediyor. Yani zorunlu olmayan nonstandart komutları hata olarak görüyor aslında hatalı değildir. Bazı botlar bu tip özel satırları kabul ettiği gibi bazılarıda nonstandart satırları görmezden geliyor. Mesela arama motoru botları Disallow: . gif satırını gördüğü zaman site içerisinde kullanılan. gif resimleri es geçiyor.

gibi parametreleri tüm botlar desteklemiyor netster'in dediği gibi. Bu yüzden zaman zaman farklı botlara farklı tanımlama yapmak gerekebiliyor. Konu hakkında google yardım sayfası na göz gezdirebilirsiniz. İlgili bölümü buraya aktarayım: -- Belirli bir dosya türündeki dosyaları engellemek için şunları kullanın: User-agent: Googlebot Disallow: / . gif$ URL sonu eşlemesini belirtmek için $ karakterini kullanın. Örneğin, . xls ile biten tüm URL'leri engellemek için: User-agent: Googlebot Disallow: / . xls$ Bu yapıyı şurada kullanıyorum http://www.mynak.com/robots. txt, aynı şekilde google sonuçlarını inceleyebilirsiniz. Not: Düzeltiyorum, dosya formatından çok adres sonu eşleşmesi yapmak için $ kullanılıyor. Ama bunu benzer bi şekilde örneğin. php ile bitenleri engellemek içinde kullanılabilir.

Bu tür bir kullanım ile ilgili bir RFC veya protokol gösterebilir misiniz? uggur' Alıntı:

Arama motoru botlarının sitenizin içeriğini sağlıklı bir şekilde indexlemesi için gereken Robots. txt dosyasının analizini yapmak artık mümkün. Robots. txt dosyasında yapacağınız bir karakterlik bir hata bile sitenizin yanlış şekilde indexlenmesi yada indexlenmemesine sebep olabilir. Bu yüzden siteniz için oluşturduğunuz Robots. txt dosyasını analiz edip, hatalı ise hatalarını tespit edebilirsiniz.