Peki normalde bir robots. txt ye sen ne yazardın? user-agent : Disallow : / yapmazmıydın? ben böyle öğrenmiştim araştırırken.. şimdi oraya sadece Mediapartners-Google eklemiş oluyoruz..

Şuana kadar bendede robots. txt yoktu ama 150-160 URL'lem Robots. txt gereçeksi ile engellenmiş..:S Arkadaşım bana aşağıdaki şekilde ekle dedi bende ekledim, sizce doğru mu yaptım bilyorum, bilen bi arkadaşım incellesin size zamet.. Kullandığım sistem : VBulletin Forum Kod:

kesmekes' Alıntı:

robots. txt dosyadına dikkatle inceleyin bwende uyaşamıştım bu sorunu bi ara robots. txt in içine allow yazacağıma disallow yazmışım yanlışlıkla böyl bişey yapmış olmayın. gerçi ben şimdi hiç bi sitemde robots. txt kullanmıyorum hiç te sorun olmuyor

user-agent : Disallow : Böyle yaptığınız takdirde sitenizin her yeri tüm botlar tarafından taranmaya açık olur. Not: Tüm botları engellemek için User-agent: Disallow: şeklinde yazmak gerekir. Disallow yanında hiçbir karakter olmayınca engelleyecek hiçbir şey olmadığı manasına gelmektedir.

Garip bir olay bendede engellemiş 50-60 sayfa, ama sayfalar google cache'inden açılan sayfalar, yani direk benim sayfaları engellememiş. Örneğin şu http://209.85.129.104/ google ip adresinden bakılmış olan cachelerde çıkan sayfaları engellemiş. Sebebide http://209.85.129.104/robots. txt olmalı.

user-agent : Disallow : /

/ işareti de bi yerde gördüğümden ekledim ama indexlemesine engel olmamış.. tabi koymamak gerek yine.. bir daha hazırlama ihtiyacı olursa koymam

aynı şey bendede var. robots. txt de engellenmiş yüzlerce url gözüküyor ana sayfada dahil. Web sitemde robots. txt bulunmuyor..

bende aynı sorunu yaşıyorum üstelik izinler açık ve robots. txt yüklü ftp de:S bir anlam veremedim doğrusu

Şimdi orada dediği şu diyorki siz robots. txt ile bazı url leri engellemiş olabilirsiniz bu yüzden adsense botu bu siteyi gezemeye bilir, siz yinede bazı sayfalarda reklamların çıkmasını engellemek istiyorsanız, User-agent: Mediapartners-Google Disallow:

Yanılıyorsun osahin.. çünkü bunu google kendisi öneriyor.. linki ekliyorum alta https://www.google.com/adsense/supp...&amp;sourceid=aso&amp;subid=ww-ww-et-asui&amp;medium=link

28 Aralık tarihinde adsensede site tanı aracı blm. de 2 url'um banlanmış görünüyordu.. engelleme gerekçesi olarak robots. txt gösteriliyordu.. Yardım menüsüne yönlendirdi beni, orda bu gerekçeyi tarayıcılarının bu sayfaya ulaşmasına robots. txt dosyasının izin vermediğini söylüyorlar.. siteyi ilk açtığım günden beri robots. txt dosyam doğru birşekilde kök dizinde yer almaktaydı, google adsense ile de problem yaşamamıştım.. üstelik engellenen url'lar gizli blm. ler değil viewtopic. php ile başlayan forum içi başlıklar.. Yardım menüsünde robots. txt dosyasını ; User-agent: Mediapartners-Google Disallow: şeklinde değiştirmem gerektiği yazıyordu.. Değiştirdim.. ertesi gün 29 aralıkta 1 url, 30 aralık 3 url, 31 aralık 1 url daha engellendi.. Durumu a mail atarak sordum, önümüzdeki aya anca yanıtlarlar tabi aranızda bu konuda sorun yaşamış ve nedenini öğrenip çözmüş arkadaşlar vardır umarım..

/ işareti olduğu için gezmesini engelliyor arkadaşın robots. txt

aynı sorunu bende 28 aralık tan itibaren yaşıyorum engellenen url ler root. txt sebebi baktım root. texte en başta Şu yazıyordu User-agent: Googlebot Disallow: User-agent: Disallow: admin. php Bunu Şöle değiştirdim User-agent: Mediapartners-Google Disallow: Umarım düzelir Çünki google reklamları Çıkmıyor :S

Ben anlatamıyorum sanırım siz yinede kaynaklara bakın... Bknz: Disallow Allow

Herkeste var sanırım bu sorun bizden degil ozaman googledan kaynaklanıyor.

bende o şekilde değiştirdim.. değiştirdikten sonra da yeni engellemelere devam etti.. Sanırım robots. txt ti okuma süresi biraz uzun, herşeyi algılaması 8-10 gün sürer ya.. bakalım..

user-agent : Disallow : / bende sürekli bu şekilde kayıtlı idi ve botlar sayfamı indexliyordu.. o da bildiğimden değil forumlardan öğrenip de oluşturdğum bi robots. txt idi?

User-agent: Mediapartners-Google Disallow: