robots. txt kesinlikle indexlemeyi hızlandırmaz. amacı indexlenmemesini istenen klasör yada dosyaları büyük arama motorlarına belirtmektir. admin cgi-bin images klasörleri gibi Küçük arama motorları zaten bakmaz bile robots. txt ye.

Hmm anladim ark. Bende biliyordum evet bazi sayfalari indexletmemek icin kul. ama o sitetin robotx. txt entarasan geldi banada. bir sorayim dedim Thanx Ark.

robot. txt, bazı klasörlerin na-mahrem olduğunu ve buranın robotlara yasak olduğunu belirten kuralların yazıldığı küçük bir. txt dosyasıdır. Robot. Txt kuralları, sitenin indexlenmesini hızlandırmaz, aksine bazı yerleri indexlemez.

evet tabi ki...

Arkadaslar cpaneldan son 300 kisi nereleri gezmis diye baktim, yahoo ve google bot robots. txt gezmis. Benim bildigim kadariyla robots. txt icine arama motorlari tarafindan kaydedilmesi istenilen url giriliyor. Ama google da biraz arastirdim ve su siteye rastladim http://kamerasistemleri.com/robots. txt burda yapdigi sey tam anlami ile ney? Kod:

aha buda google robots. txt Kod:

örneğin şöyle bi robots. txt dosyası doğrumudur User-agent: Allow: /searchhistory/ Disallow: /search Disallow: /groups User-agent: msnbot crowl-delay:120 gibi yani useragent: ve useragent:özel bi robot isimi şeklinde. bi robots. txt dosyası içinde farklı useragent geçebilirmi?

User-agent:

... aksine bazı yerleri indexlemez.

User-agent: yapacaksın tüm sayfalarını indexleyecek