1: Doğru. 2: Botlar her gelişinde robots. txt i okur. Disallow ları belleklerine almaz. Kaldırırsan girip indexleme yaparlar.

siber ' Alıntı:

arkadaşlar örnekteki gibi robots. txt dosyası oluşturdum iki sorum olacak 1:bu şekildeki dosya doğrumu 2:botlar dosyayı okuduktan sonra eklediğim linkleri kaldırsam botlar bidahaki gelişlerinde aynı linkleri tekrar ararmı yoksa bu linkleri silermi User-agent: Disallow: /archive/2007_01_12_archive.html/ Disallow: /Oyunlar/sayi-dondUrme 1349.html/ Disallow: /cats. php?catid=23/