korsan_cd' Alıntı:

bu robots. txt ne işe yarıyor. bilen bi anlatabilirmi acaba

benim bildigm arama motorlari google filan robots dosyasini ariyor once robots dosyasini koyarak arama motorlarinin siteni crawl etmesini engeleye bilirsin, istedigin aramama mototrunun mesela google, archive. org filan, yada sadece bazi bolumlerini arama motorlarina crawl edilmesine izin vermeyebilirsin. bu dosya yoksa arama motorlari siteni crawl ediyor otomatik olarak.