bir spider bot yapmak istiyorum ama bu botlar hakkında hicbir fikrim yok yardimci olabilecek birisi varmi yani nasil kodlanir veya elinde olupta yollamak isdeyen varsa PM atabilir

hangi sitenin botu o? tam url ne

Geçen ayki bant genişliği tüketimine baktığımda görümüştüm, Inktomi Slurp 50 küsür mb çekmiş. Diğer spiderların çok çok üstünde.

burda gördükten sonra biraz araştırma yaptım.. adamlar indexlemede yeni bir teknoloji kullanıyorlarmış.. crawler deli gibi indexliyormuş tüm neti.. durmadan.. hadi hayırlısı yeni bişiler oluyor ama

yeni fln anlamam sitemi gocertti bunun indexledigi sayfalari hangi arama motoru kullancaksa cidden googlebotdan daha cok bw tuketmis bu...

esasta sandıgın gibi 1300 küsür orumcek degil ordaki aynı anda, gelen tek bir spider ama, arama motorunun sunucuları aralarında bir nevi gorev dagılımı yaptıgından loglardada oyle gozukuyor. farzı misal: senin sitenin a.html, b.html sayfalarını 1. makine, c.html, d.html sayfalarını 2. makine indexliyor.. gibi. ama sahidende arama motorları asırı miktarda bw yiyor. insanlar genelde hep yahoo ve google'dan sikayetci ama bana nedense hep msn'in botu musallat oluyor

ya böyle birşeye hakları olmaması gerekir bence. mesela benim arkadaşlarla aramızda haberleşmek için kurduğumuz bir forumumum var bu kadar olmasa da yine de inktomi slurp bandwithten yiyor ve benim sitemin üzerinden verdiği hizmetten dolaylı da olsa para kazanıyor. adamın sitesi göçmüş orada

yakında msj'da atmaya kalkar spaydır amcalar... O bişi degil, Neyi ne zaman listeliceklerini biliyorlar... Benim eski absürt siteye geceleri giriyorlardı

forum coktu

usta ona lafim yok. walla saat kavramını bilmio bunlar. awstats dan baktım aynı anda 1383 tane gelmis diyor ben anlayamadım bi turlu. inktomi yi yahoo aldi peki bu indexlenen sayfalar nerede goruntulencek? aktif uyelerden baktım spaydırlar forumun altını ustune getirmis walla. 15 sayfa boyunca spaydır kaydı wardi. sunun profiline bakio. giris ekranını goruo. uyarı goruntuluo fln die. bi inktomi kadar olamadi google

forumumda gezinirken birden 17 aktif uye ve 518 misafir gordum. heralde yine birileri ddos saldirisi yapiyor diye dusundum forumu kapattim. daha sonra arkadas online listten bakip bunlarin hepsi spider bot dedi. ben once inanmadim gidip baktim we gercekten de oyle forumun istatistiklerine baktim http://www.xturkx.com/forum/statistik. php?do=spider ve cıkan sonuc inktomi 99.55 % (449) msnbot 0.443 % (2) anlamadigim olay su. nasil bir arama motoru bir siteye ayni anda 518 tane bot salar (arkadas su an uyardi 536 olmus spiderlar ) aslinda baya garibime gitti google o kadar ziyaretine karsin sadece ana sayfayi indexledi. inktominin botlari ise butun basliklari ve profilleri indexliyor bu olay normalmi?

usekes' Alıntı:

usta 1383 tane arama motoru bocugunu forum kaldırmadı. adamlar cidden orumcek gibi her yeri somurdu yani. bilmem kac sayfa spider report wardi

Xcoder' Alıntı: