Üstad istediğin algoritma ciddi anlamda zor bir şey ama yapılamaz değil tabiki. Aklıma gelen ilk işlem şu şekilde ; Ki bu bile yorucu bir algoritma olacaktır. ilk olarak 1.html indirdin diyelim bunda problem yok bu bizim referans dosyamız olacak macburen. Daha sora bunu < > işaretleri parçalayıp hepsini arraya almak zorundayız bu array hiç kaybolmayacak ve referans array olacak. 2. sayfaya girdiğinde ise tekrardan boşluk ile arraya a alacak, yada < > bu ifadeler arasını. in_Array gibi bir komut ile varmı yokmu bakacak varsa bunun yerine random 12 haneli bir sayı atacak ve bunuda array a alacak... Daha sonra kalanlar ise sürekli değişkenler olacak mecburen.. Burda ise mecburen aralarındaki yazılar olmuş olacak. Ama her site blede yapmaz. Bunun içinde o siteye zgü değişkeni belirlemen gerekecek. Sanırım baya karıştı anlatırken karışıyor oturup kodlamaya başlamak lazım yavaş yavaş kodlarken daha rahat oluyor sanırım. Byle bir şey yapabilirsen her halde botçular için devrim olur amk :) bütün <> arasını arraya alacaksın aşağıdaki kodda nasıl çalışcak bot? <p>Adı: <b>Manglerman</b></p> hem <p> arasını değişken olarak alacak hem <b> arasını değişken olarak alıcak daha parentlerinde ne kadar div table varsa hepsinin içeriği değiştiği için hepsini değişken olarak almış olacak :) sakat iş yani hocam. bende bakıyorum bir taraftan. onedio.com haberi ekleme ekranında linki yapıştırınca sitedeki haberi direk çekebilyor orada da bir algoritma var ama burdaki hepten ayrıntıya iniyor :) manglerman hem p hem b içinde? dolayısıyla bu referans aldığın sayfada bile problem olmuş olacak. türk kızlarından sabun yapalım, rus kızları elini yıkasın.:)

Hocalar bişeye ihtiyacım var. bunun için bir algoritma bilen yada nceden kafa yoran varsa beni ağır kasıştan kurtarır. Bilirsiniz bir siteden data çekmek için nce tüm sayfaları alır sonra onu database e dizen kod yada script yazarız. Şimdi rneğin bir sitenin bütün sayfalarını indirip 1.htm 2.htm 3.htm diye bir klasrde topladık dosyaların içerikleri sırasıyla şunlar <html><title>üye: hasan</title><body><b>isim:</b>hasan<br><b>soyad:</b>husein<br>yaş: 30<br></body></html><html><title>üye:osman </title><body><b>isim:</b>osman <br><b>soyad:</b>remzi<br>yaş: 32<br></body></html><html><title>üye:husein </title><body><b>isim:</b>husein <br><b>soyad:</b>rıza<br>yaş: 50<br></body></html><html><title>üye:ali </title><body><b>isim:</b>ali <br><b>soyad:</b>haydar<br>yaş: 30<br></body></html> Almak istediğim çıktı <html><title>üye:%field1%</title><body><b>isim:</b>%field2%<br><b>soyad:</b>%field3%<br>yaş:%field4%<br></body></html> yani 2 dosyayı karşılaştırıp farkların yerlerini bulmayı biliyorum fakat 100 dosyada aynısını yapıp bu işi template e nasıl dkerim. Webden çektiklerimi html değil template+database olarak toplamak benim amacım. Nush ile uslanmayanı etmeli tekdir, Tekdir ile uslanmayanın hakkı ktektir!

RegEx her dilde ufak tefek değişikliklere uğruyor fakat kabaca şu şekilde: <html><title>üye: </title><body><b>isim:</b> <br><b>soyad:</b> <br>yaş:( ?)<br></body></html> demek istediğini tam anlamadım ama herhalde regex işini grür. http://msdn.microsoft.com/en-us/library/ms972966.aspx#regexnet_topic4 YekteranBaymedir tarafından 19/Ağu/13 11:52 tarihinde düzenlenmiştir

https://github.com/sng2c/Template-Reverse

200'ün üzerinde bot yazmış biri olarak diyebilirimki neredeyse imkansız :) araya bir <b> koysa araya bir br koysa. yada sayfanın dinamik alanları arasında html kodları varsa herşey karışır. her halukarda koda müdahele etmek zorunda kalırsın. misal : http://tahribat.com/members. asp?orderby=iddesc bizim siteden çekmeye çalışsak bile her sayfada değişen yüzlerce alan var. bunların hangisini çekeceğine kesinlikle bir insanın karar verip ona gre kodu yazması lazım. çzüm olursa diye takipteyim tabi :) türk kızlarından sabun yapalım, rus kızları elini yıkasın.:)

Hocalar bişeye ihtiyacım var. bunun için bir algoritma bilen yada nceden kafa yoran varsa beni ağır kasıştan kurtarır. Bilirsiniz bir siteden data çekmek için nce tüm sayfaları alır sonra onu database e dizen kod yada script yazarız. Şimdi rneğin bir sitenin bütün sayfalarını indirip 1.htm 2.htm 3.htm diye bir klasrde topladık dosyaların içerikleri sırasıyla şunlar üye: hasanisim:hasansoyad:huseinyaş: 30üye:osmanisim:osman soyad:remziyaş: 32üye:huseinisim:husein soyad:rızayaş: 50üye:aliisim:ali soyad:haydaryaş: 30 Almak istediğim çıktı üye:%field1%isim:%field2%soyad:%field3%yaş:%field4% yani 2 dosyayı karşılaştırıp farkların yerlerini bulmayı biliyorum fakat 100 dosyada aynısını yapıp bu işi template e nasıl dkerim. Webden çektiklerimi html değil template+database olarak toplamak benim amacım. Aytek anladigim kadariyla bir sitenin uyelerinin detaylarini html olarak indiriyorsun. Mesela www.bilmemene.com/uye_deya. php?id=1,2,3,4... Sen bunlari bir kalsora kaydettin. diyelim Senin asil istedigin bunlari tarayip sayfalarda uyenin ad, soyad, yas, e-mail gibi verilerinin hangi alanlarda oldugunu bulmak mi? Bu mudur? Yani degisen alanlari bulmak istiyorsun. dhmm tarafından 19/Ağu/13 13:45 tarihinde düzenlenmiştir Ozgurluk aslinda her istedigini yapabilmek degildir, istemedigini yapmamaktir. // Verdigin degeri gormeyince, gordugun degeri ver!!! // Hayatin herkes icin bir bavulu vardir!!! // Dusmek gerekir bazen hayatta; kalkmayi ogrenebilmek icin

yamulmuyorsam şyle olabilir, siteyi okuduktan sonra basit bir html düşün hocam, bunları tag tag oku, rneğin html tagını geç head tagı elde. sonra ikinci url yi okut yine head tagını al içindekini karşılaştır aynıysa bunu al sabit bir yere yaz. sonra body altındaki ilk tagı al rn: <div class="asd">ad</div> bunun içeriğini ikinci sayfayla karşılaştır aynıysa sabit belirlediğin yere ekle. devam et aynı şekilde farklı olan tag içeriklerininde içine belirleyici yerleştirip sabite ekle : rn <div class="content"> </div> . gibi hocam, umarım anlatabilmişimdir. ...

<obdy></body> taglarini icinde >< arasinda her ne degisiyorsa degisken olarak gosterecek. Ozgurluk aslinda her istedigini yapabilmek degildir, istemedigini yapmamaktir. // Verdigin degeri gormeyince, gordugun degeri ver!!! // Hayatin herkes icin bir bavulu vardir!!! // Dusmek gerekir bazen hayatta; kalkmayi ogrenebilmek icin

html ile veriyi ayristiracak bir regex ve dosyalari dolasicak bir dongu yeterli olmayacakmi? soruyumu anlamadim? 29.99cm, titanyum kaplamalı, çift damarlı, su ve yağ soğutmalı.

Üstad istediğin algoritma ciddi anlamda zor bir şey ama yapılamaz değil tabiki. Aklıma gelen ilk işlem şu şekilde ; Ki bu bile yorucu bir algoritma olacaktır. ilk olarak 1.html indirdin diyelim bunda problem yok bu bizim referans dosyamız olacak macburen. Daha sora bunu < > işaretleri parçalayıp hepsini arraya almak zorundayız bu array hiç kaybolmayacak ve referans array olacak. 2. sayfaya girdiğinde ise tekrardan boşluk ile arraya a alacak, yada < > bu ifadeler arasını. in_Array gibi bir komut ile varmı yokmu bakacak varsa bunun yerine random 12 haneli bir sayı atacak ve bunuda array a alacak... Daha sonra kalanlar ise sürekli değişkenler olacak mecburen.. Burda ise mecburen <p></p> aralarındaki yazılar olmuş olacak. Ama her site blede yapmaz. Bunun içinde o siteye zgü değişkeni belirlemen gerekecek. Sanırım baya karıştı anlatırken karışıyor oturup kodlamaya başlamak lazım yavaş yavaş kodlarken daha rahat oluyor sanırım. Byle bir şey yapabilirsen her halde botçular için devrim olur amk :) Php for SEO nun ardından Php for Gcode

Yanlış anlamadıysam bir veritabanı oluştur. nce varmı diye arat sonra ekle? Bence bu dünya üzerinde seçilmiş ırk diye bi kavram varsa bu ırk kesin ruslardır. Onlar daha iyisini yapana kadar en iyisi onlar

adamı ya kimse anlamamış yada bende mi sıkıntı var. adam template generate ettirmeye çalışıyo eldeki dosyalardan parsing diil lan. hacı değişken sayıda item olan sayfalarda atıyorum arama sayfasında sıkıntı yaşarsın byle bi durumda. sayfa static bile olsa x değişkeni o sayfada boş geçilmiş olabilir, dolayısıyla kod patlayabilir felan baya sıkıntılı bi iş.

Gz kararı yapılabiliyorsa kodla da bir şekilde yapılabilmesi lazım. Nush ile uslanmayanı etmeli tekdir, Tekdir ile uslanmayanın hakkı ktektir!

RegEx her dilde ufak tefek değişikliklere uğruyor fakat kabaca şu şekilde: üye: isim: soyad: yaş:( ?) demek istediğini tam anlamadım ama herhalde regex işini grür. echo "imzanız zel karakter içermemelidir";

hmm gz kararı yapmak istedigin şeyi otomatik yapılmasını istiyorsun anladıgım kadarıyla. en basit yntemle şyle bişi olabilir. seo da nemli zelliklerden biri biliyoruzki site içerisindeki kelime yoğunluğu ve bu tarz bir çok application var. kelime yoğunluğu lçen bir application yazarsak şablondaki sabit değerleri bulabiliriz. daha sonra geriye parse etmek kalıyor. edit: ben mi yanlış anladım yoksa herkes mi yanlış anladı anlamadım :| FCN tarafından 19/Ağu/13 11:54 tarihinde düzenlenmiştir

onedio da büyük ihtimalle çekilen url de <body> tagının arasında <p></p> arasını çekiyordur ve html tagları sildiriyordur. Yada daha nce tanımlanan bir sitedir. bir çok sitede bende botu byle yapıyorum. Adamlar tasarımı değiştirseler bile p tagı kullandıkları için problem çıkmıyordu. Yada şyle bir mantık geldi aklıma Boşlukara gre parçalacaksın : Array = "<a"; Array = 'href="http://tahribat.com"'; array = 'title="tarhibat">'; ... ... ... .. . Diye incek bu referans array olacak daha sonra bir sonraki sayfa alındığında ereg replace ile /n leri kaybedeceksin ve for dngüsü ile array varmı varsa devam bu değişken değilarray . array varmı varsa devam bu değil iye devame deceksin. Bla bla mantık aslında byle olur ama dediğim gibi kodlama yaparken denye yanıla test ede ede gitmek en mantıklısı. Yada daha mantıklı bir fikir gelmiyor. Php for SEO nun ardından Php for Gcode

çzüm: htmlagility pack detay geliyor: Geldi: foreach kısmında hangi klasrden dosyaları okutacaksan onu yaz hocam.htmlagilitypack ile de içeriği çek. divlere filan çok girmediği için genelde string işlemleri halletti ama kesinlikle çalışır :) HtmlWeb htmlWeb = new HtmlWeb ; HtmlAgilityPack. HtmlDocument document = new HtmlAgilityPack. HtmlDocument ; string http_reply = string. Empty; string imgy = string. Empty; string title = string. Empty; string ad=string. Empty; string soyad=string. Empty; string yas=string. Empty; string FilePath = ""; foreach // dosyaların file collectiona atılması laazım. { http_reply = DosyadabOku ; document. LoadHtml ; HtmlNode maindiv=document. DocumentNode. SelectSingleNode ; title = maindiv. InnerText. ToString . Split ; maindiv = document. DocumentNode. SelectSingleNode ; if { string icerik = maindiv. InnerText; int i = 0; foreach (string c in icerik. Split { switch i++; } } } manglerman tarafından 19/Ağu/13 12:04 tarihinde düzenlenmiştir türk kızlarından sabun yapalım, rus kızları elini yıkasın.:)

Anlatamamışım, Agility packi biliyorum, regexi de sıkça kullanıyorum. Fakat derdim buna regex yazabilmek değil. rneğin ben herhangi bir sitenin urlsini şyle vericem. tahribat.com/members. asp?id= o gidip dolaşacak htmlleri çekecek sonra buradan okuduğu bilgiyi database'e aktarabilmem için hangi blümler statik hangi blümler değişiyor bana onu gstersin istiyorum. Fakat tahribat.com yerine başka bir site/forum vsde aynı işlemi yaparsam da tıkır tıkır çalışsın istiyorum. bana regex yazdırmasın yani. çektiği dosyalarda hiç değişmeyen alanları bulsun yeterli. gerisini hallederim. Dosyanın html olması da şart değil, herhangi bir txt dosyası olarak da düşünebilirsiniz. statik alanları bulduktan sonra dbye geçirmesi çok kolay, her alanın hangi karakter aralığını kullandığına bakıp isim mi, sayı mı, email mi kolayca ayrıştırıp doğru alanlara aktarabilirim gerisinde problem yok. HolyOne tarafından 19/Ağu/13 12:42 tarihinde düzenlenmiştir Nush ile uslanmayanı etmeli tekdir, Tekdir ile uslanmayanın hakkı ktektir!