Php ile kategori->alt kategori -> alt alt kategori şeklinde gezip bulduğu sayfayı parse edip dbye basan bir bot yazdım. Simple html dom parser sınıfını kullanarak yazdım, ancak php bilmediğim için şyle sıkıntılarım var; 1) kullandığım hazır sınıfın en popüler hatası olan "bu fonksiyonu non-object bir değişken ile kullanamazsınız". Kullanımım şu şekilde; $data = getSayfa //curl ile sayfa çekilip bi değişkene atanıyor, o değişken return ediliyor $html = str_get_html getSayfa içerisinde returnden nce return edilecek değişkeni yazdırdığımda sıkıntı yok, ama kullandığım şekilden sonra var_dump dediğimde bool yazdırıyor, muhtemelen bu yüzden str_get_html işe yaramıyor, devamında $html->find dediğimde hata veriyor. localde wamp sıkıntı yapmıyor ama sunucu bu hata yüzünden çalıştırmıyor scripti, 500 dnüyor. 2) sanırım kodun urlleri gezme işlemi sql sorgularından daha hızlı gerçekleşiyor, haliyle 5url gezilip 5 sorgu gnderiliyor ama ancak 1 tanesi insert yapabiliyor gibi. Çünkü test ederken sadece urlleri çektirmiştim, tamamlanmadan durdurmama rağmen yaklaşık 10k url çekilmişti, ancak gece scripti açtım, sabah kalktığımda hata vermeden durmuştu ve sadece 1k kayıt girilmişti dbye. Bu işi sağlıklı bi şekilde nasıl yapabilirim hani "sorgu tamamlanmadan başka urle geçme, kesinlikle işle" şeklinde.transaction denedim, ya olmadı ya ben beceremedim. 3) scriptin bitmesi saatler alacak, bu engetli set_time_limit ile localde wampda aşıyorum ama sunucuda bu fonksiyon disable edilmiş. localde çalıştırırsam işlemin tamamlanması daha uzun sürecek, sunucuda ne şekilde çalıştırabilirim scripti? Bu 3 başlıkla ilgili büyük lçüde yardıma ihtiyacım var :/ 3. madde çok nemli değil, ilk ikisini çzebilsem bi makina ayırırım 2-3 gün uğraşsın çeksin diye. db işlemleri için pdo kullanıyorum, bot olduğu için hiç prepare olayına girmedim, direk exec diyip geçiyorum. :)

Hocam url yi asagidaki şekilde çekmek daha Doğru olacaktır $kod = file_get_html ; 2. sorunuz için kodlarınizi grmek ve onların üzerinden ne yapmaya çalıştığınız gstersen iz daha faydalı olabilir hocam 3. soruya gelince ya time_limit i sunucuya aldığınız firma ile grüşüp ayarlamaniz lazım hocam. Yok yapamıyorum ama illa sunucuda çalışsın istiyorsan nce tüm linkleri kısa sürede toplatip daha sonra da cron a bağlanmış bir sayfa oluşturursun. Bu sayfa çekilecek veriler sütünü boş olanı çeker dolu olana karışmaz ama emin ol hm süre hemde performans açısından rezil bir çalışma olur nceleri Kızlar Utanınca Kızarırdı Şimdilerde Kızarınca Utanıyorlar..

Yazdığım kodda sıkıntı yokmuş, bütün olay urldeki Türkçe karakterler ve boşluklarmış. Ufak bi replace ile hallettim. :)

php bot = sırt kaşıyacağı ile osbir çekmek