iddaa oranları çok zor hocam yeri geliyor saniyede 1000 tane sorgu oluyor :)

Arkadaslar iddaa sonuç ve oranlarını çekerken verilerin sürekli değişiyor / değişebiliyor olmasından dolayı kısa aralıklarla request atmak durumunda kalıniyor. Doğal olarak bir süre sonra ip ban da kaçınılmaz hale geliyor. WebBrowser gibi siteye bağlanarak gerçekleşen anlık değişimleri almanın yolu / yolları nelerdir? Dil olarak nceliğim php ve python fakat başka diller olsa d sorun değil. nceleri Kızlar Utanınca Kızarırdı Şimdilerde Kızarınca Utanıyorlar..

Phantom js yd bir bakayim. @Cevdet hocam dediğin mantıklı bunu da araştırıp deneyeceğim. Cevaplar için teşekkürler. nceleri Kızlar Utanınca Kızarırdı Şimdilerde Kızarınca Utanıyorlar..

Hazir konusunu bulmusken bendr sorayim. Bir sitenin pagesine post ile input gonderip dosyayi indirmeliyim. Post ile postu gonderdikten sonrw yeni olusacak urlyi nasil elde edebilirim?

@end hocam dediğini anladım ama nedenini bilmiyorum şahsen. Siteye saatlerce bağlı kalsam da sıkıntı yok ama 200-300 req atınca ban geliyor. request header de origin vs blümlerinde site adresi yazıyor manüpüle etmek istediğimde değiştiremedim orasıyla ilgili birşey olabilir sanırım. Ayrıca büyük sitelerde socket.io vs kullanıyorlar onun hakkında detaylı bilgim olmadığı için birşey diyemiyorum. @unbalanced hocam ajax pooling ile ilgili arama yaptım. setTimeout ile belirli aralıklarla sorguyu yineliyor. Esasen aradığım şey sorguyu tekrar tekrar atmaktansa js ile yeni veri attığında site onları yakalayıp almak. Bylece daha az ip kullanarak daha uzun süre verileri çekebilirim. Ben mi acaba yanlış düşünüyorum her defasında tekrar tekrar req atmak mı gerekiyor? @MhmdAlmz hocam daha nce yaşadığın sorunu nasıl çzdün ve rnek kod vs varsa paylaşırsan sevinirim. Kodu paylaşmam mümkün değil ama basit bir rnek sunayım. 4 Top var bu 4 top u 4 android telefon gibi düşün. 4 ü de sürekli topun rengini değiştiriyor. Bu değişiklikleri sen API ile VT ye update sorgusunu calıstırıp daha sonra bu top renklerini çeken client'a da select sorgusu ile 4 topun rengini çekiyorsun. Bunun yerine şyle düşün. 1. Android telefon maviye bastı. Android telefon maviye bastığı anda Android telefon direkt olarak renkleri çeken Client'a Ben Maviye bastım haberin olsun diye bir veri gnderiyor. Arada VT var mı? Yok. Ihtiyaç varmı? Yok. Sen sadee veriyi kaydetmek istiyorsan VT ye kaydet. Daha sonra olur da Sunucuna birşey olursa tekrar renkleri Değişkene atarsın işlem tekrar devam eder. Veritabanı sorgusu kalktı aradan. Direk Android telefon ile rengi çeken Client arasında bir kprü kurdun. Performansın da çok iyi seviyelere yükseldi. 4 telefon da aynı anda rengi çeken Client'a kprü kurdu ve bu kprü aracılığı ile data gnderiyor. Andolsun kuşluk vaktine ve dindiği zaman o geceye ki, Rabbin sana veda etmedi ve darılmadı! Ve kesinlikle senin için sonu nünden daha hayırlıdır. ileride Rabbin sana verecek de hoşnut olacaksın! O, seni bir yetim iken barındırmadı mı? Seni, yol bilmez iken yola koymadı mı? Seni bir yoksul iken zengin etmedi mi? yle ise, sakın yetime kahretme ! El açıp isteyeni de azarlama! Fakat Rabbinin nimetini anlat da anlat!

THocam anlık verilerin olduğu sayfayı chrome ile aç, daha sonra chrome'un javascript console'unu aç Konsola şunu ekle:$ . on("DOMSubtreeModified", function );Bu kodu çalıştırdığında console'da, class'ını verdiğin div değiştiğinde "div içeriği değişti" goreceksin. console. log'u şununla değiştirebilirsin $ . on("DOMSubtreeModified", function );Metodun çalışması için socket.io çalışan NodeJS'li bir localhost sunucun olması gerekir. Bilgisayarına nodejs kurup, bir sunucu oluşturup, socket.io'yu import edip, 8181 portu listen etmen gerek. Gelen dataları da alıp localhost mysqle kaydedebilirsin. nodeJS in mysql driverı var ve çok İYİ Cevdet tarafından 23/Eyl/17 02:59 tarihinde düzenlenmiştir

Benim gonderdiğim metodda anlık datalar kişinin web sayfasından local bir veritabanına kaydedilio. Bu kadar emek verdikten sonra localden web sunucuna gonderecek mekanizmaı da eklemek zor değil Birçok metod var localdeki bir data'ı live sunucua gondermenin Bu şekilde anlık data aynı zamanda sende de olur, gecikme zamanı da gonderilen requestlerin gecikmeleri kadar olurT

@end hocam dediğini anladım ama nedenini bilmiyorum şahsen. Siteye saatlerce bağlı kalsam da sıkıntı yok ama 200-300 req atınca ban geliyor. request header de origin vs blümlerinde site adresi yazıyor manüpüle etmek istediğimde değiştiremedim orasıyla ilgili birşey olabilir sanırım. Ayrıca büyük sitelerde socket.io vs kullanıyorlar onun hakkında detaylı bilgim olmadığı için birşey diyemiyorum. @unbalanced hocam ajax pooling ile ilgili arama yaptım. setTimeout ile belirli aralıklarla sorguyu yineliyor. Esasen aradığım şey sorguyu tekrar tekrar atmaktansa js ile yeni veri attığında site onları yakalayıp almak. Bylece daha az ip kullanarak daha uzun süre verileri çekebilirim. Ben mi acaba yanlış düşünüyorum her defasında tekrar tekrar req atmak mı gerekiyor? @MhmdAlmz hocam daha nce yaşadığın sorunu nasıl çzdün ve rnek kod vs varsa paylaşırsan sevinirim. nceleri Kızlar Utanınca Kızarırdı Şimdilerde Kızarınca Utanıyorlar..

adamın siteyi tasarlayış tarzına, aldığı güvenlik nlemlerine dikkat etmeden sadece işine yarayan kısmı çekmeye çalışırsan 1 request'te de ban yiyebilirsin, adamın insafına bağlı tersten düşünürsen olayın mantığını anlarsın sitem var, verilerim benim için değerli, çünkü verilere para veriyorum, reklam alıyorum nasıl korurum en basitinden sayfa dolaşma hızına limit koyarak başlarsın işe, belirli değerin üstüne çıkan (bir insan saniyede 20 sayfa dolaşabilir mi) kişileri banlarsın daha sonra javascript ile destekler, kişiye has bilgileri paketleyip sunucuya belirli aralıklarla i'm alive / ping paketleri yollarsın bunlar en basit rnekler, adamın uygulayacağı fantazilere bağlı zorluk artar rneğin iddia'ya girdim, html kodunda 120 saniyede bir refresh kodu var meta tag sen buna uyuyon mu? hayır :D ajax'tan da sadece işine yarayan kısmı alıondur, 3 tane paket geliyor 2-3 saniyede bir ki bunlarda da If-None-Match ile değer değişti mi diye kontrol eden header'dan tut bir sürü farklı header var ban yemek istemiyorsan kolaya kaçıp tarayıcı kullanacaksın, üstte verilen rnekteki gibi ben yiğidoyum, atıma atlar tek başıma düşmanın anasını sikerim diyorsan da oturup adam debug eyleyeceksin tarayıcının yaptığını birebir simule edeceksin

cahilliğime ver hocam, sadece bir fikir :D Bu chrome'da nbelleği grüntüle kısmından doğru satır ve sütuna ulaşıp oradan çeksen olmaz mı? pokemon oyunu için zamanında yle birşeyler yapmıştım sanırım :D ama benimkisi sadece bütün pokemon isimlerini almakla alakalıydı, sürekli güncellenen bir yapı değildi yani GodKlaus tarafından 22/Eyl/17 22:44 tarihinde düzenlenmiştir Telegram : @CuneytKuscu && Discord : Tyenuc#2679 | İstanbul Avr. Yazılım Mühendisi ve sonunda işim var (:

Cevdet bunu yazdı Veya hiç nodeJS konusunu katmadan halledelim$ . on("DOMSubtreeModified", function { var match = $ . parent . attr ; //T var homgol = $ . parent . find ; //T var depgol = $ . parent . find ; //T $. post("http://localhost/kaydet", , function );});Bu sefer de ajax ile gonderdik localhostuna, çalışması için sayfada jquerı olması gerekir. Jquerısiz sayfa kaldı mı? olmadı AngulaJS. Hiç olmadı direk Javascript T hocalar bu anlık güncelleme hiçlikten gelmiyor ya, güncellemeyi sağlayan dosyaya req attırılsa ya? Ban yiyecek olsak bizim de ban yememiz gerekir kullanıcı olarak. Sonuçta sürekli arkada istek atıyoruz güncel kalmak için? Hocam genelde json formatında veri dnderen bir sayfa oluyor ve veriyi oradan alıp işliyor adamlar. Dediğin gibi değer dndüren sayfaya sürekli request atınca flood olarak algılayıp ip ban atıyor. Bunu ya yazılımsal olarakda yapmış olabilirler yada server flood koruması devreye giriyordur. nceleri Kızlar Utanınca Kızarırdı Şimdilerde Kızarınca Utanıyorlar..

coder2 bunu yazdı end bunu yazdı Cevdet bunu yazdı Veya hiç nodeJS konusunu katmadan halledelimBu sefer de ajax ile gonderdik localhostuna, çalışması için sayfada jquerı olması gerekir. Jquerısiz sayfa kaldı mı? olmadı AngulaJS. Hiç olmadı direk Javascript hocalar bu anlık güncelleme hiçlikten gelmiyor ya, güncellemeyi sağlayan dosyaya req attırılsa ya? Ban yiyecek olsak bizim de ban yememiz gerekir kullanıcı olarak. Sonuçta sürekli arkada istek atıyoruz güncel kalmak için? Hocam genelde json formatında veri dnderen bir sayfa oluyor ve veriyi oradan alıp işliyor adamlar. Dediğin gibi değer dndüren sayfaya sürekli request atınca flood olarak algılayıp ip ban atıyor. Bunu ya yazılımsal olarakda yapmış olabilirler yada server flood koruması devreye giriyordur. E ayni adrese browser'dan baglanirken biz de surekli req atiyoruz, bizi niye banlamiyor diyorum hocam. saniyede 10 tane 100 tane 1000 tane requesti browser dan atabiliyor musun? burada sanirim arkadas onu demek istemistir, sürekliden kasti kisa araliklarla istek gnderme. Büyük ihtimalle cogu site ip yi banlar, captcha cikarir vs. konuya gelince, bu olaya ajax pooling deniyor, ajax kullanabilirsin veritabaki icin ancak daha yeni yaklasimlar kullanabilirsin. mesela SignalR bu is icin uygun her ne kadar asp. net icin real time web fonksiyonlari dense de masaüstü icin uygulamalar mümkün. Mantiken de, anlik olarak request atmak yerine, servise subscribe olup, degisimlerde metodun tetiklenmesidir. Request bazli da yapilabilir ama bu yola girmek pek mantikli degil bence. Ajax pooling olayini arastirip czebilirsin Ülkesini Seven Her Türk Vatandasi, Ülkesinin Sessiz Istilasi'na karsi durmak zorunda.

end bunu yazdı Cevdet bunu yazdı Veya hiç nodeJS konusunu katmadan halledelimBu sefer de ajax ile gonderdik localhostuna, çalışması için sayfada jquerı olması gerekir. Jquerısiz sayfa kaldı mı? olmadı AngulaJS. Hiç olmadı direk Javascript hocalar bu anlık güncelleme hiçlikten gelmiyor ya, güncellemeyi sağlayan dosyaya req attırılsa ya? Ban yiyecek olsak bizim de ban yememiz gerekir kullanıcı olarak. Sonuçta sürekli arkada istek atıyoruz güncel kalmak için? Hocam genelde json formatında veri dnderen bir sayfa oluyor ve veriyi oradan alıp işliyor adamlar. Dediğin gibi değer dndüren sayfaya sürekli request atınca flood olarak algılayıp ip ban atıyor. Bunu ya yazılımsal olarakda yapmış olabilirler yada server flood koruması devreye giriyordur. E ayni adrese browser'dan baglanirken biz de surekli req atiyoruz, bizi niye banlamiyor diyorum hocam. 0x0480 takilin madem

ncelikle emin olmadığımı dile getirerek sylim. phantom js ile sanırım yapabilirsin istediğini. browser mantıgıyla çalıştığı için bağlantıyı keep alive tutarak data çekmeyi sağlayabilirisn diye düşünüyorum. bir documentationlarına bak istersen varmı rnek bişi.

Veya hiç nodeJS konusunu katmadan halledelim$ . on("DOMSubtreeModified", function { var match = $ . parent . attr ; //T var homgol = $ . parent . find ; //T var depgol = $ . parent . find ; //T $. post("http://localhost/kaydet", , function );});Bu sefer de ajax ile gonderdik localhostuna, çalışması için sayfada jquerı olması gerekir. Jquerısiz sayfa kaldı mı? olmadı AngulaJS. Hiç olmadı direk Javascript T Cevdet tarafından 23/Eyl/17 02:58 tarihinde düzenlenmiştir

end bunu yazdı coder2 bunu yazdı end bunu yazdı Cevdet bunu yazdı saniyede 10 tane 100 tane 1000 tane requesti browser dan atabiliyor musun? burada sanirim arkadas onu demek istemistir, sürekliden kasti kisa araliklarla istek gnderme. Büyük ihtimalle cogu site ip yi banlar, captcha cikarir vs. konuya gelince, bu olaya ajax pooling deniyor, ajax kullanabilirsin veritabaki icin ancak daha yeni yaklasimlar kullanabilirsin. mesela SignalR bu is icin uygun her ne kadar asp. net icin real time web fonksiyonlari dense de masaüstü icin uygulamalar mümkün. Mantiken de, anlik olarak request atmak yerine, servise subscribe olup, degisimlerde metodun tetiklenmesidir. Request bazli da yapilabilir ama bu yola girmek pek mantikli degil bence. Ajax pooling olayini arastirip czebilirsin C# istiyorsan Unbalanced'in de dediği gibi SignalR ile her türlü çzeceksin. Veri iletimi çok daha hızlı. Ajax gibi değil. Ajax pooling ile de halledebilirsin ama bunlara hiç gerek yok. Git direkt olarak bir socket ile hallet bunu. Php için Racthet JavaScript için Node. js/Socket.io C için istiyorsan payden websoc diye arat bulursun. Client için hangisi uygun grüyorsan onu kullan. WebSocket ile veri iletimi çok daha kolay ve çok daha hızlı. Oturum ynetimini vs de yapabilirsin. Ek olarak. Data kaybı asla yşanmaz. rneğin ajax ile sürekli olarak VT sorgulamak yerine. Socket ile gelmeyen datayı sorgulmak daha mantıklı. Socket içerisnde bunun kontrolünü yaparsın. Veritabanını sürekli sorguya çekmek sistem'i şişirecektir. Daha nce yaşadığım sorun çünkü. Veri kayıt edildi ise Veriyi bir değişkene al sunucu tarafında. Yeni kayıt edilen veriyi gnder. Gidip de milyonlarca data içeriisnden 3-5 veriyi arama. Andolsun kuşluk vaktine ve dindiği zaman o geceye ki, Rabbin sana veda etmedi ve darılmadı! Ve kesinlikle senin için sonu nünden daha hayırlıdır. ileride Rabbin sana verecek de hoşnut olacaksın! O, seni bir yetim iken barındırmadı mı? Seni, yol bilmez iken yola koymadı mı? Seni bir yoksul iken zengin etmedi mi? yle ise, sakın yetime kahretme ! El açıp isteyeni de azarlama! Fakat Rabbinin nimetini anlat da anlat!

Benim de merak ettiğim bir konu, zellikle anlık borsa verilerin çekimi nasıl oluyor?

Veya hiç nodeJS konusunu katmadan halledelim$ . on("DOMSubtreeModified", function { var match = $ . parent . attr ; //T var homgol = $ . parent . find ; //T var depgol = $ . parent . find ; //T $. post("http://localhost/kaydet", , function );});Bu sefer de ajax ile gonderdik localhostuna, çalışması için sayfada jquerı olması gerekir. Jquerısiz sayfa kaldı mı? olmadı AngulaJS. Hiç olmadı direk Javascript T hocalar bu anlık güncelleme hiçlikten gelmiyor ya, güncellemeyi sağlayan dosyaya req attırılsa ya? Ban yiyecek olsak bizim de ban yememiz gerekir kullanıcı olarak. Sonuçta sürekli arkada istek atıyoruz güncel kalmak için? 0x0480 takilin madem