Hız nasıl? Bir de captcha zormuş hakkaten, ben bile çzemiyorum bazısını :D İnsan; insan olsaydı, insan olmazdı..

Zone-H.com'u bilmeyen yoktur herhalde. Kısaca bahsetmek gerekirse blackhat hackerların deface ettikleri sitelerin bir nevi screenshot/snapshot'unu alan bir site. Çok güzel bilgiler barındırabiliyor. rnek vermek gerekirse Turkiye'de bu site üzerinde kayıtlı kaç blackhat hacker grub/kişi var veya bunlar kaç defacement yapmış şeklinde güzel datalar sağlanabilir. Bende parse etmeye çalışayım dedim. Bizim baştacımız olan python modüllerinden <strong style="-sizing: border-;">requests,<strong style="-sizing: border-;"> lxml 'in işimizi grebileceğini düşündüm. Fakat istek yaptığımda bana response olarak içinde bolca şifrelenmiş veri gnderen bir zone-h karşıma çıktı tabi ki bunun yanında captcha ise cabasıydı. Biraz araştırma ile aşağıda vereceğim bir yazı da şifrelenmiş kodları decode etmek için bir yol var. İyi hoş fakat bu seferde captcha sorunu karşımıza çıkıyordu. Bende farklı yollara girdim ve iyi ki de girmişim dedim. Decode edebileceğiniz yntem:https://blog.amilx.com/scaping-zone-h/ Şimdi parse etmek için yıllara gre filtreleme seçenekleri kullanmak istedim. Bundan nce ncelikle bi sitemap. xml e bakmak istedim çünkü eğer sitemap. xml de aşağıda ki gibi bir yapı var ise bu benim işimi çok büyük lçüde kolaylaştıracaktı. İşimi kolaylaştırabilecek bir yapı aşağıda ki resimde bulunuyor. Grdüğünüz gibi googlebots vs sitemap i otomatik oluşturulan xml lerden çekiyor. Fakat zone-h'da byle bir yapı bulamadım. Neyse salaklığıma denk gelmiş ve bulamamış da olabilirim. Eğer bulabilirseniz yorum mention herhangi bir şekilde yorumunuzu alabilirim Neyse bende id üzerinden gitmeye karar verdim. Bu şekilde ilk id den başlayıp sonuna kadar gidecektim. Projemde selenium kullandım. Hatalı bir mirror rneği: Hatalı mirror url Neyse kodlara geçelim. Kod kısmını berbat syntax highlighter yüzünden paylaşamıyorum. kodların devamı için : https://0x6.pw/zone-h-parser.html 0x656e tarafından 21/Tem/16 17:35 tarihinde düzenlenmiştir

Hız nasıl? Bir de captcha zormuş hakkaten, ben bile çzemiyorum bazısını :D Hız olarak ilk id yi getirmesi uzun sürebiliyor ama sonrasını cacheleyip çok daha hızlı çalışıyor. Captcha zor ya ama 30 dk da bir çıkıyor sanırım hani request miktarına değilde cookie nin bitişine bakıyor büyük ihtimal