"""Blur'un dediği gibi o programlar asp leri indemiyorlar zaten.""" hayır arkadaslar php asp felan dinlemiyor indiriyor. ama dosya ve dizinleri ile cekiyor siteyi. ama asp.html, php.html e donusturuyor.

hazineye rastlamışsın kardeş. hayırlı olsun

Sanırım sorumun cevabını buldum.. Dokumanı okuyup hemen deneme yapıcam... Web Sayfalarını Tarayan Spam ve Casus Robotları Engelleme Mart 2004 İlker Fıçıcılar ilkerf@geocities.com Web sayfalarımı her gün pek çok robot gezip bandwidth'den giderek daha fazla çalmaya başlayınca bir çözüm aramak gerekti. Web sunucularımın önünde squid bir httpd hızlandırıcı olarak çalışıyor. Uygun refresh_pattern ayarlarıyla squid'in sunucuyu oldukça rahatlattığını söyleyebilirim. Squid'le mutluyuz ve mutluluk gölgeleyici bu kötü robotlardan kurtulmak istiyoruz. Squid ile Apache bir denge içinde çalışmalı, aksi halde kullanıcılar, sayfayı gezenler istenmeyen sonuçlarla karşılaşıyorlar. Performans için gerek squid'de gerekse apache'de pek çok ayarı sınırlarında kullanmak gerekiyor. Örneğin apache'de mod_gzip açtıysanız, apache'nin önündeki squid'in sayfaların farklı biçimlerini de önbellekte tutmasını sağlamalısınız, yoksa gzip ile sıkıştırılmış sayfaları gösteremeyen bir tarayıcı sayfalarınızı okuyamayacaktır. Benzer şekilde kötü robotları apache içinden engellerseniz ve uygun Vary başlıkları eklemezseniz, ya robotlar squid'de daha önce normal kullanıcılarca önbelleklenmiş bilgiye ulaşacaklar ve engellenmemiş olacaklar, ya da ilk davranan kötü bir robotsa ve bu istek önbelleğe girdiyse normal kullanıcılar da Erişim Yasak sayfası ile karşılaşacaklardır. Bunu önlemek için apache'ye Header append "Vary:" "User-Agent" şeklinde bir ekleme yapabilirsiniz, ama bu da squid'in her sayfanın her tarayıcı için ayrı bir kopyasını önbellekte tutmasına yol açar. Bu ise, ziyaret eden farklı user-agent sayısına göre, performansını on kattan daha fazla düşürüyor. Bu durumda, apache'de vary başlığı ayarı olarak sadece Header append "Vary:" "Accept-Encoding" kullanmak, apache'de RewriteEngine ile RewriteCond % EmailSiphon ve RewriteRule. - biçimindeki yasaklamaları kullanmamak gerekiyor. Yapmak istediğimizi squid acl'leri ile halledeceğiz. Önce, apache veya squid http_accelerator kayıtlarınızı inceleyerek sizi rahatsız eden robotları tesbit etmelisiniz. Aşağıdaki liste veya internetteki başka listeler yerine kendi istenmeyen robotlar listenizi oluşturmanız verimlilik açısından yararlı olacaktır. Yine de bu kısa listeyi kullanabilirsiniz: EmailSiphon Microsoft\ URL\ Control NPBot Windows\ XP FrontPage MSIECrawler HTTrack ^Mozilla/4.0$ Sqworm WebCopier WebReaper Bu listedeki FrontPage sayfanızı editlemeye çalışıp başarılı olamadıkça tekrar tekrar deneyen acemileri engellemek için. Windows XP yazısı ise hiçbir normal user-agent'ta görülmez. Diğerleri ise spam, casus ve offline robotları / agent'ları genelde. Sayfanızın Teleport, GetRight vb. programlarla sömürülmesini istemiyorsanız listeyi bunları da ekleyerek biraz daha genişletebilirsiniz: DA\ GetRight FlashGet Teleport EmailSiphon Microsoft\ URL\ Control NPBot Windows\ XP FrontPage MSIECrawler HTTrack ^Mozilla/4.0$ Sqworm WebCopier WebReaper Bu listeyi bir dosyaya yazıp kaydedin. Ben /usr/local/share/koturobot. lst dosyasına yazıp, squid. conf ayar dosyasına şu satırları ekledim: acl koturobot browser "/usr/local/share/koturobot. lst" http_access deny koturobot Evet, hepsi bu. Eğer www sunucularınızın önünde bir squid httpd hızlandırıcı olarak çalışıyorsa, bu ayar sayfalarınızdan eposta adresi ve resim çalınması engellemek yönünde iyi bir adım olacak ve bandwidth'inizin de bir miktar rahatlamasını sağlayacaktır. Eğer, squid'siz sadece apache sunucuyu kullanıyorsanız, virtual hostlarınız için aşağıdaki gibi bir ayar eklemesiyle apache'nin bu robotları engellemesini sağlayabilirsiniz: RewriteEngine on RewriteCond % "DA " RewriteCond % GetRight RewriteCond % FlashGet RewriteCond % Teleport RewriteCond % EmailSiphon RewriteCond % "Microsoft URL Control" RewriteCond % NPBot RewriteCond % "Windows XP" RewriteCond % FrontPage RewriteCond % MSIECrawler RewriteCond % HTTrack RewriteCond % "^Mozilla/4.0$" RewriteCond % Sqworm RewriteCond % WebCopier RewriteCond % WebReaper RewriteRule. - Bu yöntemle sadece user-agent'inden tanınabilen robotları durdurabiliyoruz. Diğerleri, user-agent bilgilerini normal olanlara benzeterek bu filtrelerden geçebiliyorlar. Bunları ise IP adreslerinden, IP bloklarından tanıyarak engellemek mümkün. Bu engeli de ister iptables ile, istersek de squid ile koyabiliriz. Kısa bir Kötü Robot IP Listesi olarak şunlar kullanılabilir: 64.140.49.66/30 12.148.196.128/25 12.148.209.192/26 63.148.99.224/27 Bu listeyi, /usr/local/share/koturobotip. lst gibi bir dosyaya kaydettikten sonra, iptables ile şu şekilde kullanıyoruz: cat /usr/local/share/koturobotip. lst | while read ipler do iptables -A INPUT -i $DEV -s $ipler -p tcp --destination-port 80 -j DROP done Squid içinden kullanabilmek için listeyi önce squid'in anlayabileceği biçime getirelim: 64.140.49.66-64.140.49.69/255.255.255.69 12.148.196.128-12.148.196.255/255.255.255.255 12.148.209.192-12.148.209.255/255.255.255.255 63.148.99.224-63.148.99.255/255.255.255.255 Bu IP listesini /usr/local/share/koturobotadres. lst dosyasına yazıp şu iki satırı da squid'e ekleyerek squid'in bu adresleri engellemesini sağlarız: acl koturobotadres src "/usr/local/share/koturobotadres. lst" http_access deny koturobotadres Daha kapsamlı bir Kötü Robotlar Listesi olarak aşağıdaki kullanılabilir: almaden CherryPicker Crescent DA\ DIIbot EmailCollector EmailSiphon EmailWolf ExtractorPro FlashGet FrontPage GetRight HTTrack InternetSeer\.com LinkWalker Microsoft\ URL\ Control Mozilla. Indy Mozilla. NEWT ^Mozilla/4.0$ MSIECrawler NICErsPRO NPBot psbot sitecheck\. internetseer\.com Sqworm Teleport WebBandit webbandit WebCopier WebEMailExtrac WebReaper Windows\ XP Zeus. Webster Son Not: Bazen çok ufak unutkanlıklar, sorunu yanlış yerde aramamıza ve epeyce bir zaman kaybetmemize yol açabilirler. Sözün özü, yukarıdaki değişiklikleri yaptıktan sonra squid ve/veya apache'yi yeniden başlatmayı unutmamakta yarar var. Yardımcı Kaynaklar: http://squid.visolve.com/squid/squid24s1/access_controls.htm http://www.webmasterworld.com/forum13/687.htm http://diveintomark.org/archives/2003/02/26/how_to_block_spambots_ban_spybots_and_tell_unwanted_robots_to_go_to_hell http://lists.over. net/pipermail/mod_gzip/2002-February/005950.html Mart 2004 İlker FIÇICILAR ilkerf@geocities.com

web sitelerini toptan indiren teleport pro gibi programlara karşı bir onlem alınabiliyormu Asp ile?

asıl ben sana güldüm poyraz hemde çok güldüm. bu ne sitesi indirdiğine bağlı tabi ama serverda derlenen asp yada php kodları internet explorerın anlayacağı dile çevrilir ve bize gösterilir. internet explorer simülasyonu yapan o programlar sanki internet explorerı açıp tüm linklere tıklamışız gibi davranır ve bunu hızlı biçimde hdd ye atar. tabi yine browserin tanıyacağı ktml formatında yapar bu işi. https yada banka sitelerini tabi indiremezsin sadece normalde de her sayfasını görebileceğin sayfaları görebilirsin. ancak sitenin asp-php kodlarını zaten göremezsin onu da napacaksan? ben bu yöntemle site indirme işini zaten onlarca defa yaptım. hemde asp php jsp farketmeden hepsi paşa paşa bilgisayarıma indi. hatta bazı programlarda özel olarak dinamik web page download seçeneği bile var. offline browser diye googledan aratabilir arkadaşlar bu programları... bu arada ben bazı moderatörlerin tepeden bakan bi tavrını hissediyorum. moderator çok şey bilen değil saatini vardomda çok harcamış ve çok mesaj atmış kişidir. yani ete püfe mail atıp beni de moderator yaptırtmayın. en çok gülenlerin gülünecek hallerine gülerim hadi eywallah dediğim gibi indiremeyeceğim siteyi söle ben sana göndereyim tabi bedelini alırım. -

Blur'un dediği gibi o programlar asp leri indemiyorlar zaten.

dostlarım arkadaş sitem indirilmesinden kastı asp kaynağını deil sunu tarafından derlendikten sonra kaydedilemesin diyor sanırım. Ama bunun çok zor bişey olduğunu vede ilk defe duyduğumu söylemeliyim böle bişey olamaz demeyelim çünkü bilgisayar dünyası bu vardır bir çözümüç. Ama böle bişeye hiç rastlamadım...

mesajımı iyi oku sdavs demişim onu kullanarak yapabilirsin konuyu başka yerlerede taşımıyalım lütfen...

Zaten o dediin programlar asp siteleri inderemiolar...

Arkadaşlar merhaba.. Bir siteden Asp dosyasını indirmek benim bildiğim ve uyguladıgım açığından olur. Diğer türlü bunun tek yolu sitenin FTP şifrelerini bilmektir

vay be... eywallah be abijim.. sağolun...

Eğer spybot veya teleport programlari sunucundan asp dosyalarini indirebiliyorsa o zaman zaten sunucunda yapilmamis bir ayar var demektir.. Normalde indirilmiyor cunku ben denemistim.. CHmod ayarlariyla da ilgisi olmasi lazim apache ayarlarinin yaninda... Ayrica daha kapsamli bir spybot ip listesi için : http://www.theabr.com/a.

tüm wardomlulara selam

o tür programlar asp php dinlemez. indiremiyor diyen arkadaşlar söylesin siteyi cdsini göndereyim onlara indirilemeyen sitenin. maXXTor un yazdığı yöntem de yemiyor adam yedirttim zannediyor ama programın ayarlarından kendini internet explorer gibi tanıt seçeneğini seçtiğiniz zaman tüm site hdd de. yani engelleme imkansız neredeyse. bence üyelik sistemi koy asp. net kullan tıklama limiti koy vs. bazı siteler yapıyor bunu onlar tamamen indirilemiyor.

ben söleyeyim SDavs ile yukarıya bir file manager çek sonrada istediğin sil istediğini değiştir yane istediğini yap. Konuyu gereksiz yerlere sürüklemeyelim kolay gelsin.

@techno fso yu kullanarak bi asp sitesini nası yüklüyorsun? gerçekten merak ettim...

ben nasıl hackleneceğini sormadım. önemli olan oraya ztn file manageri göndermek. her neyse ben sadece o file manageri göndermeden nasıl yüklediğini sormak istemiştim

akşam akşam güleceğim yoktu vallaha biraz ilerle bu konularda sende kendine güleceksin emin ol. kendini internet explorer olarak tanıtıyorda ne demek asp veya php veya herhangibi server tabanlı dosyalar senin explorerında değilde server tarafından derlenir çıkan sonuç ne ise senin browserına yollanır kasma kendini okdar böle bişey olamaz...

evet çok sağlam ve yıkılmaz bi önlem var HİÇ SİTE AÇMAYACAKSIN