Newsgroup: it.lavoro.professioni.webmaster
Titolo: Divoratori di banda

Postando prima in un altro post in merito al consumo di banda mi č venuta in
mente una domanda relativa ai divoratori di banda.
Io chiamo divoratori di banda tutti quei programmi che mirrorano un sito
(teleport pro e compari), che sebbene utili per un utente (che si puň
scaricare tutto offline e poi consultare con calma) per chi gestisce il sito
non č il massimo, infatti c'č un enorme consumo di banda paragonato al
"ritorno".
La domanda č: voi che sistemi adottate per evitare questa "piaga" ?
Nel mio caso ad esempio, la maggiorparte di quelli che finiscono sul mio
sito da google per le parole
raccolta icone
http://www.google.it/search?q=raccolta+icone&ie=UTF-8&oe=UTF-8&hl=it&lr=
attivano poi il programmino e voiltat, si scaricano tutte le pagine.
(porcavacca il mio č un sito di programmazione e mi arrivano un bel po' di
utenti per le icone! sono primo infatti con quella ricerca, che tristezza!)
Potrei ovviare magari riservando l'area agli iscritti ma non vorrei far
pesare la cosa agli utenti che non fanno uso di tali programmini (anche se
mi sa che alla fine farň cosě) e quindi volevo cercare vie alternative.
Potrei fare uno script che mi legga il nome del browser (per teleport pro
solitamente č appunto "Teleport Pro" e cose simili per gli altri) il
problema č che tali programmi sono stati studiati anche per ovviare a queste
contromosse, infatti un utente puň scegliere di "impersonoficare" altri
browser.
Conoscete qualche altro sistema affidabile?
Voi come vi comportate?
Ovviamente queste domande hanno senso per chi cerca di risparmiare sulle
spese che gia ha, se il sito mi facesse guadagnare non credo che mi farei
tanti problemi :)
-- 
Fabio Angela (aka Red Angel) ICQ: 95966807
http://www.redangel.it
 : il portale sulla programmazione

Stai per caso parlando di quei 25 (23) file mediamente intorno ai 40 k
l'uno? E ti causano un problema di uso di banda?
Mah, se e' cosi' non sei messo bene..
Personalmente mi sono scelto un hosting che offrisse traffico
illimitato proprio per non dover stare a sclerare (e a pagare!) di
fronte al contatore dei mega di traffico che gira!
Per curiosita' quanti accessi fa il tuo sito? Stavo guardando le mie
statistiche: ieri piu' di 650 accessi unici e piu' di 4400 pagine
viste.

Trust me stupid <Trustm...@spam.ma.mi> ha picchettato sulla
tastiera:
:: Stai per caso parlando di quei 25 (23) file mediamente intorno ai 40
:: k l'uno? E ti causano un problema di uso di banda?
:: Mah, se e' cosi' non sei messo bene..
::
:: Personalmente mi sono scelto un hosting che offrisse traffico
:: illimitato proprio per non dover stare a sclerare (e a pagare!) di
se è consultingweb hai appena detto un altro motivo per non sceglierli.
Secondo te se fai 80 giga di traffico mensile su un account da 30 euro
l'anno, dato che la banda e il traffico costano in maniera proporzionale al
loro utilizzo, quanto dura l'account?

 viste.
circa 750 utenti unici e circa 6500 pageview (ovviamente io non risulto
nelle stat)
ma non è questo il punto come ti ho detto su, io guardo "in là"


loro utilizzo, quanto dura l'account?
Per ora l'account dura, speriamo. :) Comunque non sono mai stato
d'accordo su questa filosofia contraria al traffico illimitato.
All'aumentare del traffico ci possono essere altri meccanismi che
fanno si' che il prezzo, ne' per il cliente, ne' per l'isp, leviti.
Per esempio si puo' fissare per il sito un bps massimo, raggiunto il
quale non si puo' far altro che lasciar diventare un po' piu' lento il
sito. Bisogna rendersi conto che le risorse non sono infinite e al
crescere del traffico da qualche parte si deve sacrificare, nel prezzo
che sale o nelle prestazioni che scendono. Personalmente, per cio' a
cui il mio sito e' destinato, scelgo volentieri di lasciar scendere le
prestazioni visto che di soldi da spendere non ne ho. Smettiamola
allora di dire che il traffico illimitato non esiste e che bisogna
sempre pagare, non e' vero. Si puo' pagare se si vuole avere un
servizio sempre al top, in ogni situazione di traffico. Ma a chi ha un
sito senza scopo di lucro serve e conviene un servizio al top? Io il
servizio al top non lo voglio e non me lo posso permettere e mi va
benissimo un sistema a traffico illimitato come quello che ho
descritto che non vive alle spalle di nessuno.

 descritto che non vive alle spalle di nessuno.
Oggettivamente traffico infinito non esiste per motivi tecnici, ma a parte
questo dettaglio, i servizi che offrono banda illimitata non
sopravvivrebbero se tutti ne facessero uso smodato, di conseguenza di
provvedimenti ne prendono gia (oscuramenti di siti "casuali", blocchi
improvvisi, continui riavvii di server, malfunzionamenti random,
sovraccarico dei server, etc...)
Se non ho pretese nulla mi vieta di affidarmi a loro, ma prova a convincere
un cliente che si incazza (a ragione) se quando va a vedere il sito è lento
o non funziona proprio.
"Banda Infinita" nel campo del professionale non dovrebbe esserci (non tanto
per la "banda infinita" in se, quanto per i problemi che si porta dietro, e
cioè gli "aggiustamenti" che l'hoster deve fare per starci dentro


no grazie, sono stato già scottato una volta
Racconta se ti va, sono curioso.

>"Banda Infinita" nel campo del professionale non dovrebbe esserci (non tanto
Dici bene e tutto il discorso ruota intorno alla parola
"professionale".
La banda illimitata per l'ambito professionale e' quella che
all'aumentare del traffico costringe l'isp ad erogare piu' risorse e
fa quindi levitare le spese.
La banda illimitata per l'ambito non professionale e' quella che
all'aumentare del traffico non fa erogare all'isp piu' risorse le
quali rimanendo le stesse per un numero di visitatori crescente fa
ridurre le prestazioni del sito.
Quindi la banda illimitata esiste anche senza dover sborsare centinaia
di euro per ogni decina di giga in piu' rispetto al piano tariffario
dell'isp. Tutto dipende da che cosa si vuole e fin dove ci si vuole
spingere con le prestazioni.

 Racconta se ti va, sono curioso.
la scottatura principale è che semplicemente il sito mi è stato chiuso
diverse volte per motivi inventati sul momento e alla mia richiesta di
riattivazione fatta prontamente aspettavano svariate ore (non giorni solo
perchè rompevo sufficientemente)
Oltre a questo, come ti ho detto precedentemente server che adottano tale
politica in qualche modo intaccano la qualità generale del servizio per
"starci dentro" e questo ora non mi va più bene


 Racconta se ti va, sono curioso.
la scottatura principale è che semplicemente il sito mi è stato chiuso
diverse volte per motivi inventati sul momento e alla mia richiesta di
riattivazione fatta prontamente aspettavano svariate ore (non giorni solo
perchè rompevo sufficientemente)
Oltre a questo, come ti ho detto precedentemente server che adottano tale
politica in qualche modo intaccano la qualità generale del servizio per
"starci dentro" e questo ora non mi va più bene
-- 


 Racconta se ti va, sono curioso.
la scottatura principale è che semplicemente il sito mi è stato chiuso
diverse volte per motivi inventati sul momento e alla mia richiesta di
riattivazione fatta prontamente aspettavano svariate ore (non giorni solo
perchè rompevo sufficientemente)
Oltre a questo, come ti ho detto precedentemente server che adottano tale
politica in qualche modo intaccano la qualità generale del servizio per
"starci dentro" e questo ora non mi va più bene
-- 


 Racconta se ti va, sono curioso.
la scottatura principale è che semplicemente il sito mi è stato chiuso
diverse volte per motivi inventati sul momento e alla mia richiesta di
riattivazione fatta prontamente aspettavano svariate ore (non giorni solo
perchè rompevo sufficientemente)
Oltre a questo, come ti ho detto precedentemente server che adottano tale
politica in qualche modo intaccano la qualità generale del servizio per
"starci dentro" e questo ora non mi va più bene
-- 


 Racconta se ti va, sono curioso.
la scottatura principale è che semplicemente il sito mi è stato chiuso
diverse volte per motivi inventati sul momento e alla mia richiesta di
riattivazione fatta prontamente aspettavano svariate ore (non giorni solo
perchè rompevo sufficientemente)
Oltre a questo, come ti ho detto precedentemente server che adottano tale
politica in qualche modo intaccano la qualità generale del servizio per
"starci dentro" e questo ora non mi va più bene
-- 


 Racconta se ti va, sono curioso.
la scottatura principale è che semplicemente il sito mi è stato chiuso
diverse volte per motivi inventati sul momento e alla mia richiesta di
riattivazione fatta prontamente aspettavano svariate ore (non giorni solo
perchè rompevo sufficientemente)
Oltre a questo, come ti ho detto precedentemente server che adottano tale
politica in qualche modo intaccano la qualità generale del servizio per
"starci dentro" e questo ora non mi va più bene
-- 


 Racconta se ti va, sono curioso.
la scottatura principale è che semplicemente il sito mi è stato chiuso
diverse volte per motivi inventati sul momento e alla mia richiesta di
riattivazione fatta prontamente aspettavano svariate ore (non giorni solo
perchè rompevo sufficientemente)
Oltre a questo, come ti ho detto precedentemente server che adottano tale
politica in qualche modo intaccano la qualità generale del servizio per
"starci dentro" e questo ora non mi va più bene
-- 


scusate ho avuto problemi di connessione e alla fine il messaggio è partito
7 volte ?!?!
dovrei comunque aver cancellato gli altri 6 cloni


Voi come vi comportate?
Me l'ero posto questo problema.
Una vita intera ho grabbato siti e alla fine mi sono ritrovato dalla
parte del grabbato :)
Lo so, fa senso, ma è una ruota che gira :)
Ad ogni modo, una soluzione potrebbe essere non concedere più di tot
pagine al minuto allo stesso ip o controllare appunto a che velocità
va al minuto.
Spesso dai log ti accorgi di un grabber per la contiguità degli
accessi, salta subito all'occhio che non è neanche una ricerca veloce
da parte di un essere umano e una vera e propria succhiata di pagine.
Ho visto robe anche da 1 pagina al secondo, fortunati loro che hanno
trovato il mio hoster così in buone condizioni :)
Se ne sarà sicuramente già parlato, ma si sa..repetita iuvant (era
cosi?)
--
www.pigmalion.info
www.pigmalion.info/perl/

motori di ricerca agiscano in quel modo :(
a meno che non ho preso una svista nei log, le richieste, per esempio,
di google hanno un delay di almeno un minuto.
Da quello che ho imparato, 1 richiesta al minuto dovrebbe essere un
presupposto base di ogni spider robot.
Ovviamente non è sempre così, ma credo che chi voglia fare le cose sul
serio e con una certa 'etichetta' si atterrebbe a quanto sopra.
Quindi? Rimarrebbe valido il suggerimento dell'ip.
--
www.pigmalion.info
www.pigmalion.info/perl/

parte del grabbato :)
ho grabbato siti anche io ma alla fine credo sia convenuto al sito, in
termini di banda...  voglio dire, invece di stare sempre a chiedere
pagine avanti e indietro le chiedo tutte una volta sola e me lo leggo
con calma offline!
comunque sono d'accordo con quanto diceva red, cioè oltre al consumo
sia pure minimo di banda l'utente passivo non partecipa al sito ecc..
diciamo che questo lo si risolve con un sito ben aggiornato.
-- 
dipende.

diciamo che questo lo si risolve con un sito ben aggiornato.
sempre brillante :)
E' sicuramente la soluzione ideale per chi ha la struttura dietro
(gente).
dipende?
Uno di questi giorni ti dico la mia storia (o teoria) su 'dipende' :)
--
www.pigmalion.info
www.pigmalion.info/perl/

 Conoscete qualche altro sistema affidabile?
Red hai provato a modificare le ancore? Invece di <a href="xxxxx">pippo</a>
potresti usare <a href onClick="xxxx">pippo</a> 'forse' il software non
legge l'evento onClick... naturalmente è da provare :)
           Anak
anakthewolfE=mc^
2...@libero.it
 eliminare l'eq per risp in prv
UIN: 123 628 668

 browser.
Ti avviso che non č cosě facile in quanto teleport e penso tutti i programmi
ti premetto di modificare i dati delle HTTP_USER_AGENT
-- 
ITHost (your host company)
Technical Manager
C. Paparelli (MCSE,MCSD,MCDBA)
http://www.ithost.ch

:: Per esempio si puo' fissare per il sito un bps massimo, raggiunto il
:: quale non si puo' far altro che lasciar diventare un po' piu' lento
:: il sito. Bisogna rendersi conto che le risorse non sono infinite e al
:: crescere del traffico da qualche parte si deve sacrificare, nel
se è previsto dal cpontratto il traffico non è più illimitato.
è un contratto contraddittorio

referrer non corrisponde l'immagine non viene scaricata.
Esistono esistono, se non ho capito male quello che intendi sono anzi
molto usati da siti che vogliono evitare l'hotlinking.
Pero' anche questo metodo e' facilmente aggirabile dai programmi che
grabbano siti. Non so se lo facciano gia' ma non e' improbabile. Si
tratta soltanto di aggiungere il campo referer falsificato nella
richiesta http al server il quale ci casca con tutte le scarpe. :)
C'e' anche un sistema anti hotlinking basato su cookie: il sito setta
un cookie; se alle richieste http successive non viene comunicato il
cookie al server questo non da' la pagina chiesta. Questa tecnica sono
sicuro che viene scavalcata gia' da tempo dai programmi che grabbano
siti.