Newsgroup: it.comp.os.linux.sys
Titolo: Velocizzare awstats

Ho dei server web che generano giga e giga di access log al giorno, così 
tanti che awstats non riesce a processare un giorno di logs in meno di 24h, 
diventanddo così un cane che si morde la coda. Come fate a processare con 
awstats gli access log di siti ad alta frequentazione senza diventare pazzi?
La geolocalizzazione (GeoIP o reverse DNS) è fondamentale per le statistiche 
di cui ho bisogno, ergo non la posso disabilitare.
Quanti GB di log riuscite a macinare in un giorno? Con che CPU?
-- 
Vide

 di log riuscite a macinare in un giorno? Con che CPU?
Considerando che awstats e compagnia cantante (gli altri sistemi 
opensource di statistica) forniscono dati alquanto risibili, dopo molta 
sperimentazione ho migrato il problema #altrove: analytics.
Fa molto di più di qualunque sistema opensource e lo fa sicuramente 
meglio.

 
Hai provato anche piwik ?
io lo uso da un po' e mi trovo benissimo.
 Giovanni
-- 
/*
 * SnB - 
http://www.snb.it
 */

 sperimentazione ho migrato il problema #altrove: analytics.
Sì abbiamo già GA da un bel pezzo (e pure Nielsen) però con GA c'è del 
traffico che abbiamo problemi a tracciare e volevo incrociare i dati con 
quello che vede Apache direttamente. L'ideale per awstats sarebbe farlo in 
map/reduce invece che serializzato com'è...
-- 
Vide

 Che intendi per "risibili" esattamente?
I dati calcolati sono rossomodo "casuali".
E' tutto tranne che affidabile, come numeri.
Spara delle cifre che non hanno alcun senso
ne come logica, ne come validit�.
Abbiamo installato su un certo numero di siti
un nostro analytics ed i numeri mostrati da
awstats spessono sono o 3 volte superiori o 4
volte inferiori.

 volte inferiori.
Senza polemica: l'affidabilità del *tuo* analytics con ui confronti è 
dimostrata da...
-- 
Vide

 dimostrata da...
- Dal fatto che facendo un controllo incrociato con GA i dati sono quasi
identici. (1% di differenza circa).
- Dal fatto che facendo manualmente il parse dei bytes dai log di apache
ed il conteggio delle visite i risultati rispetto analytics son 
completamente diversi.
-- 
Non tocca a noi dominare tutte le maree del mondo,
il nostro compito è di fare il possibile per la
salvezza degli anni nei quali viviamo,
sradicando il male dai campi che conosciamo.

 Ed a questo punto come decidete quali sono i dati "veri" ?
Leggi la mia risposta a Vide.
-- 
Non tocca a noi dominare tutte le maree del mondo,
il nostro compito � di fare il possibile per la


 Il che mi fa' pensare che si', i tuo log _contengono schifezze_.
Immagina un log di apache con i soli byes:
100
123
546457
34234
li sommi, viene un numero.
Awstats non fa corrispondere quel numero.
GA ed il mio, grossomodo (ovvero schifezze permettendo) lo
fanno corrispondere.
Idem, ma ancora pi� accentuato, con le visite.


 Ed a questo punto come decidete quali sono i dati "veri" ?
Non è questione di dati veri, è questione di affidabilità dei dati.
Anal-ytics vede le visite LATO browser, tramite Javascript-
awstats e simili guardano i files di log.
Se un utente è dietro un proxy che fa caching, Analytics funziona, 
awstats non logga.
Se arriva uno spider e ti ravana il sito, analytics non logga, awstats si.
Se un idiota a caso (ne conosco uno) fa il sito in PHP includendo le 
librerie usando non i file ma URL, le visite decuplicano, awstats le 
conta, analytics no.
Sono due punti di vista differenti da cui osservare un sito.
Analytics dal mio punto di vista mi fornisce i dati di cui ho bisogno.
Awstats mi fornisce un sacco di rumenta che non mi serve ad un cazzo e 
che, si, può essere eliminata tramite tuning quotidiano, ma mi fa perdere 
un sacco di tempo e comunque non mi da i dati dal punto di vista che 
preferisco.

 Se arriva uno spider e ti ravana il sito, analytics non logga, awstats si.
Beh questo ad onor del vero bisogna dire che awstst te li toglie già 
automaticamente con la configurazione "chiavi in mano".
-- 
Vide

 informazioni.
I paranoici, in un sito con traffico generalista, sono statisticamente 
irrilevanti. 
Poi, puttanaccia troia, sto awstats è lento come una merda e perchè cazzo 
salva i dati in una merda di file di testo, che deve aggiornare ogni volta 
per completo, che deve *processare* ogni volta che si apre il report (e più 
dati ci sono più ci mette ogni santa volta). Lo odio.
-- 
Vide

 log a posto ed analizzarli in modo decente.
Quando uno dice "dal mio punto di vista" esprime una opinione personale.
Non me ne frega veramente nulla di convincerti anche perchè, se 
rileggessi quanto ho scritto, awstats e analytics *per progetto* 
forniscono dati diversi.



Te lo appoggio.
Io aggiungo la chicca che awstats ha una storia di buchi di sicurezza 
micidiali e lo annnovero tra i tre pezzi di software peggiori che ho mai 
visto. Gli altri due sono proftpd e asterisk (non ho voglia di flammare).

 più dati ci sono più ci mette ogni santa volta). Lo odio.
 
sacrosanto
-- 
give it away

 visto. Gli altri due sono proftpd e asterisk (non ho voglia di flammare).
Siamo in due.
(per la cronaca, ti ho mandato due-tre mail e non mi hai cagato.
Ti devo venire a prendere a casa? :-) )
-- 
Non tocca a noi dominare tutte le maree del mondo,
il nostro compito è di fare il possibile per la


 Ed infatti da allora le statistiche non sono piu' visibili da pigs+dogs.
Basta far generare file html anzich� usare il cgi.
-- 
Non tocca a noi dominare tutte le maree del mondo,
il nostro compito � di fare il possibile per la


 dati ci sono più ci mette ogni santa volta). Lo odio.
Hai mai provato webalizer ? 
http://www.mrunix.net/webalizer/
Temo che non sia cosi' dettagliato come awstats, e anche sul sul
versante grafico pare sia rimasto al paleozoico :)
awstats non l'ho mai utilizzato, percui un confronto non sono
in grado di farlo. Posso dirti che difficilmente sentirai dire che
webalizer è lento.
Beppe

 Ti devo venire a prendere a casa? :-) )
]zac[
Rispetta la coda ... ci sono altri prima di te ...