Newsgroup: it.news.net-abuse
Titolo: Statistiche di confronto

Ciao,
sono alla ricerca di una fonte che mi fornisca dei numeri che mettano a
confronto le varie tecniche utilizzate dai software antispam (filtri
bayesiani, euristici, signature based, blacklist, ...) possibilmente
con dati aggiornati ai primi sei mesi di quest'anno.
Grazie!
Paolo


Consiglierei di partire da 
http://www.spamlinks.net
, in particolare vedi
http://www.spamlinks.net/stats.htm
Non credo che sia necessario dire che la normalizzazione dei dati grezzi
provenienti da svariate fonti è tutt'altro che banale...

Grazie...
Il mio problema è questo: vorrei confrontare la percentuale di spam
bloccato di una o più blacklist con quella di un anti-spam basato ad
esempio su filtro bayesiano; ovviamente vorrei avere anche un confronto
sui falsi positivi. La cosa è complicata dal fatto che i dati devono
essere recenti (2006).
Altri suggerimenti?

 sui falsi positivi.
Un tale raffronto non penso lo si trovi, ma non sarebbe comunque
significativo esternamente alla singola realtà considerata.
I filtri bayesani variano la propria efficacia in funzione del training
e delle impostazioni dei gestori dei filtri, e possono esserci quindi
differenze abissali tra due sistemi che utilizzano lo stesso programma
di filtro.
Dato che poi i due approcci (bayes + bl) in genere vengono applicati
contemporaneamente, penso sia difficile trovare dati disaggregati, e
comunque anche se li trovassi non sarebbero significativi.
Forse sarebbe meglio se dicessi a cosa ti servono tali dati, che magari
l'esperienza altrui potrebbe esserti più utile di 4 grafici.
-- 
Flavio Visentin
Membro del CICAP
Comitato Italiano per il Controllo delle Affermazioni di P4

 sui falsi positivi. 
Detto cosi' mi sembra un po' confrontare le mele con le pere. Mentre 
avrebbe piu' senso confrontare le pere con la frutta.
Noi siamo passati recentemente (giugno) da un sistema basato puramente 
su DNSBL a livello sendmail, a uno basato su spamassassin (amavisd-new 
come milter di sendmail che chiama spamassassin).
Lo abbiamo fatto per gradi :
 - prima abbiamo messo spamassassin su un solo MX lasciando attive
   le DNSBL e verificando che partisse il training bayesiano 
   quindi le mele (spam rigettato da DNSBL e' rimasto tale) e abbiamo
   cominciato a scartare anche le pere (spam rigettato da spamassassin
   che non e' SOLO il bayesiano, ma anche altre regole interne di
   spamassassin, le URIBL (molto efficienti) e un diverso uso delle
   DNSBL ... in quanto spamassassin non controlla solo che il sito di
   connect sia in BL, ma tutti quelli nelle header Received !)
 - poi abbiamo provato a levare le DNSBL, lasciando cioe' che 
   spamassassin rigettasse mele e pere
 - dopo di che abbiamo messo la configurazione sul secondo MX
 - piu' recentemente abbiamo aggiunto, per gradi, clamav, razor2, DCC e
   pyzor, prima su un MX e poi su entrambi
Io ero scettico sulla efficienza di spamassassin rispetto alle DNSBL 
(perche' queste agiscono prima), ma mi sono ricreduto. Una cosa che ho 
visto credo in uno dei link citati in questo thread e che non abbiamo 
provato e' il greylisting ... ho visto plot relativi in cui a parita' di 
efficienza di reiezione, il greylisting li blocca prima e con minor 
carico.
Ho dei plot del periodo da giugno ma sono su un sito privato e di non 
facile interpretazione se uno non sa le date in cui sono stati 
introdotti i vari cambi.
Ho anche statistiche piu' dettagliate (transienti) per l'ultima 
settimana, inclusi degli istogrammi dello score di spamassassin per lo 
spam e i mail buoni. Posso dire che eravamo partiti con una 
distribuzione di score che per i mail buoni ovviamente piccava a zero e 
cadeva a 4.5 (soglia) e per lo spam saliva da 4.5 verso 10 e poi calava, 
adesso invece e' piatta fino a 30 e oltre.
La statistica dell'ultimo giorno e' una roba del genere, ma le DNSBL 
sono disabilitate da tempo
Total inbound mail 	2148	100%
Good mail 		340	15.8287%
Bad header (SA) mail 	4	0.18622%
Banned attachment (SA) 	0	0%
Virus (ClamAV) 		11	0.512104%
SPAM by spamassassin 	959	44.6462%
SPAM by DNSBL 		0	0%
rejected by sendmail 	13	0.605214%
lost input channel 	120	5.58659%
rejected AND lost 	18	0.837989%
rejected by greet pause	152	7.07635%
premature closure 	4	0.18622%
time out during read 	11	0.512104%
no command after HELO 	286	13.3147%
no such user 		316	14.7114%
other anomalies 	138	6.42458%
I falsi positivi sono praticamente nulli, anzi la situazione e' 
migliorata rispetto a prima. Ovviamente noi siamo un caso particolare 
(ambiente accademico con un pattern di traffico peculiare).
Anche prima con le sole DNSBL i falsi positivi autentici (mailer di 
domini accademici blacklistati) erano molto pochi (meno di una decina 
l'anno). La principale lamentela era di utenti che non ricevevano posta 
privata da amici su ISP commerciali, o anche da colleghi che la 
mandavano da casa tramite ISP commerciali, e tali SMTP server venivano 
blacklistati.  Con il passaggio a spamassassin (che combina DNSBL e 
contenuto) tali casi si sono ridotti a zero.
A parte due o tre casi nella fase iniziale quando il filtraggio 
bayesiano era ancora in fieri (incluso il caso di una mailing list di un 
dominio accademico mal gestito che transitava su tre server loro, di cui 
quello intermedio, non gli MX era blacklistato), non abbiamo avuto 
alcuna lamentela.
Il "grosso" per dire dei nostri problemi e' stato risolvere i problemi 
di permission nella installazione dei vari package, creazione delle 
socket ecc.
-- 
----------------------------------------------------------------------
nos...@mi.iasf.cnr.it
 is a newsreading account used by more persons to
avoid unwanted spam. Any mail returning to this address will be rejected.
Users can disclose their e-mail address in the article if they wish so.


Come già ti han detto, quello che chiedi è nella migliore delle ipotesi
un casino completo, per via di svariate ragioni, ma tra le più evidenti:
- una qualsiasi statistica di efficienza dipende dalla realtà in cui
viene applicata. Oltre alla già citata adattività dei filtri bayesiani,
va aggiunto anche il fatto che utenti (e domini) diversi tendono a
ricevere spam di tipo diverso, quindi la scelta del campione è pressochè
impossibile da definirsi in maniera accettabile.
- una qualsiasi statistica non è in grado di valutare da sè il tasso di
falsi positivi e falsi negativi avvenuti: se il sistema (*qualsiasi*
sistema) fosse in grado di riconoscere falsi (positivi o negativi che
siano), non avresti falsi. Unico modo sarebbe verificare *manualmente*
la correttezza dell'azione dei filtri. Questo da un lato si adatta male
ai grandi numeri (e quindi la statistica perde di significato),
quand'anche fosse che tutti gli utenti considerino spam gli stessi
campioni (e così *non* è, tipicamente).
- in una statistica come quella che chiedi, un nullrouting dell'intero
flusso di posta avrebbe una efficienza pari al 100%.
Di fatto, gli studi di questo tipo sono molto pochi, e ancora meno
(*molto* meno) sono quelli effettuati usando metodologie a malapena
decenti. Tutto IMHO, ovviamente.
Inoltre, le analisi sono sufficientemente complesse e impegnative da
richiedere (quelle "serie", perlomeno) anche parecchi mesi per l'analisi
dei dati raccolti. Con il risultato che nella migliore delle ipotesi hai
la fotografia di "come stavano le cose X tempo fa"...

Innanzitutto grazie a tutti per le preziose informazioni.
Effettivamente forse non sono stato molto chiaro. Diciamo che il mio
obiettivo è meno nobile di quanto sembra (anche perchè non sono un
esperto). Ciò che vorrei avere sono dei dati indicativi (ma supportati
da una fonte che li ha pubblicati recentemente) relativamente ad "ogni"
tecnologia utilizzabile per combattere lo spam. Ad esempio (dati
inventati):
- la fonte XYZ stima che utilizzando le blacklist si possano
intercetttare il 34% di mail indesiderate con il 23% di falsi positivi.
- la fonte ABC stima che utilizzando le filtri euristici si possano
intercetttare il 90% di mail indesiderate con lo 0.5% di falsi
positivi.
- ...
Ovviamente se queste fonti fossero (almeno in apparenza) indipendenti
da produttori di software anti-spam sarebbe meglio. Il confronto non
deve essere "scientifico", basta una indicazione di massima.
Le tecnologie che sto considerando sono i filtri bayesiani, le black
list, i filtri euristici, la tecnica signature based, il reverse
lookup, challenge & response.
Anche se può sembrare strano non sono riuscito a trovare tutti i dati
che cerco.
Grazie per l'aiuto.
Paolo


Capìt. Insomma, interessa l'aspetto meramente pratico.
La risposta è spiazzante: tutte e nessuna. Anche qui, come detto,
dipende da molti fattori.
Ogni implementor è una campana.
Ti dico la mia: la soluzione che adotto/adottiamo è una mistura di
DNSBL, analisi degli header, analisi comportamentale e un altro po' di roba.
Tutto è volto al blocco su socket, non ci sono meccanismi di
"categorizzazione" (la spam-folder, per capirsi), nè bayesiani, nè
altro: o la roba "passa" oppure non passa.
Il dominio 
bofhland.org
 (usato da me e un po' di amici) è sottoposto a
questo trattamento, e il risultato è questo:
23-08-2006      Mail Totali: 817        Bloccate: 684   Accettate: 133
24-08-2006      Mail Totali: 669        Bloccate: 499   Accettate: 170
25-08-2006      Mail Totali: 633        Bloccate: 474   Accettate: 159
26-08-2006      Mail Totali: 362        Bloccate: 307   Accettate: 55
27-08-2006      Mail Totali: 170        Bloccate: 114   Accettate: 56
28-08-2006      Mail Totali: 371        Bloccate: 227   Accettate: 144
29-08-2006      Mail Totali: 437        Bloccate: 267   Accettate: 170
30-08-2006      Mail Totali: 615        Bloccate: 446   Accettate: 169
31-08-2006      Mail Totali: 394        Bloccate: 220   Accettate: 174
01-09-2006      Mail Totali: 324        Bloccate: 205   Accettate: 119
02-09-2006      Mail Totali: 429        Bloccate: 377   Accettate: 52
03-09-2006      Mail Totali: 191        Bloccate: 121   Accettate: 70
04-09-2006      Mail Totali: 410        Bloccate: 286   Accettate: 124
Il tasso di falsi negativi si attesta attorno a quota 3-4 campioni nelle
giornate con livelli di spam più alto, oppure nel caso di 0-day "recenti".
Il tasso di falsi positivi è che su quel dominio, in un anno e 3 mesi,
se ne è avuto uno solo.
Il costo della cosa è la necessità di 3 persone ben skillate che seguono
attivamente l'aggiornamento del ruleset, per un totale di ore/uomo di
circa 4-6 ore al giorno.
Ovviamente, se dovesse essere applicata ad un solo dominio, lo sforzo è
eccessivo. In questo caso gli stessi numeri si applicano ad alcune
centinaia di domini, tra domini siti da noi e domini outsourced.
Il tutto per dire che i numeri nudi e crudi continuano a significare
poco, in quanto non ti danno la percezione del lavoro che sta "dietro"
la semplice "messa in funzione".
Se l'obiettivo è di avere una soluzione "accendi e dimentica", la vedo
molto dura, perchè le cose cambiano di continuo, e l'efficacia di
qualsiasi soluzione tende a decadere velocemente sulla media distanza.
Meglio affidarsi, in tal caso, a soluzioni gestite, che vanno
dall'acquisto di appliance dedicati all'outsourcing del relayer di ingresso.
Se l'obiettivo è una soluzione con un livello di efficienza buono ma un
costo di gestione abbastanza contenuto (dell'ordine delle 1-2 ora/uomo a
settimana) l'uso di framework di filtraggio come spamassassin è un buon
compromesso, purchè si comprendano le limitazioni imposte
dall'implementazione utilizzata (solo scoring se postqueue, e quindi
spamfolder da analizzare; elevata esosità di HW -soprattutto su flussi
"importanti"- se applicato in pre-queue, oltre all'impossibilità -quasi-
di applicare ruleset diversi per destinatari diversi della stessa mail,
ecc), e la necessità di mantenersi comunque aggiornati (Mailing List,
Forum, usenet, ecc) per carpire le variazioni da applicare in corso
d'opera in funzione di cambiamenti nel "bestiario" dello spam entrante.
I miei 2 cent...

 I miei 2 cent...
...e i miei...
-- 
Gerolamo 

Grazie a tutti per il prezioso aiuto...
Paolo