Newsgroup: it.politica.internazionale
Titolo: sull'effetto Brunetta che è propaganda pura cui i fessi abboccano prontamente

Il ministero per la pubblica amministrazione e l'innovazione ha
pubblicato i dati di un'indagine pilota sulle assenze per malattia dei
dipendenti pubblici concludendo che l'evidente riduzione delle assenze
rispetto al 2007 è dovuta al nuovo corso intrapreso dal ministro
Brunetta contro i fannulloni. In realtà i dati a disposizione non
permettono di dimostrare nessun nesso causale.
L'obiettivo dell'indagine è la stima dell'effetto dell'annuncio di
misure severe per contrastare l'assenteismo nella pubblica
amministrazione. L'assenteismo viene misurato dai giorni di assenza
per malattia, relativamente al numero di dipendenti pubblici.
L'effetto annuncio viene stimato confrontando le assenze nei mesi di
maggio e giugno 2008 rispetto agli stessi mesi dell'anno precedente
(questo per evitare di confondere l'effetto annuncio con l'effetto
delle misure assai più concrete in vigore da fine giugno, il cui
effetto è eventualmente riflesso nella variazione di luglio 2008 su
luglio 2007): la differenza è interpretata appunto come l'"effetto
Brunetta". Questa procedura, conosciuta come "differences" è intuitiva
ma il più delle volte fuorviante. Ad esempio, nel caso specifico, cosa
succedeva prima dell'arrivo del nuovo ministro?
Nella figura 1 sotto riporto la serie annuale delle assenze per
malattia, per dipendente e su base mensile, dal 2004 al 2006: si
tratta di dati della ragioneria generale dello stato (pubblicati in
calce alla prima relazione sull'indagine pilota, disponibile qui) e si
riferiscono all'universo dei dipendenti pubblici a tempo indeterminato
(questo è importante perché i dati dell'indagine del ministero per il
2008 sono a campione, un fatto sul quale commento più oltre).
http://www.econ-pol.unisi.it/~zanella/assenz1
La figura 2 riporta invece due (corte) serie mensili della stessa
variabile: per il 2007 si tratta ancora di dati della ragioneria
generale sull'universo, mentre per il 2008 si tratta di un campione di
enti pubblici che fanno parte dell'indagine pilota del ministero (i
dati sono pubblicati nella seconda relazione sull'indagine pilota).
http://www.econ-pol.unisi.it/~zanella/assenz2
In giugno il campione era di 27 enti, per un totale di circa 135mila
dipendenti pubblici (a occhio e croce il 4% del totale), in luglio
sale a una settantina di enti pubblici.
Le due figure e il metodo di campionamento rivelano due problemi.i:
(1) nel complesso della pubblica amministrazione, le assenze per
malattia sono drasticamente diminuite dal 2005 al 2006, e sono
diminuite anche da maggio a luglio 2007: questo andamento non permette
di stimare un effetto causale con un semplice stimatore di tipo
"differences": l'assenteismo per malattia in Italia è in calo per
qualche ragione diversa dall'"effetto Brunetta." Mi stupisce che ci
caschi un po' grossolanamente anche Il Sole 24 Ore.
In questi casi si deve usare (quantomeno) un approccio più generale
che gli economisti chiamano "difference-in-differences". Per chi non
sa di cosa stia parlando, si tratta di un'idea molto semplice: se vuoi
capire se un certo evento B accaduto stamattina abbia influenzato il
comportamento di Tizio devi guardare non solo a come il comportamento
di Tizio è cambiato da ieri a oggi, ma anche come è cambiato, ad
esempio, rispetto al comportamento di suo fratello, Caio, che è
pressoché identico a lui ma che non è stato soggetto a B. Se anche il
comportamento di Caio fosse cambiato nella stessa direzione,
ovviamente dovremmo essere molto cauti nell'interpretare il
cambiamento del comportamento di Tizio come causato dall'evento B.
Quindi, capire se l'annuncio di Brunetta (l'evento B) causa una
riduzione dell'assenteismo nel pubblico impiego (Tizio) richiede un
confronto non solo tra il prima e il dopo (maggio-luglio 2007 vs.
maggio-luglio 2008) ma anche con un gruppo di controllo non soggetto
alle promesse di Brunetta -- ad esempio il settore privato (Caio). Non
c'è dubbio che nel privato il livello di assenteismo sia più basso che
nel pubblico, ma se ad esempio in entrambi i settori ci fosse stata
negli ultimi anni una riduzione delle assenze per malattia a me
qualche dubbio verrebbe.
Sono sicuro che chi ha redatto il rapporto del ministero ha accesso
anche a questi dati (ho provato invano a cercarli online su sito INPS
e altrove: qualcuno di voi sa dove trovarli? Ho trovato solo questo
indizio dall'INPS friulana in favore di un andamento simile).
(2) L'indagine pilota si basa su un campione di amministrazioni che a
mio avviso non può essere considerato casuale (e anche se fosse
casuale il confronto coi dati 2007 sull'intera popolazione
richiederebbe la considerazione di un margine di errore che potrebbe
rendere irrilevanti gli effetti di maggio 2008 e giugno 2008). La
seconda relazione sull'indagine pilota afferma che si tratta di enti
pubblici cui
"va dato il merito di aver risposto con prontezza, l’indagine di
luglio ha coinvolto ben 70 amministrazioni che hanno recepito e fatto
propria la linea di rinnovamento e trasparenza voluta dal Ministro. "
Questo è fondamentalmente un campione che gli economisti chiamano
"autoselezionato": gli enti con più assenteisti hanno meno probabilità
di essere parte del progetto pilota (esempio: se ci fosse un covo di
assentesti, questo probabilmente non farebbe affatto propria la linea
del nuovo ministro), e quindi questo i dati di giugno e luglio 2008
potrebbero anche notevolmente sottostimare le assenze per malattia
nella pubblica amministrazione.
Sebbene mi aspetti che, rispetto ad un improbabile '"effetto
annuncio", le misure più concrete su visite fiscali e decurtamento dei
benefici avranno un effetto, ministero e giornalisti dovrebbero essere
molto più cauti e attendere i dati sull'universo della pubblica
amministrazione prima di proclamare e diffondere annunci
trionfalistici. Il fatto è che in base ai dati disponibili non
possiamo concludere nulla sulla presenza o meno di un "effetto
Brunetta."
http://www.noisefromamerika.org
(è un sito di destra ultraliberista, per cui non è di certo prevenuto
a favore degli statali)

 wrote:
vedi anche:
L’effetto Brunetta e’ una bufala
Il Corriere della Sera da qualche giorno (qui e qui) annuncia
entusiasticamente che le assenze nella pubblica amministrazione sono
in crollo verticale: “tutto merito del decreto anti-assenteismo del
prodigioso ministro Brunetta!”, affermano i giornalisti supportati dai
dati forniti dal Ministero.
Ma questi dati ci dicono qualcosa o sono un facile mentire con i
numeri?
L’amministrazione gestita dal noto economista dell’Universita’ Tor
Vergata sans papier (nel senso senza uno straccio di pubblicazione di
rilievo internazionale, solo libri in Italiano, partecipazioni a
congressi e articoli pubblicati sulle riviste da lui stesso dirette…),
pare si sia sfortunatamente dimenticata di utilizzare le piu’ basilari
tecniche statistiche per valutare l’effetto dei provvedimenti.
Il Ministero della PA ci fa infatti sapere che le assenze nei mesi di
maggio e giugno sono diminuite addirittura del 15% e in alcune
amministrazioni del 50%. Ma cosa e’ accaduto negli anni precenti? E’
sufficiente elaborare i loro stessi dati per accorgersi che il calo
delle assenze era gia’ presente dal 2005 e che addirittura il trend
della diminuzione si e’ fortemente attenuato dopo l’avvento del nostro
eroico Ministro.
http://innovatorieuropeistlouis.files.wordpress.com/2008/08/effetto-brunetta.jpg
Inoltre i dati presentati sono un po’ un guazzabuglio di cose diverse,
come paragonare mele e pere. Fino al 2006 si dispone di dati
complessivi, riferiti alle assenze effettuate in tutta la PA su base
annua. Per il 2007 e il 2008 si confrontano i dati del bimestre giugno-
luglio di 30 aministrazioni selezionate dal ministero.
Inoltre il ministero non ci fa sapere come sono state selezionate
queste amministrazioni. Sono quelle che hanno volontariamente
consegnato i dati? O sono state avvisate in anticipo che sarebbero
state monitorate?  In entrambi i casi e’ possibile che siano state
quelle piu’ virtuose a fornire le informazioni necessarie. Secondo il
grafico successivo non sembra essere il caso delle 30 amministrazioni
selezionate per l’analisi del ministero (pare gli sia andata bene
almeno su questo) Questo grafico, chiamato tecnicamente Funnel plot,
permette di osservare visivamente l’eterogeneita’ dei risultati delle
diverse amministrazioni per il confornto maggio 2007 - maggio 2008.
Eccolo.
http://innovatorieuropeistlouis.files.wordpress.com/2008/08/funnel-plot-brunetta1.jpg
Risulta pero’ molto evidente che la stragrande maggioranza delle
amministrazioni monitorate sono di picola dimensione. Amministrazioni
con migliaia di dipendenti sono sottorappresentate e questo potrebbe
introdurre un serio errore di stima. La dispersione dei risultati
osservati nelle piccole PA e’ molto elevata mentre il dato complessivo
di assenteismo sembrerebbe essere principalmente infuenzato dalle
pochissime mega-amministrazioni, rendendo l’analisi completamente
inutile. Infatti il peso (numero compessivo di dipendenti) delle 4
piu’ grandi PA monitorate e’ quasi 2 volte quello delle restanti 26.
Come minimo questa selezione del campione getta qualche dubbio di
validita’ sulla stima complessiva di assenteismo. Se volessimo pensare
male, con questa selezione del campione, bastere agire con energia su
4 amministrazioni per influenzare i risultati e la percezione di
efficacia del provvedimento in generale. Come atteso, la riduzione di
assenteismo nelle mega amministrazioni e’ complessivamente maggiore
(20%) che nella restante parte del campione (12%). Sarebbe come minimo
il caso di stratificare l’analisi dell’assenteismo nelle PA per numero
di dipendenti e arricchire il campione con PA di grandi dimensioni.
Come se non bastasse il nostro ministero non si e’ curato affatto di
evidenziare il fatto che le assenze diminuiscono naturalmente durante
i mesi estivi e sono fortemente influenzate da outbreaks influenzali
(che capitano a caso nel tempo e nello spazio). In altre parole,
confronti mensili sono assolutamente instabili e solo confronti
annuali sono sensati.
In conclusione e’ sconcertante che il nostro pluri-decorato ministro-
professore (aspirante al nobel per sua stessa dichiarazione) abbia
commissionato e firmato uno studio cosi’ scadente per corroborare il
suo operato.
PS:dopo aver scritto questo articolo mi sono accorto che gli amici di
noisefromamerika hanno condotto un’elaborazione simile di questi
dati.
http://innovatorieuropeistlouis.wordpress.com/2008/08/06/leffetto-brunetta-e-una-bufala/
(quindi anche questo è di destra, visto che chiama amici quelli del
sito precedente)