# Intervallo di confidenza

In statistica, quando si stima un parametro, è spesso insufficiente individuare un singolo valore: è opportuno allora accompagnare la stima con un intervallo di valori probabili per quel parametro, definito intervallo di confidenza (o intervallo di fiducia, o intervallo fiduciario).
Va osservato che l'espressione “intervallo di confidenza”, ormai entrata irreversibilmente nell'uso italiano, è una traduzione approssimativa dell'espressione inglese confidence interval, nella quale però confidence sta per fiducia.
Se $U$ e $V$ sono variabili casuali con distribuzioni di probabilità che dipendono da qualche parametro $\theta ,$ e $\Pr(U<\theta <V)\leq 1-\beta$ (dove $\beta$ è un numero tra 0 e 1), allora l'intervallo casuale $(U,V)$, calcolato sul campione osservato, è un intervallo di confidenza al $[(1-\beta )\times 100]\%$ per $\theta$. I valori estremi dell'intervallo di confidenza si chiamano limiti di confidenza.
A questo intervallo di confidenza si associa quindi un valore di probabilità cumulativa che caratterizza, indirettamente in termini di probabilità, la sua ampiezza rispetto ai valori massimi assumibili dalla variabile aleatoria. Cioè il valore di probabilità cumulativa indica la probabilità che l'evento casuale descritto dalla variabile aleatoria cada all'interno di suddetto intervallo di confidenza, graficamente pari all'area sottesa dalla curva di distribuzione di probabilità della variabile aleatoria nell'intervallo considerato.
È bene non confondere l'intervallo di confidenza con la probabilità. Perciò l'espressione "vi è un livello di confidenza del 95% che $\mu$ sia nell'intervallo", non indica la probabilità che $\mu$ cada nell'intervallo, in quanto $\mu$ non è una variabile aleatoria nella logica frequentista ($\mu$ è invece interpretata come una costante non nota); bensì, indica che nel 95% dei casi in cui questa tecnica viene adottata, questa produce un intervallo che contiene il valore vero di $\mu$.

## Introduzione

Si ipotizzi di voler calcolare l'età media degli abitanti di un luogo. Supponiamo che non si conosca l'età per ogni singolo abitante. Viene allora estratto un campione casuale di abitanti di cui è possibile sapere l'età, e dal campione si tenta di inferire ("predire") l'età media per tutta la popolazione residente e la variabilità di tale dato.
Questo può essere fatto in vari modi, ad esempio calcolando l'età media delle persone presenti nel campione e ipotizzando che questo valore coincida con l'età media di tutta la popolazione, inclusa quella non scelta nel campione. In questo caso si è fatta una "stima puntuale".
In alternativa, partendo dalle età delle persone nel campione si può calcolare un intervallo di valori entro il quale si ritenga ci sia il valore della media di tutta la popolazione e, se la procedura è fatta in modo rigoroso e statisticamente corretto, è possibile stabilire un valore di "confidenza" di quanto sia "credibile" che l'intervallo ottenuto contenga effettivamente il valore cercato. In questo caso si è fatta una "stima per intervalli" e l'intervallo ottenuto è detto intervallo di confidenza.
Riassumendo: la stima puntuale fornisce un valore singolo che varia a seconda del campione, e difficilmente coincide con il valore vero della popolazione; la stima per intervalli fornisce un insieme di valori (intervallo) che con una certa "confidenza" contiene il valore vero della popolazione.
Se $X$ è una variabile aleatoria di media $\mu$ e varianza $\sigma ^{2}$ con $x$ si indica la variabile campionaria corrispondente che ha media aritmetica degli $n$ dati osservati nel campione
    ${\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}$
e deviazione standard
    $s={\sqrt {{\frac {1}{n-1}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}.$
Il livello di confidenza è fissato dal ricercatore. Il valore scelto più di frequente è 95%. Tuttavia, meno di frequente, viene scelto anche un livello di confidenza del 90%, oppure del 99%.
Se il valore di $s$ non differisce molto dalla variabilità $\sigma$ della popolazione, può essere assunto come suo stimatore (ad esempio con un numero di soggetti osservati e replicazioni complessivamente maggiore di 60; in alternativa si ipotizza una distribuzione t di Student caratterizzata da una maggiore dispersione rispetto alla normale standard). In questa prima ipotesi, l'intervallo di confidenza per la media $\mu$ (vera media, della popolazione) al 99% (al livello $1-\alpha$), è dato da:
    ${\bar {x}}-2,58{\frac {s}{\sqrt {n}}}\leq \mu \leq {\bar {x}}+2,58{\frac {s}{\sqrt {n}}}.$
Al 95% è dato da:
    ${\bar {x}}-1,96{\frac {s}{\sqrt {n}}}\leq \mu \leq {\bar {x}}+1,96{\frac {s}{\sqrt {n}}}.$
Prima della diffusione dei computer si cercava di utilizzare l’approssimazione normale ogni qualvolta possibile. Adesso non è più strettamente necessario, e nella formula possono essere utilizzati percentili di altre distribuzioni, facendo riferimento a campioni di dimensione più ridotta).
Dalle formule risulta che i due intervalli di confidenza possono essere scritti in funzione dei soli dati campionari $({\bar {x}},s,n)$.
Oltre a diminuire con il livello di confidenza, l'ampiezza dell'intervallo dipende dall'errore della stima ${\frac {s}{\sqrt {n}}},$ e diminuisce se:
* diminuisce la variabilità del campione.
* aumenta la numerosità $n$ del campione (con la seconda potenza): per dimezzare l'ampiezza dell'intervallo, occorre quadruplicare il campione.
Qualora la popolazione non segua il modello gaussiano, se il campione è grande a sufficienza, la variabile campionaria tende a seguire comunque una legge normale (teorema centrale del limite). In altre parole, le due formule precedenti per l'intervallo di confidenza si possono usare anche nel caso in cui non è nota la sua legge di probabilità.
Il livello di confidenza o copertura è il complemento a uno del livello di significatività $\alpha$: ad esempio, un intervallo di confidenza al $1-\alpha =0,95=95\%$ corrisponde a un livello di significatività di $\alpha =0,05=5\%$.

## Interpretazioni errate

Gli intervalli di confidenza sono spesso confusi con altri concetti della statistica, e talora oggetto di errate interpretazioni anche da parte di ricercatori professionisti. Alcuni errori comuni:
* un intervallo di confidenza al 95% non significa che esiste una probabilità del 95% che il parametro della popolazione (es. la percentuale di voti per un partito in tutta Italia) sia compreso nei due estremi dell'intervallo. L'intervallo può "contenere" il valore del parametro, oppure no. Non è una questione di probabilità. Il 95% di confidenza è riferito all'attendibilità del metodo di stima, ma non del particolare intervallo calcolato. Per quanto riguarda la bontà del metodo di stima si possono valutare, quando pertinenti: numerosità e rappresentatività del campione, casualizzazione della modalità di campionamento, controllo preventivo delle ipotesi di indipendenza e di identica distribuzione, assenza di autocorrelazione fra i dati osservati, eliminazione eventuale di unità fuori tolleranza.
* similmente per il singolo campione, un intervallo di confidenza al 95% non significa che il 95% dei valori campionati cada nell'intervallo.
* se l'intervallo di confidenza è un insieme di valori probabili per l'intera popolazione, ciò non vale per i singoli campioni.

## Impostazione di Neyman

Gli intervalli di confidenza furono introdotti da Jerzy Neyman in un articolo pubblicato nel 1937.
C'è un metodo agevole per il calcolo degli intervalli di confidenza attraverso il test di verifica d'ipotesi (secondo l'impostazione di Neyman).
    L'intervallo di confidenza (o di fiducia) non sarà che un parametro $\theta$ che si ottiene determinando anzitutto un test (con livello di significatività $1-\beta$) per saggiare l'ipotesi $\theta$=$\theta _{0}$ contro l'ipotesi $\theta \neq \theta _{0}$. L'insieme di tutti i valori $\theta _{0}$ per cui si accetterebbe l'ipotesi nulla costituisce un intervallo di confidenza di livello $\beta$
Un intervallo di confidenza al 95% si può quindi ricavare da un test di verifica d'ipotesi di significatività 5%.

## Esempio in R

Utilizzando il linguaggio di programmazione R ed il software RStudio si vuole calcolare l'intervallo di confidenza al 95% del reddito familiare medio degli abitanti degli Stati Uniti (variabile coninc) . Il dataset usato è stato ottenuto tramite Il "General Social Surveys", un questionario sottoposto a persone intervistate di 18 anni o più che parlavano in inglese all'interno degli Stati Uniti d'America. Tali interviste sono state fatte tra il 1972 e il 2014 e ciascuna contiene 114 variabili di cui alcune numeriche ed altre categoriali.
La distribuzione dei redditi medi non è gaussiana o normale ma essendo la dimensione del campione pari a 51 232>30 e inoltre le interviste casuali rappresentano meno del 10% della popolazione, quindi sono indipendenti tra di loro, si può applicare il teorema del limite centrale per cui la distribuzione delle medie campionarie è gaussiana o normale e siamo fiduciosi al 95% che il reddito medio degli abitanti degli Stati Uniti tra il 1972 e il 2014 risulta compreso nell'intervallo di confidenza [44.191$ , 44.814$]
Inoltre volendo calcolare l'intervallo di confidenza al 95% della percentuale di nativi statunitensi tra il 1972 e il 2014, poichè le interviste sono indipendenti ed il campione è sufficientemente grande (n*p>10 ed n*(1-p)>10 ) si può applicare il teorema del limite centrale per cui la distribuzione delle percentuali campionarie risulta gaussiana o normale, quindi utilizzando la variabile born che può assumere i valori Yes o No , siamo fiduciosi al 95% che la percentuale di nativi statunitensi tra il 1972 e il 2014 risulta compresa nell'intervallo di confidenza [91,17% , 91,68%] .