# Teoria degli errori e fondamenti di statistica/E

../D ../F IncludiIntestazione 4 settembre 2022 100% Da definire
Teoria degli errori e fondamenti di statistica Maurizio Loreti 2006 CC BY-SA 3.0 GFDL Indice:Teoria_degli_errori_e_fondamenti_di_statistica.djvu //it.wikisource.org/w/index.php?title=Teoria_degli_errori_e_fondamenti_di_statistica/E&oldid=- 20220904084032 //it.wikisource.org/w/index.php?title=Teoria_degli_errori_e_fondamenti_di_statistica/E&oldid=- 20220904084032
Appendice E
La funzione di verosimiglianza
Si supponga di aver compiuto $N$ osservazioni indipendenti relative ad una grandezza fisica $x$, e di aver trovato i valori $x_{i}$, con $i=1,2,\ldots ,N$. Ciascuna delle variabili casuali $x_{i}$ abbia poi densità di probabilità data da una funzione nota $f_{i}(x_{i};\theta )$; funzione che supponiamo dipenda da un parametro $\theta$ di valore vero $\theta ^{*}$ ignoto, e definita in un intervallo dell’asse reale delle $x_{i}$ con estremi indipendenti da $\theta$ (che potremo assumere essere $\pm \infty$ ponendo eventualmente $f_{i}(x_{i};\theta )\equiv 0$ esternamente all’intervallo di definizione).
Una stima di una generica funzione nota del parametro, $\tau (\theta )$, che supporremo con derivata non nulla, è una funzione dei soli valori osservati $t(x_{1},x_{2},\ldots ,x_{N})$; dunque a sua volta una variabile casuale, con associata una funzione densità di probabilità che indicheremo con $g(t;\theta )$. La stima si dice imparziale (o indistorta) quando il suo valore medio
| $E(t)$ | $=\int _{-\infty }^{+\infty }\,t\,g(t;\theta )\,\mathrm {d} t$ |
| | $=\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\,f_{1}(x_{1};\theta )\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,f_{N}(x_{N};\theta )\,t(x_{1},x_{2},\ldots ,x_{N})$ |
è uguale al rispettivo valore vero:
$E(t)=\tau (\theta )$.
Il caso particolare della stima del parametro stesso corrisponde alla funzione $\tau (\theta )=\theta$, che soddisfa evidentemente alla richiesta di possedere derivata prima non nulla $\tau '(\theta )=1$. [p. 284
Una importante proprietà della stima $t$ è la sua varianza, data (se essa è imparziale) da
| ${\sigma _{t}}^{2}$ | $=\int _{-\infty }^{+\infty }\,{\biglt-\tau (\theta ){\bigr ]}^{2}g(t;\theta )\,\mathrm {d} t$ |
| | $=\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\,f_{1}(x_{1};\theta )\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,f_{N}(x_{N};\theta )\,{\biglt(x_{1},x_{2},\ldots ,x_{N})\tau (\theta ){\bigr ]}^{2}$ |
perché la minima varianza sarà il nostro criterio di scelta fra diverse stime di $\tau (\theta )$.
Il teorema che segue (teorema di Cramér-Rao) mostra che esiste un limite inferiore per la varianza di una stima. Osserviamo per prima cosa che la densità di probabilità per la $N$-pla $(x_{1},x_{2},\ldots ,x_{N})$ risulta
$\prod _{i=1}^{N}f_{i}(x_{i};\theta ^{*})$
per il teorema della probabilità composta; se in luogo del valore vero $\theta ^{*}$ si pone il parametro variabile $\theta$, si ottiene la funzione di verosimiglianza
${\mathcal {L}}(x_{1},x_{2},\ldots ,x_{N};\theta )=\prod _{i=1}^{N}f_{i}(x_{i};\theta )$.
La condizione di normalizzazione di ciascuna $f_{i}$ comporta che l’integrale della verosimiglianza su tutti i domini delle variabili $x_{i}$ valga 1:
* $\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\int _{-\infty }^{+\infty }\,\mathrm {d} x_{2}\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,{\mathcal {L}}(x_{1},x_{2},\ldots ,x_{N};\theta )\;=$
* $=\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\,f_{1}(x_{1};\theta )\int _{-\infty }^{+\infty }\,\mathrm {d} x_{2}\,f_{2}(x_{2};\theta )\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,f_{N}(x_{N};\theta )$
* $=\prod _{i=1}^{N}\int _{-\infty }^{+\infty }\,\mathrm {d} x_{i}\,f_{i}(x_{i};\theta )$
* $\equiv \;1$
indipendentemente dal valore di $\theta$. Derivando sotto il segno di integrale rispetto a $\theta$, dato che i domini delle $f_{i}(x_{i};\theta )$ non dipendono da detta variabile si ottiene
$\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\int _{-\infty }^{+\infty }\,\mathrm {d} x_{2}\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,{\frac {\partial {\mathcal {L}}}{\partial \theta }}=0$
da cui, dividendo e moltiplicando l’integrando per ${\mathcal {L}}$, risulta
* $\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,{\mathcal {L}}\left({\frac {1}{\mathcal {L}}}\,{\frac {\partial {\mathcal {L}}}{\partial \theta }}\right)\;=$
* $=\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\int _{-\infty }^{+\infty }\,\mathrm {d} x_{2}\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,{\mathcal {L}}\,{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}$
* $=\;\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\,f_{1}(x_{1};\theta )\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}f_{N}(x_{N};\theta )\,{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}$
* $=\;0$
ossia
Se $t$ è imparziale
$E(t)\;=\;\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,t(x_{1},x_{2},\ldots ,x_{N})\,{\mathcal {L}}(x_{1},x_{2},\ldots ,x_{N};\theta )\;=\;\tau (\theta )$
da cui, derivando ambo i membri rispetto a $\theta$,
$\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\int _{-\infty }^{+\infty }\,\mathrm {d} x_{2}\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,t\,{\frac {\partial {\mathcal {L}}}{\partial \theta }}=\tau '(\theta )$.
Dividendo e moltiplicando poi l’integrando per la verosimiglianza ${\mathcal {L}}$, risulta
* $\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,t\,{\frac {\partial {\mathcal {L}}}{\partial \theta }}\;=$
* $=\;\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,t\,{\mathcal {L}}\left({\frac {1}{\mathcal {L}}}\,{\frac {\partial {\mathcal {L}}}{\partial \theta }}\right)$
* $=\;\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\,f_{1}(x_{1};\theta )\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,f_{N}(x_{N};\theta )\,t\,{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}$
* $=\;E\left\{t\,{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right\}$
e, in definitiva,
Infine, sottraendo membro a membro da questa equazione la precedente (E.1) moltiplicata per $\tau (\theta )$, si ottiene
$E\left\{t\,{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right\}-\tau (\theta )\cdot E\left\{{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right\}=\tau '(\theta )$
$E\left\{{\biglt-\tau (\theta ){\bigr ]}\cdot {\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right\}=\tau '(\theta )$.
Se ora si definiscono il rapporto
$R(\theta )={\frac {E\left\{\left[t-\tau (\theta )\right]\cdot {\dfrac {\partial (\ln {\mathcal {L}})}{\partial \theta }}\right\}}{E\left\{\left[{\dfrac {\partial (\ln {\mathcal {L}})}{\partial \theta }}\right]^{2}\right\}}}={\frac {\tau '(\theta )}{E\left\{\left[{\dfrac {\partial (\ln {\mathcal {L}})}{\partial \theta }}\right]^{2}\right\}}}$
(che è una costante dipendente da $\theta$; osserviamo anche che deve risultare $R(\theta )\neq 0$) e la variabile casuale
$z=\left[t-\tau (\theta )\right]-R(\theta )\,{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}$
il cui quadrato risulta essere
$z^{2}=\left[t-\tau (\theta )\right]^{2}-2\,R(\theta )\cdot \left[t-\tau (\theta )\right]{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}+R^{2}(\theta )\cdot \left[{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}$
prendendo il valore medio di $z^{2}$ si ottiene
* $E(z^{2})\;=\;E\left\{{\biglt-\tau (\theta ){\bigr ]}^{2}\right\}-2\,R(\theta )\cdot E\left\{{\biglt-\tau (\theta ){\bigr ]}\cdot {\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right\}+$
* $+\;R^{2}(\theta )\cdot E\left\{\left[{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}\right\}$
ossia
* $E(z^{2})\;=\;{\sigma _{t}}^{2}2\,{\frac {\tau '(\theta )}{E\left\{\left[{\dfrac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}\right\}}}\,\tau '(\theta )+$
* $+\;\left\{{\frac {\tau '(\theta )}{E\left\{\left[{\dfrac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}\right\}}}\right\}^{2}E\left\{\left[{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}\right\}$
| $E(z^{2})$ | $=\;{\sigma _{t}}^{2}-2{\frac {\left[\tau '(\theta )\right]^{2}}{E\left\{\left[{\dfrac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}\right\}}}+{\frac {\left[\tau '(\theta )\right]^{2}}{E\left\{\left[{\dfrac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}\right\}}}$ |
| | $=\;{\sigma _{t}}^{2}-{\frac {\left[\tau '(\theta )\right]^{2}}{E\left\{\left[{\dfrac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}\right\}}}$. |
Ma il valore medio del quadrato di una qualsiasi variabile casuale non può essere negativo, e dunque
$0\;\leq \;E(z^{2})\;=\;{\sigma _{t}}^{2}-{\frac {\left[\tau '(\theta )\right]^{2}}{E\left\{\left[{\dfrac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}\right\}}}$
ed infine
${\sigma _{t}}^{2}\geq {\frac {\left[\tau '(\theta )\right]^{2}}{E\left\{\left[{\dfrac {\partial (\ln {\mathcal {L}})}{\partial \theta }}\right]^{2}\right\}}}=\left[\tau '(\theta )\right]^{2}\,{\frac {R(\theta )}{\tau '(\theta )}}=\tau '(\theta )\cdot R(\theta )$
cioè:
Nessuna funzione dei valori osservati $t(x_{1},x_{2},\ldots ,x_{N})$, che sia stima imparziale di una funzione del parametro $\tau (\theta )$, può avere varianza inferiore ad un limite determinato.
La varianza minima si raggiunge se e soltanto se $E(z^{2})$ è nullo, il che è possibile solo se $z$ è nulla ovunque, cioè se
$z\;=\;t-\tau (\theta )-R(\theta )\,{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\;\equiv \;0$
o, altrimenti detto, se la derivata logaritmica della verosimiglianza è proporzionale alla variabile casuale $t-\tau (\theta )$:
Nel caso particolare che tutte le $x_{i}$ provengano dalla stessa popolazione, e che quindi abbiano la stessa densità di probabilità $f(x;\theta )$,
${\frac {\partial (\ln {\mathcal {L}})}{\partial \theta }}\;=\;{\frac {\partial }{\partial \theta }}\sum _{i=1}^{N}\ln f(x_{i};\theta )\;=\;\sum _{i=1}^{N}{\frac {\partial }{\partial \theta }}\ln f(x_{i};\theta )$
$E\left\{{\frac {\partial (\ln {\mathcal {L}})}{\partial \theta }}\right\}\;=\;\sum _{i=1}^{N}E\left\{{\frac {\partial }{\partial \theta }}\ln f(x_{i};\theta )\right\}\;=\;N\cdot E\left\{{\frac {\partial }{\partial \theta }}\ln f(x;\theta )\right\}$
e, tenuto conto della (E.1), questo implica che
Ora
* $E\left\{\left[{\frac {\partial (\ln {\mathcal {L}})}{\partial \theta }}\right]^{2}\right\}=E\left\{\left[\sum _{i=1}^{N}{\frac {\partial }{\partial \theta }}\ln f(x_{i};\theta )\right]\left[\sum _{k=1}^{N}{\frac {\partial }{\partial \theta }}\ln f(x_{k};\theta )\right]\right\}$
* $=\sum _{i=1}^{N}E\left\{\left[{\frac {\partial }{\partial \theta }}\ln f(x_{i};\theta )\right]^{2}\right\}+\sum _{\begin{array}{c}i,k\\i\neq k\end{array}}E\left\{{\frac {\partial }{\partial \theta }}\ln f(x_{i};\theta )\cdot {\frac {\partial }{\partial \theta }}\ln f(x_{k};\theta )\right\}$
* $=N\cdot E\left\{\left[{\frac {\partial }{\partial \theta }}\ln f(x;\theta )\right]^{2}\right\}+\sum _{\begin{array}{c}i,k\\i\neq k\end{array}}E\left\{{\frac {\partial }{\partial \theta }}\ln f(x_{i};\theta )\right\}\cdot E\left\{{\frac {\partial }{\partial \theta }}\ln f(x_{k};\theta )\right\}$
(tenendo conto del fatto che le $x_{i}$ sono indipendenti); l’ultimo termine si annulla in conseguenza della (E.3), ed infine, in questo caso, il minorante della varianza della stima si può scrivere
Col metodo della massima verosimiglianza si assume, come stima del valore vero $\theta ^{*}$ del parametro $\theta$, quel valore ${\widehat {\theta }}$ che rende massima la verosimiglianza ${\mathcal {L}}$ per i valori osservati delle variabili, $x_{1},x_{2},\ldots ,x_{N}$.
Ora, nel caso esista una stima di minima varianza $t$ per la funzione $\tau (\theta )$, tenendo conto della (E.2) la condizione perché la funzione di verosimiglianza abbia un estremante diviene
${\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\;=\;{\frac {t-\tau (\theta )}{R(\theta )}}\;=\;0$
e le soluzioni ${\widehat {\theta }}$ sono tutte e sole quelle dell’equazione
$\tau (\theta )=t(x_{1},x_{2},\ldots ,x_{N})$.
La derivata seconda di $\ln {\mathcal {L}}$ è in tal caso
| ${\frac {\partial ^{2}\left(\ln {\mathcal {L}}\right)}{\partial \theta ^{2}}}$ | $=-\,{\frac {\tau '(\theta )\cdot R(\theta )+R'(\theta )\cdot \left[t-\tau (\theta )\right]}{R^{2}(\theta )}}$ |
| | $=-\,{\frac {{\sigma _{t}}^{2}+R'(\theta )\cdot \left[t-\tau (\theta )\right]}{R^{2}(\theta )}}$ |
ma se $\theta ={\widehat {\theta }}$ è anche $t-\tau {\bigl{\widehat {\theta }}\,{\bigr )}=0$ e risulta
$\left[{\frac {\partial ^{2}\left(\ln {\mathcal {L}}\right)}{\partial \theta ^{2}}}\right]_{\theta ={\widehat {\theta }}}\;=\;-\,{\frac {{\sigma _{t}}^{2}}{R^{2}{\bigl{\widehat {\theta }}\,{\bigr )}}}\;<\;0$;
cioè per tutte le soluzioni $\theta ={\widehat {\theta }}$ la verosimiglianza è massima.
Ora, se la funzione $\ln {\mathcal {L}}$ è regolare, tra due massimi deve esistere un minimo; dato che non esistono minimi, ne consegue che il massimo è unico ed in corrispondenza al valore della funzione $\tau ^{-1}$ inversa di $\tau (\theta )$ e calcolata in $t(x_{1},x_{2},\ldots ,x_{N})$:
${\widehat {\theta }}\;=\;\tau ^{-1}\left[t(x_{1},x_{2},\ldots ,x_{N})\right]$.
La statistica $t(x_{1},x_{2},\ldots ,x_{N})$ (come viene anche indicata una funzione dei dati) di minima varianza è un caso particolare di statistica sufficiente per il parametro $\theta$, come è chiamata una funzione dei valori osservati, se esiste, che riassume in sé tutta l’informazione che i dati possono fornire sul valore del parametro.
Se $x_{1},x_{2},\ldots ,x_{N}$ sono i valori osservati di $N$ variabili casuali normali con lo stesso valore medio $\lambda$ e varianze rispettive $\sigma _{i}$ supposte note, la verosimiglianza è
${\mathcal {L}}\;=\;\prod _{i=1}^{N}{\frac {1}{\sigma _{i}\,{\sqrt {2\pi }}}}\,e^{\textstyle -{\frac {1}{2}}{\bigl{\frac {x_{i}-\lambda }{\sigma _{i}}}{\bigr )}^{2}}$
il suo logaritmo
$\ln {\mathcal {L}}\;=\;-\,{\frac {1}{2}}\sum _{i=1}^{N}{\frac {\left(x_{i}-\lambda \right)^{2}}{{\sigma _{i}}^{2}}}\,-\,\sum _{i=1}^{N}\ln \left(\sigma _{i}\,{\sqrt {2\pi }}\right)$
e la sua derivata rispetto al parametro $\lambda$
${\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \lambda }}\;=\;\sum _{i=1}^{N}{\frac {x_{i}-\lambda }{{\sigma _{i}}^{2}}}\;=\;\left(\sum \nolimits _{i}{\frac {1}{{\sigma _{i}}^{2}}}\right)\left({\frac {\displaystyle \sum \nolimits _{i}{\frac {x_{i}}{{\sigma _{i}}^{2}}}}{\displaystyle {\sum \nolimits _{i}{\frac {1}{{\sigma _{i}}^{2}}}}}}\,-\lambda \right)$.
Pertanto la media dei dati, pesati con coefficienti inversamente proporzionali alle varianze, è una stima di minima varianza per $\lambda$. Se le $N$ varianze sono poi tutte uguali tra loro e di valore $\sigma ^{2}$, risulta
${\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \lambda }}\;=\;{\frac {1}{\sigma ^{2}}}\left[\left(\,\sum _{i=1}^{N}x_{i}\right)-N\lambda \right]\;=\;{\frac {N}{\sigma ^{2}}}\left({\bar {x}}-\lambda \right)\;=\;{\frac {{\bar {x}}-\lambda }{R}}$
ed in tal caso la media aritmetica del campione è una stima di minima varianza per $\lambda$. Sempre in tal caso è poi
$R(\lambda )\;\equiv \;R\;=\;{\frac {\sigma ^{2}}{N}}$
con
| $\tau (\lambda )\equiv \lambda$ | e | $\tau '(\lambda )\;=\;1$ |
dunque
${\text{Var}}({\bar {x}})\;=\;\tau '\,R\;=\;{\frac {\sigma ^{2}}{N}}$
come d’altra parte già si sapeva.
Qui la media del campione è un esempio di statistica sufficiente per $\lambda$; infatti non ha alcuna importanza quali siano i singoli valori $x_{i}$: ma se le medie di due diversi campioni sono uguali, le conclusioni che si possono trarre sul valore di $\lambda$ sono le medesime.
Supponendo di conoscere il valore medio $\lambda$, la stima della varianza $\sigma ^{2}$ si ottiene cercando lo zero della derivata logaritmica
${\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \sigma }}\;=\;{\frac {1}{\sigma ^{3}}}\left[\,\sum _{i=1}^{N}(x_{i}-\lambda )^{2}\right]-{\frac {N}{\sigma }}\;=\;{\frac {N}{\sigma ^{3}}}\,\left\{\left[{\frac {1}{N}}\sum _{i=1}^{N}(x_{i}-\lambda )^{2}\right]-\sigma ^{2}\right\}$
la quale ha la forma richiesta perché la soluzione
${\widehat {\sigma }}^{2}={\frac {1}{N}}\sum _{i=1}^{N}(x_{i}-\lambda )^{2}$
sia una stima di $\sigma ^{2}$ con minima varianza, data da
${\text{Var}}\left\{{\frac {1}{N}}\sum _{i=1}^{N}(x_{i}-\lambda )^{2}\right\}=\tau 'R\;=\;2\,\sigma \,{\frac {\sigma ^{3}}{N}}\;=\;{\frac {2\sigma ^{4}}{N}}$
essendo $R(\sigma )=\sigma ^{3}/N$, $\tau (\sigma )=\sigma ^{2}$ e $\tau '(\sigma )=2\sigma$: questo risultato è lo stesso trovato nell’appendice B.
Il valore di $\lambda$ tuttavia non è generalmente noto, e l’uso della media aritmetica del campione ${\bar {x}}$ comporta una distorsione che si corregge, come si è visto, ponendo $N-1$ in luogo di $N$.