# Teoria degli errori e fondamenti di statistica/12.1

../12 ../12.2 IncludiIntestazione 1 settembre 2022 100% Da definire
Teoria degli errori e fondamenti di statistica Maurizio Loreti 2006 CC BY-SA 3.0 GFDL Indice:Teoria_degli_errori_e_fondamenti_di_statistica.djvu //it.wikisource.org/w/index.php?title=Teoria_degli_errori_e_fondamenti_di_statistica/12.1&oldid=- 20220901135812 //it.wikisource.org/w/index.php?title=Teoria_degli_errori_e_fondamenti_di_statistica/12.1&oldid=- 20220901135812
[p. 195
12.1 La distribuzione del $\chi ^{2}$
Se le N variabili casuali $x_{i}$, tra loro statisticamente indipendenti, sono variabili normali standardizzate (ovverosia distribuite secondo la legge normale con media 0 e varianza 1), si può dimostrare che la nuova variabile [p. 196 casuale
$X=\sum _{i=1}^{N}{x_{i}}^{2}$
(ovviamente non negativa) è distribuita con una densità di probabilità data dalla
(distribuzione del chi quadro); la costante $K_{N}$ viene fissata dalla condizione di normalizzazione, ed il parametro $N$ prende il nome di numero di gradi di libertà della distribuzione.
La funzione caratteristica della $X$ si può trovare facilmente considerando che, se la $x$ è una variabile normale standardizzata, il suo quadrato $y=x^{2}$ ha una funzione caratteristica
* $=E{\bigle^{ity}{\bigr )}$
* $=E\left(e^{itx^{2}}\right)$
* $=\int _{-\infty }^{+\infty }\!e^{itx^{2}}{\frac {1}{\sqrt {2\pi }}}\,e^{-{\frac {x^{2}}{2}}}\,\mathrm {d} x$
* $=\int _{-\infty }^{+\infty }{\frac {1}{\sqrt {2\pi }}}\,e^{-{\frac {x^{2}}{2}}(1-2it)}\,\mathrm {d} x$
* $={\frac {1}{\sqrt {1-2it}}}\int _{-\infty }^{+\infty }{\frac {1}{\sqrt {2\pi }}}\,e^{-{\frac {u^{2}}{2}}}\,\mathrm {d} u$
* $=(1-2it)^{-{\frac {1}{2}}}$
(si è eseguita la sostituzione di variabile $u=x{\sqrt {1-2it}}$; l’integrale definito è quello di una distribuzione normale $N(u;0,1)$ e vale dunque 1). Di conseguenza, applicando l’equazione (6.11), la funzione caratteristica della $X$ vale
Per dimostrare che la funzione di frequenza della $X$ è effettivamente la (12.1), si parte poi dall’espressione (12.2) della funzione caratteristica e le si applica la trasformazione inversa di Fourier già definita nella (6.10).
Con simili passaggi si potrebbe ricavare la funzione generatrice dei momenti, che vale
$M_{X}(t)=(1-2t)^{-{\frac {N}{2}}}$
$\chi ^{2}$
$\chi ^{2}$ a $N$ gradi di libertà sono
| $E(X)=N$ | e | ${\text{Var}}(X)=2N$ |
mentre i coefficienti di asimmetria e di curtosi valgono
| $\gamma _{1}=2{\sqrt {\frac {2}{N}}}$ | e | $\gamma _{2}={\frac {12}{N}}$. |
La distribuzione del $\chi ^{2}$ tende asintoticamente ad una distribuzione normale con la stessa media $N$ e la stessa varianza $2N$; infatti la funzione caratteristica della variabile standardizzata
$y\;=\;{\frac {X-N}{\sqrt {2N}}}\;=\;{\frac {X}{\sqrt {2N}}}-{\frac {N}{\sqrt {2N}}}$
vale, ricordando la (6.17),
$\phi _{y}(t)=e^{-{\frac {iNt}{\sqrt {2N}}}}\left[1-{\frac {2it}{\sqrt {2N}}}\right]^{-{\frac {N}{2}}}$.
Passando ai logaritmi naturali,
$\ln \phi _{y}(t)=-\,{\frac {iNt}{\sqrt {2N}}}-{\frac {N}{2}}\ln \left(1-{\frac {2it}{\sqrt {2N}}}\right)$
e, sviluppando in serie di McLaurin il logaritmo,
| $\ln \phi _{y}(t)$ | $=-{\frac {iNt}{\sqrt {2N}}}-{\frac {N}{2}}\left[-\,{\frac {2it}{\sqrt {2N}}}-{\frac {1}{2}}\left({\frac {2it}{\sqrt {2N}}}\right)^{2}+{\mathcal {O}}\left(N^{-{\frac {3}{2}}}\right)\right]$ |
| | $=-{\frac {t^{2}}{2}}+{\mathcal {O}}\left(N^{-{\frac {1}{2}}}\right)$ |
da cui
$\lim _{N\to \infty }\phi _{y}(t)=e^{-{\frac {t^{2}}{2}}}$
che è appunto la funzione caratteristica di una distribuzione normale standardizzata.
In definitiva:
* Quando $N$ assume valori sufficientemente grandi, la distribuzione del $\chi ^{2}$ è ben approssimata da una distribuzione normale avente la stessa media $N$ e la stessa varianza $2N$; tale approssimazione si può ritenere in pratica già buona quando $N$ è superiore a 30. [p. 199
* Inoltre si potrebbe analogamente dimostrare che la variabile casuale ${\sqrt {2X}}$, anche per valori relativamente piccoli di $N$, ha una distribuzione che è assai bene approssimata da una funzione normale con media ${\sqrt {2N-1}}$ e varianza 1; l’approssimazione è già buona per $N\gtrsim 8$.
Dalla definizione (o dalla funzione caratteristica (12.2)) discende immediatamente la cosiddetta regola di somma del $\chi ^{2}$ ossia che, se $X$ ed $Y$ sono due variabili casuali statisticamente indipendenti entrambe distribuite come il $\chi ^{2}$, con $N$ ed $M$ gradi di libertà rispettivamente, la loro somma $Z=X+Y$ è una variabile casuale ancora distribuita come il $\chi ^{2}$; però con $N+M$ gradi di libertà.
Ovviamente, se le $x_{i}$ (con $i=1,\ldots ,N$) sono $N$ variabili casuali statisticamente indipendenti tra loro e provenienti da una stessa distribuzione normale con media $\mu$ e varianza $\sigma ^{2}$, discende da quanto detto che la nuova variabile casuale
$X'=\sum _{i=1}^{N}\left({\frac {x_{i}-\mu }{\sigma }}\right)^{2}$
è distribuita come il $\chi ^{2}$ a $N$ gradi di libertà. Indichiamo ora, al solito, con ${\bar {x}}$ la media aritmetica delle $x_{i}$: vogliamo dimostrare che la variabile casuale
$X''=\sum _{i=1}^{N}\left({\frac {x_{i}-{\bar {x}}}{\sigma }}\right)^{2}$
è distribuita ancora come il $\chi ^{2}$, ma con $N-1$ gradi di libertà.
A questo scopo facciamo dapprima alcune considerazioni, indipendenti dalle ipotesi prima fatte sulle $x_{i}$ e che risultano quindi valide per variabili casuali qualunque: supponiamo di definire $N$ nuove variabili $y_{i}$ come generiche combinazioni lineari delle $x_{j}$, con coefficienti che indicheremo col simbolo $A_{ij}$; in modo insomma che risulti
$y_{i}=\sum _{j=1}^{N}A_{ij}\,x_{j}$.
La somma dei quadrati delle $y_{i}$ è data da
$\sum _{i=1}^{N}{y_{i}}^{2}=\sum _{i=1}^{N}\left(\sum _{j=1}^{N}A_{ij}\,x_{j}\right)\left(\sum _{k=1}^{N}A_{ik}\,x_{k}\right)=\sum \nolimits _{jk}x_{j}\,x_{k}\sum \nolimits _{i}A_{ij}\,A_{ik}$
è possibile che questa somma risulti uguale alla somma dei quadrati delle $x_{i}$ qualunque sia il valore di queste ultime? Ovviamente questo avviene se e [p. 200 solo se vale la
(il simbolo $\delta _{jk}$, che assume il valore 1 quando gli indici sono uguali e 0 quando sono invece diversi, si chiama simbolo di Kronecker o delta di Kronecker).
Consideriamo gli $A_{ij}$ come gli elementi di una matrice quadrata ${\boldsymbol {A}}$ di ordine $N$; gli $x_{j}$ e le $y_{i}$ si possono invece considerare come le componenti di due vettori ${\boldsymbol {X}}$ ed ${\boldsymbol {Y}}$ definiti in uno spazio $N$-dimensionale — ossia come gli elementi di due matrici rettangolari con $N$ righe ed 1 colonna.
La trasformazione che muta ${\boldsymbol {X}}$ in ${\boldsymbol {Y}}$ si può scrivere, in forma matriciale, come ${\boldsymbol {Y}}={\boldsymbol {A}}{\boldsymbol {X}}$; la somma dei quadrati delle $x_{j}$ o delle $y_{i}$ altro non è se non il prodotto scalare, di ${\boldsymbol {X}}$ ed ${\boldsymbol {Y}}$ rispettivamente, per loro stessi: ovverosia la loro norma, il quadrato della loro lunghezza nello spazio a $N$ dimensioni. Quella che abbiamo ricavato adesso è la condizione perché una trasformazione lineare applicata ad un vettore ne conservi la lunghezza: occorre e basta che la matrice ${\boldsymbol {A}}$ sia ortogonale. Infatti la (12.3) si può scrivere
| ${\boldsymbol {\widetilde {A}}}{\boldsymbol {A}}={\boldsymbol {1}}$ | ossia | ${\boldsymbol {\widetilde {A}}}={\boldsymbol {A}}^{-1}$ |
(${\boldsymbol {\widetilde {A}}}$ è la matrice trasposta di ${\boldsymbol {A}}$, di elementi ${\boldsymbol {\widetilde {A}}}_{ij}=A_{ji}$; ${\boldsymbol {1}}$ è la matrice unità, di elementi ${\boldsymbol {1}}_{ij}=\delta _{ij}$; ${\boldsymbol {A}}^{-1}$ è la matrice inversa di ${\boldsymbol {A}}$; ed una matrice per cui ${\boldsymbol {\widetilde {A}}}={\boldsymbol {A}}^{-1}$ si dice, appunto, ortogonale).
Consideriamo adesso una trasformazione lineare definita dalle seguenti relazioni:
e per la quale la matrice di trasformazione abbia, insomma, elementi $A_{ij}$ [p. 201 definiti come
$A_{ij}\equiv {\begin{cases}i=1:&{\frac {1}{\sqrt {N}}}\\[4ex]i>1:&{\begin{cases}ji:&0\end{cases}}\end{cases}}$
Non è difficile controllare che la matrice ${\boldsymbol {A}}$ è ortogonale; inoltre la prima riga è stata scelta in modo tale che
$y_{1}\;=\;\sum _{i=1}^{N}{\frac {1}{\sqrt {N}}}\,x_{i}\;=\;{\frac {1}{\sqrt {N}}}\cdot N{\bar {x}}\;=\;{\sqrt {N}}\,{\bar {x}}$
e quindi
$\sum _{i=1}^{N}{x_{i}}^{2}\;=\;\sum _{i=1}^{N}{y_{i}}^{2}\;=\;N{\bar {x}}^{2}+\sum _{i=2}^{N}{y_{i}}^{2}.$
Inoltre risulta (per $i>1$)
e, per ogni $i$,
Tornando al nostro problema, supponiamo ora che tutte le $x_{j}$ siano variabili aventi distribuzione normale; che abbiano tutte valore medio $\mu$ e varianza $\sigma ^{2}$; ed inoltre che siano tra loro tutte statisticamente indipendenti. Una qualsiasi loro combinazione lineare, quindi anche ognuna delle $y_{i}$ legate alle $x_{j}$ da quella particolare matrice di trasformazione (12.4) che abbiamo prima definita, è anch’essa distribuita secondo la legge normale; inoltre risulta [p. 202
| ${\frac {1}{\sigma ^{2}}}\sum _{i=1}^{N}\left(x_{i}-{\bar {x}}\right)^{2}$ | $={\frac {1}{\sigma ^{2}}}\left(\sum _{i=1}^{N}{x_{i}}^{2}-N{\bar {x}}^{2}\right)$ |
| | $={\frac {1}{\sigma ^{2}}}\left(N{\bar {x}}^{2}+\sum _{i=2}^{N}{y_{i}}^{2}-N{\bar {x}}^{2}\right)$ |
| | $=\sum _{i=2}^{N}{\frac {{y_{i}}^{2}}{\sigma ^{2}}}$. |
Applicando alle $y_{i}=\sum _{j}A_{ij}x_{j}$ le formule per la media e la varianza delle combinazioni lineari di variabili casuali statisticamente indipendenti già ricavate nel capitolo 5, si trova facilmente (tenendo presenti la (12.5) e la (12.6)) che la varianza di ognuna di esse è ancora $\sigma ^{2}$; e che, per $i\neq 1$, il loro valore medio è 0. Di conseguenza, per $i\geq 2$ le $y_{i}/\sigma$ sono variabili casuali normali aventi media 0 e varianza 1: e questo implica che
sia effettivamente distribuita come il $\chi ^{2}$ a $N-1$ gradi di libertà.
È interessante confrontare questo risultato con quello precedentemente ricavato, e riguardante la stessa espressione — in cui però gli scarti erano calcolati rispetto alla media della popolazione $\mu$. Nel primo caso la distribuzione era ancora quella del $\chi ^{2}$, ma con $N$ gradi di libertà: riferendoci invece alla media aritmetica del campione, i gradi di libertà diminuiscono di una unità. Questo è conseguenza di una legge generale, secondo la quale il numero di gradi di libertà da associare a variabili che seguono la distribuzione del $\chi ^{2}$ è dato dal numero di contributi indipendenti: ovvero il numero di termini con distribuzione normale sommati in quadratura (qui $N$, uno per ogni determinazione $x_{i}$) diminuito del numero di parametri che compaiono nella formula e che sono stati stimati dai dati stessi (qui uno: appunto la media della popolazione, stimata usando la media aritmetica delle misure).
Un’ultima notevole conseguenza del fatto che la variabile casuale $X''$ definita dalla (12.7) sia distribuita come il $\chi ^{2}$ a $N-1$ gradi di libertà è la seguente: la stima della varianza della popolazione ottenuta dal campione, $s^{2}$, vale
e, essendo proporzionale a $X''$, è anch’essa distribuita come il $\chi ^{2}$ a $N-1$ gradi di libertà; quindi la sua densità di probabilità è data dalla (12.1) e dipende [p. 203 solamente da N; non dipende, in particolare, dalla media del campione ${\bar {x}}$. Quindi:
Il valore medio ${\bar {x}}$ e la varianza campionaria $s^{2}$, calcolati su valori estratti a caso da una stessa popolazione normale, sono due variabili casuali statisticamente indipendenti tra loro.
Questo risulta anche intuitivamente comprensibile; se infatti ci è noto che un certo campione di dati ha una dispersione più o meno grande, questo non deve alterare la probabilità che il suo valore medio abbia un valore piuttosto che un altro; né, viceversa, il fatto che il campione sia centrato attorno ad un certo valore deve permetterci di prevedere in qualche modo la sua dispersione.