Kovarianssi

**Kovarianssi** on todennäköisyyslaskennassa ja tilastotieteessä kahden satunnaismuuttujan välisen riippuvuuden mitta. Se kuvaa, kuinka läheisesti muuttujat vaihtelevat yhdessä. Yksinkertaistaen voidaan havainnollistaa, että kovarianssi saa positiivisen arvon, kun satunnaismuuttujan arvot jäävät samalle puolelle odotusarvoihinsa nähden, ja vastaavasti negatiivisen arvon, kun niiden arvot jäävät eri puolille odotusarvoihinsa nähden. Kovarianssi on yhteisjakauman toinen keskusmomentti, jonka yksiköksi eli dimensioksi tulee kummankin satunnaismuuttujan yksiköiden tulo. Momentin käsitteeseen liittyy tulkinta, että kovarianssi on niin sanotun yhteisjakauman "todennäköisyysmassan painopisteen" \scriptstyle (E[X],E[Y]) ympärillä tapahtuvan vaihtelun mitta. Korrelaatio on kovarianssin normalisoitu tunnusluku, joka on puolestaan yksikötön.

Todennäköisyyslaskennassa kovarianssi on yhteisjakauman tunnusluku, kun taas tilastolaskennassa kovarianssi on todennäköisyyslaskennan tunnusluvun estimaatti.

## Määritelmä ja merkinnät
Matemaattisesti kovarianssi \sigma_{XY} on määritelty kahden reaaliarvoisen satunnaismuuttujan X ja Y avulla
: \sigma_{XY} = \operatorname{E}[(X - \mu_X) (Y - \mu_Y)],
missä E[X]=\mu_X ja E[Y]=\mu_Y ovat vastaavasti satunnaismuuttujien odotusarvot. Kovarianssi voidaan merkitä erilaisilla vaihtoehtoisilla tavoilla, kuten esimerkiksi
:\sigma_{XY}=\sigma(X,Y)=cov(X,Y)=Cov(X,Y) . 

Yhteisjakaumassa voi esiintyä myös merkinnät \sigma_X ja \sigma_Y. Ne esittävät satunnaismuuttujien keskihajontoja \sigma_X=\sqrt{\sigma_X^2} ja \sigma_Y=\sqrt{\sigma_Y^2}.

### Diskreetit satunnaismuuttujat
Diskreetin satunnaismuuttujaparin kovarianssi lasketaan 
:\sigma_{XY}=\sum_{x \in X} \sum_{y \in Y} (x-\mu_X)(y-\mu_Y)f_{XY}(x,y) , 
missä f_{XY}(x,y) on yhteisjakauman pistetodennäköisyysfunktio.

### Jatkuvat satunnaismuuttujat
Jatkuvan satunnaismuuttujaparin kovarianssi on taas 
:\sigma_{XY}=\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} (x-\mu_X)(y-\mu_Y)f_{XY}(x,y) dydx , \, 
missä f_{XY}(x,y) on yhteisjakauman tiheysfunktio.

## Ominaisuuksia
### Rinnakkaiskaavan johtaminen
Yleisessä tilanteessa satunnaismuuttujat ovat toisistaan riippuvia jossakin mielessä. Silloin kovarianssi voidaan kehittää edelleen hyödyntämällä odotusarvo-operaattorin tunnetut ominaisuudet:
:\begin{align}\sigma(X,Y)
&= \operatorname{E}[(X - \operatorname{E}[X]) (Y - \operatorname{E}[Y])] \\
&= \operatorname{E}[X Y - X \operatorname{E}[Y] - \operatorname{E}[X] Y + \operatorname{E}[X] \operatorname{E}[Y]] \\
&= \operatorname{E}[X Y] - \operatorname{E}[X] \operatorname{E}[Y] - \operatorname{E}[X] \operatorname{E}[Y] + \operatorname{E}[X] \operatorname{E}[Y] \\
&= \operatorname{E}[X Y] - \operatorname{E}[X] \operatorname{E}[Y] \\
&= \operatorname{E}[X Y] - \mu_X\mu_Y .
\end{align}

### Riippumattomuus
Jos satunnaismuuttujat ovat riippumattomia, saadaan odotusarvoksi
:\operatorname{E}[XY] = \operatorname{E}[X] \operatorname{E}[Y]= \mu_X\mu_Y.

Yleisen kovarianssin kehitetystä lausekkeesta tulee silloin
:\begin{align}\operatorname{cov}(X,Y)&=\operatorname{E}[X Y] - \operatorname{E}[X] \operatorname{E}[Y] \\ &=\operatorname{E}[X] \operatorname{E}[Y] - \operatorname{E}[X] \operatorname{E}[Y]=0.\end{align}
Siten, jos satunnaismuuttujat ovat riippumattomia toisistaan, saadaan kovarianssiksi nolla. Päinvastainen ei pidä aina paikkaansa, sillä kovarianssin ollessa nolla eivät satunnaismuuttujat aina ole riippumattomia toisistaan.

### Arvojoukko
Kovarianssin yksikkö määräytyy satunnaismuuttujien tulosta. Koska korrelaation arvo jää välille -1 \le r_{XY} \le 1, saadaan kovarianssin arvolle väli -\sigma_X\sigma_Y \le \sigma_{XY} \le \sigma_X\sigma_Y, missä \sigma_X \sigma_Y on keskihajontojen tulo.

### Päättelysääntöjä
Kovarianssille voidaan johtaa seuraavia laskusääntöjä (a, b ovat reaalivakioita):
: \sigma(X, a) = 0 \,
: \sigma(X, X) = \sigma^2(X)\, eli \sigma_{XX}=\sigma_X^2  (varianssi)
: \sigma(X, Y) = \sigma(Y, X)\,  (symmetrisyys)
: \sigma(aX, bY) = ab\, \sigma(X, Y)\, (kertoimien ulosotto)
: \sigma(X+a, Y+b) = \sigma(X, Y)\, (vakionlisäys)
: \sigma(X+Z, Y) = \sigma(X, Y) + \sigma(Z, Y)\,  (summan kovarianssi)
: \sigma(aX+bY, cW+dV) = ac\,\sigma(X,W)+ad\,\sigma(X,V)+bc\,\sigma(Y,W)+bd\,\sigma(Y,V) (lineaarikombinaatiot)
: \sigma\left(\sum_i{X_i}, \sum_j{Y_j}\right) = \sum_i{\sum_j{\sigma\left(X_i, Y_j\right)}}  (useiden satunnaismuuttujien summat)

## Tilastollinen kovarianssi
Arvioitaessa kahden tilastomuuttujan kovarianssia, käytetään estimaattorina lauseketta
:\sigma_{XY}=\sum_{i=1}^n \frac{(x_i-\bar x)(y_i-\bar y)}{n}, 
missä otoksen suuruus on n ja otoksen muuttujien keskiarvot ovat \bar x ja \bar y. Usein kuitenkin jaetaan summa otoksen suuruutta yhtä pienemmällä luvulla (vapausaste)
:\sigma_{XY}=\sum_{i=1}^n \frac{(x_i-\bar x)(y_i-\bar y)}{n-1} . 

## Satunnaisvektorit
Kun *X* ja *Y* ovat *n*- ja *m*-ulotteisia pystyvektoreita, *n x m*-ulotteinen kovarianssimatriisi on määritelty:

: \sigma(X, Y) = \operatorname{E}((X-\mu_X)(Y-\mu_Y)^\top).

Matriisit *cov(X,Y)* ja *cov(Y,X)* ovat toistensa transpooseja. Kun *X* on vektori, matriisia *cov(X,X)* sanotaan *X*:n **kovarianssimatriisiksi** tai pidemmin **varianssi-kovarianssi-matriisiksi**.

## Korrelaatiokerroin
Kovarianssilla voidaan mitata satunnaismuuttujien riippuvuuksia, mutta satunnaismuuttujien keskihajonnat vaikuttavat myös kovarianssin arvoon. Tuloksesta voidaan puhdistaa keskihajontojen vaikutukset jakamalla kovarianssi niillä, jolloin saadaan uusi riippuvuuden mitta korrelaatiokerroin
:\rho_{XY}=\frac{\sigma_{XY}}{\sigma_X \sigma_Y}. 
Sen arvot vaihtelevat välillä -1 \le \rho_{XY} \le 1 eikä sillä ole mittayksikköä.

## Katso myös
* Momenttifunktio

## Lähteet