Kovarianssi

Kovarianssi on todennäköisyyslaskennassa ja tilastotieteessä kahden satunnaismuuttujan välisen riippuvuuden mitta. Se kuvaa, kuinka läheisesti muuttujat vaihtelevat yhdessä. Yksinkertaistaen voidaan havainnollistaa, että kovarianssi saa positiivisen arvon, kun satunnaismuuttujan arvot jäävät samalle puolelle odotusarvoihinsa nähden, ja vastaavasti negatiivisen arvon, kun niiden arvot jäävät eri puolille odotusarvoihinsa nähden. Kovarianssi on yhteisjakauman toinen keskusmomentti, jonka yksiköksi eli dimensioksi tulee kummankin satunnaismuuttujan yksiköiden tulo. Momentin käsitteeseen liittyy tulkinta, että kovarianssi on niin sanotun yhteisjakauman "todennäköisyysmassan painopisteen" \scriptstyle (E[X],E[Y]) ympärillä tapahtuvan vaihtelun mitta. Korrelaatio on kovarianssin normalisoitu tunnusluku, joka on puolestaan yksikötön. Todennäköisyyslaskennassa kovarianssi on yhteisjakauman tunnusluku, kun taas tilastolaskennassa kovarianssi on todennäköisyyslaskennan tunnusluvun estimaatti. == Määritelmä ja merkinnät == Matemaattisesti kovarianssi \sigma_{XY} on määritelty kahden reaaliarvoisen satunnaismuuttujan X ja Y avulla : \sigma_{XY} = \operatorname{E}[(X - \mu_X) (Y - \mu_Y)], missä E[X]=\mu_X ja E[Y]=\mu_Y ovat vastaavasti satunnaismuuttujien odotusarvot. Kovarianssi voidaan merkitä erilaisilla vaihtoehtoisilla tavoilla, kuten esimerkiksi :\sigma_{XY}=\sigma(X,Y)=cov(X,Y)=Cov(X,Y) . Yhteisjakaumassa voi esiintyä myös merkinnät \sigma_X ja \sigma_Y. Ne esittävät satunnaismuuttujien keskihajontoja \sigma_X=\sqrt{\sigma_X^2} ja \sigma_Y=\sqrt{\sigma_Y^2}. === Diskreetit satunnaismuuttujat === Diskreetin satunnaismuuttujaparin kovarianssi lasketaan :\sigma_{XY}=\sum_{x \in X} \sum_{y \in Y} (x-\mu_X)(y-\mu_Y)f_{XY}(x,y) , missä f_{XY}(x,y) on yhteisjakauman pistetodennäköisyysfunktio. === Jatkuvat satunnaismuuttujat === Jatkuvan satunnaismuuttujaparin kovarianssi on taas :\sigma_{XY}=\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} (x-\mu_X)(y-\mu_Y)f_{XY}(x,y) dydx , \, missä f_{XY}(x,y) on yhteisjakauman tiheysfunktio. == Ominaisuuksia == === Rinnakkaiskaavan johtaminen === Yleisessä tilanteessa satunnaismuuttujat ovat toisistaan riippuvia jossakin mielessä. Silloin kovarianssi voidaan kehittää edelleen hyödyntämällä odotusarvo-operaattorin tunnetut ominaisuudet: :\begin{align}\sigma(X,Y) &= \operatorname{E}[(X - \operatorname{E}[X]) (Y - \operatorname{E}[Y])] \\\ &= \operatorname{E}[X Y - X \operatorname{E}[Y] - \operatorname{E}[X] Y + \operatorname{E}[X] \operatorname{E}[Y]] \\\ &= \operatorname{E}[X Y] - \operatorname{E}[X] \operatorname{E}[Y] - \operatorname{E}[X] \operatorname{E}[Y] + \operatorname{E}[X] \operatorname{E}[Y] \\\ &= \operatorname{E}[X Y] - \operatorname{E}[X] \operatorname{E}[Y] \\\ &= \operatorname{E}[X Y] - \mu_X\mu_Y . \end{align} === Riippumattomuus === Jos satunnaismuuttujat ovat riippumattomia, saadaan odotusarvoksi :\operatorname{E}[XY] = \operatorname{E}[X] \operatorname{E}[Y]= \mu_X\mu_Y. Yleisen kovarianssin kehitetystä lausekkeesta tulee silloin :\begin{align}\operatorname{cov}(X,Y)&=\operatorname{E}[X Y] - \operatorname{E}[X] \operatorname{E}[Y] \\\ &=\operatorname{E}[X] \operatorname{E}[Y] - \operatorname{E}[X] \operatorname{E}[Y]=0.\end{align} Siten, jos satunnaismuuttujat ovat riippumattomia toisistaan, saadaan kovarianssiksi nolla. Päinvastainen ei pidä aina paikkaansa, sillä kovarianssin ollessa nolla eivät satunnaismuuttujat aina ole riippumattomia toisistaan. === Arvojoukko === Kovarianssin yksikkö määräytyy satunnaismuuttujien tulosta. Koska korrelaation arvo jää välille -1 \le r_{XY} \le 1, saadaan kovarianssin arvolle väli -\sigma_X\sigma_Y \le \sigma_{XY} \le \sigma_X\sigma_Y, missä \sigma_X \sigma_Y on keskihajontojen tulo. === Päättelysääntöjä === Kovarianssille voidaan johtaa seuraavia laskusääntöjä (a, b ovat reaalivakioita): : \sigma(X, a) = 0 \, : \sigma(X, X) = \sigma^2(X)\, eli \sigma_{XX}=\sigma_X^2 (varianssi) : \sigma(X, Y) = \sigma(Y, X)\, (symmetrisyys) : \sigma(aX, bY) = ab\, \sigma(X, Y)\, (kertoimien ulosotto) : \sigma(X+a, Y+b) = \sigma(X, Y)\, (vakionlisäys) : \sigma(X+Z, Y) = \sigma(X, Y) + \sigma(Z, Y)\, (summan kovarianssi) : \sigma(aX+bY, cW+dV) = ac\,\sigma(X,W)+ad\,\sigma(X,V)+bc\,\sigma(Y,W)+bd\,\sigma(Y,V) (lineaarikombinaatiot) : \sigma\left(\sum_i{X_i}, \sum_j{Y_j}\right) = \sum_i{\sum_j{\sigma\left(X_i, Y_j\right)}} (useiden satunnaismuuttujien summat) == Tilastollinen kovarianssi == Arvioitaessa kahden tilastomuuttujan kovarianssia, käytetään estimaattorina lauseketta :\sigma_{XY}=\sum_{i=1}^n \frac{(x_i-\bar x)(y_i-\bar y)}{n}, missä otoksen suuruus on n ja otoksen muuttujien keskiarvot ovat \bar x ja \bar y. Usein kuitenkin jaetaan summa otoksen suuruutta yhtä pienemmällä luvulla (vapausaste) :\sigma_{XY}=\sum_{i=1}^n \frac{(x_i-\bar x)(y_i-\bar y)}{n-1} . == Satunnaisvektorit == Kun X ja Y ovat n- ja m-ulotteisia pystyvektoreita, n x m-ulotteinen kovarianssimatriisi on määritelty: : \sigma(X, Y) = \operatorname{E}((X-\mu_X)(Y-\mu_Y)^\top). Matriisit cov(X,Y) ja cov(Y,X) ovat toistensa transpooseja. Kun X on vektori, matriisia cov(X,X) sanotaan X:n kovarianssimatriisiksi tai pidemmin varianssi-kovarianssi-matriisiksi. == Korrelaatiokerroin == Kovarianssilla voidaan mitata satunnaismuuttujien riippuvuuksia, mutta satunnaismuuttujien keskihajonnat vaikuttavat myös kovarianssin arvoon. Tuloksesta voidaan puhdistaa keskihajontojen vaikutukset jakamalla kovarianssi niillä, jolloin saadaan uusi riippuvuuden mitta korrelaatiokerroin :\rho_{XY}=\frac{\sigma_{XY}}{\sigma_X \sigma_Y}. Sen arvot vaihtelevat välillä -1 \le \rho_{XY} \le 1 eikä sillä ole mittayksikköä. == Katso myös == * Momenttifunktio == Lähteet == Luokka:Todennäköisyyslaskenta Luokka:Tilastotiede