Eksempel på en linje (rød) bygget ved hjelp av lineær regresjon
Innenfor matematikken betyr **lineær regresjon** at man ønsker å finne den lineære funksjonen hvis kurve/graf passer best med innsamlede data, som inneholder en eller annen statistisk feilkilde også kalt residual. Lineær regresjon brukes ofte for å lage prognoser.

Gitte opplysninger og antagelser
--------------------------------

Man har gitt en mengde datapunkter på formen {\displaystyle (x\_{1},y\_{1}),(x\_{2},y\_{2}),...(x\_{n},y\_{n})} hvor minst 2 *xi* er forskjellige og man ønsker å finne en funksjon {\displaystyle y=f(x)} som på best mulig måte passer med de gitte datapunktene. For denne oppgaven formulerer man Gauss' minste kvadraters metode som følger:

> 
> ***Minste kvadraters prinsipp.** [...] linjen skal trekkes gjennom de gitte punktene slik at summen av kvadratene av avstandene fra disse punktene til linjen minimeres, hvor avstanden måles i vertikalretningen (y-retningen).*
> 
> 
> 

Funksjonen man søker antas å være lineær, hvilket betyr at den uttrykkes matematisk som

{\displaystyle f(x)=\sum \_{i=0}^{n}a\_{i}x^{i}=a\_{0}+a\_{1}x+\dots +a\_{n}x^{n}}
og det er koeffisientene *ai* som man ønsker å bestemme. Hvis man ønsker en rett linje betyr at alle koeffisientene unntatt *a0* og *a1* er 0.

Minste kvadraters metode for rett linje
---------------------------------------

For *n* gitte datapunkter ønsker man å finne en linje på formen

{\displaystyle y=a\_{0}+a\_{1}x}

Som angitt i minste kvadraters prinsipp ovenfor ønsker man å beregne

{\displaystyle |y\_{j}-(a\_{0}+a\_{1}x\_{j})|}

for alle *j*, og deretter bestemnme *a0* og *a1* slik at man minimaliserer summen av kvadratene av disse, dvs

{\displaystyle \min \_{a\_{0},a\_{1}}q=\left(\sum \_{j=1}^{n}(y\_{j}-a\_{0}-a\_{1}x\_{j})^{2}\right)}

Fra elementær analyse er det kjent at de nødvendige kravene for at dette er et bunnpunkt er

{\displaystyle {\frac {\partial q}{\partial a\_{0}}}=0\quad og\quad {\frac {\partial q}{\partial a\_{1}}}=0}

Ved å derivere uttrykket for *q* med hensyn på *a0* og *a1* (se detaljer i underavsnittet) kommer man til slutt frem til at regresjonslinjen har formelen

{\displaystyle y-{\bar {y}}=k\_{1}(x-{\bar {x}})}

hvor 

{\displaystyle {\bar {x}}={\frac {1}{n}}\sum \_{i=1}^{n}x\_{i},\quad {\bar {y}}={\frac {1}{n}}\sum \_{i=1}^{n}y\_{i},\quad og\quad k\_{1}={\frac {s\_{xy}}{s\_{x^{2}}}}}

Teller og nevner i *regresjonskoeffisienten* til linjen kalles *utvalgets kovarians*

{\displaystyle s\_{xy}={\frac {1}{n-1}}\sum \_{i=1}^{n}(x\_{i}-{\bar {x}})(y\_{i}-{\bar {y}})={\frac {1}{n-1}}\left[\sum \_{i=1}^{n}x\_{i}y\_{i}-{\frac {1}{n}}\left(\sum \_{i=1}^{n}x\_{i}\right)\left(\sum \_{j=1}^{n}y\_{j}\right)\right]}

og *variansen* til *x* verdiene (merk at dette ikke er helt riktig da *x* er å betrakte som en ordinær og ikke tilfeldig variabel)

{\displaystyle s\_{x}^{2}={\frac {1}{n-1}}\sum \_{i=1}^{n}(x\_{i}-{\bar {x}})^{2}={\frac {1}{n-1}}\left[\sum \_{i=1}^{n}x\_{i}^{2}-{\frac {1}{n}}\left(\sum \_{i=1}^{n}x\_{i}\right)^{2}\right]}

  

### Utledning av formelen for regresjonslinjen

Ved å utføre de to derivasjonene får man

{\displaystyle {\frac {\partial q}{\partial a\_{0}}}=-2\sum \_{i=1}^{n}(y\_{i}-a\_{0}-a\_{1}x\_{i})\quad og\quad {\frac {\partial q}{\partial a\_{1}}}=-2\sum \_{i=1}^{n}x\_{i}(y\_{i}-a\_{0}-a\_{1}x\_{i})}

Ved å dividere på 2 skrive ut hver sum for seg og stokke om på uttrykkene får man de såkalte **normalligningene**

{\displaystyle {\begin{array}{c}a\_{0}n+a\_{1}\sum x\_{i}=\sum y\_{i}\\a\_{0}\sum x\_{i}+a\_{1}\sum x\_{i}^{2}=\sum x\_{i}y\_{i}\end{array}}}

Dette systemet av to ukjente har en determinant

{\displaystyle \left|{\begin{array}{cc}n&\sum x\_{i}\\\sum x\_{i}&\sum x\_{i}^{2}\end{array}}\right|=n\sum x\_{i}^{2}-\left(\sum x\_{i}\right)^{2}=n(n-1)s\_{x}^{2}=n\sum (x\_{i}-{\bar {x}})^{2}}

som er ulik 0 på grunn av antakelsen om minst to forskjellige *xi* og garanterer derfor at løsningen eksisterer og er unik. Ved å dividere den første ligningen med *n* og omskriving ved hjelp av gjennomsnittsformlene får man {\displaystyle a\_{0}={\bar {y}}-a\_{1}{\bar {x}}} som sammen med {\displaystyle y=a\_{0}+a\_{1}x} gir den ønskede regresjonskurven

{\displaystyle y-{\bar {y}}=a\_{1}(x-{\bar {x}})}

Eliminasjonsmetoden gir uttrykket 

{\displaystyle a\_{1}=k\_{1}={\frac {n\sum x\_{i}y\_{i}-\sum x\_{i}\sum y\_{j}}{n(n-1)s\_{x}^{2}}}}

Hvor godt passer linjen til punktene
------------------------------------

Når man har funnet den regresjonslinjen som passer best til punktene, bør man beregne hvor godt den passer. Det enkleste målet som er vanlig å benytte er korrelasjonskoeffisienten R2. En R2-verdi nær 1 (nær 100 %) angir at regresjonslinjen passer veldig bra, mens en verdi nær null angir at linjen ikke passer. Pearsons korrelasjonskoeffisient er et annet mye brukt mål.

Referanser
----------

1. ↑  E. Kreyszig – *Advanced engineering mathematics*, 8th edition, John Wiley & sons inc. 1999
2. ↑  A. H. Studenmund (1997). *Using Econometrics: A Practical Guide*. Addison-Wesley. s. 50-52, 414. ISBN 0-673-52486-8.
3. ↑  Fred Wenstøp (1994). *Statistikk og dataanalyse*. Tano. s. 424. ISBN 82-518-2938-0.