Regressionsanalyse

Regressionsanalyse er en gren af statistikken, der undersøger sammenhængen mellem en afhængig variabel (også kaldet responsvariabel eller endogen variabel) og andre specificerede uafhængige variable (også kaldet baggrundsvariable eller eksogene variable). Man forsøger altså at opstille en matematisk sammenhæng mellem en række observerede størrelser ved at tage højde for den statistiske usikkerhed. Når modellen er fastlagt, kan man benytte den til at forudsige værdien af den afhængige variabel ud fra andre værdier af baggrundsvariablene, og desuden kan modellen i sig selv give indsigt i de dybereliggende faktorer bag variablenes sammenhæng.

Den matematiske model af variablernes sammenhæng kaldes regressionsligningen. Den afhængige variabel modelleres som en stokastisk variabel på grund af den indbyggede usikkerhed angående dens værdi, givet værdierne af de andre uafhængige variable. En regressionsligning indeholder estimater (dvs. skøn) af en eller flere regressionsparametre ("konstanter"), som kvantitativt forbinder den afhængige og de uafhængige variable. Parametrene estimeres fra det givne datasæt.

Brug af regressionsanalyse inkluderer forudsigelser, modellering af årsagsbestemte forhold samt test af videnskabelige hypoteser om sammenhæng mellem variable.

Historie 
Udtrykket "regression" blev brugt i det 19. århundrede til at beskrive biologiske fænomener, nemlig at børn af exceptionelle individer har en tendens til i gennemsnit at være mindre exceptionelle end deres forældre og mere som deres fjerne forfædre. Francis Galton studerede dette fænomen og overførte det lidt misvisende udtryk "regression mod middelmådighed" til det. For Galton havde regression kun denne biologiske betydning, men hans værk blev senere udvidet af Udny Yule og Karl Pearson til en mere generel statistisk kontekst.

Simpel lineær regression 

Lineær regressionsanalyse bygger på den antagelse, at sammenhængen mellem de variable der kan beskrives lineært. Det betyder, at grafen for regressionsligningen vil være en ret linje, hvis der kun er én baggrundsvariabel, eller en hyperplan, hvis der er flere baggrundsvariable.

I det mest simple tilfælde er der kun én baggrundsvariabel. Lad  betegne de  observerede værdier af den uafhængige variabel (forklaringsvariablen) og lad  betegne de tilsvarende værdier for responsvariablen (den afhængige variabel). Den generelle form for en simpel lineær regression er da

hvor  er den lodrette skæring med andenaksen,  er regressionslinjens hældning og  er fejlleddet, som dækker over den statistiske usikkerhed. Fejlleddet antages sædvanligvis at være normalfordelt. Altså er  og  kendte størrelser, og  og  er de ukendte parametre, der skal estimeres ud fra dataene. Parameterestimaterne kan udledes af mindste kvadraters metode, og de benævnes normalt henholdsvis  og  eller deres tilsvarende romerske bogstaver. Man kan vise, at estimaterne ved mindste kvadraters metode er givet ved

     og     

hvor  er gennemsnittet af -værdierne og  er gennemsnittet af -værdierne.

Når regressionslinjens ligning er bestemt, kan man indsætte en værdi på 's plads og derved finde den -værdi, som modellen forudsiger hører til. Det er desuden muligt at udregne sædvanlige statistiske størrelser for dette skøn, blandt andet standardafvigelse og konfidensintervaller. Den fundne linje vil være sikrest bestemt omkring , mens skøn over meget store eller meget små værdier af baggrundsvariablen vil resultere i stor varians for estimatet.

Generalisering af den simple model 
Den simple model ovenfor kan generaliseres på forskellige måder.

 Antallet af baggrundsvariable kan øges fra én til adskillige.

 Sammenhængen mellem baggrundsvariablene og responsvariablen kan være ikkelineær. I visse tilfælde kan sammenhængen dog "oversættes" til en lineær model. Hvis man fx har som hypotese, at sammenhængen er eksponentiel, kan man tage den naturlige logaritme af responsvariablen, hvorved regressionsligningen for de nye variable bliver lineær.

 Responsvariablen kan være diskontinuert. Der findes forskellige modeller til dette tilfælde, afhængig af responsvariablens natur, fx hvis den er binær.

 Fejlleddet behøver ikke være normalfordelt. Den generaliserede lineære model tager højde for dette.

 Formen af regressionsligningens højreside kan eventuelt bestemmes ud fra dataene (se ikkeparametrisk regression). Denne tilgang kræver et stort antal observationer, eftersom datene både benyttes til at bygge modelstrukturen og estimere parametrene. Det er sædvanligvis en meget tung metode rent beregningsmæssigt.

Regressionsvaliditet 
Når en regressionsmodel er blevet konstrueret, er det vigtigt at bekræfte modellens validitet (dvs. hvor godt den passer med observationerne og antagelserne) samt signifikansen af de estimerede parametre (dvs. om de enkelte parametre kan antages at have en anden given værdi – typisk 0). Almindeligt brugte test for modeltilpasningen omfatter blandt andet R², analyser af residualernes mønster samt konstruktion af ANOVA-tabellen. Statistisk signifikans tjekkes ved et F-test af den overordnede tilpasning, efterfulgt af t-test af de individuelle parametre.

Estimation af parametre 
Regressionsmodellens parametre kan estimeres på mange måder. De mest almindelige er
 mindste kvadraters metode
 likelihood-metoden
 Bayeske metoder

For en model med normalfordelte fejl giver mindste kvadraters metode og likelihood-metoden de samme resultater (se Gauss-Markov-sætningen).

Interpolation og ekstrapolation 
Regressionsmodeller forudsiger en værdi for -variablen givet nogle kendte værdier af -variablene. Hvis forudsigelserne skal udføres inden for det område, som -variablene ligger i, kaldes det interpolation. Forudsigelser uden for dataenes rækkevidde kaldes ekstrapolation og er mere risikable.

Hvis man eksempelvis har data for en persons højde målt hver anden måned, vil det at udregne den estimerede højde for hver måned ud fra modellen være interpolation. Hvis man bruger modellen til at udregne højden nogle måneder frem i tiden, er der tale om ekstrapolation.

Underliggende antagelser 
Regressionsanalyse afhænger af visse antagelser:

 Baggrundsvariablene skal være lineært uafhængige, dvs. det må ikke være muligt at udtrykke en af baggrundsvariablene som en lineær kombination af de andre.
 Målingerne skal være uafhængige af hinanden.
 Fejlleddet skal være normalfordelt og uafhængigt af målingerne (normalfordelingsantagelsen kan omgås i andre modeller).
 Fejlleddets varians skal være ens for alle målingerne.

Brug af regressionsanalyse 
Regressionsanalyse spiller en store rolle inden for mange videnskabelige områder.

 I fysik kan man eksempelvis benytte teknikken til at efterprøve teorier fra statistisk mekanik. Ud over at tjene som forudsigelsesværktøj, kan regressionsanalyse i fysik også være med til at opklare de bagvedliggende faktorer, som skaber den observerede sammenhæng. Fx blev eksistensen af det absolutte nulpunkt essentielt set opdaget ved en form for regressionsanalyse.
 Inden for økonomi spiller regressionsanalyse en vigtig rolle i faget økonometri, hvor man opstiller statistiske modeller ud fra et økonomisk datamateriale.
 Inden for Sociologi bruges regressionsanalyse i analyser af blandet andet social arv.
 Biologer benytter fx regressionsanalyse til at konstruere modeller for populationers vækst.

Regressionsanalyse bliver også benyttet i mere eksotiske sammenhænge. Mange analytikere har benyttet sig af regressioner til at undersøge datamateriale i form af baseballstatistikker for at påvise forhold mellem forskellige aspekter af sporten. Eksempelvis er baseballanalysefirmaet Baseball Prospectus ved hjælp af regressionsanalyse kommet frem til, at de eneste forudsigeligt vigtige elementer, som et baseballhold skal besidde for at have succes i baseballslutspillet, er en god closer, en god defensiv samt pitchers, der kaster mange strikeouts.

Software 
 Alle større statistiske softwarepakker, fx SAS, SPSS eller Stata, udfører forskellige typer regressionsanalyse korrekt og på en brugervenlig måde.
 Simplere regressionsanalyse kan udføres i regneark som Microsoft Excel eller OpenOffice.org Calc.
 Eksperter kan køre komplekse typer regressioner ved hjælp af særlige programmeringssprog som Python, Mathematica, R eller Matlab.

Se også 
 Statistik
 Signifikansniveau
 Fejlspecifikation
 Multikollinearitet

Noter

Litteraturhenvisninger 
 Audi, R., Ed. (1996). Curve fitting problem, The Cambridge Dictionary of Philosophy. Cambridge, Cambridge University Press. s. 172-173.
 William H. Kruskal og Judith M. Tanur, ed. (1978). Linear Hypotheses, International Encyclopedia of Statistics. Free Press, v. 1,
 Evan J. Williams, "I. Regression," s. 523-41.
 Julian C. Stanley, "II. Analysis of Variance," s. 541-554.
 Lindley, D.V. (1987). Regression and correlation analysis, New Palgrave: A Dictionary of Economics, v. 4, s. 120-23.
 Birkes, David and Yadolah Dodge, Alternative Methods of Regression. 
 Chatfield, C. (1993) Calculating Interval Forecasts, Journal of Business and Economic Statistics, 11. s. 121-135.
 Draper, N.R. og Smith, H. (1998).Applied Regression Analysis Wiley Series in Probability and Statistics.
 Fox, J. (1997). Applied Regression Analysis, Linear Models and Related Methods. Sage.
 Hardle, W., Applied Nonparametric Regression (1990), .
 Meade, N. og T. Islam (1995). Prediction Intervals for Growth Curve Forecasts, Journal of Forecasting, 14, s. 413-430.

Eksterne henvisninger 
 SixSigmaFirst – Introduktion til regressionsanalyse og et lineært eksempel.
 Kurvetilpasning: En komplet guide til ikkelineær regression – Onlinelærebog.
 Tolkning af lineære modeller – Nogle kommentarer om lineær regression af Bill Venables.
 Mazoo's Learning Blog  – Eksempel på lineær regression. Viser, hvordan man bestemmer den lineære regressionsligning, varians, standardafvigelse, korrelationskoefficienter og konfidensintervaller.
 Regression af svagt korrelerede data – Hvordan fejl kan opstå, når responsvariablens rækkevidde er meget mindre end baggrundsvariablens.

Statistik
Videnskabelig metode
Kvantitativ metode i samfundsvidenskab