Granger kausalitet
Forfattere: Peter Bjerre Mortensen
Tidsskrift: politica (2014-01-01)

## Peter Bjerre Mortensen Granger kausalitet 1

Denne artikel giver en grundig introduktion til begrebet Granger kausalitet, der inden for statskundskaben har haft stor betydning for forståelsen af den kausale relation mellem to variable observeret over tid. Artiklen redegør for definitionen på Granger kausalitet og gennemgår, hvordan man empirisk kan teste for Granger kausalitet. Derudover diskuteres ved inddragelse af en række empiriske eksempler nogle af de begrænsninger og udfordringer, der knytter sig til analyser af Granger kausalitet. Artiklen afrundes med en perspektivering til metoder, der kan håndtere mere end to variable samt til metoder, der udvider Granger kausalitetstesten til analyser af sammenhænge både over tid og på tværs af enheder.

Siden sin introduktion for godt og vel 40 år siden har analyser af Granger kausalitet været blandt de mest populære metoder til at undersøge kausalrelationen mellem to variable. Inden for statskundskaben har Granger kausalitetsanalyser været anvendt i studier af eksempelvis dagsordensfastsættelse, hvor et centralt spørgsmål er, hvorvidt forskellige typer dagsordener påvirker hinanden. Metoderne har også været benyttet i analyser af det klassiske spørgsmål om, hvorvidt demokrati eller økonomisk velstand kommer først, samt i analyser af sammenhængen  mellem  partitilhørsforhold  og  politisk  popularitet,  sammenhængen mellem politisk tillid og social kapital, sammenhængen mellem indenrigs- og udenrigspolitik samt i analyser af sammenhængen mellem bureaukrati og performance. Flere af disse studier vender jeg tilbage til senere.

Artiklen indledes med en introduktion til, hvad Granger kausalitet betyder samt en kort beskrivelse af, hvordan Granger kausalitet kan undersøges ved brug  af  tidsseriedata.  Denne  introduktion  følges  op  af  nogle  eksempler  på, hvordan Granger kausalitet har været anvendt i politologiske analyser. Derefter følger en diskussion af en række af de væsentlige problemer og begrænsninger, man bør være opmærksom på, når man arbejder med analyser af Granger kausalitet. Artiklen afrundes med en kort perspektivering til metoder, der udvider den simple situation med kun to variable til multivariate analyser samt til metoder, der udvider Granger testen til analyser af sammenhænge over både tid og på tværs af enheder. I lyset af emnet for dette temanummer er der i artiklen valgt at fokusere på Granger kausalitet, og artiklen kan derfor ikke læses som en generel introduktion til tidsserie-analyse.

## Granger kausalitet

I udgangspunktet har tidsseriedata den store fordel, sammenlignet med tværsnitsdata, at man kan adskille den forklarende og den afhængige variabel tidsligt. Som Koop (2000: 175) formulerer det: '… tiden løber ikke baglæns. Det vil  sige,  hvis  begivenhed A indtræffer før begivenhed B, så er det muligt, at begivenhed A forårsager begivenhed B. Det er imidlertid ikke muligt, at begivenhed B forårsager begivenhed A. Med andre ord, fortidige begivenheder kan påvirke nutidige begivenheder. Fremtidige begivenheder kan ikke' (min oversættelse) . Frem  for  blot  at  blive  argumenteret  på  grundlag  af  teoretiske ræsonnementer giver observationer over  tid  altså  en  mulighed  for  faktisk  at undersøge, hvorvidt der eksisterer et asymmetrisk forhold mellem årsags- og virkningsbegivenhed.

Det er denne logik, økonomen Clive Granger bygger på, da han i artiklen 'Investigating  Causal  Relations  by  Econometric  Models  and  Cross-spectral Methods' fra 1969 formulerer det, der senere er blevet kaldt Granger kausalitet. 2 Den grundlæggende idé er, at hvis vi har to variable, X og Y, observeret over tid (t) kan X t betegnes som årsag til Y t , hvis vi kan forklare Y t bedre ved at inddrage fortidige observationer af X t (dvs. X t-1 ,  X t-2 ,  …, X t-k ),  end hvis vi kun havde inddraget fortidige observationer af Y t (dvs. Y t-1 , Y t-2 , …, Y t-k ). Eller som Granger (1969: 428) formulerer det: 'We say that Y t is causing X t if we are better able to predict X t using all available information than if the information apart from Y t had been used'.

Til at illustrere de mulige kausale relationer mellem to tidsserier, X t og Y t , tager vi udgangspunkt i følgende to ligningssystemer, der beskriver to relativt enkle VAR-modeller: 3

<!-- formula-not-decoded -->

<!-- formula-not-decoded -->

Beskrevet på denne måde er der fire mulige kausalrelationer mellem X og Y. For det første kan der være en ensidet kausal relation , enten ved at X t-i kan forbedre forudsigelsen af Y t , eller ved at Y t-j kan forbedre forudsigelsen af X t . Hvis det er tilfældet, har vi en situation, hvor enten X t-i Granger forårsager Y t eller Y t-j Granger forårsager X t . Imidlertid kan der også eksistere en feedback relation mellem X t og Y t , hvor ikke blot fortidige værdier af X t-i forbedrer forudsigelsen

(SSRo - SSR1)/i

F = SSR,/(T-i-j-1)

af Y t , men hvor også fortidige værdier af Y t-j forbedrer forudsigelsen af X t . Hvis det er tilfældet, eksisterer altså en tosidet kausal relation mellem X t og Y t . For det tredje kan de to tidsserier være ukorrelerede i den forstand, at inddragelse af fortidige værdier af X t-i ikke forbedrer forudsigelsen af Y t ligesom inddragelse af fortidige værdier af Y t-j ikke forbedrer forudsigelsen af X t .

Endelig bruger Clive Granger selv begrebet samtidig ('instantaneous') kausalitet om den situation, hvor samtidige observationer af X t og Y t er korrelerede. At benævne denne sammenhæng en kausal relation er imidlertid omdiskuteret, og i hvert fald falder det centrale argument om tidslig adskillelse af årsags- og effektbegivenhed i dette tilfælde bort. Som påpeget af Charemza og Deadman (1992: 189) eksisterer samtidig kausalitet strengt taget ikke, da der altid vil være en tidsforskydning imellem to uafhængige begivenheder. At det imidlertid i praksis kan være svært at adskille Granger kausalitet fra samtidig kausalitet, gives eksempler på senere i denne artikel.

Granger  kausalitetsbegrebets  popularitet  hænger  formodentlig  sammen med, at der allerede i begyndelsen af 1970'erne blev udviklet egentlige statistiske tests, der kan bruges til at vurdere, hvorvidt der eksisterer Granger kausalitet mellem to variable. Mest udbredt inden for politologien er tilsyneladende den såkaldte 'Direct Granger test' med følgende fremgangsmåde: 4 Først gennemføres en OLS-regressionsanalyse af følgende model:

<!-- formula-not-decoded -->

Herefter gennemføres en OLS-regressionsanalyse af en udvidet model, der inkluderer laggede værdier af X:

<!-- formula-not-decoded -->

Næste skridt er nu at teste nulhypotesen H 0 : δ 1 = … = δ i = 0 , hvilket implicerer, at laggede værdier af X ikke bidrager til forklaringen af Y, ud over hvad laggede værdier af Y kan forklare. Det er altså værd at bemærke, at denne Granger kausalitetstest faktisk er en test for Granger ikke-kausalitet . For at teste H 0 gennemføres en simpel F-test, hvor F ratioen kan beskrives ved følgende formel:

hvor SSR 0 er kvadratafvigelsessummen (sum of squared residuals) for model 3, og SSR 1 er kvadratafvigelsessummen for model 4. T er antallet af observatio- ner. Hvis F-testen er statistisk signifikant, afvises H 0 , hvilket fortolkes således, at X Granger forårsager Y. 5 Samme procedure kan nu blive gentaget for en test af, hvorvidt Y Granger forårsager X.

Et konkret eksempel på anvendelsen af den direkte Granger test er vist i tabel  1,  der  er  tilpasset  fra  John  R.  Freeman's  artikel  i American  Journal  of Political Science fra 1983 med titlen 'Granger Causality and the Time Series Analysis of Political Relationships'. Ud over en grundig diskussion af fordele og ulemper ved forskellige metoder til at teste for Granger kausalitet viser Freeman (1983), hvordan den direkte Granger kausalitetstest kan anvendes til at belyse et af datidens centrale spørgsmål om, hvorvidt det var den ene eller den anden af den kolde krigs to supermagter, der drev våbenkapløbet frem. Konkret undersøger Freeman, hvorvidt fortidige værdier af de amerikanske (sovjetiske) forsvarsudgifter kan forklare nutidige værdier af de sovjetiske (amerikanske) forsvarsudgifter. Resultatet er gengivet i tabel 1 og kan fortolkes sådan, at det er de amerikanske forsvarsudgifter, der 'Granger forårsager' de sovjetiske forsvarsudgifter, og dermed amerikanerne, der i den undersøgte periode (19491975) drev våbenkapløbet frem.

Tabel 1 : Eksempel på 'Direkte Granger (ikke-) kausalitetsanalyse'

| Retning på kausalitet                                      | F-test     | Konsekvens       |
|------------------------------------------------------------|------------|------------------|
| Amerikanske forsvarsudgifter  Sovjetiske forsvarsudgifter | F = 4,24** | H 0 afvises      |
| Sovjetiske forsvarsudgifter  Amerikanske forsvarsudgifter | F = 1,40   | H 0 afvises ikke |

Note: Tabellen viser kun et uddrag fra tabel 4 i Freeman (1983: 352-353), og der henvises til denne artikel for information om de nærmere specifikationer af analysen. Freeman benytter i denne test 2 lags for de endogene variable og 4 lags for de eksogene variable (se senere diskussion af antallet af lags). Tidsenheden er år. **p &lt; 0,01.

Granger kausalitetstesten har også været anvendt i analyser af et andet aspekt af de militære udgifter, nemlig i relation til spørgsmålet om interaktionen mellem  et  samfunds  militærudgifter  og  samfundsøkonomien,  sidstnævnte  målt ved eksempelvis BNP (se Dunne og Smith, 2010 for en kritisk gennemgang af  denne litteratur). Spørgsmålet er, hvorvidt udviklingen over tid i den ene variabel (militærudgifter) kan hjælpe med at forudsige udviklingen i den anden variabel  (økonomien)  og  omvendt.  Som  Dunne  og  Smiths  (2010)  grundige analyser viser, er svaret på dette spørgsmål imidlertid ikke enkelt, og hovedkonklusionen er, at resultaterne er særdeles sensitive over for, hvordan de statistiske modeller specificeres (se diskussionen nedenfor).

Et helt andet genstandsfelt, hvor brugen af Granger kausalitetstests har været udbredt, er studier af dagsordensfastsættelse. Kort fortalt kan dagsordensfastsættelse forstås som en kamp om, hvilke emner der på et givet tidspunkt skal have mediernes, befolkningens og politikernes opmærksomhed (se Dearing og Rogers, 1996: 2). Det dominerende spørgsmål inden for denne tradition har været: Hvem påvirker hvem? Er det eksempelvis medierne, der påvirker befolkningens og politikernes dagsorden; befolkningen, der påvirker politikernes og mediernes dagsorden eller i virkeligheden først og fremmest politikerne, der påvirker mediernes og befolkningens dagsorden?

I kombination med tilgængeligheden af gode tidsseriedata er det oplagt, at dette forskningsspørgsmål har ført til hyppig brug af Granger kausalitetsanalyser (se fx Gonzenbach, 1992; Wood og Peake, 1998; Soroka, 2002; Walgrave, Soroka og Nuytemans, 2008; Green-Pedersen og Stubager, 2010; Green-Pedersen og Mortensen, 2010). På tværs af studierne er det imidlertid svært at identificere et entydigt svar på det overordnede forskningsspørgsmål, og konklusionen  synes  at  være,  at  svaret  i  høj  grad  er  betinget  af  værdierne  på  en række institutionelle og politiske 3. variable (se Walgrave og Van Aelst, 2006; Thesen, 2012).

Andre eksempler på brug af Granger kausalitetsanalyser finder man inden for studier af sammenhængen mellem demokrati og økonomisk vækst (se Heo og Tan, 2001; Baum og Lake, 2003), sammenhængen mellem partitilhørsforhold og politisk popularitet (MacKuen, Erikson og Stimson, 1989), sammenhængen mellem politisk tillid  og  social  kapital  (Keele,  2007),  sammenhængen mellem indenrigs- og udenrigspolitik (Moore og Lanoue, 2003) samt et originalt studie af Meier, Polinard og Wrinkle (2000), der benytter Granger kausalitetsanalyse til at undersøge, hvorvidt det er en organisations resultater, der påvirker bureaukratiet i organisationen, eller bureaukratiet, der påvirker organisationens  resultater.  Granger  kausalitetsanalysen  i  Meier,  Polinard  og Wrinkle (2000) peger på, at det er dårlig performance, der giver øget bureaukrati,  og  det  resultat  genfindes  i  Thorgaard  og  Andersens  (under  udgivelse) analyse af sammenhængen mellem karakterer og bureaukrati i den danske folkeskole.

Stort set alle disse studier bevæger sig på forskellig vis ud over blot at studere den  bivariate  sammenhæng  mellem  to  tidsserier,  men  de  bygger  ikke  desto mindre alle på den kausalitetsopfattelse, der mest præcist er blevet formuleret af Clive Granger i 1969. Næste afsnit ser nærmere på nogle af de udfordringer og begrænsninger, der kan være forbundet med at anvende Granger kausalitetsanalyser i praksis.

## Potentielle problemer og begrænsninger ved analyser af Granger kausalitet

Der er en række forbehold og begrænsninger, man bør være opmærksom på, når man anvender de ovenfor beskrevne Granger kausalitetstests. Først nævnes i dette afsnit nogle af de begrænsninger, der følger af, at testen bygger på OLSregression. Derefter diskuteres en række særlige udfordringer, der knytter sig til brug af lags i Granger kausalitetsanalyser samt betydningen af tidsfrekvens og tidsforskydning i ens observationer.

## Forudsætninger for den direkte Granger test

For det første kan der ofte være risiko for, at residualerne (i model 3 og 4, se ovenfor)  ikke  er  uafhængige,  og  det  kan  derfor  være  nødvendigt  at  benytte en variant af GLS-regression, når modellerne estimeres. Denne metode tager højde for samtidig korrelation mellem residualerne og er derved mere efficient end OLS-estimeringen. Hvis residualerne ikke er korrelerede, vil GLS-estimeringen blot producere resultater, der er identiske med den enkle direkte Granger test (se Freeman, 1983: 333-334).

På grund af de laggede afhængige variable gælder for det andet, at den ovenfor beskrevne F-test kun er valid asymptotisk, hvilket betyder, at den er sensitiv over for et lavt antal observationer. Sagt med andre ord kan tidsserien være 'for kort' i den forstand, at den indeholder for lidt information til en tilfredsstillende test af H 0 -hypotesen. Konsekvensen af et lavt antal observationer vil som hovedregel være, at testen producerer for lave p-værdier, hvorfor man risikerer at forkaste H 0 -hypotesen på forkert grundlag (se Dunne og Smith, 2010: 431).

For det tredje bygger Granger testen på en antagelse om, at tidsserierne er stationære. Det ligger uden for emnet for denne artikel at redegøre nærmere for stationaritetsbegrebet i tidsserieanalyse, herunder kriterier for svag og stærk stationaritet, men det er vigtigt at være opmærksom på denne forudsætning. 6 Antagelsen om stationaritet er ofte brudt i politologisk relevante tidsserier såsom udviklingen i de offentlige udgifter over tid, udviklingen i mængden af love og regler over tid, antallet af offentligt ansatte mv. For alle disse tidsserier gælder som hovedregel, at de udviser en klar opadgående trend over tid, og korrelerer man to tidsserier, der begge har den samme trend, er konsekvensen som hovedregel, at p-værdierne bliver lavere end de sande p-værdier - altså en risiko for, at den korrelation, man finder mellem tidsserierne, er spuriøs (se Dunne og Smith, 2010: 431). Budskabet er, at Granger kausalitetstesten også i denne situation kan finde anvendelse, men det er afgørende, at man inden den egentlige test får håndteret eventuelle forudsætningsbrud ved hjælp af den brede vifte af redskaber, der er udviklet inden for litteraturen om tidsserieanalyse. 7

Endelig kan modellen naturligvis være fejlspecificeret, hvis ikke der er taget højde for relevante 3.  variable,  der  kan  forårsage  både  X  og  Y  (se  Freeman, 1983:  330).  Denne  risiko  for  en  spuriøs  sammenhæng  vender  vi  tilbage  til sidst i artiklen, hvor der kort introduceres til metoder til multivariat analyse af Granger kausalitet.

## Antal lags, tidsfrekvens og tidsforskydning

En særlig udfordring ved analyser af Granger kausalitet er spørgsmålet om, hvor mange lags, der skal inkluderes i analysen. Som illustreret i tabel 2, kan det få stor betydning for analysens konklusioner, hvor mange lags der inkluderes. Tabellen er tilpasset fra Dunne og Smith (2010: 432), der undersøger sammenhængen mellem USA's militærudgifter og landets BNP. Anvendes kun et års lag, tyder analysen på, at de amerikanske militærudgifter Granger forårsager landets BNP (p = 0,0342), imens H 0 -hypotesen om, at BNP ikke Granger forårsager landets militærudgifter ikke kan afvises (p = 0,4959). Konklusionen bliver imidlertid præcis den modsatte, hvis der inkluderes tre lags i analysen (altså t-1, t-2 og t-3), og inkluderes to lags, er der tegn på tosidet kausalitet, hvis signifikansniveau på p &lt; 0,10 procent anvendes.

Tabel 2 : Betydningen af antallet af lags

|        | p-værdier forH 0 -hypotesen                                                            | p-værdier forH 0 -hypotesen                                                              |
|--------|----------------------------------------------------------------------------------------|------------------------------------------------------------------------------------------|
|        | Militærudgifter  BNP (H 0 : Fortidige værdier af militærudgifter forudsiger ikke BNP) | BNP  Militærudgifter (H 0 : Fortidige værdier af BNP forudsiger ikke militærudgifterne) |
| 1 lag  | 0,0342                                                                                 | 0,4959                                                                                   |
| 2 lags | 0,0959                                                                                 | 0,0201                                                                                   |
| 3 lags | 0,1684                                                                                 | 0,0346                                                                                   |

Note: Tabellen er tilpasset fra Dunne og Smith (2010: tabel 1) og bygger på amerikanske data for perioden 1950-2009. Tidsenheden er år.

En sådan sensitivitet over for antallet af inkluderede lags er langt fra usædvanlig  (se  fx  Soroka,  2002).  Der  findes  imidlertid  ikke  nogle  enkle  svar  på problemet.  Ofte  benyttes  informationskriterier  såsom  Akaikes  Information Criterion (AIC) og Bayesian Information Criterion (BIC) til at hjælpe med at afgøre antallet af relevante lags, men de forskellige informationskriterier giver ikke nødvendigvis samme svar (se eksempelvis Dunne og Smith, 2010: 431). Et andet hensyn kan være at inkludere så mange lags, at man undgår autokorrelation i residualerne, hvilket kan inspiceres med standard statistiske tests for autokorrelation (Soroka, 2002: 126).

Der er altså redskaber til at hjælpe, men de erstatter ikke et vist indslag af fornuft og omtanke baseret på kendskab til og substantielle betragtninger om, hvilken tidsforskydning mellem årsag og effekt man kan forestille sig. Arbejder man eksempelvis med data på mediedagsordenen, der generelt har en flygtig karakter, giver det måske ikke meget mening at inkludere lags, der går tre og fire kvartaler tilbage i tid, hvorimod det fint kunne give mening, hvis det var data på den politiske beslutningsproces, der typisk er præget af betydelig mere inerti og inkrementalisme.

Givet at man ofte har et begrænset antal observationer til rådighed, er den grundlæggende udfordring, når det gælder antallet af lags, at hvis man tilføjer ekstra lags, reducerer man risikoen for fejlspecificering og bias i resultaterne, men samtidig øger man standardfejlene, hvorved testens styrke reduceres (jf. Dunne og Smith, 2010: 431). En lav teststyrke betyder i dette tilfælde, at man har lavere sandsynlighed for at finde statistisk signifikant Granger kausalitet mellem to variable. Omvendt, hvis man inkluderer for få lags i modellen, øges sandsynligheden for at påvise Granger kausalitet, men resultatet kan være en falsk afvisning af H 0 -hypotesen.

En anden udfordring  knytter  sig  til  fortolkningen  af  de  enkelte  lagkoefficienter.  Granger  kausalitetstesten  besvarer  et  specifikt  men  noget  snævert spørgsmål, og det kunne ved mange problemstillinger være interessant at se på fortegnet og den statistiske signifikans af de enkelte lagkoefficienter, der er inkluderet i modellen. Det er imidlertid ikke usædvanligt, at både størrelse og signifikans af de enkelte laggede estimater også afhænger af antallet af inkluderede lags, ligesom fortegnet på estimaterne kan variere for forskellige lags.

Et eksempel på sidstnævnte fænomen er gengivet i tabel 3, der bygger på Green-Pedersen og Stubagers (2010) analyser af sammenhængen mellem mediernes dagsorden og antallet af § 20-spørgsmål i Folketinget. Typisk vil man ikke have tilstrækkeligt præcise teoretiske forventninger til at hjælpe med at fortolke de skiftende fortegn på forskellige lags. Dertil kommer, at der ofte vil være  stærk  multikollinearitet  imellem  de  laggede  observationer,  hvilket  kan gøre det umuligt at estimere de individuelle effekter tilstrækkeligt præcist (men bemærk, at multikollinearitet inden for en gruppe af variable ikke påvirker Ftesten for den samlede gruppe af variable).

Som en konsekvens af disse problemer ser man ofte, at man blot afrapporterer de summerede lagkoefficienter (se fx Soroka, 2002). I tabel 3 er de summerede lags altså beregnet som summen af Lag 1 + Lag 2 + Lag 3 + Lag 4 + Lag 5. 8 Kigger vi i tabel 3 på den samlede signifikanstest (Granger kausalitetstesten), er konklusionen på baggrund af den specifikation, der er valgt i tabel 3, at mediedagsordenen Granger forårsager spørgsmålene i folketingssalen, imens det modsatte ikke synes at være tilfældet. Dog bør det bemærkes, at en kortsigtet effekt af § 20-spørgsmål på indslag i radioavisen ikke kan udelukkes, og i den forstand kan tabel 3 også tjene som eksempel på de mulige udfordringer ved at introducere lags med ingen eller meget svag effekt (se Lag 2 til Lag 5 i venstre side af tabellen).

Tabel 3 : Sammenhængen mellem mediernes og politikernes dagsorden

| § 20-spørgsmål  indslag i radioavisen   | Indslag i radioavisen    | § 20-spørgsmål   |
|------------------------------------------|---------------------------|------------------|
| Lag 1 0,014*                             | Lag 1                     | 0,043†           |
| Lag 2 -0,003                             | Lag 2                     | 0,045†           |
| Lag 3 0,009                              | Lag 3                     | -0,006           |
| Lag 4 -0,005                             | Lag 4                     | -0,015           |
| Lag 5 0,000                              | Lag 5                     | 0,029            |
| Summeret lags 0,015                      | Summeret lags             | 0,097            |
| P-værdi af samlet test 0,278             | P-værdi af samlet test    | 0,017            |

Note: *p &lt; 0,05, †p &lt; 0,10. Den samlede test er for H 0 = Lag 1 + Lag 2 + Lag 3 + Lag 4 + Lag 5 = 0. For yderligere information om analysen, se Green-Pedersen og Stubager (2010: 672).

Vedrørende kausalfortolkninger bør man desuden være opmærksom på det, man kunne kalde 'pseudo lags'. Ved studier af tidsserier af politiske data såsom budget- og udgiftsdata ser man ofte, at de forklarende variable er laggede 1 år ud fra det argument, at udgifter, der er registreret i år t, typisk er bestemt i år t-1. Det betyder jo så samtidig, at beslutningen om udgifterne (Y) er truffet i samme tidsinterval (år), som de forklarende variable (X) er målt. Finder man dermed, at X t-1 bidrager til at forklare Y t har man de facto kun påvist 'samtidig kausalitet' og altså ikke Granger kausalitet.

Denne diskussion fører videre til en anden udfordring, som man typisk står over for, når man arbejder med Granger kausalitet: Nemlig hvad tidsfrekvensen  af  data  egentlig  betyder  for  kausalitetsanalysen.  Clive  Granger  kommer selv ind på problemstillingen i sin artikel fra 1969 (s. 427): 'It might be true that when quarterly data are used, for example, a simple causal model is not sufficient to explain the relationships between the variables, while for monthly data a simple causal model would be all that is required … It has been shown elsewhere […] that a simple causal mechanism can appear to be a feedback mechanism if the sampling period for the data is so long that details of causality cannot be picked out'.

Mange politiske processer har en langvarig karakter, der gør, at det - modsat eksempelvis udsving i aktiekurser - ikke giver meget mening at observere dem fra dag til dag. Klassiske variable som budgetter vedtages eksempelvis typisk én gang om året, hvorfor årlige observationer synes at være den oplagte og da også  oftest  benyttede  tidsenhed.  Ofte  er  intervallet  i  tidsseriedata  et  vilkår, som man ikke kan ændre ved, men der kan også være tilfælde, hvor man har et valg i forhold til, hvorvidt man vil aggregere observationer til eksempelvis uger, måneder, kvartaler eller år.

At  dette  valg  kan  få  betydning  for  resultatet  af  kausalitetsanalysen  giver Nannestad (1999) et illustrativt eksempel på. Den substantielle problemstilling handler om, hvorvidt udviklingen i antal artikler om etniske minoriteter Granger forårsager udviklingen i befolkningens modvilje mod etniske minoriteter eller omvendt. Resultaterne ved mediedækning opgjort for henholdsvis kvartaler og måneder er gengivet i tabel 4, der er tilpasset efter tabellerne 4.2 og 4.4. i Nannestad (1999).

Den øverste del af tabel 4 viser resultatet af direkte Granger tests ved brug af 1-4 lags, hvor tidsenheden er kvartaler. Baseret på disse analyser vil konklusionen  være,  at  de  to  tidsserier  ikke  Granger  forårsager  hinanden.  I  den nederste del af tabel 4 er Granger analyserne imidlertid foretaget med medievariablen  opgjort  pr.  måned  -  befolkningens  holdning  er  stadig  målt  kvartalsvis af grunde, der er nærmere redegjort for i Nannestad (1999: 138-139). Det interessante i denne sammenhæng er, at hvis et lempeligt signifikansniveau  på  p  &lt;  0,10  anvendes,  vil  man  på  baggrund  af  analyserne  af  månedsdata konkludere tosidig kausalitet ved brug af en måneds tidsforskydning. Ved brug af henholdsvis to og tre måneders tidsforskydning bliver konklusionen, at  det  er  befolkningens  holdninger,  der  Granger  forårsager  udviklingen i  mediedækningens omfang. Ikke blot får vi altså endnu et eksempel på, at antallet af lags kan have afgørende betydning for testens udfald, men også at det anvendte interval mellem observationerne over tid har betydning. Og også i forhold til sidstnævnte kommer man ikke uden om et vist indslag af fornuft og omtanke baseret på forudgående kendskab til og teoretiske overvejelser om tidsdynamikken i de kausale processer, som man studerer.

Tabel 4 : Sammenhængen mellem mediedækningens omfang og befolkningens holdninger

|                 | Udviklingen i mediedækningens omfang  udviklingen i modviljens omfang   | Udviklingen i mediedækningens omfang  udviklingen i modviljens omfang   | Udviklingen i modviljens omfang  udviklingen i mediedækningens omfang   | Udviklingen i modviljens omfang  udviklingen i mediedækningens omfang   |
|-----------------|--------------------------------------------------------------------------|--------------------------------------------------------------------------|--------------------------------------------------------------------------|--------------------------------------------------------------------------|
|                 | Testværdi (F)                                                            | Prob. nulhypotese sand                                                   | Testværdi (F)                                                            | Prob. nulhypotese sand                                                   |
| Lag (kvartaler) |                                                                          |                                                                          |                                                                          |                                                                          |
| 1               | 0,0814                                                                   | 0,778                                                                    | 1,6917                                                                   | 0,207                                                                    |
| 2               | 0,0576                                                                   | 0,944                                                                    | 0,6859                                                                   | 0,516                                                                    |
| 3               | 0,0505                                                                   | 0,984                                                                    | 1,5613                                                                   | 0,238                                                                    |
| 4               | 0,6550                                                                   | 0,634                                                                    | 2,0917                                                                   | 0,140                                                                    |
| Lag (måneder)   |                                                                          |                                                                          |                                                                          |                                                                          |
| 1               | 4,0895                                                                   | 0,055                                                                    | 4,4587                                                                   | 0,046                                                                    |
| 2               | 2,0511                                                                   | 0,154                                                                    | 3,5566                                                                   | 0,073                                                                    |
| 3               | 1,3172                                                                   | 0,296                                                                    | 4,8633                                                                   | 0,039                                                                    |

Note: Tabellen er en gengivelse af resultaterne i tabel 4.2 og tabel 4.4 i Nannestad (1999).

Vi har i dette afsnit set på en række potentielle problemer og begrænsninger, man bør være opmærksom på, når man arbejder med Granger kausalitetsanalyser. I det næste afsnit introduceres nogle videreudviklinger af den enkle bivariate test.

## Videreudviklinger af den enkle bivariate Granger kausalitetsanalyse

En oplagt risiko ved de bivariate Granger kausalitetstests er, at de er fejlspecificerede, fordi der ikke er kontrolleret for vigtige 3. variable. Det vil sige, man kan have påvist en bestemt tidsrækkefølge mellem to variable, men ikke påvist fravær af spuriøsitet. Rent teknisk er det imidlertid relativt enkelt at udvide de enkle bivariate VAR-modeller beskrevet ovenfor med flere variable. I praksis behandler disse multivariate VAR-modeller de fleste eller alle variable i modellen som endogene, og hver variabel estimeres som en funktion af tidligere værdier af den pågældende variabel samt tidligere værdier af de andre variable i modellen. 9 Tilsvarende den direkte Granger test beskrevet ovenfor benyttes ofte F-tests til at vurdere den statistiske signifikans af enkeltvariable og/eller blokke af variable (se Freeman, Williams og Lin, 1989).

Tabel 5 giver et eksempel på, hvordan tilføjelsen af en tredje variabel kan påvirke testen af Granger kausalitet mellem to andre variable. Eksemplet er hentet fra Dunne og Smith (2010: 438) og bygger videre på tabel 2 ovenfor, men der fokuseres her på, hvordan sammenhængen mellem arbejdsløshed og militærudgifter  ændrer  sig,  når  der  kontrolleres  for  BNP  -  og  altså  ikke  på hovedsammenhængen mellem BNP og militærudgifter. 10  Som det fremgår af tabel 5, har det stor betydning for sammenhængen mellem arbejdsløshed og militærudgifter,  hvorvidt  et  mål  for  BNP  inkluderes  i  analysen.  Hvis  BNP inkluderes, er konklusionen, at arbejdsløshed ikke Granger forårsager militærudgifterne. Inkluderes BNP ikke, er konklusionen derimod, at arbejdsløshed Granger forårsager militærudgifterne.

Tabel 5 : Betydningen af antallet af variable

|                                                            | p-værdier forH 0 -hypotesen   |
|------------------------------------------------------------|-------------------------------|
| Model 1                                                    |                               |
| VAR-model hvor kun arbejdsløshed og militærudgifter indgår | 0,0083                        |
| Model 2                                                    |                               |
| VAR-model hvor der kontrolleres for BNP                    | 0,8448                        |

Note: Tabellen er tilpasset fra Dunne og Smith (2010: tabel 2) og bygger på amerikanske data for perioden 1950-2009. Antal lags = 2 i analyserne, der også inkluderer trend.

Dunne og Smith (2010) giver en række yderligere eksempler på, at Granger kausalitetsanalyserne kan være temmelig sensitive over for antallet af variable, der inkluderes i analysen. Konklusionen er ikke, at denne sensitivitet gør Granger analyserne ubrugelige, men det er et redskab, der bør bruges med omtanke, og hvor man omhyggeligt bør gennemføre og afrapportere analyser af, hvor robuste ens resultater er i forhold til valg af antal lags, valg af variable mv. Som Dunne og Smith (2010: 439) formulerer det: 'Given the large number of possible specifications and the danger of data-mining, searching for results in accord with one's beliefs; there is an issue about how results should be reported'.

Eksemplet i tabel 5 kunne invitere til, at man generelt forsøger at kontrollere for et stort antal potentielt relevante variable. Problemet ved den strategi kan imidlertid være, at antallet af parametre, der skal estimeres, hurtigt bliver meget stort. Hvis der er n variable i en VAR-model med k antal lags, vil hver ligning have n*k parametre plus eventuelle eksogene variable. Hvis ikke tidsserierne er tilstrækkeligt lange, vil meget store VAR-modeller have dårlige statistiske egenskaber, og som en følge heraf vil Granger kausalitetstestene ofte være svage.

Som svar på disse udfordringer ser man i stigende grad, at Granger kausalitetstests anvendes til at analysere sammenhænge i såkaldt 'Time Series Cross Section' (TSCS) data, hvor data er målt både på tværs af enheder og på tværs af tidspunkter. 11 I artiklen 'Two Sides of the Same Coin? Employing Granger Causality Tests in a Time Series Cross-Section Framework', fremhæver Hood, Kidd og Morris (2008: 326), at:  'Within  TSCS  frameworks,  Granger  tests generate meaningful results with significantly shorter time spans, incorporate significantly more observations, and produce more efficient results than Granger tests in conventional contexts'. Dertil kommer James Stimsons (1985: 915) pointe om, at tidsserieanalyser af eksempelvis policy output - der typisk er ordnet i årlige intervaller - ofte ender med at blive studier af fortiden, fordi man bliver nødt til at gå meget langt tilbage i tid for at få observationer nok. Politik i 1950'erne var ikke nødvendigvis kendetegnet ved de samme mekanismer som politik i 00'erne, og er man eksempelvis interesseret i at forstå samspillet mellem medier og politik i nutiden, kan det være hensigtsmæssigt at forsøge at indsamle kortere tidsserier fra et større antal enheder.

Der er altså mange gode grunde til at benytte TSCS data, hvor antallet af tværsnitsobservationer til en vis grad kan kompensere for længden af tidsserier. Som Hood, Kid  og  Morris  (2008)  påpeger,  er  der  imidlertid  to  væsentlige inferensproblemer forbundet med at anvende konventionelle Granger kausalitetstests på TSCS data. Det ene spørgsmål handler om at tage højde for potentiel heterogenitet i form af forskellige konstantled på tværs af enhederne. Det problem kan som hovedregel adresseres ved brug af såkaldte fixed-effect modeller, hvor der estimeres et parameter for hver enhed (se Andersen, 2007 for en introduktion til denne metode).

Det andet inferensproblem er ligeledes knyttet til spørgsmålet om heterogenitet på tværs af enheder og vedrører risikoen for enten at konkludere, at en kausal sammenhæng gælder på tværs af alle enheder, hvis det i virkeligheden kun er en del af enhederne, den gælder for, eller omvendt afvise en kausalsammenhæng på trods af, at den gælder for nogle af de observerede enheder.

Sidstnævnte problem, der vedrører en central antagelse om kausal homogenitet på tværs af enheder, er velkendt (Beck, 2007; Wilson og Butler, 2007) men ikke helt enkelt at håndtere i praksis. Med udgangspunkt i Granger kausalitetsanalyse beskriver Hood, Kid og Morris (2008: 328) imidlertid en procedure, der kan bruges til at estimere forskelle i Granger kausalitet på tværs af enheder i TSCS data. Konkret giver proceduren mulighed for at undersøge følgende kausale scenarier, som sagtens kunne være relevante for en række teoretisk  vigtige  problemstillinger,  når  man  eksempelvis  arbejder  med  typiske TSCS data såsom skole-, kommune- eller landedata:

1. Der eksisterer en identisk kausal relation mellem X og Y på tværs af alle enheder
2. Der er ikke en kausal relation mellem X og Y i nogle af enhederne
3. Der eksisterer en kausal relation mellem X og Y inden for nogle af enhederne, men karakteren af den kausale relation er ikke konstant på tværs af enhederne.

Substantielt illustrerer Hood, Kid og Morris (2008) deres metode i et Granger kausalitetsstudie af sammenhængen mellem opbakningen til det republikanske parti og afroamerikaneres politiske mobilisering over tid og på tværs af 11 amerikanske sydstater. En nærmere introduktion til studiet samt teknikken i deres metode ligger uden for denne artikel, men tilsvarende den relativt enkle direkte Granger test er testproceduren opbygget omkring en række F-tests og kan relativt enkelt implementeres i et standard statistikprogram som STATA. Substantielt tyder Hood, Kid og Morris's (2008) analyse på, at på tværs af alle sydstaterne fører politisk mobilisering blandt afroamerikanere til øget opbakning til det republikanske parti, men kun i det område, der benævnes 'deep south' finder de tosidet kausalitet i den forstand, at øget opbakning til det republikanske parti også Granger forårsager øget politisk mobilisering blandt den afroamerikanske befolkning.

## Konklusion

Denne artikel har givet en række eksempler på, hvordan Granger kausalitet kan testes empirisk, herunder introduceret til en række af de potentielle problemer og begrænsninger, der knytter sig til denne type analyser. Det er imidlertid værd at bemærke, at selv med 'perfekte data' er der grænser for, hvad Granger kausalitet egentlig fortæller om kausalrelationen mellem to variable. Granger kausalitet handler først og fremmest om inkrementel, forbedret forudsigelse. Vejrudsigter Granger forudsiger eksempelvis vejret, men de færreste vil betragte vejrudsigterne som årsager til vejret. Der ligger altså i tilgangen en risiko for det, James Tobin i en berømt artikel fra 1970 har beskrevet som 'post hoc, ergo propter hoc', hvilket kan oversættes med efter begivenheden, altså som følge af den . Og denne sidestilling af kausalitet og timing, som Tobin kritiserer, kan være særlig problematisk i analyser af samfundsmæssige forhold, hvor individer såvel som kollektive aktører kan træffe beslutninger under anticipering af fremtidige forhold og begivenheder (se også Nørgaard, 2007).

I en diskussion af kausal inferens er det derfor også i denne sammenhæng relevant at understrege de tre klassiske kriterier, som en korrelation skal opfylde, før den kan betragtes som kausal inden for statskundskaben: 1) tidsrækkefølge, 2) teori og 3) fravær af spuriøsitet (se Andersen, 2010). 12 Granger kausalitet er især stærk til empirisk at undersøge tidsrækkefølgen imellem årsags- og effektvariable. Som ovenfor beskrevet kan Granger analyser også adressere spuriøsitetskriteriet gennem kontrol for relevante 3. variable, men Granger analyse bidrager i sagens natur ikke med teoretiske forklaringer. I det klassiske eksempel, hvor en dansk undersøgelse tilsyneladende påviste en sammenhæng mellem antallet af storke i et område med, hvor mange børn der blev født i samme område, kunne man sagtens forestille sig, at en Granger kausalitetsanalyse ville vise, at antallet af storke Granger forårsager børnefødsler. Da vi imidlertid ikke teoretisk kan begrunde en sådan kausal sammenhæng, kan vi måske nok påvise Granger kausalitet, men vi kan ikke bruge dette til at drage kausal inferens.

På trods af disse forbehold synes Granger kausalitetstests dog stadig at være et stærkt analyseredskab sammenlignet med tværsnitsstudier, hvor opdelingen i  effekt og årsagsvariable ofte alene beror på et teoretisk ræsonnement. 13 Det synes klart, at sammenlignet med kontrollerede, randomiserede eksperimenter, vil den interne validitet i en Granger kausalitetsanalyse altid være lavere. Fastholder man imidlertid en vis interesse for observationsstudier, vil der som hovedregel være værdifuld viden at hente om kausalrelationen mellem ens tidsserier i en Granger kausalitetsanalyse. Det er formodentlig også derfor, at der godt og vel 40 år efter  Granger  skrev  sin  artikel,  stadig  publiceres  Granger kausalitetsstudier i de bedste politologiske tidsskrifter.

Som forklaring på hvorfor begrebet om Granger kausalitet fik så stor gennemslagskraft  på  trods  af  dets  begrænsninger,  peger  Clive  Granger  selv  på, at diskussioner om kausalitet typisk har været præget af, hvad kausalitet ikke er, hvorfor anvendelsesorienterede økonomer/samfundsforskere hurtigt forstod at værdsætte det enkle og positivt formulerede Granger kausalitetsbegreb. Vi lader økonomen og pragmatikeren Clive Granger få det sidste ord med et uddrag fra et læseværdigt essay fra 1980, hvori han beskriver, hvordan hans egen tilgang til begrebet kausalitet adskiller sig fra mere filosofiske tilgange:

The philosophers are not constrained to look for operational definitions and can end up with asking questions of the ilk: 'If two people at separate pianos each strike the same key at the same time and I hear a note, which person caused the note I hear?' The answer to such questions is of course: 'Who cares?' … One interesting aspect of the philosophers' contribution is that they often try  to  discuss  what  the  term  causality  means  in  'common  usage',  although they make no attempt to use common usage terms in their discussion. Rather than trying to decide what the public thinks they mean by such a difficult concept as causality, it may be preferable to try to influence common usage towards a sounder definition.

## Noter

1. Forfatteren takker Politicas anonyme bedømmere samt redaktørerne af temanummeret for nyttige kommentarer.
2.  Man kan støde på betegnelsen Granger-Wiener kausalitet, da en lignende idé blev foreslået af Wiener allerede i 1956 - et slægtsskab Granger da også selv noterer i sin artikel (Granger, 1969: 428). I nærværende artikel benyttes imidlertid blot Granger kausalitet, der synes at være den mest udbredte betegnelse.
3.  I den univariate autoregressionsmodel (AR-model) beskrives evolutionen i en variabel som en lineær funktion af variablens tidligere værdier. Vektor-autoregression (VAR) er en generalisering af den univariate AR-model til et N-variabel system, der beskriver hver variabel som en funktion af variablens tidligere værdier samt de tidligere værdier af de resterende N-1 variable. I dette og de efterfølgende afsnit fokuseres på VAR modeller, hvor N = 2.
4.  En sammenligning af styrker og svagheder ved forskellige Granger tests kan blandt andet findes i Nelson og Schwert (1982) samt Geweke, Meese og Dent (1983). Christopher A. Sims (1972) Granger test har ligheder med en 'Direct Granger test', men adskiller sig blandt andet ved, at den typisk kræver flere observationer, idet både fortidige og fremtidige observationer af X inkluderes i testen af, hvorvidt kausaliteten ensidigt går fra X til Y (se Sims, 1972: 545). Givet de mange forskellige  Granger tests kan det være hensigtsmæssigt at afprøve robustheden af sine konklusioner ved at underkaste dem forskellige typer tests (se fx Freeman, 1983 samt Dunne og Smith, 2010).
5. I praksis er det særdeles enkelt at gennemføre denne test ved brug af standard statistikprogrammer såsom SPSS og STATA.
6.  For en relativt tilgængelig og pædagogisk introduktion til tidsserieanalyse, herunder stationaritet og ikke-stationaritet, se Clarke, Norpoth og Whiteley (1998).
7. En populær tilgang er den såkaldte ARIMA-metode, der blev udviklet af Box og Tiao (1975). En relativt tilgængelig og pædagogisk gennemgang af metoden er

- givet  i  Clarke,  Norpoth  og  Whiteley  (1998).  Det  skal  dog  understreges,  at  der også findes en række andre tilgange til at inspicere og håndtere egenskaberne ved tidsseriedata (se fx Soroka, 2002: Appendiks A for en kortfattet oversigt over litteraturen).
8.  I nogle publikationer benævnes sådanne tests af summen af de laggede koefficienter 'neutralitetstests' (se fx Zarnowitz, 1992).
9. Variable, der er åbenlyst eksogene - såsom trend-variable eller dummy-variable for sæson-effekter - kan også inkluderes i VAR-modeller.
10. Der henvises til Dunne og Smith (2010: 437-439) for de teoretiske argumenter bag analysen samt for en uddybende diskussion af resultaterne.
11. Der skelnes af og til mellem paneldata (flere tværsnitsobservationer end tidsperioder) og TSCS data (flere tidsperioder end tværsnitsobservationer), men her anvendes blot TSCS som en generel forkortelse for data, der er målt både på tværs af enheder og tid.
12. For en kritisk diskussion af disse kriterier, se Hariri (2012).
13. Her ses bort fra de muligheder, der knytter sig til naturlige eksperimenter og/eller kvasieksperimenter, diskontinuitetsdesigns og lignende.

## Litteratur

- Andersen,  Lotte  Bøgh  (2010).  Forskningskriterier,  i  Lotte  Bøgh  Andersen,  Robert Klemmensen og Kasper Møller-Hansen (red.), Metoder i statskundskab . København: Hans Reitzels Forlag.
- Andersen, Simon Calmar (2007). Multilevel-modeller : en introduktion og et eksempel. Statskundskabens metoder 39 (3): 294-316.
- Baum, Matthew A. og David A. Lake (2003). The political economy of growth: Democracy and human capital. American Journal of Political Science 47: 333-347.
- Beck, Nathaniel (2007). From Statistical Nuisances to Serious Modeling: Changing How We Think About the Analysis of Time-Series-Cross-Section Data. Political Analysis 15: 97-100.
- Box, G. E. P og G. C. Tiao (1975). Intervention analysis with application to economic and environmental problems. Journal of the American Statistical Association 70: 7092.
- Charemza, Wojciech W. og Derek F. Deadman (1992). New Directions in Econometric Practices . Worcester: Edward Elgar Publishing Limited.
- Clarke, Harold D., Helmut Norpoth og Paul Whiteley (1998). It's about time: Modelling political and social dynamics, i Scarbrough, Elinor og Eric Tanenbaum (red.), Research Strategies in the Social Sciences. A Guide to New Approaches . Oxford: Oxford University Press.

- Dearing, James W. og Everett M. Rogers (1996). Agenda-Setting . London: Sage Publications.
- Dunne, Paul J. og Ron P. Smith (2010). Military expenditure and granger causality: A critical review. Defence and Peace Economics 21: 427-441.
- Freeman, John R. (1983). Granger causality and the time series analysis of political relationships. American Journal of Political Science 27 (2): 327-358.
- Freeman, John R., John T. Williams og Tse-min Lin (1989). Vector autoregression and the study of politics. American Journal of Political Science 33 (4): 842-877.
- Geweke, John, Richard Meese og Warren Dent (1983). Comparing alternative tests of causality in temporal systems. Journal of Econometrics 21: 161-194.
- Gonzenbach, William J. (1992). A time-series analysis of the drug issue, 1985-1990: The press, the president and public opinion. International Journal of Public Opinion Research 4 (2): 126-147.
- Granger, Clive (1969). Investigating causal relations by econometric models and crossspectral methods. Econometrica 37 (3): 424-438.
- Granger, Clive (1980). Testing for causality. A personal viewpoint. Journal of Economic Dynamics and Control 2: 329-352.
- Green-Pedersen, Christoffer og Peter B. Mortensen (2010). Who sets the agenda and who responds to it in the Danish parliament? A new model of issue competition and agendasetting. European Journal of Political Research 49: 257-281.
- Green-Pedersen, Christoffer og Rune Stubager (2010). The political conditionality of mass media influence: When do parties follow mass media attention? British Journal of Political Science 40: 663-677.
- Hariri, Jacob Gerner (2012). Kausal inferens i statskundskaben. Politica 44 (2): 184201.
- Heo, Uk og Alexander C. Tan (2001). Democracy and economic growth: A causal analysis. Comparative Politics 33: 463-473.
- Hood III, M.V., Quentin Kidd og Irvin L. Morris (2008). Two sides of the same coin? Employing Granger causality tests in a time series cross-section framework. Political Analysis 16: 324-344.
- Keele, Luke (2007). Social capital and the dynamics of trust in government. American Journal of Political Science 51 (2): 241-254.
- Koop, Gary (2000). Analysis of Economic Data. New York: John Wiley &amp; Sons.
- MacKuen, Michael B., Robert S. Erikson og James A. Stimson (1989). Macropartisanship. American Political Science Review 83 (4): 1125-1142.
- Meier, Kenneth J., L. Polinard og Robert D. Wrinkle (2000). Bureaucracy and organizational performance: Causality arguments about public schools. American Journal of Political Science 44: 590-602.

- Moore, Will H. og David J. Lanoue (2003). Domestic politics and U.S. Foreign Policy: A study of cold war conflict behavior. Journal of Politics 65: 376-396.
- Nannestad, Peter (1999). Solidaritetens pris . Aarhus: Aarhus Universitetsforlag.
- Nelson, Charles R. og G. William Schwert (1982). Tests for predictive relationships between time series variables: A Monte Carlo investigation. Journal of the American Statistical Association 77: 1-18.
- Nørgaard, Asbjørn Sonne (2007). God statskundskab: Heksekunst eller håndværk? Politica 39 (3): 233-255.
- Sims, Christoper A. (1972). Money, income, and causality. The American Economic Review 62 (4): 540-552.
- Soroka, Stuart N. (2002). Agenda-Setting Dynamics in Canada . Vancouver: UBC Press Stimson, James A. (1985). Regression in space and time: A statistical essay. American Journal of Political Science 29 (4): 914-947.
- Thesen, Gunnar (2012). When good news is scarce and bad news is good. European Journal of Political Research 52 (3): 364-389.
- Thorgaard, Peter og Mikkel Munk Quist Andersen (under udgivelse). Hønen eller ægget - Bureaukrati og performance i den danske folkeskole. Politica (http://politica. dk/kommende-artikler/)
- Tobin, James (1970). Money and income: Post hoc ergo propter hoc? The Quarterly Journal of Economics 84 (2): 301-317.
- Walgrave, Stefaan og Peter van Aalst (2006). The contingency of the mass media's political agenda setting power. Towards a preliminary theory. Journal of Communication 56 (2): 88-109.
- Walgrave, Stefaan, Stuart N. Soroka og Michiel Nuytemans (2008). The mass media's political agenda-setting power: A longitudinal analysis of media, parliament, and government in Belgium (1993 to 2000). Comparative Political Studies 41 (6): 814836.
- Wood, B. Dan og Jeffrey S. Peake (1998). The dynamics of foreign policy agenda setting. American Political Science Review 92 (1): 173-184.
- Wilson, Sven E. og Daniel M. Butler (2007). A lot more to do: the sensitivity of timeseries cross-section analyses to simple alternative specifications. Political Analysis 15: 101-123.
- Zarnowitz, Victor (1992). Business Cycles: Theory, History, Indicators, and Forecasting . Chicago: University of Chicago Press.