Multilevel-modeller
Forfattere: Simon Calmar Andersen
Tidsskrift: politica (2007-01-01)

## Multilevel-modeller: en introduktion og et eksempel

I samfundsvidenskaberne arbejdes der ofte med data, som er struktureret i hieraruer. Nar det er tiltældet, giver sakaldte multılevel-modeller ikke bare mulighe‹ tor en mere korrekt beregning at standardtejl og signifikanstest, men også for a udnytte strukturen i datasættet til at undersøge forhold af substantiel interesse. Til at illustrere dette benyttes data om danske skoleelevers prøvekarakterer. Dataelever med svag socioøkonomisk baggrund, og om man kan identificere enkelte kommuner, som klarer sig signifikant bedre end andre. Afslutningsvis henvises der til supplerende litteratur om de statistiske og de praktiske aspekter i metodens anvendelse.

## Når data er hierarkisk opbygget

Inden for samfundsvidenskaberne er de data, som ligger til grund for statistiske analyser, ofte hierarkisk opbygget. Det gælder fx den rumlige struktur, når man har oplysninger om regioner eller individer i forskellige lande, om forskellige kommuner i samme land eller om vælgere i forskellige opstillingskredse og afstemningsdistrikter. Eller hvis man har oplysninger om brugere af forskellige institutioner såsom patienter på sygehuse eller elever i skoler. Det gælder også den tidslige struktur, når data rummer flere observationer af de samme personer eller samme institutioner på forskellige tidspunkter. Den sociale struktur i datasættet kan også være hierarkisk som i studier af familier med flere børn. Eller man kan have kombinationer af disse forskellige typer, så man får hierarkier med tre eller flere niveauer. Figur 1 illustrerer princippet med elever i skoler i kommuner som eksempel.

ordinary least squares Generelt gælder det for sådanne hierarkisk opbyggede datasæt, at de ikke udsætning om, at observationerne er uafhængige af hinanden. Den forudsætning holder sjældent stik i denne type datasæt, fordi enheder inden for samme gruppe ofte vil være stærkere korreleret med hinanden end med enheder i andre grupper. Heldigvis er der blevet udviklet en type statistiske modeller, som ikke blot kan estimere sammenhænge i sådanne datasæt korrekt, men som også kan udnytte strukturen til at undersøge forhold af substantiel interesse. For eksempel kan det undersøges, om grupper på overordnet niveau, såsom kommuner, samlet set har en signifikant sammenhæng med en afhængig variabel på lavere niveau, som for eksempel elevers karakterer. Eller om en forklarende variabel har forskellige effekter på forskellige niveauer eller i forskellige enheder inden for samme niveau.

Figur 1.

mixed ejfects random coefficients Disse modeller går under navne som multilevel regressionsmodeller, hiedeller, og de har de senere år vundet i både udbredelse og tilgængelighed, blandt andet fordi metoden til at beregne dem med efterhånden er blevet integreret i de store statistiksoftwareprogrammer som SPSS (ver. 11), STATA (ver. 9) og SAS.

Næste afsnit beskriver først problemerne ved OLS-regressioner, når data er hierarkisk struktureret, og derefter præsenteres grundprincipperne i multilevel-modeller. Tredje afsnit illustrerer nogle af mulighederne i disse relativt nye modeller på et stort datasæt med oplysninger om danske folkeskoleelevers prøvekarakterer og sociale baggrund. Datasættet er struktureret i tre niveauer, elever i skoler i kommuner, og spørgsmålet er, om det politiske niveau, kommunerne, gør en forskel for elevernes karakterer, når der kontrolleres for betydningen af socioøkonomiske forhold på elevniveau. Artiklen her kan kun give en kort introduktion til og forsmag på multilevel-modeller, men sidste afsnit sammenfatter de tekniske og substantielle fordele ved metoden, og der henvises til supplerende litteratur om både den statistiske og den praktiske side af arbejdet med den.

## Statistikken bag multilevel-modeller

Man har længe været opmærksom på problemerne ved at drage økologiske fejlslutninger om individuel adfærd på baggrund af aggregerede data (i hvert fald siden Robinson, 1950). For at illustrere problematikken kan vi betragte figur 2 som en kortlægning af sammenhængen mellem to variable, individers indtægt (X) og deres almene sundhedstilstand (Y), for to grupper (to kommuner) markeret med henholdsvis cirkler og stjerner. De små cirkler og stjerner markerer så de enkelte individer, mens den store cirkel og den store stjerne markerer de to kommuners gennemsnit på de to variable. De konstruerede observationer i figuren viser på individniveau en tydeligt positiv sammenhæng mellem indtægt og sundhedstilstand. Men hvis vi alene betragter disse data på aggregeret niveau, ser vi en klar negativ sammenhæng mellem kommunernes gennemsnit på de to variable, markeret ved den grå regressionslinje. En sådan aggregeret betragtning kan formelt formuleres med den statistiske model,

<!-- formula-not-decoded -->

x. /3 0 /3 e. 1 residualen og repræsenterer den del af Y, som ikke kan indfanges af den lineære model. På grafen kommer den til udtryk som den lodrette afstand melnormalfordelt og har en fast varians.

En økologisk fejlslutning ville bestå i at slutte fra det aggregerede resultat, en negativ sammenhæng, og til at der for det enkelte individ er en negativ sammenhæng mellem indtægt og sundhedstilstand. Resultatet viser alene en mellem det i eksemplet, at kommunernes gennemsnitsindtægt er negativt relateret til den gennemsnitlige sundhedstilstand - måske fordi den rigeste kommune har en større tæthed af forurenende fabrikker.

Figur 2. niveau

Et alternativ til den aggregerende model er at nøjes med at betragte observationerne på individniveau uden at skelne mellem grupperne. Det kan formelt modelleres således:

<!-- formula-not-decoded -->

i, Y X i, 2, j , sættes med andre ord, at en enkelt regressionslinje kan give en tilfredsstillende beskrivelse af data. En OLS estimering af B-koefficienterne i denne model ville give en linje nogenlunde svarende til den, der ses i figur 3.

Figur 3.

X og sundhedstilstand, men den ville for det første ikke vise, at den modsatte sammenhæng optræder på aggregeret niveau. Den ville for det andet heller ikke vise den rumlige autokorrelation i datasættet, som udspringer af, at enheder på niveau 1 ikke er udtrukket uafhængigt af hinanden, og som kommer til udtryk ved, at observationerne fra den ene kommune, stjernerne, har en systematisk tendens til at ligge over regressionslinjen og dermed have positive residualer, mens observationerne i den anden kommune, cirklerne, generelt har negative residualer. For det tredje ville den ikke tage højde for den heteroskedasticitet, den uensartehed i residualerne, som kommer af, at observationer med høje X-værdier generelt ligger længere fra regressionslinjen end observationer med lave X-værdier.

Dette er helt generelle problemer ved OLS-estimering af den klassiske lineære regressionsmodel, når data er hierarkisk strukturerede:

- (1) OLS-estimaterne korrigerer ikke for den rumlige autokorrelation, som opstår, hvis observationer på niveau 1 ikke er uafhængige af hinanden, fordi de er grupperet i enheder på niveau 2. I det tilfælde vil OLS-estimater af regressionskoefficienter stadig være konsistente, men de estimerede standardfejl vil ofte være for små, og der vil derfor være en tendens til, at man for ofte konkluderer, at en sammenhæng er signifikant (type I-fejl) (Rabe-Hesketh og Skrondal, 2005: 34).'
- (2) Derudover baseres OLS-estimaterne på den forudsætning, at residualerne er homoskedastiske (har ensartet varians). Men hvis sammenhængen mellem to variable varierer mellem grupperne på niveau 2, som i det konstruerede eksempeli figur 3, så opstår der heteroskedasticitet, og estimeringen af standardfejlene bliver unøjagtig.
- (3) Den klassiske lineære regressionsmodel tager heller ikke højde for, at samme variabel kan have forskellige effekter på forskellige niveauer, og den rummer dermed en risiko enten for de ovenfor nævnte økologiske fejlslutninger eller for individualistiske fejlslutninger, hvor det konkluderes, at en sammenhæng på individniveau også gælder på et højere hierarkisk niveau.

i, , j , /3 0 , Men først skal vi se, hvordan en multilevel-model kan opbygges. Det grundlæggende princip ligger i at tillade den mulighed, at der er variation ikke kun perne på niveau 2, j:

- (4) Ud over disse statiske problemer indebærer brugen af den klassiske lineære regressionsmodel også, at der er forhold på de enkelte niveauer, som kan være af substantiel interesse, men som ikke kan analyseres. Den side af sagen vender vi tilbage til i det empiriske eksempel i næste afsnit.

<!-- formula-not-decoded -->

Når skæringspunktet varierer mellem grupperne, er det muligt at opdele det i et gennemsnit og et residualled, som repræsenterer variation omkring gennemsnittet:

<!-- formula-not-decoded -->

Sættes denne ligning (4.) ind i den ovenfor (3.), fås følgende model:

<!-- formula-not-decoded -->

Dermed fås en model, som angiver et fælles skæringspunkt, en fælles hældning, en variation omkring skæringspunktet og en residual variation. Grafisk kan det illustreres som i figur 4.

Figur 4.

2. u 0 . er u OJ e iJ' Her genfindes den fælles regressionslinje fra figur 3, men nu suppleret med 1 ovenfor, den rumlige autokorrelation mellem observationer inden for en bliver 0.

u 0 . faste (fixet!)

2 ), u 0 . hvis man har mange grupper, for eksempel mange kommuner, vil det hurtigt give uoverskueligt mange parameterestimater. Og hvis ikke man er specielt interesseret i de enkelte grupper (kommuner), men i stedet opfatter grupperne som en tilfældig stikprøve af en større population (eller opfatter populationskussion af de to tilgange se Snijders og Bosker, 1999: 41-45; se også Goldstein, 2003: 15; Rabe-Hesketh og Skrondal, 2005: 61).

j 1 : Andet trin i modelbygningen består i at tillade ikke bare skæringspunktet, men også hældningen på regressionslinjerne at variere mellem grupperne. Det mar-

<!-- formula-not-decoded -->

Dermed kan regressionskoefficienten ligesom skæringspunktet opdeles i en fast og en stokastisk del:

<!-- formula-not-decoded -->

Sættes denne ligning (7.) ind i multilevel-modellen ovenfor (6.), får vi:

<!-- formula-not-decoded -->

Figur 5. ninger

/3 1 1 . u 1 ., Grafisk kan det illustreres som i figur 5. Nu har hver gruppe ikke bare sit eget nemsnitlige hældning og den enkelte gruppes hældning. Som det fremgår, modellerer denne model eksplicit en potentiel heteroskedasticitet (jf. punkt 2 ovenfor), som opstår, hvis variationen omkring regressionslinjen afhænger af afhængige af X

Hvis man vil undersøge, om X har en anden effekt på gruppeniveau, kan man i et tredje trin opstille en model, hvor man skelner mellem variation inden for og mellem grupper. Det kan fx gøres ved at operere med to forklarende variable, henholdsvis x;, som er gruppens gennemsnit pă s, og (x.. - X j), som er den enkelte enheds afvigelse fra gruppens gennemsnit. Det giver denne model:

<!-- formula-not-decoded -->

/3 /3 2 snitlige sundhedstilstand). Grafisk kan modellen illustreres som i figur 6, hvor den faldende regressionslinje ligesom i figur 2 markerer mellem-grupper-effekten, mens de stigende regressionslinjer markerer inden-for-grupper-effekten.

For alle disse multilevel-modeller antages det som udgangspunkt,

- e iJ ,  u 0 1 u J ' E(e) = E(u = 1 .) =
- u 1 . 0 ., 1 .) =
- e = a } , = a-� 0 = 0-�
- at e, er ukorreleret med u , og u ; Snijders og Bosker. 1999: 43-46; se ogs Rabe-Hesketh og Skrondal, 2005: 35-36, 63-64; Goldstein, 2003: 1516).3

Under disse forudsætninger kan maximum likelihood- eller restricted maximum likelihood-estimatorerne anvendes (for detaljer, se Goldstein, 2003: 1921; jf. Rabe-Hesketh og Skrondal, 2005: 16).

Figur  6. koefficienter og separat mellem-grupper-effekt

u 0 . er = = 9 Y, For den simpleste multilevel-model med stokastisk skæringspunkt (se ligning 5.) kan variansen på Y dekomponeres som summen af varianserne inden for og

<!-- formula-not-decoded -->

u

(variance partition coefficient). Y, P (rho) kan med andre ord fortolkes som niveau 2's andel af variansen, også også en række andre meget nyttige fortolkninger. p kan således fortolkes anaforklares af grupperne på niveau 2.

a-! 0 test-retest idet høj reliabilitet, forstået som lille variation mellem de enkelte målinger af samme individ, vil få o? til at gå mod 0 og P til at gå mod 1 (Rabe-Hesketh og Skrondal 2005: 7-8).

Endelig kan p også fortolkes som intra gruppe-korrelationen (intra kommune-korrelationen), forstået som et mål for, hvor meget enheder (borgere)

i i "' ,

<!-- formula-not-decoded -->

fordi niveau 1 residualerne forudsættes at være uafhængige. Korrelationen mellem disse to enheder inden for samme gruppe (intra-gruppe-korrelationen) udgøres af kovariansen delt med produktet af deres standardafvigelser:

<!-- formula-not-decoded -->

(Rabe-Hesketh og Skrondal, 2005: 8; Snijders og Bosker, 1999: 46).

p p

X. Hvis multilevel-modellen ikke kun har stokastiske skæringspunkter, men også stokastiske hældningskoefficienter (som i ligning 8.) er intra gruppe-korrelationen ikke den samme som varians-del-koefficienten (for detaljer, se GoldDen har derfor ikke de samme fortolkningsmuligheder (Rabe-Hesketh og Skrondal, 2005: 65-66).

k. Endelig skal det nævnes, at de ovenstående modeller kan udvides til at indbefatte tre eller flere niveauer. I så fald opdeles residualerne i tre dele markeret ninger, svarende til toniveau-modellen i ligning 8 ovenfor, ser det således ud:

<!-- formula-not-decoded -->

v 0k v 1k = a-; 0 = u, og 3 og tilsvarende for variationen på niveau 1.

I næste afsnit skal vi se en empirisk anvendelse af sådan en treniveau-model.

## Kommuners betydning for skoleelevers karakter

Formålet med den følgende analyse er at illustrere mulighederne i multilevelmodeller gennem en analyse af danske kommuners betydning for deres elevers faglige færdigheder - målt ved elevernes gennemsnitskarakter i skriftlig matematik og dansk ved folkeskolens afgangsprøve i 2002. Der hersker blandt danske politikere en stor interesse for at øge folkeskoleelevers faglige udbytte

(fixed ejfects) af deres undervisning. Men det er et spørgsmål, hvor stor indflydelse politikere overhovedet har på det forhold (Andersen, 2006). I Danmark er en stor del af styringen af folkeskolerne decentraliseret til kommunerne. Hvis de forskelle, som eksisterer mellem de enkelte kommuners skolepolitik, har en væsentlig betydning for elevernes faglige præstationer, så skulle man forvente signifikante og væsentlige forskelle mellem karakterniveauerne kommunerne model, der estimerer et parameter for hver kommune, vil det ikke være muligt at få et samlet mål for, om kommunerne gør en signifikant forskel på elevernes karakterer. Det er derimod muligt med en multilevel-model.

Til formålet benyttes et datasæt, som består af oplysninger om alle elevers karakterer ved folkeskolens afgangsprøve i 2002, og som via CPR-numre kobler disse elever med oplysninger om deres forældres sociale og økonomiske baggrund. Formålet med Folkeskolen er væsentligt bredere, end hvad der kan måles med karakterer. Men i forhold til alternative måder at måle skoleelevers udbytte af deres skolegang, må karaktererne betragtes som relativt valide og reliable mål for en central del af målet med undervisningen, de faglige færdigheder. Eftersom elevernes sociale og økonomiske baggrund må forventes at have stor betydning for deres præstationer ved afgangsprøverne, er det væsentligt at kontrollere for sådanne forhold. I dette tilfælde inddrages detaljerede oplysninger om forældres indkomst, uddannelse, bolig- og familieforhold. Der inddrages også en række kontrolvariable for forskelle mellem kommuner, som politikere ikke har nogen direkte indflydelse på (for nærmere oplysninger om og diskussion af variablene i datasættet, se Andersen og Serritzlew, 2007). Den resterende, uforklarede variation mellem kommuner, som kan estimeres med en multilevel-model, kan derfor tolkes som et øvre mål for, hvor megen betydning forskelle i de kommunale skolepolitikker har.

Vi begynder med en simpel multilevel-model med stokastiske skæringspunkter (som ligning 13, men uden stokastiske hældningskoefficienter). Resultatet ses i tabel 1.

Som det fremgår, har variablene på elevniveau alle sammen en signifikant sammenhæng med elevernes gennemsnitskarakter i skriftlig dansk og matematik. Specielt ses det, at piger scorer højere end drenge og indvandrere, og efterkommere af indvandrere lavere end øvrige danskere. Børn, som bor hos begge forældre, scorer også højere end alle andre typer. Jo længere uddannelse forældrene har, desto højere karakterer opnår eleverne, og en større (ejer-)bolig, højere indtægt og formue for forældrenes vedkommende har også en positiv sammenhæng med elevernes karakterer. Til gengæld har kommune-variablerne indbyggertal, beskatningsgrundlag og urbaniseringstype ikke nogen signifikant sammenhæng med karaktererne (med undtagelse af kommuner i Køben- Note: Modellen er estimeret med maximum-likelihood ved hjælp af Iterative Generalized Least Squares (se Goldstein, 2003: 19-21, 49-51). * Signifikant på 0,05 niveauet, to-sidet test; ** signifikant på 0,01 niveauet.

Tabel 1. variable på elev- og kommuneniveau. Multilevel-model med stokastiske skæringspunkter

|                                                               | Skr. dansk og matematik   | Skr. dansk og matematik   | Skr. dansk og matematik   |
|---------------------------------------------------------------|---------------------------|---------------------------|---------------------------|
|                                                               | Koeffi- cient             |                           | Standard fejl             |
| ELEV-VARIABLE                                                 |                           |                           |                           |
| Pige                                                          | 0,261                     | **                        | (0,012)                   |
| Indvandrer/efterkommer                                        | -0,611                    | **                        | (0,028)                   |
| Forældres uddannelse (reference: Højest grundskoleuddannelse) |                           |                           |                           |
| Højest ungdomsuddannelse                                      | 0,397                     | **                        | (0,019)                   |
| Højest kort videregående uddannelse                           | 0,799                     | **                        | (0,030)                   |
| En mellemlang eller lang videregående uddannelse              | 0,921                     | **                        | (0,023)                   |
| To mellemlange eller lange videregående uddannelser           | 1,380                     | **                        | (0,027)                   |
| Husstand                                                      |                           |                           |                           |
| Bor hos mor i et nyt par                                      | -0,183                    | **                        | (0,022)                   |
| Bor hos enlig mor                                             | -0,071                    | **                        | (0,021)                   |
| Bor hos far i et nyt par                                      | -0,132                    | **                        | (0,050)                   |
| Bor hos enlig far                                             | -0,155                    | **                        | (0,040)                   |
| Bor ikke hos forældrene                                       | -0,470                    | **                        | (0,070)                   |
| Boligtype (reference: ikke-ejerbolig)                         | 0,232                     | **                        | (0,018)                   |
| Boligstørrelse (100m 2 )                                      | 0,105                     | **                        | (0,014)                   |
| Forældres bruttoindkomst (100 000 kr.)                        | 0,014                     | **                        | (0,002)                   |
| Forældres formue (100 000 kr.)                                | 0,007                     | **                        | (0,001)                   |
|                                                               |                           |                           | - fortsætter -            |

|                                            | Skr. dansk og matematik   | Skr. dansk og matematik   | Skr. dansk og matematik   |
|--------------------------------------------|---------------------------|---------------------------|---------------------------|
|                                            | Koeffi- cient             |                           | Standard fejl             |
| KOMMUNE-VARIABLE                           |                           |                           |                           |
| Indbyggertal (10 000 kr.)                  | -0,001                    |                           | (0,003)                   |
| Beskatningsgrundlag (1000 kr.)             | 0,001                     |                           | (0,002)                   |
| Urbaniseringstype (reference: landkommune) |                           |                           |                           |
| Hovedstaden                                | 0,071                     |                           | (0,119)                   |
| Hovedstadens forstæder                     | 0,130                     | **                        | (0,051)                   |
| Provinsbyer med >100 000 indbyggere        | 0,029                     |                           | (0,086)                   |
| Provinsbyer med >10 000 indbyggere         | 0,0460                    |                           | (0,031)                   |
| Konstant                                   | 6,726                     | **                        | (0,262)                   |
| STOKASTISKE EFFEKTER                       |                           |                           |                           |
| 0"� 0 (varians mellem kommuner)            | 0,007                     | *                         | (0,003)                   |
| 0"� 0 (varians mellem skoler)              | 0,066                     | **                        | (0,005)                   |
| a: 0 (varians mellem elever)               | 1,411                     | **                        | (0,010)                   |
| -2*loglikelihood                           | 120087                    |                           |                           |
|                                            | 37408                     |                           |                           |

havns forstæder, der ser ud til at opnå signifikant højere karaktergennemsnit end landkommuner, hvor største by har færre end 10.000 indbyggere).

5 Nederst i tabellen angives estimeringen af den stokastiske del af modellen. Konstanten (skæringspunktet), som elever, skoler og kommuner varierer omkring, når der kontrolleres for de andre variable i modellen, er estimeret til 6,73. Kommunerne fordeler sig om dette gennemsnit med en estimeret varians andre ord en vis variation mellem kommunerne, når man kontroller for denne p, række af variable, som politikere ikke umiddelbart har nogen indflydelse på. Variansen mellem skoler er dog ni gange større og mellem elever 200 gange større end variansen på kommuneniveau. Den klart største variation i karaktererne i skriftlig dansk og matematik ligger altså mellem elever inden for samme for kommunernes andel af den samlede varians. I dette tilfælde:

<!-- formula-not-decoded -->

Det er altså kun omkring 0,5 pct. af variansen, som ligger mellem kommuner. Det indikerer, at variationen i kommunernes styring af folkeskolerne ikke har stor betydning for elevernes faglige præstationer.

Modellen baseres som nævnt på den forudsætning, at residualerne på de enkelte niveauer er normalfordelte. Det kan testes ved at plotte rangordnede residualer mod tilsvarende punkter på en normalfordelingskurve. Hvis normalitetsforudsætningen er overholdt, skal resultatet blive en tilnærmelsesvist ret linje (Rasbash et al., 2003: 37-38).

Figur 7 viser resultatet af den analyse for residualerne på kommuneniveau.

Figur 7. Normalitetsplot af residualerne på kommuneniveau

Tilsvarende analyser er lavet for residualerne på elev- og skoleniveau. I alle tre tilfælde ser forudsætningen ud til at være rimelig.

v 0k , Selvom der ikke er megen variation i karaktergennemsnittene mellem kommuner, kan der jo godt tænkes at være enkelte kommuner, som klarer sig signemsnitlige skæringspunkt, og det kan derfor betragtes som et mål for, hvor meget bedre eller dårligere, den enkelte kommune klarer sig i forhold til modellens forudsigelse.

Når den enkelte kommunes residual skal estimeres, er der to muligheder: „rå" eller „krympede" residualer. De rå residualer, Jok beregnes simpelthen som forskellen mellem den observerede værdi, yk og den forudsagte værdi, yük:

<!-- formula-not-decoded -->

Men hvis man ikke blot er interesseret i at beregne den enkelte kommunes residual i datasættet, men betragter grupperne, i dette tilfælde kommunerne, som en stikprøve af en større population (eller som en stikprøve fra en stokastisk verden, jf. note 2), så kan der være grund til at benytte de krympede residualer. Her vægtes de rå residualer i forhold til, hvor mange enheder der er i den enkelte gruppe (elever i kommunen), og i forhold til hvor stor variationen på gruppeniveau er i forhold til variationen på individniveau, som det sker i denne formel:

<!-- formula-not-decoded -->

nk v 0 . -de rå residualer i samme gruppe. Som det fremgår, er krympefaktoren altid mindre end 1 og større end 0, hvilket betyder, at den altid gør den krympede residual mindre end den rå residual. En begrundelse for at benytte de krympede residualer er, at hvis man havde en kommune, som ikke var med i datasættet, ville bedste gæt på dens residual være den gennemsnitlige residual. Hvis man tilsvarende har en kommune med meget få observationer, så har man et meget upræcist estimat af dens parametre. Derfor får man et bedre gæt ved at trække den type kommuner i retning af gennemsnittet. Det er, hvad den krympede residual gør. Krympefaktoren er den bedste lineære unbiased prædiktor sætning (for nærmere diskussioner, se Rabe-Hesketh og Skrondal, 2005: 22; Goldstein, 2003: 22; Rasbash et al., 2003: 33).

For at undersøge, om enkelte kommuner klarer sig signifikant bedre end gennemsnittet, er disse krympede residualer og deres standardfejl estimeret. På den baggrund er kommunerne i figur 8 rangordnet i forhold til, hvor godt de klarer sig, og der er lagt et 95 pct. konfidensinterval omkring hver kommune. Hvis en kommunes konfidensinterval ligger over (under) gennemsnittet, der er 0, så viser det, at der er mindre end 5 pct. sandsynlighed for, at den kommune ikke rent faktisk klarer sig bedre (værre) end dens forudsagte gennemsnitskarakter (som er et gennemsnit justeret for kontrolvariablene). Som det fremgår, er der ikke nogen kommune, som ud fra den beregning klarer sig signifikant bedre eller værre end gennemsnittet.

Figur 8. nemsnittet?

Note: Kommunernes krympede residualer i forhold til deres forudsagte score. 95 pct. konfidensintervaller.

Det er imidlertid vigtigt at være opmærksom på, at med disse konfidensintervaller, må vi forvente, at vi for hver 20. kommune (5 pct.) identificerer en signifikant residual alene af tilfældige årsager. Konfidensintervallet kan altså kun bruges til at teste, om en bestemt kommune, som vi i forvejen forventer klarer sig bedre end gennemsnittet, faktisk også gør det. Hvis vi ville bruge plottet til med 95 pct. sikkerhed at identificere signifikant gode kommuner, skulle konfidensintervallerne justeres for, at vi på én gang sammenligner 275

kommuner. Der eksisterer en hel litteratur om, hvordan sådanne multiple sammenligninger skal foretages, men generelt gælder det, at de giver meget bredere konfidensintervaller, og i dette tilfælde ville alle kommuner være langt fra at gøre en signifikant forskel (se fx Benjamini og Hochberg, 1995).°

Søjle 1 svarer til tabel 1, blot er de sociale baggrundsvariable samlet i et indeks. Modellen bekræfter en stærkt signifikant sammenhæng mellem social baggrund og karakterer og tilsvarende mellem køn og karakterer. Kommunevariablerne har ikke nogen stærk sammenhæng med karaktererne, og der er en signifikant, men lille variation omkring kommunernes gennemsnitlige skæringspunkt. (Kommunernes andel af den samlede variation, varians-dels-koefficient, er blot 0,7 pct.). I søjle 2 tillades effekten af elevernes sociale baggrund at variere både mellem skoler og mellem kommuner. Det påvirker ikke de faste estimater i nævneværdig grad, men i den nederste del af tabellen kan vi se, at der er en signifikant variation ikke blot i kommunernes og skolernes skæringspunkter, men også i deres hældningskoefficienter for indekset for social baggrund.

Et andet spørgsmål er, om elevernes sociale baggrund har forskellig betydning for deres faglige præstationer i forskellige kommuner. For at undersøge det spørgsmål, er de forskellige variable for den sociale baggrund samlet i et formativt indeks (for detaljer om indekset, se appendiks). Indekset er anvendt i en multilevel-model først med stokastiske skæringspunkter og derefter med både stokastiske skæringspunkter og hældningskoefficienter. Den sidste model svarer til ligning 10, men suppleret med kontrol for elevens køn og de kommunale faktorer anvendt i tabel 1. Resultatet af at estimere de to modeller ses i tabel 2 i henholdsvis første og anden søjle.

likelihood ratio test. Det kan testes, om tilføjelsen af stokastiske hældningskoefficienter samlet set er signifikant. Når man sammenligner to multilevel-modeller er det i følge ved at tage differencen mellem de to modellers -*loglikelihood estimater (i dette tilfælde 55), som har en chi-i-anden-fordeling med antal frihedsgrader svarende til antallet af yderligere estimater (i dette tilfælde 4). Det giver en sandsynlighed &lt;0,000 og bekræfter, at der er signifikant forskel mellem de to modeller og dermed signifikant variation i effekten af den sociale baggrund.

Det fremgår også, at der er en signifikant negativ kovarians mellem skæringspunktet og hældningskoefficienten på både skole- og kommuneniveau. Kovariansen har også en substantiel fortolkning: Hvis man forestiller sig, at man tegnede en regressionslinje for hver kommunes sammenhæng mellem social baggrund og karakterer (som i figur 5), så ville kommuner med et højt skæringspunkt (karaktergennemsnit for værdien 0 på indekset for social baggrund) have en lav hældning (og omvendt). Kommunernes regressionslinjer ville altså samle sig mere og mere, jo højere social baggrund eleven har (modsat figur 5). Det vil sige, at kommunerne gør en større forskel for elever med svag social baggrund end for elever med høj social baggrund (og det samme gælder skolerne). Korrelationen mellem skæringspunktet og interceptet på kommuneniveau er så høj som:

Tabel 2. i forskellige kommuner? Multilevel-modeller med stokastiske skæringspunkter (søjle 1) og stokastiske hældningskoefficienter (søjle 2).

|                                            | Skr. dansk og matematik   | Skr. dansk og matematik   | Skr. dansk og matematik   | Skr. dansk og matematik   | Skr. dansk og matematik   | Skr. dansk og matematik   |
|--------------------------------------------|---------------------------|---------------------------|---------------------------|---------------------------|---------------------------|---------------------------|
|                                            | (1) Koef.                 | (1) Koef.                 | Std.fejl                  | (2) Koef.                 | (2) Koef.                 | Std.fe 1j l               |
| ELEV-VARIABLE                              |                           |                           |                           |                           |                           |                           |
| Elevens sociale baggrund (index)           | 0,374                     | **                        | (0,005)                   | 0,364                     | **                        | (0,007)                   |
| Køn (reference: dreng)                     | 0,260                     | **                        | (0,013)                   | 0,260                     | **                        | (0,013)                   |
| KOMMUNE-VARIABLE                           |                           |                           |                           |                           |                           |                           |
| Indbyggertal (10 000 kr.)                  | -0,004                    |                           | (0,003)                   | -0,002                    |                           | (0,004)                   |
| Beskatningsgrundlag (1000 kr.)             | 0,003                     |                           | (0,002)                   | 0,003                     |                           | (0,002)                   |
| Urbaniseringstype (reference: landkommune) |                           |                           |                           |                           |                           |                           |
| Hovedstaden                                | 0,203                     |                           | (0,133)                   | 0,243                     |                           | (0,132)                   |
| Hovedstadens forstæder                     | 0,122                     | *                         | (0,055)                   | 0,135                     | **                        | (0,055)                   |
| Provinsbyer med >100 000 indbyggere        | 0,131                     |                           | (0,101)                   | 0,136                     |                           | (0,101)                   |
| Provinsbyer med >10 000 indbyggere         | 0,053                     |                           | (0,034)                   | 0,053                     |                           | (0,034)                   |
| Konstant                                   | 6,034                     | **                        | (0,283)                   | 6,119                     | **                        | (0,279)                   |
|                                            |                           |                           |                           |                           | - fortsætter -            | - fortsætter -            |

<!-- formula-not-decoded -->

|                                                   | Skr. dansk og matematik (1) (2)   | Skr. dansk og matematik (1) (2)   | Skr. dansk og matematik (1) (2)   | Skr. dansk og matematik (1) (2)   | Skr. dansk og matematik (1) (2)   | Skr. dansk og matematik (1) (2)   |
|---------------------------------------------------|-----------------------------------|-----------------------------------|-----------------------------------|-----------------------------------|-----------------------------------|-----------------------------------|
|                                                   | Koef.                             |                                   | Std.fe,jl                         | Koef.                             |                                   | Std.fe,il                         |
| STOKASTISKE EFFEKTER                              |                                   |                                   |                                   |                                   |                                   |                                   |
| Kommuneniveau                                     |                                   |                                   |                                   |                                   |                                   |                                   |
| a}0 (skæringspunkt)                               | 0,011                             | **                                | (0,004)                           | 0,0520                            | **                                | (0,0161)                          |
| a v O l (kovarians)                               |                                   |                                   |                                   | -0,0099                           | **                                | (0,0036)                          |
| a� 1 (hældningskoeff., soc.                       |                                   |                                   |                                   |                                   |                                   |                                   |
| baggrund)                                         | 0,072                             | **                                | (0,006)                           | 0,0024 0,1299                     | **                                | (0,0009)                          |
| Skoleniveau                                       |                                   |                                   |                                   |                                   |                                   |                                   |
| a� 0 (skæringspunkt)                              |                                   |                                   |                                   |                                   | **                                | (0,0203)                          |
| a u O l (kovarians)                               |                                   |                                   |                                   | -0,0152                           | **                                | (0,0049)                          |
| a� 1 (hældningskoeff., soc.                       |                                   |                                   |                                   |                                   |                                   |                                   |
| baggrund) Elevniveau a: 0 (varians mellem elever) | 1,480                             | **                                | (0,011)                           | 0,0035 1,4719                     | ** **                             | (0,0014) (0,0011)                 |
| -2*loglikelihood                                  | 124517                            |                                   |                                   | 124462                            |                                   |                                   |
| N                                                 | 38208                             |                                   |                                   | 38208                             |                                   |                                   |

Note: Gennemsnitkarakter i skriftlig dansk og matematik forklaret ud fra varable på elev- og kommuneniveau. Modellen er estimeret med maximumlikelihood ved hjælp af Iterative Generalized Least Squares (se Goldstein, 2003: 19-21, 49-51). * Signifikant på 0,05 niveauet, to-sidet test; ** signifikant på 0,01 niveauet.

Konklusionen fra den første del af multilevel-analysen modificeres altså, når de stokastiske hældningskoefficienter introduceres i modellen. Godt nok er der ikke megen variation i karakterniveauet mellem kommunerne, og der er ikke nogen kommune, som klarer sig signifikant bedre eller dårligere end gennemsnittet. Men forskellen mellem kommunerne er større for elever med svag social baggrund end for elever med stærk social baggrund - efter at der er kontrolleret for kommunevariable som urbaniseringstype og beskatningsgrundlag (som i øvrigt med en enkelt undtagelse ikke korrelerer signifikant med

7 en stærk social baggrund, så skal deres forældre under alle omstændigheder nok sørge for, at de får lært de ting, der skal læres, mens det omvendt gælder, at hvis eleverne har en svag social baggrund, så har kommunernes og skolernes indsats en stor betydning for elevernes faglige udbytte af deres skolegang.

## Sammenfatning og supplerende litteratur

Mere generelt gælder det, at multilevel-modeller tilbyder både nogle statistisk-tekniske og nogle substantielle fordele, når ens data er struktureret hierarkisk (jf. Jones og Duncan, 1998). Statistisk-teknisk tilbyder de for det første en måde at håndtere rumlig autokorrelation, som opstår, hvis enheder inden for en gruppe er korreleret indbyrdes. Det sker ved at opdele residualledet i niveauer og dermed estimere variationen omkring gruppernes skæringspunkt. For det andet kan de håndtere nogle former for heteroskedasticitet, som opstår, hvis variansen på residualerne afhænger af de forklarende variable. Det gør de ved at tillade, at de forklarende variable har forskellig sammenhæng med den afhængige variabel i de enkelte grupper. Endelig kan de håndtere variable på flere niveauer, og de undgår dermed den risiko for økologiske eller individualistiske fejlslutninger, som opstår, hvis man er tvunget til enten at aggregere eller disaggregere hierarkisk ordnede data.

Sammenfattende kan man sige, at ved at benytte multilevel-modeller til at analysere karakterdataene var det muligt at undersøge nogle substantielle og politologisk set højst relevante spørgsmål, som det ikke ville have været muligt at besvare med almindelig OLS-modellering. Multilevel-modellerne gjorde det muligt at undersøge, om kommuner med deres forskellige skolepolitikker som sådan gør en forskel på elevernes faglige udbytte af deres skolegang - og også om de gør en større forskel for bestemte grupper af elever.

Substantielt tilbyder multilevel-modeller en mulighed for at analysere effekten af den kontekst, som enheder på niveau 1 agerer inden for. Det blev illustreret med en undersøgelse af kommuners betydning for skoleelevers karakterer ved afgangsprøverne i skriftlig dansk og matematik. Her var det muligt at vise, at der var signifikante forskelle mellem kommunerne, men også at det kun var en meget lille del af den samlede variation, som skyldtes kommunerne. Endvidere kunne man se, at effekten af elevernes sociale baggrund var forskellig i forskellige kommuner, og endda at der var en generel tendens til, at kommuner gør en større forskel for elever med svag social baggrund. Endelig kan multilevel-modeller også bruges til at estimere, hvordan de enkelte kommuner klarer sig i forhold til deres forudsagte performance. Her var det ikke muligt at identificere nogen kommune, som klarede sig signifikant bedre eller værre end det forudsagte gennemsnit.

Og dette er endda bare nogle af mulighederne i multilevel-modeller. De kan også anvendes til logistiske regressioner af en binær afhængig variabel, til regressioner med flere afhængige variable, til longitudinale studier med mange manglende observationer, til faktoranalyse og til datasæt, hvor enhederne er medlemmer af forskellige grupper på kryds og tværs. Der findes efterhånden en hel del litteratur, som beskriver både de statistiske og de praktiske sider af metoden. En god, kort, ikke-matematisk introduktion til modellerne findes i Jones og Duncan (1998). Snijders og Bosker (1999) har skrevet en hel bog, som introducerer både basale og mere avancerede multilevel-modeller med en begrænset brug af matematik. En af de mest omfattende introduktioner, som samtidig redegør detaljeret for multilevel-modellernes statistiske grundlag, er skrevet af en af ophavsmændene, Harvey Goldstein (2003). En diskussion af de nyeste statiske udviklinger inden for metoden findes i et særnummer af Political Analysis (Special Issue on Multilevel Modeling for Large Clusters: Autumn 2005; Vol. 13, No. 4).

Når det gælder det praktiske arbejde med modellerne, eksisterer der også en række gode tekster, som ofte samtidig introducerer til modellerne. Analyserne til denne artikel er blevet foretaget i det lille specialprogram til multilevel-modeller, MLwiN (ver.2.0). Fordelen ved dette program er, at det er designet til at foretage mange af de analyser, som er særligt relevante for multilevel-modeller. Ulemperne er, at det tager lidt tid at sætte sig ind i et nyt statistikprogram, at det ikke er så let at arbejde med syntaksfiler, og at outputtet skal kopieres som grafik fra skærmen. En meget god introduktion til programmet findes i Rasbash et al. (2003).

Som nævnt i indledningen er multilevel-modeller også blevet integreret i de store statistiksoftwarepakker. Lolle (2003) giver en kort dansk introduktion til multilevel analyse i SPSS (ver. 11.5). Singer (1998) viser, hvordan man kan benytte SAS-kommandoen PROC MIXED, som har eksisteret længe, men efterhånden er blevet forbedret, så den nu også kan bruges til at estimere multilevelmodeller. Endelig er multilevel-modellering også blevet relativt brugervenligt i STATA (ver. 9). Rabe-Hesketh og Skrondal (2005) giver en god og omfattende introduktion, som samtidig giver mange nyttige tips til datahåndtering i STATA.

Hvis ens data er struktureret i hierarkier, er det derfor både relativt let at anvende multilevel-modellering, det giver mere korrekte estimeringer, og det åbner for besvarelse af nye forskningsspørgsmål.

## Noter

1. Mere præcist gælder det, at hvis der kun er en enhed (et individ) på niveau 1 i hver niveau 2-gruppe (kommune), er OLS-estimaterne af standardfejlene korrekte. Men jo flere enheder der er i hver gruppe, desto mere underestimerer OLS (Goldstein, 2003: 23; se også Snijders og Bosker, 199%: 13-10, 40-41).

- 5
3. Det er dog også muligt at modellere en heteroskedastisk kompleks variation på niveau 1 (se Goldstein 2003: 63-76).
- p =
- test kun foretages ved store stikprøver (mange observationer), hvilket må siges at være tilfældet her med 37.408 elever (Goldstein, 2003: 24).
7. Som et sidste led i analysen kunne man undersøge, om den sociale baggrund har len for skoler (partiel korrelation pa 0,36 (standardte]l 0,01))
- Det er i den forbindelse værd at bemærke, at politikere, forskere og tænketanke har vist stor interesse for at sammenligne og rangordne skoler ud fra deres karaktergennemsnit. Problemet med disse rangordninger er - ud over at de ikke alle sammen kontrollerer adækvat for elevernes sociale baggrund - at de ikke tager højde for den usikkerhed, der er forbundet med de estimerede placeringer på ranglisten. 1 England, hvor man er gået langt med at rangordne skoler, har nogle forskere gjort meget for at diskutere de statiske vanskeligheder, der knytter sig til sådanne ranglister t. diskussionen 1 Goldstein og Spiegelhalter, 1996).
8. Programmet udvikles og sælges af forskningsenheden The Centre for Multileve Modelling. Det kan bestilles på hjemmesiden www.cmm.bristol.ac.uk (12.8.2007).

## Litteratur

- Andersen, Simon Calmar (2006). „Styring gennem autonomi. Et torskningsprojeki om politisk styring at de danske skoler "? Politica, 30. argang, nr. 4, PP. 426-443.
- Andersen, Simon Calmar and Søren Serritzlew (2007). The unintended effects of private school competition", Journal of Public Administration Research and Theory, Vol. 17, No. 2, pp. 335-356.
- Benjamini, Yoav and Yoset Hochberg (1995). „Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing", Journal of the Royal Statistical Society. Series B (Methodological), Vol. 57, No. 1, pp. 289-300.
- Goldstein, Harvey and David J. Spiegelhalter (1996). „League Tables and Their Limi-
- Goldstein, Harvey (2003). Multilevel Statistical Models, London: Arnold.
- Jones, Kelvyn and Craig Duncan (1998). „Modelling Context and Heterogeneity: Applying Multilevel Models" ", pp. 95-123 in Elinor Scharbrough and Eric Tanenbaum (eds.), Research Strategies in the Social Sciences, Oxford: Oxford University Press.
- Lolle, Henrik (2003). Multilevel analyse i SPSS 11.5, Aalborg: Institut for konomi,
- King, Gary, Robert O. Keohane and Sidney Verba (1994). Designing Social Inquiry, Princeton, NJ: Princeton University Press.
- Rabe-Heegh, Oopain and Anders Skrondal (2005). Mutilevel and Longitudian! Modelins Using Stata, College Station, TX: Stata Press.

- A user's guide to MLwiN, don: Centre for Multilevel Modelling, Institute of Education, University of Lon-
- American Sociological Review, Robinson, W.S. (1950). „Ecological correlations and the behavior of individuals,
- Journal of  Educational and Behavioral Statistics, Singer, Judith D. (1998). „Using SAS PROC MIXED to Fit Multilevel Models,
- Multilevel analysis. An introduction to basic and advanced multilevel modeling, Publications.
- tet.

## Appendiks

Indekset over elevernes sociale baggrund baseres på fem variable, der er dikotomiseret så tæt på medianen som muligt, jf. tabel A.1, og givet værdierne 0 og 1. Indekset ligger dermed i intervallet [0;5).

Tabel A.1. socioøkonomiske status

| 0   |
|-----|

Skolernes gennemsnitlige sociale baggrund er beregnet som et simpelt gennemsnit af elevernes sociale baggrund.