sou · H7B340 · 2019-08-30 00:00:00 — Skolor med en standardavvikelse högre kvalitet antas förbättra elevresultaten med 0,2 sd. I alla scenarier antas elever sortera till olika skolor baserat på observerade elevegenskaper. Det ger upphov till en korrelation mellan elevers egna egenskaper och skolans elevsammansättning på ungefär 0,45, vilket ligger i nivå med den verkliga korrelationen . Simuleringarna genomförs dels under anta- gandet att skolans elevsammansättning inte påverkar elevernas resultat, dels då en standardavvikelse bättre skolkamrater förbättrar resultaten med 0,1 sd. En förbättring av elevsammansättningen antas därmed ha hälften så stor effekt som en förbättring av skolkvaliteten, Skolkvalitet i : En analys av skolans mervärde Bilaga 7 till LU2019 medan effekten av skolkamraternas egenskaper uppgår till en fjärde- del av effekten av elevernas egna egenskaper. Vi antar vidare att elevernas dolda egenskaper inte ger upphov till några samman- sättningseffekter. Som diskuteras ovan kan snedvridning av sammansättnings- effekter också påverka andra skattningar. Vi undersöker detta genom att låta av eleverna gå på fristående skolor, vilket ungefär motsvarar dagens nivå. Fristående skolor antas i genomsnitt generera 0,1 sd bättre elevresultat. I analyser av obser- verad och dold elevsortering antas alla fristående skolor ha samma kvalitet, medan de antas befinna sig 0,5 sd högre upp i kvalitets- fördelningen i det fall då elever tillåts sortera till skolor med olika kvalitet (vilket innebär att fristående skolor i genomsnitt har 0,1 sd bättre resultat). I alla simuleringar medför elevsorteringen att fri- stående skolor i genomsnitt har 0,2 sd bättre elevegenskaper, vilket gör att de har ungefär 0,02 sd (0,2 sd × 0,1) bättre resultat på grund av mer gynnsam elevsammansättning när vi antar att det finns sammansättningseffekter. Vi skattar fem olika regressionsmodeller som alla är vanligt förekommande i analyser av skolkvalitet och sam- mansättningseffekter. Modellerna baseras på individdata, och stan- dardfelen tar hänsyn till korrelation av feltermerna på skolnivå (kluster-justerade standardfel). Tabell 7.1 visar skattningarna under antagandet att elever sorterar till skolor enbart med avseende på observerade egenskaper. Det motsvarar den ideala situation som antas gälla för att identifiera effekter av såväl skolkvalitet som elevsammansättning. I den övre panelen (Panel A) antas skolans elevsammansättning inte påverka resultaten, medan bättre skolkamrater antas förbättra resultaten i den nedre panelen (Panel B). Den första kolumnen kontrollerar enbart för elevens egna egenskaper. I frånvaro av sammansättnings- effekter uppskattas friskolor ha omkring 0,10 sd högre resultat, vilket motsvarar den verkliga skillnaden. Om det finns skolnivå- effekter kommer dessa att i huvudsak tillskrivas skolan, vilket gör att skillnaden mellan fristående och kommunala skolor ökar med knappt 0,02 sd. Den andra kolumnen kontrollerar i stället för skolans genom- snittliga elevkvalitet, vilket motsvarar en skattning på aggregerade Bilaga 7 till LU2019 Skolkvalitet i : En analys av skolans mervärde skoldata med vikter för skolornas storlek.6 Skillnaden mellan hu- vudmannatyper påverkas knappast i frånvaro av sammansättnings- effekter, medan den krymper till den verkliga skillnaden om elev- sammansättningen tillåts påverka resultaten. Effekten av skolans elevsammansättning för elevresultat överskattas dock kraftigt i båda fallen, eftersom modellen saknar individkontroller. I den tredje kolumnen införs kontroller för både elevens egna egenskaper och skolans genomsnittliga elevegenskaper. Det motsvarar en enkel modell för att skatta sammansättningseffekter. Under förutsättning att sorteringen till skolor enbart baseras på observerade elevegen- skaper kan effekter av alla variabler identifieras. Det framgår också att modeller som bara tar hänsyn till skolans elevgenomsnitt (kolumn två) fångar summan av effekterna av elevernas egna egen- skaper och skolans sammansättning. 6Punktskattningarna i kolumn 2 blir identiska om vi i stället aggregerar data till skolnivå och viktar med skolornas storlek. Skolkvalitet i : En analys av skolans mervärde Bilaga 7 till LU2019 Not: Tabellen visar resultatet av skattningar på simulerade data under antagandet att elever sorterar till skolor enbart på observerade elevegenskaper. Det är vanligt att analyser av skolkvalitet sker i två steg. Först skattas en regressionsmodell där elevresultat förklaras av elevegenskaper och skolfixa effekter. I ett andra steg förklaras sedan skillnaderna mellan skolor (de skolfixa effekterna) med olika variabler. De två återstående kolumnerna i tabell 7.1 visar resultaten från sådana tvåstegsregressioner. I kolumn fyra relateras de skolfixa effekterna till huvudmannatyp. I avsaknad av kamrateffekter erhålls ungefär samma skillnad mellan fristående och kommunala skolor som i tidi- gare modeller. Om det däremot finns samansättningseffekter kom- mer dessa att utgöra en del av resultatskillnaden mellan skolor. Det går därmed inte att separera effekterna av skolans och kamrat- gruppens kvalitet med denna modell. Skillnaden mellan skolor utgörs i stället av summan av skolans kvalitet och eventuella sam- mansättningseffekter. Bilaga 7 till LU2019 Skolkvalitet i : En analys av skolans mervärde Den sista kolumnen visar korrelationen mellan elevernas förut- sättningar och skolans kvalitet, vilket visar hur skolkvaliteten för- delas till olika typer av elever. Eftersom vi har antagit att elever inte direkt sorterar på skolors kvalitet, finns ingen skillnad i skolkvalitet för elever med olika förutsättningar.7 I frånvaro av kamrateffekter finns därmed heller inget samband mellan elevförutsättningar och resultatskillnader mellan skolor, vilket framgår av sista kolumnen i Panel A. Eftersom elever sorterar till skolor på observerade elev- egenskaper kommer däremot elever med goda förutsättningar i större utsträckning att gå på skolor med bättre kamrater; elever med en standardavvikelse bättre egenskaper går i genomsnitt med kam- rater som är omkring 0,2 sd bättre. Om det finns sammansätt- ningseffekter kommer det därför framstå som att elever med bättre förutsättningar sorterar till bättre skolor, vilket förstås är riktigt om man ser elevgruppens egenskaper som en del av skolans kvalitet. I vårt fall medför det att elever med 1 sd bättre egenskaper går på skolor som genererar ungefär 0,02 sd (0,2 sd × 0,1 = 0,02 sd) bättre resultat. Tabell 7.2 visar skattningar under antagandet att elever sorterar till skolor på både observerade och dolda elevegenskaper. Det sned- vrider skattningarna av såväl skolornas elevsammansättning som skillnaderna mellan fristående och kommunala skolor. Under för- utsättning att sorteringen på dolda egenskaper är positiv kommer betydelsen av skolans elevsammansättning av överskattas, medan den underskattas om sorteringen är negativ. Även om elevernas observerade och dolda egenskaper är oberoende på individnivå ska- par sorteringen till skolor en korrelation mellan skolans observerade elevsammansättning och elevens dolda egenskaper. I våra simulerade data uppgår korrelationen till ungefär 0,4. Elevsammansättningen fångar därmed upp en del av elevernas dolda egenskaper, vilket sned- vrider de skattade skolnivåeffekterna. Som framgår av kolumn tre i Panel A kan skattningarna bli kraftigt missvisande. Även om vi antar att skolornas elevsammansättning inte påverkar resultaten uppskat- tas effekten av kamraternas egenskaper vara lika stor som effekten av elevens egna egenskaper. 7Det stämmer inte i strikt mening eftersom elever sorterar till skolor med avseende på obser- verade förutsättningar och fristående skolor antas ha bättre elevunderlag än kommunala skolor. Därmed kommer elever med bättre egenskaper att i genomsnitt gå på något bättre (fri)skolor, men med den grad av sortering och skillnader mellan huvudmannatyper som vi har valt är denna effekt liten. Skolkvalitet i : En analys av skolans mervärde Bilaga 7 till LU2019 Inte heller resultatskillnaderna mellan fristående och kommunala skolor kan ges någon kausal tolkning när elever sorterar på dolda elevegenskaper. Precis som i fallet med skolnivåeffekterna kommer betydelsen av huvudmannatyp att överdrivas om sorteringen är positiv, medan den underskattas om sorteringen är negativ. I våra simulerade data överdrivs även betydelsen av huvudmannatyp påtag- ligt. Den skattade effekten är högre än den verkliga. Även skattningarna av fördelningen av elever till skolor med olika kvalitet blir snedvridna om sorteringen till skolor sker på dolda egenskaper. I våra simuleringar framstår elevsorteringen till skolor av olika kvalitet vara kraftigare än den egentligen är, vilket framgår av den sista kolumnen. Not: Figuren visar resultatet av skattningar på simulerade data under antagandet att elever sorterar till skolor på såväl observerade som dolda elevegenskaper. En viktig implikation av att skolans observerade elevsammansätt- ning delvis fångar upp elevernas dolda egenskaper är att kontroller Bilaga 7 till LU2019 Skolkvalitet i : En analys av skolans mervärde för skolans elevsammansättning kan minska snedvridningen av kvalitetsskillnaderna mellan skolor (i vårt fall mellan olika huvud- mannatyper). Det gäller oavsett riktningen på den dolda selektionen eller om det förekommer sammansättningseffekter eller inte. Kolumn två och tre i tabell 7.2 visar att skillnaden mellan fristående och kommunala skolor ligger mycket närmare den verkliga skill- naden på 0,1 sd med kontroll för skolans elevsammansättning än utan kontroll. Även om elevsammansättningen inte kan ges någon kausal tolkning kan den absorbera en del av den dolda elevselek- tionen och därmed minska snedvridningen av andra skattningar. Vi undersöker slutligen hur skattningarna påverkas av att elever sorterar på observerade elevegenskaper till skolor med olika (dold) kvalitet, så att elever med bättre observerade förutsättningar oftare går på bättre skolor. I våra simulerade data medför sorteringen att elever med en standardavvikelse bättre elevegenskaper i genomsnitt går på skolor med omkring 0,4 sd högre skolkvalitet (vilket gör att elevernas resultat ökar med omkring 0,4 × 0,2 = 0,08 sd). Skolkvalitet i : En analys av skolans mervärde Bilaga 7 till LU2019 Not: Figuren visar resultatet av skattningar på simulerade data under antagandet att elever sorterar till skolor på dolda skolegenskaper. Resultaten från simuleringarna redovisas i tabell 7.3. Vi börjar med att tolka skattningarna i Panel A. I den första kolumnen kontrollerar viför elevens egna egenskaper. Friskolor uppskattas då ha omkring 0,09 sd högre resultat, vilket är en underskattning av den verkliga skillnaden. Det beror på att elevsorteringen skapar en korrelation mellan elevegenskaper och skolkvalitet. När vi försöker beakta sor- teringen genom att kontrollera för elevernas egenskaper fångar vi upp lite av skolornas kvalitet, vilket snedvrider skatt- ningen av skillnaden mellan fristående och kommunala skolor. Sned- vridningen är dock inte så stor. Den andra kolumnen kontrollerar i stället för skolans genom- snittliga elevkvalitet. Elevresultaten samvarierar starkare med sko- lans genomsnittliga elevkvalitet än med elevens egna egenskaper, trots att vi har antagit att det inte finns några sammansättnings- effekter. Överskattningen av skolnivåeffekterna medför också att Bilaga 7 till LU2019 Skolkvalitet i : En analys av skolans mervärde skillnaden mellan fristående och kommunala skolor snedvrids mot noll. Skillnaden mellan olika skolhuvudmannatyper uppskattas till endast omkring 0,03 sd, vilket innebär att kontroller för elevsam- mansättning nästan eliminerar skillnaderna i skolkvalitet i våra simu- lerade data. Ett annat sätt att uttrycka detta är att de faktiska kvalitetsskillnaderna mellan huvudmannatyp fångas upp av kontrol- len för skolornas genomsnittliga elevkvalitet, eftersom skolkvalitet och genomsnittlig elevkvalitet är korrelerade. Precis som i fallet med dold elevsortering så medför elevsortering till skolor av olika kvalitet att analyser som baseras på aggregerade skoldata kan ge andra resultat än analyser av elevdata. Skattningarna i den första kolumnen motsvarar analyser på elevnivå, medan skatt- ningar i andra kolumnen motsvarar skattningar på skolnivå. Som visats tidigare fångar kontroller för elevegenskaper i aggregerade skoldata summan av elevernas egna egenskaper och skolans genom- snittliga elevegenskaper. Om elever sorterar till skolor av olika kvalitet kommer därför analyser av skillnader mellan skolor – i det här fallet mellan fristående och kommunala skolor – att vara mer snedvridna i analyser som baseras på aggregerade skoldata än i ana- lyser på elevdata. Om å andra sidan sorteringen sker med avseende på dolda elevegenskaper kommer analyser på aggregerade data vara mindre snedvridna än analyser på elevnivå. I den tredje kolumnen införs kontroller för både elevens egna egenskaper och skolans genomsnittliga elevegenskaper. Trots att vi har antagit att det inte finns några skolnivåeffekter är korrelationen mellan elevresultat och skolans genomsnittliga elevegenskaper unge- fär lika så stor som korrelationen med elevens egna egenskaper. Det beror på att skolans genomsnittliga elevsammansättning fångar upp mer av skolans kvalitet. I våra simulerade data är korrelationen mel- lan skolkvalitet och elevkvalitet omkring 0,4; medan korrelationen med genomsnittlig elevkvalitet är mer än dubbelt så hög. Simuleringarna visar att det inte går att identifiera sammansätt- ningseffekter när elever sorterar på dolda elevegenskaper eller då de systematiskt sorterar till skolor av olika kvalitet. Kontroll för elev- sammansättning kan också påverka andra skattningar, även om det inte på förhand går att avgöra om de blir mer eller mindre sned- vridna. Om elever med bättre förutsättningar går på bättre skolor kommer betydelsen av elevsammansättningen att överskattas, medan kvalitetsskillnaderna mellan skolor underskattas. Skolkvalitet i : En analys av skolans mervärde Bilaga 7 till LU2019 sätt kommer skolnivåeffekterna att överskattas om sorteringen till skolor sker på dolda elevegenskaper, men kontroller för elevsam- mansättning kan då i stället minska snedvridningen av skattningar av skolornas kvalitet. Simuleringarna tyder på att snedvridningarna av sammansättningseffekterna – liksom av skattningarna av skolans kvalitet – kan vara betydande. Möjligen kan detta förklara varför tidi- gare studier har funnit att skolnivåeffekterna har tilltagit som skolsegregationen har ökat. Även om det inte går att identifiera sammansättningseffekter när elever sorterar till skolor med olika kvalitet är det möjligt att skatta den samlade effekten av skolan, dvs. summan av skolans kvalitet och eventuella sammansättningseffekter. Skillnaden mellan exempelvis fristående och kommunala skolor måste då skattas i två steg. Kolumn fyra redovisar det sista steget från sådana tvåstegsregressioner, där skattningen för fristående skola motsvarar den verkliga skillnaden mellan fristående och kommunala skolor på omkring 0,1 sd. Panel B i Tabell 7.1 visar skillnaden mellan olika modeller när elevsammansättningen tillåts påverka elevresultaten. Precis som tidi- gare så fångas skolnivåeffekten upp av skolgenomsnittet, medan snedvridningen av kamrateffekterna och skoleffekterna förblir oför- ändrade. Den näst sista kolumnen visar att skolgenomsnittet (skol- fixa effekter) speglar såväl skolans kvalitet som sammansättnings- effekterna. I genomsnitt är skillnaden i elevsammansättning mellan fristående och kommunala skolor omkring 0,2 sd, vilket gör att om- kring 0,02 sd (0,1×0,2 sd = 0,02 sd) av skillnaden mellan huvud- männen beror på kamrateffekter. Vi har också undersökt hur skattningarna påverkas av sortering på både dolda elev- och skolegenskaper. Då tycks skattningar utan kontroll för elevegenskaper snedvrida skillnaderna mellan skolor i samma riktning som den dolda elevselektionen, vilket innebär en överskattning av skillnaderna mellan olika huvudmän i våra simule- ringar (ungefär som i tabell 7.2). Skattningar med kontroll för skol- kamrater snedvrider i stället skattningarna av skolskillnaderna mot noll (ungefär som i tabell 7.3). När det gäller de skattade samman- sättningseffekterna utgörs de ungefärligen av summan av skatt- ningarna med sortering på dolda elevegenskaper (tabell 7.2) och skattningarna med sortering på dolda skolegenskaper (tabell 7.3). Det innebär att de skattade effekterna av skolkamraternas egen- skaper blir ungefär dubbelt så stor som effekten av elevernas egna Bilaga 7 till LU2019 Skolkvalitet i : En analys av skolans mervärde egenskaper i våra simulerade data, även i det fall då inte skolans elevsammansättning antas påverka elevresultaten. För att ytterligare belysa konsekvenserna av att använda kon- troller på elev- respektive skolnivå har vi studerat verkliga skillnader mellan fristående och kommunala huvudmän – 2017. För att göra resultaten jämförbara med tidigare studier (exem- pelvis m.fl., 2019 som rapporteras i , 2019) har vi valt att analysera skillnader i provresultat i matematik i årskurs 9 och att enbart kontrollera för elevegenskaper som finns tillgängliga för ned- laddning från databas (kön, nyanländ elev samt index för föräldrarnas utbildningsnivå). Vi delar också upp de fri- stående skolorna i ideella respektive vinstdrivande skolor.8 Tabell 7.4 redovisar skillnader mellan skolhuvudmän när vi kon- trollerar för elevegenskaper på olika nivåer. I den första kolumnen genomförs analysen på individnivå, vilken visar att provresultaten i matematik är omkring 0,23 (0,14) sd högre i ideella (vinstdrivande) fristående skolor än i kommunala skolor. Skolresultaten skiljer sig också signifikant mellan elever med olika egenskaper, exempelvis är en enhets skillnad i indexet för föräldrarnas utbildningsnivå förknip- pat med drygt 0,6 sd högre provresultat. Den andra kolumnen tar i stället hänsyn till motsvarande elev- egenskaper, fast aggregerade på skolnivå.9 Det får mycket stora kon- sekvenser för skattningarna. Skillnaderna mellan fristående skolor och kommunala skolor sjunker med . Elevkontrol- lerna påverkas också; exempelvis fördubblas betydelsen av föräldrar- nas utbildningsbakgrund. Förändringen av skattningarna ligger i linje med att elever sorterar till skolor på dolda egenskaper och/eller på dold skolkvalitet. I den tredje kolumnen ges alla skolor samma vikt (som i m.fl., 2019), vilket ytterligare minskar skillnaderna mellan huvud- män. Det beror troligen på att det finns många små fristående skolor med svaga resultat. Analysen svarar också på en annan fråga; vilka resultatskillnader finns mellan skolor med olika huvudmän? Den elevviktade analysen besvarar i stället frågan om hur stora skillna- derna i resultat är mellan elever som går på skolor med olika huvud- män. Även om båda dessa frågor är intressanta är den senare mer 8Analyserna görs enbart av illustrativa skäl. Längre fram i kapitlet jämförs resultaten för fristående och kommunala skolhuvudmän när fler observerade elevegenskaper beaktas. 9Analysen har genomförts på elevnivå, men resultat blir mycket lika om vi i stället genomför analysen på elevviktad skoldata. Skolkvalitet i : En analys av skolans mervärde Bilaga 7 till LU2019 relevant för att belysa vilken roll fristående skolor spelar för lik- värdigheten i skolan. Den fjärde kolumnen av tabell 7.4 kontrollerar för skillnader i elevegenskaper på såväl elev- som skolnivå. Den utgör därmed en mycket enkel skattning av skolnivåeffekter. Precis som i våra simu- leringar så är skolnivåeffekterna betydande. Storleken och rikt- ningen på skattningarna förefaller också som mindre realistiska. Skolkamraternas föräldrar har exempelvis större betydelse för en elevs resultat än elevens egna föräldrar. Resultaten är också högre i skolor med många nyanlända elever. Den sista kolumnen redovisar skattade skillnader mellan fristående och kommunala skolor när analysen genomförs i två steg, vilket leder till något större skillnader mellan huvudmän än i den första kolumnen. Sammantaget kan till synes liknande analyser generera mycket stora skillnader i slutsatser om betydelsen av elevegenskaper på individ- och skolnivå samt om betydelsen av att gå i en fristående skola. Vår bedömning är att kontroller för elevegenskaper på skol- nivå (samt samma vikt för alla skolor) förklarar varför exempelvis m.fl. (2019) finner små (eller till och med negativa) effekter av fristående huvudmän.10 Det är förstås inte uteslutet att skol- kontroller fångar upp en del av den dolda elevsorteringen och att skattningarna därmed bättre återger de verkliga skillnaderna mellan huvudmän. Problemen med att identifiera skolnivåeffekter gör dock att vi väljer att inte genomföra sådana analyser i denna rapport. 10På samma sätt uppstår betydande skillnader mellan fristående och kommunala huvudmän i analyser av som kontrollerar för elevegenskaper på elev- respektive skolnivå (, 2016 och , 2016). Bilaga 7 till LU2019 Skolkvalitet i : En analys av skolans mervärde 7.1.2Hur mäter vi skolkvalitet? I detta avsnitt redogör vi för hur vi mäter skolors kvalitet. Vi kommer att utgå från två ansatser och mäta skolresultat med elevers betyg (meritvärde) och resultat på nationella prov i kärnämnen. Den första ansatsen mäter skolans mervärde eller bidrag till elevers resultat i årskurs 9, sedan vi tagit hänsyn till elevens förutsättningar, dvs. kön, födelsemånad, migrationsbakgrund, invandringsår och familjebak- Skolkvalitet i : En analys av skolans mervärde Bilaga 7 till LU2019 grund så som föräldrarnas utbildning, inkomster, ursprungsregion m.m. Vi skattar följande modell: �����å�9 = ����� + ���� + ����� där �����å�9 är resultat på nationella prov (eller betyg (meritvärde)) i årskurs 9 för elev i, som går i skola s, år t, ���, är en vektor av elevens förutsättningar, ���� är skolans fixa effekt år t och ����� en felterm. Skola j:s kvalitet, eller mervärde, enligt denna metod är: ��� � ���� �=� Detta mått på kvalitet är närbesläktat med skolans SALSA-värde, som brukar publiceras på , även om den modell som används här är skattad på individnivå på basis av nationella prov och innehåller mer detaljerad bakgrundsinformation (se bilaga för detaljer). Denna typ av mått bortser dock ifrån att elever med likartade förutsättningar kan ha olika förkunskaper när de börjar på högstadiet. På så sätt kan man säga att detta mått fångar också elev- ens tidigare skolors bidrag och påverkan av förskola och annat, icke observerat, som har påverkat de elever som går på samma hög- stadieskola på samma sätt. Det andra måttet på skolkvalitet mäter i stället skolans bidrag till elevernas resultat sedan vi tagit hänsyn också till elevernas tidigare skolprestationer i årskurs 6, dvs. tidigare, �å�6��−3. Detta mått isolerar högstadieskolans bidrag till elevernas resultat under högstadiet (MV6-9). Vi skattar följande modell: �����å�9 = �����−3å�6 + ���′����� + ����′ + �����′ Enligt denna modell är skolans kvalitet: ����6 − 9 = ��� � ���� �=� 11Notera att bägge modeller inkluderar en skolfixeffekt i skattningen. Detta innebär att bt- koefficienterna inte fångar upp effekter av skolans elevsammansättning som ju påverkar alla barnen på skolan. Sådana kamrateffekter fångas i stället upp i skolans fixeffekt. Bilaga 7 till LU2019 Skolkvalitet i : En analys av skolans mervärde Detta mått är alltså ett klassiskt mervärdesmått för högstadiet, ett förädlingsvärde, eller value-added-mått, som det också brukar kallas i litteraturen (se t.ex. Hanushek och Rivkin, 2006).12 Det är först som det är möjligt att göra uppskattningar av svenska skolors mervärde på detta sätt, eftersom det kräver tillgång till resultatmått för en och samma elev under skol- gången. Med den tillgång till nationella provresultat som finns i åk 3, 6, och 9 är det nu möjligt.