sou · H5B335 · 2017-04-20 00:00:00 — Det pågår en metodutveckling och det finns en ökande tillgång på uppgifter, så- väl från inhemska som från internationella jämförande studier, som speglar de tre delmålen. Uppföljningen bör bygga på en samlad be- dömning av tillgänglig information. I uppföljningen av delmål 2 ska beaktas att alla skolor bör för- bättra sina resultat och att minskade skillnader mellan skolor ska uppnås genom att de sämst presterande skolorna höjer sina resultat mest. Bundesministerium für Bildung und Forschung (2008): Aufstieg durch Bildung. Fullan, M. (2010): All systems go: The Imperative for whole system reform. Thousand Oaks, CA: Corwin Press, and : . (2009): Visible learning: a synthesis of over 800 meta- analyses relating to achievement, : Routledge. IFAU (2014): Decentralisering, skolval och fristående skolor: resultat och likvärdighet i svensk skola, Rapport 2014:25. Ministeriet for born, undervisning og ligestilling (2015): I samband med reformeringen av Folkeskolen 2014. (2009): . (2015): Improving Schools in : An Per- spective. 1992/93:220 En ny läroplan för och ett nytt betygssystem för , samesskolan, specialskolan och den obligatoriska särskolan 2008/09:87 Tydliga mål och kunskapskrav – nya läroplaner för skolan. Republic of Estonia, (2014): The Estonian Lifelong Learning Strategy 2020. Skolinspektionen (2014): Från huvudmannen till klassrummet. Skol- inspektionens erfarenheter och resultat från tillsyn och kvalitets- granskning. Skolinspektionen (2015a): Undervisning i förskoleklass. Skolinspektionen (2015b): . Resultatredo- visning för till elever i årskurs 5 och årskurs 9 samt år 2 i gymnasieskolan. Skollagen (2010:800) (2012): PIRLS 2011 Läsförmågan hos svenska elever i årskurs 4 i ett internationellt perspektiv. (2013a): 2012 – 15-åringars kunskaper i matematik, läsförståelse och naturvetenskap, Rapport 398. (2013b): Attityder till skolan 2012. (2013c): Forskning för skolan. Vilka möjligheter och risker finns med elevinflytande? (2014): 2013. En studie av undervisnings- och lärmiljöer i årskurs 7–9. (2015a): Skolreformer i praktiken. Hur reformerna landade i vardag 2011–2014. (2015b): Svenska rektorers erfarenhet i nordiskt per- spektiv. En analys av 2013. aktuella analyser 2015. 1996/97:112 Regeringens utvecklingsplan för förskola, skola och vuxenutbildning – kvalitet och likvärdighet 1998/99:121 Regeringens utvecklingsplan för förskola, skola och vuxenutbildning – sam-verkan, ansvar och utveckling (2010): Social rapport . SOU 2016:25, Likvärdigt, rättssäkert och effektivt – ett nytt nationellt system för kunskapsbedömning, Betänkande av Utredningen om nationella prov. Kommuner och Landsting (2013): Från 80 till 100. (2011): Rektor – En forskningsöversikt. gav SCB i uppdrag att konstruera en modell för resurstilldelning som baseras på socioekonomiska variabler och eventuell migrationsbakgrund. Modellen består av variabler som inte är påverkbara för kommunerna. Modellen skattar antalet elever som inte uppnår behörighet till gymnasieskolans yrkesprogram. Grundtanken är att elever med högre sannolikhet än andra elever att inte uppnå behörighet till gymnasieskolans yrkesprogam har större behov av resurser. Utfall har använts som underlag för modellarbetet. Utifrån befintliga data har en logistisk regressionsmodell anpassats. Modellen resulterar i ett index som omfattar alla kommuner. En kommun med ett indexvärde, mindre än 100 har en lägre förväntad andel elever som riskerar att inte upp- nå behörighet. En kommun som har indexvärdet 100 har en nivå som ligger på samma nivå som rikets genomsnitt. En kommun som har ett indexvärde som är större än 100 har en högre förväntad andel obehöriga jämfört med rikssnittet. Det är även möjligt att ta fram indexvärden för alla huvudmän och skolenheter. En beskrivning av modellen redovisas nedan. Det datamaterial som SCB har använt för att konstruera ett index utgörs av elever som avgått från till och med . Materialet består av drygt 495 000 elever. Cirka 1 500 elever som inte får betyg enligt samma system som övriga elever har plockats bort ur materialet. Elever med tillfälliga person- nummer ingår inte i materialet. Materialet har försetts med uppgifter som enligt tidigare erfarenheter har betydelse för hur elever presterar Förutom variabler på individnivå såsom kön, invandring och vårdnadshavares utbildningsnivå, innehåller materialet uppgifter om det bostadsområde som eleven tillhör. Dataunderlaget beskrivs nedan. Denna uppgift avser om eleven uppnått behörighet till gymnasiesko- lan eller inte (behörighet till yrkesprogram). För att uppnå behörighet krävs godkända betyg i svenska eller svenska som andraspråk, engelska och matematik och i minst fem andra ämnen från . Uppgift om elevens kön har hämtats från elevregister av- seende –2015. Uppgift om vårdnadshavarnas utbildningsnivå (då eleven avslutade ) har hämtats från . Utbildningsnivån kodas i fyra kategorier (okänd, förgymnasial, gym- nasial, eftergymnasial). En elev klassificeras därefter utifrån den vård- nadshavare som har högst utbildningsnivå. Uppgift om elevens födelseland har hämtats från och kodas i åtta kategorier (, Övriga utom , EU28 utom , utom EU28 och , , Nord- , , , Övriga (inklusive okänd). Denna variabel kodas i fyra kategorier (svensk bakgrund, född i och båda vårdnadshavarna födda utomlands, född utomlands och båda vårdnadshavarna födda utomlands, född utomlands och minst en förälder född i ). Variabeln har hämtats från Skolver- kets elevregister avseende –2015. Det år då eleven invandrade till . Variabeln avser senaste in- vandringsår om eleven invandrat . Variabeln har hämtats från . Denna variabel identifierar om någon av vårdnadshavarna hade eko- nomiskt bistånd före eleven gick ut årskurs 9. För elever som gick ut årskurs 9 2015 är det således bistånd som räknas. Uppgiften har hämtats från Inkomst- och . Uppgifter om vårdnadshavarnas disponibla inkomst hämtas från In- komst- och . Den disponibla inkomsten består av summan av faktorinkomster (löneinkomst, inkomst av näringsverk- samhet och kapitalinkomst) samt skattepliktiga och skattefria trans- fereringar, minus skatt och övriga negativa transfereringar. Uppgiften avser året före eleven gick ut årskurs 9. Eleven klassificeras utifrån den sammanlagda disponibla inkoms- ten i det hushåll där eleven och minst en av vårdnadshavarna är folk- bokförda. Om ingen av vårdnadshavarna är folkbokförda i det hus- håll där eleven är folkbokförd används inkomsten i det hushåll där inkomsten är störst. Inkomsten klassificeras sedan i sex kategorier. Familj avser huruvida eleven är folkbokförd på samma adress som båda sina vårdnadshavare eller inte. Variabeln har hämtats från Be- folkningsregistret. Uppgifter om antal syskon hämtas från befolkningsregistret. Uppgif- ten avser hemmaboende syskon och omfattar hel-, halv- och adoptiv- syskon. Variabeln har hämtats från . Human Development Index (HDI) Human Development Index (HDI) är ett index som används för att jämföra välståndet i olika länder. HDI avser elevens födelseland och har kodats i fem olika kategorier (okänd, låg, medel, hög, mycket hög). Variabeln har hämtats från . Det bostadsområde (SAMS-område) som eleven var folkbokförd i, det år eleven gick ut årskurs nio har klassats socioekonomiskt. Vid klassningen används följande variabler: •Andelen av befolkningen i bostadsområdet med utländsk bak- grund •Befolkningens utbildningsnivå (genomsnittlig utbildningsnivå per person, 25–) •Befolkningens inkomst (median av disponibel inkomst enligt tidi- gare, 25–) Vilka variabler som ska användas för att klassa bostadsområdet socio- ekonomiskt är delvis subjektivt, men de variabler som valts bör enlig SCB ge en god bild av hur bostadsområdet ser ut socioekonomiskt. En principalkomponentanalys har sedan tillämpats för att väga sam- man variablerna till ett socioekonomiskt mått. Principalkomponent- analysen resulterar i en linjärkombination av de ingående variablerna. Bostadsområdena indelas sedan i fyra lika stora grupper efter vilka egenskaper de har på ovanstående variabler. Tabell 1 Socioekonomisk indelning av områden Socioekonomisk grupp Benämning Kommentar 1Kategori 1 Den svagaste fjärdedelen av områdena 2Kategori 2 Den näst svagaste fjärdedelen av områdena 3Kategori 3 Den näst starkaste fjärdedelen av områdena 4Kategori 4 Den starkaste fjärdedelen av områdena I detta avsnitt beskrivs hur varje variabel samvarierar med behörig- het till gymnasieskolan. Detta görs med hjälp av tabeller som visar andel behöriga elever till gymnasieskolan efter olika kategorier. Syf- tet med avsnittet är att ge en bild av hur respektive variabel påverkar sannolikheten att en elev ska uppnå behörighet till gymnasieskolans yrkesprogram. Tabell 2 Behörighet till gymnasieskolan 2011–2015 efter elevens kön Andel behöriga till gymnasieskolan (%) Behörighet till gymnasieskolan 2011–2015 Andel behöriga till gymnasieskolan (%) Behörighet till gymnasieskolan 2011–2015 Andel behöriga till gymnasieskolan (%) Behörighet till gymnasieskolan 2011–2015 Andel behöriga till gymnasieskolan (%) Född i , båda vårdnads- Född utomlands, båda vårdnads- Född utomlands och minst en Behörighet till gymnasieskolan 2011–2015 efter invandringsår Andel behöriga till gymnasieskolan (%) 4–6 år Mer än 6 år Behörighet till gymnasieskolan 2011–2015 Andel behöriga till gymnasieskolan (%) SOU 2017:35 Bilaga 5 Behörighet till gymnasieskolan 2011–2015 Andel behöriga till gymnasieskolan (%) och upp till medianen Behörighet till gymnasieskolan 2011–2015 efter familj Andel behöriga till gymnasieskolan (%) Folkbokförd på samma adress Ej folkbokförd på samma adress Behörighet till gymnasieskolan 2011–2015 efter antal syskon Andel behöriga till gymnasieskolan (%) Behörighet till gymnasieskolan 2011–2015 efter HDI Andel behöriga till gymnasieskolan (%) Bilaga 5 SOU 2017:35 Tabell 12 Behörighet till gymnasieskolan 2011–2015 efter bostadsområdets socioekonomi Andel behöriga till gymnasieskolan (%) Har inte kunnat föras till Resultaten visar exempelvis att flickor har något större sannolikhet att uppnå behörighet än pojkar. Elever med lågutbildade föräldrar har klart lägre sannolikhet att uppnå behörighet jämfört med elever med högutbildade föräldrar. Nyinvandrade elever har svårt att upp- nå behörighet Sammantaget verkar samtliga variabler med undantag för kön ha ganska starka samband med sannolikheten att uppnå behörighet till gymnasieskolan. Det verkar därför rimligt att ta hänsyn till dessa variabler när resurser ska fördelas mellan kommuner. Faktorer som påverkar skolprestationer Det finns flera faktorer som påverkar huruvida en elev förväntas upp- nå behörighet till gymnasiet eller inte. Dels påverkar elevens indivi- duella egenskaper såsom kön, vårdnadshavares utbildningsnivå och inkomst, invandring och födelseland. Utöver detta så påverkar även elevens omgivning såsom skola och bostadsområde. Tabellen nedan visar sambandet mellan bostadsområdets socio- ekonomiska status och vårdnadshavarnas utbildningsnivå. Tabell 13 Behörighet till gymnasieskolan 2011–2015 efter vårdnadshavarnas utbildningsnivå och bostadsområdets socioekonomiska status 1 (svagt) Oavsett vilket bostadsområde en elev tillhör så har en elev med väl- utbildade vårdnadshavare bättre förutsättningar än en elev med vård- nadshavare med låg utbildning. Bostadsområdet påverkar dock en del. Den relativt ojämna fördelningen av elever på skolor och bostads- områden påverkar antagligen skolornas förutsättningar att uppnå goda resultat. En skola som har stor koncentration av svaga elever får det väldigt tufft att uppnå goda resultat i och med att eleverna i sig är svaga och dessutom verkar påverka varandra negativt. Effekten av att eleverna är ojämnt fördelade över skolor benämns i denna rapport med klustereffekter. Dessa effekter försvårar analyser av vilka variabler som egentligen påverkar skolprestationer. Många analysmetoder förutsätter oberoende mellan objekt vilket inte är upp- fyllt i detta fall. Eleverna är klustrade i skolor och har ofta liknande egenskaper inom en skola. En modell tillämpas på elevnivå och huvudsyftet med modellen är att skatta (prediktera) sannolikheten att en elev inte uppnår behörighet till gymnasieskolan. Metoden som används är en logistisk regressions- analys. Den beroende variabeln utgörs av ”ej behörighet till gymnasie- skolans yrkesprogram”, det vill säga det som modelleras är sannolik- heten för att eleven inte ska uppnå behörighet till gymnasieskolans yrkesprogram. Huvudsyftet med modellen i denna tillämpning är dock prediktion, det är inte lika viktigt att modellen exakt beskriver hur de ingående variablerna i modellen påverkar den beroende variabeln. Eftersom den beroende variabeln här kan anta två värden endast, används en variant av regressionsanalys – logistisk regression. Vid logistisk regression kan regressionsmodellen beskrivas som =α + β1 x1i + β2 x2i +... + βk xki där pi är sannolikheten att den beroende variabeln antar ett visst värde och x1i, x2i, …,xki utgör k stycken förklarande variabler för individ i. SOU 2017:35βk utgör regressionskoefficienterna och α utgör inter- β1 , β2 , …, ceptet. Koefficienterna anger betydelsen av de olika bakgrundsfakto- rerna. Dessa bakgrundsfaktorer har kodats så att olika grupper lätt kan jämföras med varandra. En grupp är referensalternativet för varje variabel eller faktor. För kön, till exempel, är flickor referensgruppen med en koefficient som är 0. Koefficienten för pojkar anger hur pojkar skiljer sig från flickor i genomsnitt, när vi kontrollerar för de övriga variablerna som ingår i regressionsmodellen. En positiv ko- efficient innebär att pojkar inte lyckats lika bra som flickor. I logistisk regression räknas regressionskoefficienterna ofta om till så kallade oddskvoter. En oddskvot för könen är, till exempel, kvoten mellan oddset för att inte uppnå behörighet för pojkar och oddset att inte uppnå behörighet för flickor. Oddset motsvarar sannolikheten att inte uppnå behörighet dividerad med sannolikheten att uppnå be- hörighet (pi/(1-pi) där p är den skattade sannolikheten). En oddskvot större än 1 i exemplet anger då att pojkarna jämfört med flickorna har ett sämre utfall, en förhöjd risk att inte uppnå behörighet. Modeller med två nivåer En regressionsmodell på elevnivå enligt ovan förutsätter oberoende mellan eleverna. Eftersom eleverna som ingår i studien är klustrade i olika grupper (skolor) bör man eventuellt ta hänsyn till detta vid ana- lysen. Detta kan man göra hjälp av flernivåmodeller. Några viktiga skäl till att använda flernivåmodeller är: •Om antagandet om oberoende mellan elever inte är uppfyllt kan en vanlig regressionsmodell underskatta standardfelen för regressions- koefficienter. Detta kan i sin tur leda till felaktiga slutsatser om vilka variabler som signifikant påverkar den beroende variabeln. •Det finns risk att effekter på individnivå (exempelvis effekter av vårdnadshavarnas utbildning och elevens kön) störs av kluster- effekterna. Det är svårt att skilja på vad som beror på individen och vad som beror på elevens omgivning (skolan). I en flernivåmodell kan dessa effekter skattas separat. •Om det är intresserant av att skatta storleken på klustereffek- terna, exempelvis skillnader mellan olika skolor, bör man använda sig av en flernivåmodell. Eftersom huvudsyftet i denna tillämpning är prediktion och inte att utvärdera effekter så är det inte avgörande att en flernivåmodell an- vänds. En flernivåmodell används dock då det ändå kan vara intres- sant att uttala sig om vilka variabler som starkast påverkar sannolik- heten för en elev att inte uppnår behörighet till gymnasieskolan. Den variant av flernivåmodell som används i denna tillämpning är en mo- dell där interceptet tillåts variera mellan skolor. På detta sätt tar mo- dellen hänsyn till att eleverna är klustrade i skolor. Denna variant av modell brukar kallas för ”random intercept model”. Man kan se det som att en separat regressionsmodell tillämpas på varje skola. Modellen kan då beskrivas enligt: +... + β x är ett skolspecifikt intercept, β1 , β2 , …, βk utgör regres- sionskoefficienterna och x1ij, x2ij, …,xkji utgör k stycken förklarande variabler för individ i skola j. Skillnaden mellan modell (1) och modell (2) är att varje skola tillåts ha ett eget intercept. Regressionskoefficienterna β1 , β2 , …, βk antas vara samma i alla skolor även i modell (2). Interceptet i modell (2) kan delas upp i två delar enligt där αg är ett genomsnittligt intercept avseende alla skolor och εj är skillnaden mellan det genomsnittliga och det skolspecifika interceptet. Insättning av (3) i modell (2) ger +... + β Sannolikheten att den beroende variabeln antar ett visst värde för elev i, skola j beror då på det genomsnittliga interceptet, regressions- koefficienter och x-värden samt termen εj som utgör skillnaden mellan det genomsnittliga och det skolspecifika interceptet. Termen εj beskriver de skolspecifika skillnaderna i den beroende variabeln som inte kan förklaras av X-variablerna. Dessa skillnader kan bland annat bero på att vissa skolor är högpresterande och har högre kvalitet på sin undervisning. Sannolikheten för en elev skattas utan hänsyn tagen till dessa skillnader. De genomsnittliga sannolik- heterna för alla skolor skattas, med hänsyn tagen till att eleverna är klustrade i skolor. Detta kan göras genom att exkludera termen εj ur modell (4). Vi erhåller då en modell som är gemensam för alla skolor. =αg + β1 x1i + β2 x2i +... + βk xki (5). Vad ska modellen ta hänsyn till? Modellen bör kompensera för elevens individuella egenskaper. Detta kan göras genom att plocka med individuella variabler i analysen. Utöver elevernas individuella egenskaper bör modellen eventuellt ta hänsyn till klustereffekter. Klustereffekterna leder antagligen till att skolor med hög koncentration av svaga elever får det extra svårt att prestera bra. Kommuner som har många sådana skolor får det där- med extra svårt och bör därmed kompenseras för det i modellen. Man kan ta hänsyn till dessa klustereffekter genom att plocka med variablerna avseende skolans och bostadsområdets socioekonomiska status i modellen. Utöver individ- och klustereffekter, kan det finnas interaktions- effekter mellan variabler. Med interaktionseffekter avses att en varia- bel kan ha större eller mindre effekt beroende på vilket värde en an- nan variabel antar. Exempelvis så kan effekten av låg utbildning vara större för pojkar än för flickor. Eftersom huvudsyftet med modellen är att prediktera hur det ska gå för en elev, är det inte avgörande att modellen beskriver exakt hur de ingående variablerna i modellen påverkar varandra och den bero- ende variabeln. Det viktiga är att prediktionerna blir så bra som möj- ligt utifrån valda variabler. En interaktionsterm som märkbart påverkar prediktionerna kan dock övervägas att vara med i modellen. Nackdelen med att inkludera interaktionstermer är att de kan bli väldigt många och att modellen blir mer svårtolkad. Variabler som är relaterade till undervisningens kvalitet såsom skolans organisation, lärartäthet och lärarnas utbildning tas inte med i modellen. Dessa variabler påverkar antagligen skolprestationer, men en modell för resursfördelning bör inte kompensera för sådana variabler. De tänkbara förklarande variablerna stoppas in i modell (5). För att bedöma hur väl modellen beskriver data aggregeras predikterade san- nolikheter upp på kommunnivå och jämförs med verkliga skolpresta- tioner för eleverna som gått ut årskurs 9 – . Vid bedömningen granskades följande: •Genomsnittlig avvikelse per kommun mellan verkligt och predik- terat värde. •Korrelationskoefficient mellan verkligt och predikterat värde. •Diagram som visar relationen mellan verkligt och predikterat värde. Den slutliga modellen har arbetats fram genom att testa ett flertal olika varianter av modeller. Den modell som slutligen bedömdes be- skriva data bäst innehåller följande förklarande variabler: •Bostadsområdets socioekonomiska status. Variabeln invandring har aggregerats så att invandrade utgör en kategori. Att inkludera fler variabler än ovanstående ökar endast modellens anpassning till data marginellt. Det har även testats att använda finare indelningar av variablerna utbildning (skilja ut forskarutbildade från eftergymnasial utbildning) och familj (skilja ut de som inte bor med någon av vårdnadshavarna), men inte heller det ökade modellens an- passning till data i någon hög grad. En variabel avseende skolans socio- ekonomiska status prövades och övervägdes men valdes bort då den bedömdes kunna vara påverkansbar för kommunerna. Modellen tar inte hänsyn till interaktionseffekter mellan de ingående variablerna. Efter att ha testat ett antal interaktionstermer beslutades att inte ta med dem i modellen. Detta motiveras med att prediktioner på kommunnivå påverkas i väldigt liten grad av att inkludera inter- aktionstermer. Att inkludera förklarande variabler som samvarierar starkt kan leda till problem med multikollinearitet vilket i sin tur leda till problem med skattningarna av regressionsparametrar. En kontroll av de för- klarande variablernas samvariation har gjorts och det har bedömts att de samband som finns inte bör innebära några stora problem. Huvudsyftet med modellen är dessutom prediktion, inte utvärder- ing av effekter och då är eventuella problem med multikollinearitet inte lika allvarliga. Nedan visas regressionskoefficienter och oddskvoter för de variabler som ingår i den slutliga modellen. Dessutom visas för oddskvoten nedre gräns och övre gräns i ett 95-procentigt konfidensintervall. SOU 2017:35 Bilaga 5 Regressionskoefficienter, oddskvoter samt konfidensintervall Intercept (genomsnitt) -4,16 4–6 år Mer än eller född i Över 60 och av medianen och upp till medianen Över medianen och av medianen Folkbokförd på samma adress som båda Ej folkbokförd på samma adress som båda Kategori 1 (svagt) Kategori 4 (starkt) Eleven har inte kunnat föras till något bostadsområde Regressionskoefficienter och variablernas betydelse De regressionskoefficienter och oddskvoter som presenteras i tabellen ovan är rensade från de klustereffekter som skolorna medfört. Om en flernivåmodell inte använts hade det funnits risk för att effekter på individnivå hade störts av klustereffekterna. Exempelvis har en ny- invandrad elev i genomsnitt betydligt större sannolikhet att inte uppnå behörighet till gymnasiet jämfört med en elev som bott i (oddskvot = 13,38). Om vi studerar oddskvoterna är det tyd- ligt att invandring är den variabel som har den största effekten. En ny- invandrad elev har i genomsnitt betydligt större sannolikhet att inte uppnå behörighet till gymnasiet jämfört med övriga elever. Andra variabler som har stor betydelse (höga oddskvoter) är vårdnadshavar- nas utbildningsnivå och inkomst. Även antal syskon, ekonomiskt bi- stånd, och bostadsområdets socioekonomi har effekt och är viktiga att ha med i modellen. Något mindre effekt har kön och familj. Jämförelse mellan predikterade data och verkliga data Prediktioner görs för varje elev i datamaterialet (drygt 495 000 elever). Prediktionerna aggregeras upp på skolnivå och kommunnivå och jämförs med verkliga data. Diagrammen nedan visar överensstämmelse mellan predikterade och verkliga värden. Den diagonala röda linjen visar var en punkt skulle ligga om överensstämmelsen vore perfekt mellan predikterat och verkligt värde. Kommuner/skolor som ligger under den röda linjen presterar bättre än vad prediktionerna säger. kommuner/skolor som ligger över den röda linjen presterar sämre än vad prediktionerna säger. I skoldiagrammen har små skolor med mindre än 20 elever i datamaterialet exkluderats. Avseende predik- tionerna på skolnivå så finns det ett mönster att prediktionerna för skolor med väldigt hög andel obehöriga är skeva (prediktionerna är ofta för låga). Dessa skolor utgörs till stor del av skolor med sär- skild inriktning mot svaga elever, exempelvis resursskolor och för- beredelseklasser. Figur 1 Predikterad och verklig andel obehöriga på kommunnivå