sou · H8B328 · 2020-04-27 00:00:00 — Infor- mationen bör förutom på svenska även tillhandahållas på i regionen vanligt förekommande språk så att vårdnadshavare och elever med bristfälliga kunskaper i svenska kan ta del av den. Det är viktigt att lyfta fram hur själva antagningsprocessen fun- gerar och att skolorna ska rangordnas efter vårdnadshavarnas sanna önskemål. Informationen bör alltså särskilt peka på systemets stra- tegisäkerhet, det vill säga att det inte finns några fördelar för vård- 53Enligt Heller Sahlgren & Jordahl (2016) anger av de respondenterna att de fick information från skolan som påverkade skolvalet. angav andra föräldrar och 16 pro- cent information från kommunen. 54Bergman & McFarlin (2018). 55Se till exempel Sattin-Bajaj m.fl. (2018). nadshavaren att avvika från sin sanna preferensordning. Eftersom informationen måste vara korrekt är det centralt att systemet verk- ligen är strategisäkert varför det inte heller kan läggas några restrik- tioner på hur många skolor som kan anges. Informationen bör ange vilka urvalsgrunder som tillämpas på re- spektive skolenhet och i vilken ordning urvalsgrunderna tillämpas. Denna information är nödvändig för att vårdnadshavarna ska kunna förstå och respektera de skolplaceringar som sedan sker. Om sär- skilda profilurval används bör detta tydligt framgå så att alla elever får en reell möjlighet att delta i eventuella urvalsprov. En uppgift som kan vara relevant är sannolikheten att komma in på en skola men det är inte självklart att denna uppgift ska meddelas inom ramen för systemet. Trots att det är riskfritt att i ett strate- gisäkert system rangordna skolor med låg antagningssannolikhet så är det möjligt att familjer drar sig för att rangordna skolor som de egentligen önskar men där sannolikheten att antas är låg.56 Denna risk är sannolikt särskilt hög bland vårdnadshavare som har svårt att sätta sig in dessa mer tekniska detaljer och därmed litar på systemets strategisäkerhet. Inte heller är det självklart hur antagningssannolik- heten ska anges. En möjlighet är att exempelvis ange hur stor andel av eleverna med skolan som förstahandsval som antogs föregående läsår, men beroende på vilka urvalsgrunder skolorna använder så kan denna uppgift vara gravt missvisande i det enskilda fallet. En annan möjlighet är att utifrån simuleringar ge en individuell prediktion för hur sannolikt det är för den enskilda eleven att antas på en viss skola, givet skolans urvalsgrunder. Det senare sättet kan vara betydligt mer informativt för den enskilde men det är också mer resurskrävande och kan upplevas som integritetskränkande.57 Vilken information bör finnas tillgänglig om respektive skolenhet? Vad gäller information om själva skolorna så kan det först konsta- teras att det finns väldigt mycket information som med relativt goda skäl skulle kunna publiceras i samband med skolvalet: elevers behov skiljer sig åt, liksom vad olika vårdnadshavare anser vara viktiga kvali- tetsaspekter. finns begränsningar på hur mycket informa- 56Fack, Grenet & He (2019). 57Om antagningssystemet i sig är välbyggt och välfungerande så ska inte resursåtgången för att göra denna typ av prediktioner överdrivas. tion som kan publiceras och det finns en betydande risk att för mycket information blir oöverskådlig. Därför måste ett urval ske och det finns olika sätt att förhålla sig till detta, man kan antingen ge den information som vårdnadshavarna vill ha eller ge den information som vårdnadshavarna anses behöva. Som tidigare refererats finns det exempelvis mycket som tyder på att en skolas elevsammansättning är något vårdnadshavare i hög grad beaktar vid skolvalet även om detta sällan uppges vara en viktig faktor.58 I den statistik publicerar finns uppgift om elevsammansättning vid samtliga landets skolenheter. De uppgifter som finns tillgängliga är bl.a. upp- gifter om andel flickor/pojkar, andel elever med utländsk bakgrund och andel elever med föräldrar med eftergymnasial utbildning. Frågan är om skolornas elevsammansättning tydligt ska anges då det är information som vårdnadshavarna sannolikt vill ha eller om den ska utelämnas då det kan anses vara fel att fatta skolvalsbeslut på grundval av dylika uppgifter? Svaret är inte uppenbart och blir än mer komplicerat då elevsammansättningen på goda grunder kan antas påverka faktorer som personalens sammansättning och omsättning.59 Även mer svårmätbara aspekter av skolans kvalitet kan också sam- variera med elevsammansättningen. En annan fråga är om informationen ska fokusera på vilka resur- ser som finns på en skola eller på de resultat som skolan uppvisar. Det finns goda skäl för båda typerna av indikatorer men det är mer tvek- samt vilken vikt vårdnadshavare i genomsnitt fäster vid olika resurs- mått.60 Däremot kan skolans resurser vara av avgörande betydelse för enskilda elever vilket gör det motiverat att presentera uppgifter som lärartäthet, andelen behöriga lärare och tillgången till special- lärare och specialpedagoger. Dessa uppgifter finns i informationssystem ”Utbildningsguiden”, liksom uppgift om skol- bibliotek. Däremot finns inte uppgifter om exempelvis tillgången till skolmatsal, idrotts-, slöjd- och laborationssalar, vilka kan ses som vik- tiga för skolans möjlighet att ge en god utbildning. I Utbildningsguiden presenteras även uppgifter om skolornas re- sultat på nationella ämnesprov, andel elever i årskurs 6 och 9 som når kraven för godkända betyg i alla ämnen, andelen som är behöriga till 58Andersson, (2014), (2002), Weiher & Tedin (2002). 60För en svensk studie, se Kessel & Olme (2018). yrkesprogram samt betygsgenomsnitt för årskurs 9.61 Det finns också en stor forskningslitteratur som finner att skolresultat värdesätts av skolväljande vårdnadshavare, om än i olika grad mellan olika grupper.62 Då samvariationen mellan skolans elevsammansättning och resultat är mycket hög är det emellertid en öppen fråga om det är resultaten i sig, eller det faktum att en skola med goda resultat har elever med goda studieförutsättningar, som värdesätts. Det är därför viktigt att skilja på ojusterade resultatmått och resultatmått som tar hänsyn till vilka elever som går på en skola, vilket diskuteras mer utförligt i nästa avsnitt. Där diskuteras också problemet att långt ifrån alla skolans mål är mätbara på något rättframt sätt. Ett vidare problem är att det finns goda grunder att ifrågasätta tillförlitligheten i de resul- tatmått som finns, betyg och nationella prov, då bedömningen före- faller påverkas både av skolans kunskapsnivå och av skolstrategiska skäl.63 5.4.3Mått på mervärde och skolkvalitet Då skolors resultat på kunskapsmätningar samvarierar starkt med deras förutsättningar och framför allt då deras elevunderlag är ojuste- rade kunskapsmått inte ett bra mått på skolans bidrag till elevernas kunskapsnivå. resultatmått är därför tveksamma som indika- torer på kvalitén på skolans utbildning, även om man inskränker kva- litetsbegreppet till att avse resultaten enligt olika kunskapsbedöm- ningar. påtalade av denna anledning betydelsen av att det utvecklas mått för en skolas bidrag till elevernas kunskaps- utveckling, s.k. value-added-mått, även kallat mervärdesmått, som kommissionen menade skulle vara mer rättvisande än t.ex. betyg och provresultat. Syftet med mervärdesmått är att med hjälp av statistiska modeller isolera skolans bidrag till kunskapsresultaten genom att justera för skolans elevsammansättning. 61Förordning (2015:195) om ett nationellt informationssystem. 62Se Heller Sahlgren & Jordahl (2016). 63Skolverket (2019a); Vlachos(2019), Hinnerich & Vlachos (2017). Ett slags mervärdesmodeller tar enbart hänsyn till elevernas socio- ekonomiska bakgrund och eventuella migrationsbakgrund.64 Skol- verkets Salsa-modell är ett exempel på en sådan. Dessa delar alla bristen att det kan finnas en betydande spridning i elevernas förut- sättningar även inom de olika socioekonomiska kategorier som modellerna tar hänsyn till.65 Med mervärdesmått avses därför i all- mänhet mått som utöver socioekonomiska faktorer även justerar för tidigare provresultat. Av naturliga skäl kan denna typ av justering enbart ske på skolnivåer där tidigare provresultat finns att justera för, det vill säga årskurs 6 och 9. Utformningen av de nationella proven i årskurs 3 är inte heller lämpad för användning vid mervärdesanalyser då de enbart syftar till att fånga om eleven riskerar att inte nå de kunskapskrav för årskurs 3 som ska uppnås. För samtliga nationella prov är det ur mervärdessynpunkt också en betydande nackdel att endast det samlade provbetyget samlas in. Idealt sett bygger mer- värdesmått på kunskapsmätningar som är detaljerade och fångar hela spridningen bland eleverna. Eftersom elevernas bakgrund har en mycket stark påverkan på skolors resultat finns det tydliga fördelar med mervärdesmått när syftet är att få en indikator på skolornas undervisningskvalitet. Kon- ceptuellt svarar måtten på frågan hur kunskapsresultaten för en slumpvis vald elev skulle påverkas av att gå på en viss skola, vilket är en naturlig information att förmedla till vårdnadshavare inför skol- valet. Ur segregationssynpunkt kan redovisningen av dylika resultat- mått också ha positiva effekter eftersom de justerar för skolans elev- sammansättning. Då rena resultatmått både fångar elevbakgrund och skolans bidrag till resultaten så är det troligt att vårdnadshavarnas syn på vad som är en högpresterande skola blir mindre färgad av elev- sammansättningen om justerade resultatmått presenteras. Om vård- nadshavare med exempelvis olika utbildningsnivå reagerar olika på 64Särskilt föräldrarnas utbildningsnivå samt elevens kön och ålder vid eventuell invandring spelar stor roll för skolresultaten. Även andra faktorer som elevens plats i syskonskaran och ålder vid skolstart har visat sig vara relativt betydande för skolresultat. Se m.fl. (2018), (2013). Denna typ av faktorer får dock sällan genomslag på skolnivå då elever inte tenderar att skilja sig systematiskt mellan skolor i dessa avseenden. 65Enligt kan av spridningen i elevernas resultat hänföras till föräldrarnas utbildnings- och inkomstnivå. Det finns även andra, mer tekniska, brister med utformningen av Salsa-modellen vilket har att göra med att modellen använder data på skol- snarare än individnivå. Detta diskuteras i SOU 2019:40. information av denna typ är emellertid inte implikationerna för skol- segregationen lika självklar. Mervärdesmått har dock en del problem som är välkända i den inter- nationella forskningen och som även påvisats av och Lång- tidsutredningen.66 Måtten är instabila och påverkas av slumpfaktorer För det första tenderar mervärdesmåtten att vara relativt instabila vilket beror på att slumpmässiga faktorer och rena mätfel får stort genomslag i denna typ av statistiska modeller. Den grundläg- gande orsaken till att mervärdesmått är relativt instabila är att ojuste- rade resultatmått både fångar slumpfaktorer och genuina skillnader mellan skolor. Den statistiska justeringen påverkar inte rena slump- faktorer utan bara skillnader mellan skolor som är stabila . Detta gör att slumpfaktorernas andel av de observerade skillnaderna mellan skolor ökar. Vid en jämförelse av skolors mervärden skattade med Salsa- modellen finner utredningen att korrelatio- nen mellan de två åren är runt 0,5. Det innebär att av spridningen i skolors mervärde kan förklaras av före- gående års mervärde.67 Illustrativ är också en nypublicerad analys av lärares ”mervärde” på elevernas längd – ett uppenbart nonsensutfall eftersom lärare knappast kan påverka elevernas tillväxtkurva – som finner att slumpfaktorer kan ge intrycket att lärare ”påverkar” elever- nas längd i samma utsträckning som deras matematikresultat.68 Denna typ av problem minskas delvis genom att använda genomsnitts- mervärden vilket emellertid har nackdelen att måtten då i något högre grad avspeglar inaktuella förhållanden. är skolvalet framåtblickande varför alla resultatmått kommer att av- spegla för eleven historiska förhållanden. 66Skolverket (2019f), SOU 2019:40. 67Resultaten är likartade oavsett om mervärdet skattas för genomsnittsbetyg eller resultaten på de nationella proven i matematik. 68Bitler m.fl. (2019). Beräknat mervärde påverkas av vilka utfallsmått som används För det andra skiljer sig måtten beroende på vilka utfall som används i mervärdesanalysen. Givet att inte alla mått kan presenteras måste beslut fattas om vilket utfallsmått som bäst anses fånga skolans samlade kvalitet. Detta går inte att avgöra på rent objektiva grunder utan är ofrånkomligen normativt. Dessutom kan valet av mått för- väntas bli verksamhetsstyrande, eventuellt även i hög grad. finner exempelvis att korrelationen mellan högstadieskolors mervärde avseende genomsnittsbetyg och genom- snittliga resultat på de nationella proven är 0,6 vilket i sammanhanget kan betraktas som medelhögt. De nationella proven har delvis en betygsstyrande roll i skolan och ju starkare denna blir, desto mindre blir skillnaden mellan måtten på skolnivå. När högstadieelevernas resultat på de nationella proven i gymnasieskolans används som utfall faller korrelationen med de nationella proven i årskurs 9 till 0,4 och till 0,3 för högstadiebetygen.69 Ett annat resultat iLångtidsutredningens jämförelse är att mervärdesmått av Salsa-typ som justerar för elevbakgrund men inte för tidigare provresultat fungerar relativt väl, korrelationen mellan dessa Salsa-liknande mått och gymnasieskolans mervärde (justerat för tidigare prov) är till och med högre än för motsvarande provjusterade mervärden. Den stora skillnaden mellan de socioekonomiska och provjusterade måtten består i att de som bara justerar för socioekonomi tenderar att över- driva hur svaga riktigt lågpresterande skolor, liksom hur starka rik- tigt högpresterande skolor, är. Skillnaderna mellan de olika mervärdesmåtten beror naturligtvis delvis på att måtten mäter – och är tänkta att mäta – olika kunskaper och förmågor, men även på skillnader mellan skolor i betygssättning och bedömning av de nationella proven. Den relativt låga samvaria- tionen mellan olika mått synliggör svårigheterna förknippade med att finna ett samlat mått på skolans kvalitet avseende studieresultat att kommunicera till vårdnadshavarna. För att ytterligare illustrera detta har utredningen beräknat mervärden med den socioekono- miskt baserade Salsa-modellen för betyg respektive nationella prov- resultat i matematik för årskurs 9 och tagit genomsnittet för dessa . Av de 100 skolor som presterar svagast avseende betygs- 69Långtidsutredningen använder provresultat från gymnasiet för att ta hänsyn till skillnader i hög- stadieskolornas betygssättning och bedömning av de nationella proven. Metoden hanterar visser- ligen just dessa problem med skapar även andra, vilket även diskuterar. mervärde är endast 28 även bland de 100 svagaste avseende mate- matikmervärde. Bland de 100 skolorna med högst betygsmervärde är 38 skolor även bland de 100 starkaste avseende matematik.70 En skolas mervärde kan skilja sig mellan olika elevgrupper En tredje fråga relaterad till mervärdesmåttens tillförlitlighet är om skolor som har höga mervärden för vissa elevgrupper har lika höga mervärden även för andra. Flertalet studier undersöker denna fråga på lärarnivå och ett mindre antal på skolnivå. Medan det inte före- faller finnas några tydliga skillnader i det mervärde som skattas för exempelvis pojkar och flickor eller elever med och utan utländsk bak- grund så finns det tecken på att skillnaderna är större för hög- och lågpresterande elever.71 Annorlunda uttryckt: den skola som har högt mervärde för vissa elevgrupper har inte nödvändigtvis lika högt mervärde för andra. Att det finns icke-triviala skillnader i skolors mervärde för olika grupper indikerar dels att det kan finnas vissa fördelar med segregation utifrån elevernas prestationsnivå – vilket på individnivå är långt ifrån liktydigt med deras socioekonomiska bak- grund72– men även att en bra kvalitetsindikator för vissa elever inte är lika bra för andra. Konceptuellt kan detta hanteras genom att ta fram olika kvalitetsindikatorer för hög- och lågpresenterande elever men då ökar betydelsen av slumpfaktorer och mätfel vilket gör indikatorerna mindre stabila. Det är inte heller självklart hur dessa uppgifter ska presenteras för att nå rätt vårdnadshavare. Ovanstående innebär sammantaget att det finns en betydande statistisk osäkerhet kring mervärdesmåtten vilket är viktigt att ta hänsyn till när informationen utformas. rangordningar av sko- lor är ett exempel på presentationssätt som inte tar dylika hänsyn. Oavsett måttens tillförlitlighet och även om skillnaderna mellan 70Detta görs på skolnivå med data från databas för åren 2013–2016. Vad som används är residualerna från årsvisa regressioner av betygs- eller provresultaten på för- äldrarnas utbildningsnivå och andelen nyanlända elever (även kvadrattermer av dessa variabler) samt andelen pojkar på skolan. 71Fox (2016), Loeb, Soland & Fox (2014), (2008). Se även (2013). 72När predicerar elevernas studieförutsättningar med en regression av meritvärdet i årskurs 9 på en uppsättning indikatorer på elevernas socioekonomiska bakgrund så kan mellan av spridningen i populationen förklaras. 80procent av spridningen i individers meritvärde kan alltså inte förklaras av föräldrarnas ut- bildnings- eller inkomstnivå. För enbart elever med svensk bakgrund ligger förklaringsgraden stabilt kring (SOU 2019:40, figur 6.15). skolor är små så riskerar en rangordning att få skillnaderna att fram- stå som stora. Detta framgår tydligt av figur 5.2. Den vänstra panelen visar socioekonomiskt justerade mervärden avseende betyg och resultat på de nationella proven i matematik mot varandra. Det finns ett tydligt samband även om måtten är långt ifrån identiska (korre- lationen är 0,5). Den högra panelen visar i stället rangordningar baserade på samma mervärden och även om dessa baseras på samma mått så är det tydligt att en rangordning får även små och statistiskt osäkra skillnader mellan skolor att framstå som stora. Figur 5.2 Presentation av justerade kunskapsmått Not: Mått på justerade kunskapsresultat. Måtten är baserade på residualerna från årsvisa regressioner på skolnivå av betygs- eller provresultaten på föräldrarnas utbildningsnivå och andelen nyanlända elever (även kvadrattermer av dessa variabler) samt andelen pojkar på skolan. Rangordningen är baserad på samma mått. Data från databas och måtten avser medelvärden för åren 2013 –2016. Resultatbaserade mått skapar incitament för manipulation Ett välkänt problem vid användandet av resultatbaserade mått på skolkvalitet är att de skapar incitament för skolor att på olika sätt manipulera skolans resultat.73 I den svenska skolan med lokalt rättade 73Detta gäller mer allmänt om resultaten används på sätt som får konsekvenser för lärare eller skolor vilket ofta är svårt att undvika eftersom proven bland annat syftar till att ge information till olika intressenter. nationella prov och lärarsatta betyg är sådan manipulation i princip enkel. Vad gäller provresultat, men inte betyg, kan denna aspekt del- vis hanteras med extern provrättning men en bred forskningslitte- ratur visar att skolor kan vara kreativa när det gäller att manipulera även externt rättade prov.74 Så kallad provinriktad undervisning (teaching-to-the-test) befinner sig i gränslandet mellan manipulation och själva syftet med resultatbaserad utvärdering, men kan resultera i gravt missvisande resultat.75 Ovanstående problem är inte specifikt för mervärdesmått utan är giltigt även om helt ojusterade resultatmått används. När resultaten justeras med tidigare provresultat ges emellertid skolorna även incita- ment att få ingångsvärdena att framstå som lägre än de egentligen är. Denna typ av manipulation är sannolikt enkel att åstadkomma, exem- pelvis genom att undvika att exponera eleverna för den typ av prov som används eller undervisa olika områden i en ordning som inte alls passar med provens upplägg. Belägg för detta fenomen finns i åt- minstone en studie.76 Låg samvariation mellan mervärdesmått med olika bas Ett måhända ännu större problem för användningen av mervärdes- mått är att det finns internationella studier som finner en mycket låg samvariation mellan provbaserade mervärdesmått och mervärdes- mått baserade på elevbeteenden som sen ankomst, skolk, ordnings- problem och dylikt. fångar beteendemåtten aspekter av skolans kvalitet som är av stor betydelse för elevernas framtida utbild- ningsframgång.77 Resultatet belyser att skolkvalitet är ett brett och mångfacetterat begrepp som i likhet med många av skolans mål svår- ligen låter sig fångas av enskilda resultatmått. I viss mån kan detta hanteras av mervärdesmått som baseras på betyg som komplement till mått baserade på provresultat eftersom betyg delvis fångar dylika beteendekomponenter.78 Detta förutsätter emellertid att betygssättningen är likvärdig mellan skolor som inte provresultat hårt tillåts styra betygssättningen. 74Figlio & Loeb (2011). 75Koretz (2009). 76Macartney (2016). 77Jackson (2018). 78Klapp Lekholm & (2009). resultaten styr betygssättningen hårt så kommer skolmervärden för betyg och prov båda att avspegla det provbaserade mervärdet. Pro- blemet att många av skolans mål är svår- eller omätbara är inte fullt ut lösbart varför styrningseffekterna av partiella kvalitetsmått måste beaktas. Ett kompletterande alternativ till olika resultatmått är att härleda informativa mått på skolkvalitet ur Skolinspektionens skol- och huvudmannarapporter. Det förutsätter att resultaten från inspektio- nerna presenteras på tydligare och betydligt mer standardiserade sätt än . Utredningen anser att det ligger bortom uppdraget att bedöma de avvägningar som ligger bakom Skolinspektionens rapporterings- modell men konstaterar att tydligare rapportering förekommer i vissa andra länder, till synes med viss framgång.79 Även om det inte är relaterat till skolvalsbeteende så finner bland annat en brittisk studie betydande resultatförbättringar bland engelska skolor som fick ett svagt betyg av den engelska motsvarigheten till Skolinspektionen.80 Exempel på när mervärdesmått använts i praktiken Det är i ljuset av alla tveksamheter kring mervärdesmåttens stabilitet och generaliserbarhet värt att notera en kontrafaktisk analys av skolvalet i under ett specifikt år.81 Analysen gör antagandet att vårdnadshavarna vill välja den skola i rimlig närhet till hemmet som genererar bäst resultat på ett specifikt examensprov. Sedan jämförs hur eleverna faktiskt hade presterat beroende på om de valt skola slumpmässigt, utifrån skolornas ojusterade prov- resultat eller utifrån skolornas mervärdesmått vid valtidpunkten. Medan val styrda av kunskapsresultat är betydligt bättre än slumpen så visar analysen att eleverna lyckas bättre genom att välja skola baserat på ojusterade resultat än på mervärdesmått, vilket beror på att de ojusterade resultaten är betydligt stabilare . Faktum är att skolval baserade på ojusterade resultat bara ger marginellt bättre utfall för eleven än om valet helt baserats på skolans elevsammansätt- ning (mätt med elevernas provresultat från tidigare skolgång). Detta provocerande resultat hänför forskarna till att skolor med starkt elevunderlag är organisatoriskt stabilare och har lättare att rekrytera 79Ehren m.fl. (2015). 80Hussain (2015). 81Allen & Burgess (2013). och behålla kompetent personal samt en högre grad av informellt verksamhetsstöd av vårdnadshavarna. Analysen visar också att även om alla elevgrupper tjänar på bättre information så tjänar högpre- sterande elever med många skolor att välja mellan betydligt mer än elever med mindre gynnsamma förutsättningar. 5.4.4Hur reagerar vårdnadshavare på information? Information om hur skolvalet går till är nödvändig och viss annan information kan vara värdefull att inkludera även om den enbart i begränsad omfattning påverka vilka skolor vårdnadshavare väljer.