prop · H90339 · 2021-10-26 00:00:00 — Skolsamordnarnas tillämpning av kriterierna Regeringen och har inte säkerställt att tveksamheterna kring deltagandet i Pisa-undersökningen utretts ordentligt gavs i uppdrag att granska data Bristande transparens från gällande Pisa-undersökningen uppdrag var otydligt och resultatet blev inte trovärdigt R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE Brister i arbete med att informera om och följa upp exkluderingar Regeringen har inte följt upp indikationer på felaktigheter Pisa-undersökningens bakgrund och hur den är organiserad Potentiell påverkan av exkluderingar och bortfall Forskning kring exkluderingar och bortfall R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE har granskat deltagande i Pisa-undersökningen 2018, med fokus på exkluderingar och bortfall av elever. Med exkluderingar avses elever som valts ut att skriva proven men som exkluderats från att delta på grund av funktionsnedsättningar eller bristande språkkunskaper. Bortfall avser elever som inte dyker upp vid provtillfället. Granskningen visar på brister i uppföljningsarbete gällande exkluderingar och hur regeringen och har hanterat de tveksamheter som uppkommit. bedömer att det är allvarligt att varken regeringen eller på ett övertygande sätt har följt upp de misstankar om felaktigheter i genomförandet som både media och utbildningsutskott fört fram. , och regeringen har hävdat att låga deltagande i Pisa-undersökningen berodde på inflödet av migranter åren innan proven genomfördes. Granskningen visar att detta inte är en giltig förklaring. beslut att inte längre särredovisa exkluderingsorsaker har gjort det svårare att följa upp eventuellt felaktiga exkluderingar. Eftersom resultaten från Pisa-undersökningen används som målindikator i många sammanhang, bland annat i budgetpropositionen, är det viktigt att resultaten går att lita på. Om Pisa-undersökningen inte genomförs på ett tillförlitligt sätt kan det få konsekvenser för både utbildningspolitiken och förtroendet för statsförvaltningen. Liten skillnad i antalet anlända elever inför proven jämfört med har förklarat den stora ökningen av andelen exkluderade elever med de stora flyktingströmmar som kom runt 2015. De flesta elever som kom till i samband med flyktingkrisen hade dock varit för länge i svensk skola för Pisa-undersökningen 2018 för att kunna exkluderas enligt kriterier. beräkningar visar att andelen elever som kan exkluderas enligt kriterierna för bristande språkkunskap bara har ökat med ungefär en halv procentenhet för Pisa-undersökningen 2018 jämfört med undersökningen . Uppskattade informationsmöten men otillräcklig uppföljning Skolsamordnarna har uppskattat de informationsmöten som anordnat men har uppfattat informationen om exkluderingar på olika sätt. har inte säkerställt att informationen uppfattats och tolkats i enlighet med regelverket och inte heller följt upp om den tillämpats korrekt. Det har medfört att skolorna har exkluderat elever på olika premisser. 6R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Uppföljningen av exkluderingar har försvårats efter att jurister gjorde en ny tolkning av personuppgiftslagen . Den nya tolkningen medförde att exkluderingar för funktionsnedsättningar och språkbegränsningar numera samredovisas. har inte lyft frågan till regeringen för att eventuellt åstadkomma en författningsändring, och därmed en mer användbar redovisning av exkluderingarna. Misstankar om felaktiga exkluderingar har inte utretts ordentligt Trots att misstankar om att för många elever exkluderats har lyfts från många håll har varken regeringen eller gjort några övertygande ansträngningar för att utreda frågan. gavs visserligen ett uppdrag att granska den svenska Pisa-statistiken en gång till men kan inte anses ha gjort en oberoende och trovärdig granskning. slutsatser baseras på felaktiga antaganden om hur svensk skola fungerar. har i interna promemorior fört fram att exkluderingstalen inte kan förklaras på det sätt och gjort. Trots detta har regeringen fortsatt att hänvisa till och uppgifter om att allt gått rätt till. bedömer att regeringen inte har vidtagit tillräckliga åtgärder för att utreda de tveksamheter som uppstått i samband med Pisa-undersökningen 2018. Det beror inte nödvändigtvis på att regler eller processer är felaktigt utformade. Regeringen har dock inte fullföljt sitt ansvar att se till att underlydande myndigheter bedriver sin verksamhet enligt de krav som grundlagen ställer. lämnar följande rekommendation till regeringen: •Ta initiativ till att utreda de rättsliga förutsättningarna för att kunna särredovisa exkluderingsgrunderna i Pisa-undersökningen. lämnar följande rekommendation till : •Förbättra arbetet med att säkerställa ett korrekt deltagande i kommande Pisa-undersökningar. Ett sådant arbete bör innefatta att större vikt läggs vid följande detaljer i genomförandet: −Förstärk den inledande kommunikationen med utvalda skolor. −Säkerställ att instruktionerna uppfattas och tillämpas korrekt av skolsamordnarna. −Följ upp exkluderingarna mer detaljerat genom att begära in elevprotokollen innan undersökningen genomförs. −Höj ambitionsnivån i arbetet med att minska bortfallet genom fler uppföljningstillfällen och betona vikten av att elever deltar i informationen som skickas till vårdnadshavarna. R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE – nämnd inom som validerar kvaliteten på deltagande länders data när de i något avseende inte lever upp till kriterier (s. 24). Bortfall – de elever som inte dyker upp på provdagen, trots att de borde, samt de elevers provsvar med en för liten andel besvarade uppgifter (s. 21). Exkluderingar – en process där vissa elever inte bedöms förmögna att genomföra Pisa-proven, trots att de blivit utvalda att göra det (s. 21). Kontraktor – internationell konsult kontrakterad av för att hålla samman och genomföra Pisa-undersökningen (s. 17). Nationellt projektcenter – den aktör i landet som är ansvarig för genomförandet av Pisa-undersökningen (s. 17). Skolsamordnare – en av rektorn utsedd person på skolan för att genomföra Pisa-undersökningen (s. 19). 8R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Pisa-undersökningen1 är en internationell studie med syfte att undersöka i vilken grad respektive lands utbildningssystem bidrar till att 15-åriga elever är rustade att möta framtiden utifrån ämnesområdena läsförståelse, matematik och naturvetenskap. Pisa-undersökningen utvecklas och organiseras av OECD.2 Undersökningen är i många länder ett viktigt underlag för politiska beslut om framtida utvecklingsinsatser, reformer och resursfördelning inom skolan. Detta gäller även , framför allt med tanke på att vi saknar nationella kunskapsmätningar med kapacitet att mäta utveckling . Att resultaten ger en tillförlitlig och korrekt bild av det svenska utbildningssystemet är en förutsättning för att de ska kunna bidra till utvecklingen av en skola med hög och likvärdig kvalitet. För att kunna jämföra resultaten i internationella studier krävs strikta kriterier så att lika jämförs med lika. För att resultaten ska kunna jämföras för ett land krävs också att kriterierna appliceras likadant vid varje provtillfälle. Enligt riktlinjer får deltagande länder exkludera högst av eleverna för att upprätthålla konsistenta och jämförbara resultat. av eleverna vid den senaste Pisa-undersökningen 2018. Exkluderingsgraden måste begränsas eftersom en hög andel exkluderade elever riskerar medföra att resultaten inte blir representativa för landets utbildningssystem. Därutöver måste av de utvalda eleverna skriva provet för att resultaten, enligt , ska bli tillförlitliga.3 1.1 Motiv till granskning resultat från Pisa-undersökningen 2015 indikerade att den nedåtgående kurvan för vänt. Resultaten i alla tre ämnesområden förbättrades. Resultaten i undersökningen 2018 bekräftade denna bild med resultat i linje med dem från 2015.4 efter att provresultaten från undersökningen 2018 publicerades förekom ett offentligt ifrågasättande av hur många elever som exkluderats från proven.5 Såväl andelen exkluderade elever som andelen elever som registrerades som frånvarande vid provtillfället ökade väsentligt . publicerades en längre artikel om att exkluderat en för stor andel utlandsfödda elever från proven.6 Företrädare för regeringen bad 1PISA – Programme for International Student . 2Organisation for Economic Co-operation and Development. 3OECD, 2018 Technical Report, 2018. 4Skolverket, 2018 – 15-åringars kunskaper i läsförståelse, matematik och naturvetenskap, 2019. 5Jällhage och , ”Kritiken mot Pisa-firandet: ’Skrämmande’", ; Henrekson och , ”Därför kan vi inte längre lita på ”, ; Letmark, ”Rekordmånga nyanlända fanns inte med i årets ”, . 6Hellberg, ”PISA-framgång bygger på falska siffror”, . R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE då, i samråd med , att göra en granskning av det svenska genomförandet av undersökningen.7 Det är viktigt att granska om Pisa-undersökningen genomförts på ett sätt som gör att resultaten är tillförlitliga och om regeringen och har hanterat de tveksamheter som uppstod på ett tillförlitligt sätt. Eftersom resultaten från Pisa-undersökningen används i många sammanhang, bland annat som målindikator i budgetpropositionen, är det viktigt att resultaten går att lita på.8 Om det råder oklarheter angående vilka elever som valts ut att göra proven och vilka som undantagits kan det få flera konsekvenser. Det riskerar att skada provens legitimitet och i förlängningen förtroendet för staten. Om resultaten inte är tillförlitliga eller representativa kan det på riskera att nödvändiga reformer inte genomförs eller att statliga medel inte utnyttjas på ett effektivt sätt. ställde sig en majoritet i utbildningsutskott bakom ett utskottsinitiativ med innebörden att med ett tillkännagivande skulle uppmana regeringen att tillsätta en oberoende utredning kring deltagande i 2018.9 beslutade att avslå utskottets initiativ om att tillsätta en oberoende granskning med argumentet att redan hade blivit ombedda att granska resultat en gång till. I sin rapport, som publicerades efter beslut, konstaterar att det stora antalet exkluderade elever troligen kan förklaras med det stora flyktingmottagandet åren innan Pisa-undersökningen 2018. bekräftade alltså bedömning att deltagande och resultat var korrekt. bedömning är dock att det finns anledning att ifrågasätta delar av och att det därför är befogat att genomföra ytterligare en granskning. Den övergripande revisionsfrågan är om regeringen och har säkerställt att Pisa-undersökningen 2018 genomfördes på ett tillförlitligt sätt vad gäller exkluderingar och bortfall av elever. För att besvara den övergripande frågan ställer vi nedanstående delfrågor. 1.Är ett ökat antal nyanlända en giltig förklaring till den höga andelen exkluderade elever i Pisa-undersökningen 2018? 2.Har givit tydliga och heltäckande instruktioner och relevanta stödinsatser om exkluderingar och bortfall till utvalda skolor? 7Hellberg, ”begär ny granskning av resultaten”, ; , A review of the 2018 Technical Standards in regard to exclusion due to insufficient language experience, 2020, s. 4; promemoria , underlag inför möte med utbildningsutskottet. 8I data för tiden –finns 577 dokumentträffar på Pisa-undersökningen, 125 träffar på Timss, och 48 på Pirls – de senare är andra internationella elevundersökningar. 2020/21:UbU4. 10R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N 3.Har en fungerande kvalitetssäkring och uppföljning av skolornas genomförande av Pisa-undersökningarna vad gäller exkluderingar och bortfall? 4.Har regeringen och säkerställt att tveksamheterna kring deltagande i Pisa-undersökningen utretts ordentligt? Granskningen omfattar i huvudsak perioden för genomförandet av 2018. Med genomförande avser vi förarbete, genomförandet av själva studien samt efterarbete i form av sammanställning av resultat, uppföljning och kvalitetssäkring. Granskningen fokuserar på exkluderingar och bortfall i samband med genomförandet av undersökningen och inte på elevernas resultat. Bedömningsgrunder är de kriterier som tillämpar för att värdera sina iakttagelser. Våra bedömningsgrunder utgår i huvudsak från den övergripande intentionen med Pisa-undersökningen och det regelverk, framför allt tekniska standarder, som satt upp för ländernas deltagande. Vi utgår också från gängse krav som ställs på regeringen och svenska myndigheter att tillhandahålla korrekt och tillförlitlig information och statistik. Bedömningsgrunderna operationaliseras utifrån en rimlighetsbedömning av hur de bör anpassas till den granskade verksamheten. Vi utgår även från regeringsformen, myndighetsförordningen och förvaltningspolitiska propositionen och det som framgår där om att myndigheters verksamhet ska bedrivas effektivt, sakligt och korrekt. Nedan beskrivs bedömningsgrunderna för respektive delfråga. Är ett ökat antal nyanlända en giltig förklaring till den höga andelen exkluderade elever i Pisa-undersökningen 2018? Bedömningsgrunderna är de kriterier för exkludering av elever som har ställt upp för deltagande länder, samt om andelen exkluderade elever ligger i linje med den andel som potentiellt bör kunna exkluderas enligt olika registerdata. Kriterierna för exkludering återges i kapitel 2. Har givit tydliga och heltäckande instruktioner och relevanta stödinsatser om exkluderingar och bortfall till utvalda skolor? har tagit fram specificerade kriterier för vilka elever som ska väljas ut att göra proven och vilka elever som får undantas. En förutsättning för att rätt elever väljs ut och sedan gör proven är att de som ska exkludera elever, i detta fall skolsamordnare på deltagande skolor, faktiskt förstår och tillämpar reglerna på det sätt som är avsett. Här har en viktig uppgift att se till att den information och det stöd som ges till skolsamordnarna möjliggör för dem att tillämpa kriterierna som tänkt. R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE Vi bedömer att instruktionerna från till skolsamordnarna om exkluderingsregler och bortfall är tydliga och heltäckande om skolsamordnarna följer kriterierna på det sätt som avsetts. Vad gäller bortfall är det inte en bedömningsfråga på samma sätt som exkluderingar, utan handlar i stället om vilken information som getts om hur skolorna kan agera för att minska bortfallen, och vad som registreras som bortfall i sammanställningarna. Har en fungerande kvalitetssäkring av skolornas genomförande av Pisa-undersökningarna vad gäller exkluderingar och bortfall? När ett land ansluter sig till Pisa-undersökningen förbinder sig landet att följa de krav som beslutat för genomförandet. tekniska standarder anger bland annat vilka kvalitetssäkringsmoment som ska göras för att respektive standard ska anses vara uppfylld och vilka eventuella avvikelser som är acceptabla. I Standard 21.1 framgår att de nationella projektcentren10 ska ta fram lämpliga rutiner för att främja deltagande och stödja ett effektivt genomförande.11 Vad detta konkret innebär är däremot inte närmare specificerat. Däremot har tagit fram manualer för genomförandet både till nationella projektledare och skolsamordnare. De standarder och manualer som finns är tänkta att säkra hög kvalitet på genomförandet. Utöver de regler som kräver att deltagande medlemsländer ska följa finns det inga ytterligare krav från regeringen på hur Pisa-undersökningen ska genomföras.12 Regeringen har inte tagit något initiativ till att införliva krav i svensk författning i syfte att tydliggöra tillämpningen för att åstadkomma en enhetlig tolkning av vad som krävs av skolorna i samband med Pisa-undersökningen. Däremot finns krav på myndigheter specificerade på annat håll. Till exempel framgår det av myndighetsförordningen att myndighetens ledning ansvarar inför regeringen för verksamheten och ska se till att den bedrivs effektivt och att den redovisas på ett tillförlitligt och rättvisande sätt.13 Vi menar att detta innefattar ett ansvar att säkerställa att de underlag som myndigheten tar fram i samband med Pisa-undersökningen är tillförlitliga och rättvisande. 10I är det enheten för internationella studier på . 11OECD, 2018 Technical Standards, 2015, s. 19. 12Enligt sin instruktion ska ansvara för deltagande i internationella kunskapsmätningar. Dessutom får i samråd med även företräda staten i förhandlingar och ingående av internationella överenskommelse om deltagande i sådana mätningar, såvitt inte regeringen beslutar något annat (4 § förordning [2015:1047] med instruktion för ). 133 § myndighetsförordningen (2007:515). 12R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Det ingår även i ansvar att följa upp och utvärdera skolväsendet på nationell nivå.14 Vidare har uttalat att det är ”mycket angeläget att den officiella statistiken är av god kvalitet och att den ger en rättvisande bild av läge och utveckling i samhället”.15 Den officiella statistiken ska tillgodose användarnas informationsbehov och förväntningar. Pisa-statistiken ägs av och klassificeras inte som officiell statistik, men den används som underlag för beslut –till exempel i samband med budgetpropositionen där Pisa-resultaten används som en av flera indikatorer för att mäta måluppfyllelse för grundskolan.16 Rimligen bör höga krav kunna ställas även på den. som myndighet med statistikansvar och med ansvar för Pisa-undersökningen i är därför den aktör som ansvarar för att den statistik som rapporteras in för del håller hög kvalitet och ger en rättvisande bild av skolsystemet. Sammanfattningsvis menar vi att en fungerande kvalitetssäkring och uppföljning innefattar att: •Skolverket följer upp eventuella förändringar och problem som framkommer i förstudien på ett ändamålsenligt sätt och vidtar relevanta åtgärder inför huvudstudien om så behövs •Skolverket följer upp eventuella indikationer på problem avseende elevdeltagandet vid provskrivningen i samband med huvudstudien •om det förekommit felaktigheter under genomförandet av huvudstudien vidtar relevanta åtgärder för att motverka att det sker igen vid nästa Pisa-undersökning. Har regeringen och säkerställt att tveksamheterna kring deltagande i Pisa-undersökningen utretts ordentligt? Enligt regeringsformen ska förvaltningsmyndigheter och andra som fullgör offentliga förvaltningsuppgifter i sin verksamhet iaktta saklighet och opartiskhet.17 har tolkat detta som att information som utgår från det allmänna, det vill säga stat, kommun, regioner och statliga myndigheter, ska vara korrekt, vederhäftig och väl kontrollerad. Om informationen visar sig innehålla oriktiga uppgifter måste åtgärder som korrigerar det vidtas.18 I detta fall innebär det att regeringen och , när signaler kommer om att uppgifter som tillhandahåller är bristfälliga och strider mot regeringsformens krav på saklighet, på något sätt bör agera. bör utvärdera hur de utfört sitt 1426 kap. 24 § skollagen (2010:800). 1991/92:118, bet. 1991/92: FIU23; rskr. 1991/92:316. 2019/20:1 UO16, bet 2019/20:FiU1; rskr. 2019/20:59. Att det är en målindikator framgår även i tidigare års budgetpropositioner. 171 kap. 9 § regeringsformen. 2011/12:KU20, s. 161. R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE Regeringen bör, utifrån sitt ansvar att se till att underlydande myndigheter bedriver sin verksamhet i enlighet med de krav som grundlagen ställer, kontrollera om brister förekommit och vid behov vidta åtgärder för att komma till rätta med bristerna.19 I den styrande funktionen ingår, enligt , en skyldighet att leda den statliga förvaltningens verksamhet. Detta förutsätter, menar utskottet vidare, att ”regeringen följer myndigheternas verksamhet och vid behov ser till att vidta de åtgärder som är nödvändiga från ett styrningsperspektiv”.20 I syfte att uppfylla detta finns det alltså anledning för regeringen, om tvivel föreligger, att utse en lämplig aktör att utreda frågan om det inte kan göras internt. Det bör även tillses att uppdraget utförs så att såväl som allmänheten kan lita på de slutsatser som dras. Vi kallar detta för regeringens uppföljningsansvar gentemot myndigheterna. I förvaltningspolitiska propositionen framgår att kontakterna ”mellan och andra myndigheter är viktiga inslag i en effektiv förvaltning och bör syfta till informations- och kunskapsutbyte samt förtydliganden av regeringens styrning”.21 Oavsett formerna för regeringens styrning och vilket ansvar regeringen ger myndighetsledningar gäller att det är regeringen som är ansvarig inför för hur riket styrs.22 1.4 Metod och genomförande Delfråga 1: Förklaring till den höga andelen exkluderade elever Frågan om vad som kan förklara den höga andelen exkluderade elever besvaras genom analys av underlag från ett antal olika källor. Vi har inhämtat statistik från på deltagande skolor från undersökningen 2018. För att få en ytterligare bild av antalet nyanlända på deltagande skolor använder vi även andra datakällor, såsom mikrodata från Pisa-undersökningen och statistik från . För att få klarhet i hur undervisningen av nyanlända elever fungerar i svensk skola har vi intervjuat ett antal experter inom utbildning för nyanlända. en välgrundad uppfattning om huruvida det finns skäl att tro att andelen elever med så stora behov av särskilt stöd att de inte kan genomföra provet har ökat har vikontaktat ett antal experter inom särskilt stöd. Vi har också inhämtat statistik från över utvecklingen av diagnoser för neuropsykiatriska funktionsnedsättningar (NPF-diagnoser) . Vi har haft kontakt med fyra forskare, experter på samt Kommuner och Regioner. Utbildning för nyanlända beskrivs i kapitel 3. 191 kap. 6 och 9 §§ regeringsformen. 2012/13:KU10 s. 99. 2009/10:175, s. 101, bet. 2009/10:FiU38, rskr. 2009/10:315. 2012/13:KU10 s. 99. 14R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Delfråga 2 och 3: Tydliga och heltäckande instruktioner och stödinsatser samt fungerande kvalitetssäkring För att besvara den andra och tredje delfrågan har vi genomfört intervjuer och dokumentstudier. Dessa har i vissa fall även kompletterats med skriftliga frågor. Intervjuerna har i huvudsak genomförts digitalt. På har vi genomfört flera intervjuer med den grupp som ansvarar för Pisa-undersökningen. Vi har genomfört intervjuer med 32 skolsamordnare vid skolor som deltog i Pisa-undersökningen 2018.23 De flesta intervjuer gjordes eller , det vill säga efter själva genomförandet av Pisa-undersökningen. Det innebär att det har varit svårt för en del skolsamordnare att minnas vissa detaljer kring exkluderingarna, något vi också beaktar kan vi konstatera att många minns mycket väl. Att vara skolsamordnare för Pisa-undersökningen är för de flesta något unikt och något som skiljer ut sig från de vardagliga arbetsuppgifterna i skolan, vilket troligen bidrar till att många minns genomförandet väl. I de fall vi inte fått tillräckligt med information för att vara säkra på att skolsamordnaren tolkat kriterierna felaktigt har vi utgått från att exkluderingarna varit korrekta. Vi har också eftersträvat ett brett urval av skolsamordnare att intervjua, såväl typ av skola, var i landet skolan ligger samt hur mycket exkluderingar och bortfall skolan haft.24 Det främsta syftet med intervjuerna har varit att ge en bild av vilka problem som kan ha förekommit i samband med genomförandet.