prop · H90339 · 2021-10-26 00:00:00 — Regeringens skrivelse 2021/22:39 om Pisaundersökningen Skr. Regeringen överlämnar denna skrivelse till . Skrivelsen innehåller regeringens bedömningar med anledning av 2018 – arbetet med att säkerställa ett tillförlitligt elevdeltagande (RiR 2021:12). övergripande slutsats är att för många elever har exkluderats i den svenska Pisastudien . Den höga andelen exkluderade elever kan inte förklaras av ett högt antal nyanlända elever till följd av flyktingkrisen och varken regeringen eller har säkerställt att Pisaundersökningen 2018 genomfördes på ett tillförlitligt sätt när det gäller exkluderingar och bortfall av elever. anser vidare att varken regeringen eller har vidtagit tillräckliga åtgärder för att utreda de tveksamheter som framkom i samband med undersökningen. uttalar sig i samband med granskningen om tillförlitligheten av en rapport från om den svenska Pisastudien och anser inte att är trovärdig och att det borde ha gått att finna en lämpligare aktör än för uppdraget. Slutligen bedömer att regeringen inte fullföljt sitt uppföljningsansvar. rekommenderar regeringen att ta initiativ till att utreda de rättsliga förutsättningarna för att kunna särredovisa exkluderingsgrunderna i Pisaundersökningen. rekommenderar att förbättra arbetet med att säkerställa ett korrekt deltagande i kommande Pisaundersökningar. Regeringen delar i huvudsak övergripande bedömning att för många elever har exkluderats från att delta i men bedömer 2021/22:39 att resultatet i läsförståelse är fortsatt högre jämfört med resultatet 2012. Regeringen instämmer i huvudsak i iakttagelse att inte i tillräcklig utsträckning har följt upp den höga andelen exkluderade elever eller andelen bortfall. Regeringen har därför gett i uppdrag att förstärka sina insatser för att säkerställa ett högt deltagande i enlighet med gällande riktlinjer i (U2021/02549). Regeringen delar vidare bedömning att uppföljningen av exkluderingar har försvårats genom att exkluderingar för funktionsnedsättningar och språkbegränsningar samredovisas och har därför för avsikt att vidta åtgärder i linje med rekommendation till regeringen. Regeringen delar inte bedömning att det borde ha gått att finna en lämpligare aktör än för uppdraget att granska tillförlitligheten av den svenska Pisastudien. När det gäller frågan om regeringen brustit i sitt uppföljningsansvar gör regeringen delvis en annan bedömning än . Regeringen har agerat och vidtagit adekvata åtgärder för att försäkra sig om att Pisaresultaten är tillförlitliga. Regeringen instämmer dock i iakttagelse att bygger på vissa felaktiga antaganden i några avseenden och att och regeringen borde ha uppmärksammat felaktigheterna i rapporten. I och med denna skrivelse anser regeringen att är slutbehandlad. Ärendet och dess beredning ............................................................. Regeringens bedömning av iakttagelser ................ Regeringens åtgärder med anledning av Utdrag ur protokoll vid regeringssammanträde Ärendet och dess beredning har granskat deltagande i Pisaundersökningen med fokus på exkluderingar och bortfall av elever. Med exkluderingar avses elever som valts ut att skriva proven men som exkluderats från att delta på grund av funktionsnedsättningar eller bristande språkkunskaper. Bortfall avser elever som inte infinner sig till provtillfället. Granskningen har redovisats i rapporten 2018 –arbetet med att säkerställa ett tillförlitligt elevdeltagande (RiR 2021:12). överlämnade granskningsrapporten till regeringen den Granskningsrapporten finns i bilagan. Granskningsrapporten innehåller slutsatser och rekommendationer som riktar sig till regeringen och . har beretts tillfälle att yttra sig över . Yttrandet finns tillgängligt i (U2021/024142). genomfördes för sjunde gången internationella kunskapsundersökning (Programme for International Student Studien har genomförts och undersöker 15-åriga elevers kunskaper i läsförståelse, matematik och naturvetenskap. resultat från Pisaundersökningen indikerade att den nedåtgående kurvan för vänt. Resultaten i alla tre ämnesområden Resultaten i undersökningen 2018 bekräftade denna bild med resultat i linje med de . Såväl andelen exkluderade elever som andelen elever som registrerades som frånvarande vid provtillfället ökade Eftersom ett av undersökningens syften är att jämföra olika länders skolsystem, är det viktigt att veta om de 15-åringar som deltagit för ett specifikt land är representativa för landets 15-åringar som helhet. Det kan därför finnas grupper av elever som av särskilda skäl behöver undantas, exkluderas, innan studien genomförs. har fastställt kriterier för när exkluderingar ska göras. ska dels elever med vissa funktionsnedsättningar, dels elever som inte har svenska som modersmål och som dessutom har begränsade kunskaper i svenska och som har fått mindre än undervisning i svenska har även angett att exkluderingarna inte bör överstiga I uppgick andelen exkluderade När provresultaten från undersökningen 2018 publicerades uppstod en diskussion om att det var relativt många elever som exkluderats , som ansvarar för genomförandet av den svenska Pisaundersökningen, uppgav att riktlinjer för exkluderingar följts och att resultaten var tillförlitliga. kunskaper i läsförståelse, matematik (2019) anges att den ökade graden av exkludering mellan 2015 Skr. 2021/22:39 och 2018 i huvudsak berodde på en ökad andel elever med begränsad erfarenhet av det svenska språket till följd av den invandring som skett åren innan 2018 genomfördes. , som planerar och organiserar Pisastudien, bedömde mot denna bakgrund att den svenska exkluderingsgraden var acceptabel. beslutade att be att göra en granskning av tillförlitligheten av den svenska Pisastudien. bistod då med att etablera kontakt med . I sin rapport med anledning av granskningen konstaterar att det stora antalet exkluderade elever troligen kan förklaras med det stora flyktingmottagandet åren innan Pisaundersökningen 2018. tade alltså bedömning att deltagande och resultat var Den höga andelen exkluderade elever i Pisaundersökningen kan inte förklaras av ett ökat antal nyanlända elever har i sin ovan nämnda rapport 2018 angett att den stora ökningen av andelen exkluderade elever var en konsekvens av de migrationsströmmar som flyktingkrisen gav upphov till. sionen har därför undersökt om ett ökat antal nyanlända elever är en giltig förklaring till den höga andelen exkluderade elever i Pisaundersökningen Enligt analys har de flesta elever som kom till i samband med flyktingkrisen varit för länge i svensk skola vid tidpunkten för Pisaundersökningen 2018 för att kunna exkluderas enligt har inte hittat någon annan förklaring till den höga andelen exkluderade elever. därför att för många elever exkluderades i undersökningen. har brustit i arbetet med att följa upp exkluderingar och har därefter undersökt om gett tydliga och heltäckande instruktioner och relevanta stödinsatser till de skolor som valts ut att delta i om när elever ska exkluderas och när bortfall har även granskat om haft en fungerande kvalitetssäkring och uppföljning av skolornas genomförande av Pisaundersökningen när det gäller exkluderingar och bortfall. anger i sin rapport att genomfört uppskattade informationsmöten och erbjudit stödinsatser till de s.k. skolsamordnarna. Vid informationsmöten diskuterades kriterier för exklu- Trots detta har skolsamordnarna enligt uppfattat och tillämpat kriterierna på olika sätt, varav vissa felaktigt. konstaterar att har genomfört de kvalitetssäkringsmoment som krävt men att för lite har gjorts för att följa upp hur skolsamordnarna uppfattat kriterierna och hur de faktiskt har exkluderat bedömer att konsekvensen blev att många elever exkluderades på felaktiga grunder. har vidare, enligt , inte på ett trovärdigt sätt utrett tveksamheterna kring Även kvalitetssäkring och uppföljning av bortfall kritiseras av . Uppföljningen av exkluderingar har enligt försvårats efter att gjort en ny tolkning av personuppgiftslagen 2016. Tolkningen innebär att exkluderingar för funktionsnedsättningar och språkbegränsningar numera samredovisas. Detta är en fråga som enligt hade kunnat lyfta till regeringen för att eventuellt åstadkomma en författningsändring, vilket hade kunnat innebära en mer användbar redovisning av vilka elever som exkluderats. Kritik mot såväl som som granskande institution har också granskat den rapport som lämnade efter uppdrag från . Även kommer fram till att de höga exkluderingarna troligen beror på det höga antalet nyanlända elever före Pisaundersökningen 2018. anser dock att slutsatserna i rapporten bygger på felaktiga antaganden om dels de beräkningar som gjorts av antalet elever som potentiellt kan exkluderas på grund av språkkriteriet, dels hur utbildningen för nyanlända elever är organiserad i . bedömer det som tveksamt om hade tillräckligt starka incitament att faktiskt upptäcka felaktigheter i data och därmed överpröva sitt tidigare ställningstagande, eftersom organisationen redan en gång godkänt statistik. I anges även att inte har haft tillgång till ursprungsdata, utan bett göra beräkningar åt dem och att saknar kännedom om svensk skola för nyanlända elever. noterar att både och regeringen efter publiceringen av har återgett rapportens slutsats att resultaten går att lita på. Enligt borde såväl regeringen som dock ha uppmärksammat, och i något sammanhang påtalat, felaktigheterna i . Utöver detta redogör i sin rapport för internationell forskning som ifrågasätter framför allt transparens när det gäller Pisaundersökningen. anger även att man funnit det svårt att i vissa fall förstå skälen bakom ställningstaganden avseende till exempel olika länders data inom ramen för det generella Pisaarbetet. Sammanfattningsvis anser därför att inte är trovärdig och att det borde ha gått att finna en lämpligare aktör än för uppdraget att granska den svenska Pisastudien. Regeringen har inte fullföljt sitt uppföljningsansvar anger i sin rapport att regeringen inte säkerställt att Pisaundersökningen 2018 genomfördes på ett tillförlitligt sätt när det gäller exkluderingar och bortfall av elever. Enligt bedömning har regeringen inte heller på ett trovärdigt sätt utrett tveksamheterna kring exkluderingarna i . Detta beror enligt inte nödvändigtvis på att regler eller processer är felaktigt utformade, regeringen har i den här frågan inte fullföljt sitt ansvar att tillse att underlydande myndigheter bedriver sin verksamhet enligt de krav som grundlagen ställer. påpekar att det funnits interna uppgifter i Skr. 2021/22:39 som gick emot de förklaringar som levererade avseende de höga exkluderingstalen. En rimlig åtgärd från regeringen hade enligt varit att ta kontakt med myndigheten och be om en förklaring till de motstridiga uppgifterna. På liknande sätt borde regeringen ha uppmärksammat att innehåller felaktiga antaganden. Ingen av de granskade har vidtagit tillräckliga åtgärder Sammanfattningsvis bedömer att varken regeringen eller har vidtagit tillräckliga åtgärder för att ta reda på om något faktiskt blivit fel när det gäller deltagandet i Pisaundersökningen . Varken regeringen eller har säkerställt att Pisaundersökningen 2018 genomfördes på ett tillförlitligt sätt när det gäller exkluderingar och bortfall av elever. Enligt vilar dock det yttersta ansvaret på regeringen. En expertmyndighet måste ha förmågan att leverera det regeringen efterfrågar, men regeringen måste också ha förmågan att efterfråga rätt information. Därutöver har regeringen ett ansvar att följa upp det som levereras och ingripa om det inte håller god kvalitet. anser att det i detta fall har funnits indikationer på felaktigheter kring genomförandet av Pisaundersökningen, bl.a. i egna underlag. bedömning är att arbetet brustit i båda riktningar om 2018. har inte levererat tillförlitliga data för Pisaundersökningen. Regeringen har brustit i sitt uppföljningsansvar gentemot i denna fråga. rekommendation till regeringen: Ta initiativ till att utreda de rättsliga förutsättningarna för att kunna särredovisa exkluderingsgrunderna i Pisaundersökningen. lämnar följande rekommendation till : Förbättra arbetet med att säkerställa ett korrekt deltagande i kommande Pisaundersökningar. Ett sådant arbete bör innefatta att större vikt läggs vid följande detaljer i genomförandet: – Förstärk den inledande kommunikationen med utvalda skolor. −Säkerställ att instruktionerna uppfattas och tillämpas korrekt av skolsamordnarna. −Följ upp exkluderingarna mer detaljerat genom att begära in elevprotokollen innan undersökningen genomförs. −Höj ambitionsnivån i arbetet med att minska bortfallet genom fler uppföljningstillfällen och betona vikten av att elever deltar i informationen som skickas till vårdnadshavarna. För många elever kan ha exkluderats från att delta i … Regeringen instämmer i huvudsak i iakttagelse att för många elever har exkluderats i Pisaundersökningen . anser bl.a. att det ökade antalet nyanlända elever före Pisa- undersökningen 2018 inte är en giltig förklaring till de höga exkluderings- anger dock i sitt yttrande att vissa av de slutsatser som dras i är alltför långtgående. konsekvenserna av invandringen 2015 är större än vad anger även andra skäl till att många elever, i enlighet med gällande regelverk, kan ha exkluderats från att delta i anser därtill att borde ha beskrivit den empiri som slutsatserna bygger på mer utförligt och utifrån vetenskapliga Regeringen bedömer mot denna bakgrund att även om det inte enbart utifrån den nationella statistiken går att slå fast en exakt nivå för andelen elever som ska exkluderas enligt riktlinjer på grund av bristande språkkunskaper, visar granskning att det finns oklarheter avseende exkluderingen av vissa elever. Det kan alltså enligt regeringens mening ha förekommit att elever har exkluderats från att delta i Pisaundersökningen 2018 på ett sätt som inte är förenligt med …men de övergripande resultaten bedöms kvarstå De oklarheter som finns har dock inte enligt regeringen påverkat resultat eller resultatutveckling på något avgörande sätt. slutsatser som drogs om resultatet i läsförståelse i bedöms kvar- stå, dvs. resultatet är fortsatt högre jämfört med resultatet 2012. stöds även av andra internationella studier. Regeringen noterar i detta sammanhang att inte har presenterat några alternativa har inte i tillräcklig utsträckning följt upp den höga Regeringen instämmer i huvudsak i iakttagelse att Skol- verket inte i tillräcklig utsträckning har följt upp den höga andelen exklu- derade elever eller andelen bortfall. bedömer att har genomfört alla de moment som kräver för att studien ska genomföras korrekt. har dock inte i tillräcklig grad följt upp hur skolsamordnarna uppfattat kriterier för exkludering eller följt upp att skolsamordnarnas beslut att exkludera elever skett i enlighet med gällande konstaterar vidare att det har funnits anledning Skr. 2021/22:39 att ifrågasätta den höga exkluderingsnivån men att inte har Därmed bedömer att inte gjort tillräckligt för att undersöka misstankarna om felaktiga exkluderingar. konstaterar även att inte längre särredovisar exkluderingsorsakerna och att myndigheten inte lyft frågan till regeringen för att möjliggöra en mer användbar redovisning av exkluderingarna, genom t.ex. en författningsändring. anser också att borde ha uppmärksammat de felaktigheter som förekom i . Slutligen anger att man inte ser att vidtagit några egeninitierade åtgärder för att få ett så högt deltagande som möjligt och inte heller analyserat skälen till bortfall och exkluderingar för att fastställa vad som låg bakom det. Regeringen anser att granskning visar att kan göra mer för att säkerställa att deltagande skolor följer . Likaså behöver vinnlägga sig om ett så högt deltagande som möjligt. Därför har regeringen gett i uppdrag att förstärka sina insatser för att säkerställa ett högt deltagande i enlighet med gällande riktlinjer i (U2021/02549). Regeringen delar vidare bedömning att uppföljningen av exkluderingar har försvårats genom att exkluderingar för funktionsnedsättningar och språkbegränsningar samredovisas. Enligt regeringen finns det därför anledning att vidta åtgärder i linje med rekommendation till regeringen. Vissa problem med genomförande av uppdraget Regeringen delar inte bedömning att det borde ha gått att finna en lämpligare aktör än för uppdraget att granska tillförlitligheten av den svenska Pisastudien. Regeringen instämmer dock i iakttagelse att bygger på vissa felaktiga antaganden i några avseenden och att och regeringen borde ha uppmärksammat felaktigheterna i rapporten. bedömning är att dels inte haft kännedom om det svenska skolsystemet och hur utbildningen för nyanlända fungerar, dels att godkännande av data som presenterades i 2018 baserades på svag empiri. anser vidare att det är tveksamt om hade tillräckligt starka incitament att överpröva sitt tidigare ställningstagande eftersom organisationen redan en gång godkänt statistik. Regeringen konstaterar att är den aktör som har mest kunskap och kompetens om . har lång erfarenhet av studien och har bäst kännedom om organisationens bedömningar, t.ex. om länders exkluderingar, bortfall och statistik. har också kunskap om samtliga deltagande länder i studien och resultaten i studien . Sammantaget bedömer därför regeringen att är en organisation med god kompetens att granska den svenska Pisastudien. Regeringen kan dock konstatera att de brister som trots allt förekom i borde ha uppmärksammats av och regeringen. Regeringens uppföljningsansvar har i huvudsak uppfyllts Regeringen gör delvis en annan bedömning än i frågan om att regeringen brustit i sitt uppföljningsansvar. bedömer att regeringen inte har säkerställt att Pisaundersökningen 2018 genomfördes på ett tillförlitligt sätt när det gäller exkluderingar och bortfall av elever. anser att regeringen borde ha agerat med tanke på att det förekom interna uppgifter inom om att exkluderingsnivån förmodligen inte kunde förklaras med en hög andel nyanlända elever åren innan 2018 genomfördes. anser vidare att regeringen inte på ett trovärdigt sätt utrett tveksamheterna kring exkluderingarna i . anser även att regeringen borde ha uppmärksammat felaktigheterna i . Sammantaget innebär detta enligt att regeringen inte har fullföljt sitt uppföljningsansvar. Regeringens uppföljningsansvar innebär bl.a. att regeringen ska följa upp myndigheternas resultat och verksamhet. I uppföljningsansvaret ingår även att regeringen ska ingripa om den bedömer att myndigheterna inte sköter sina uppgifter på ett ändamålsenligt sätt och vidta de åtgärder som är nödvändiga från ett styrningsperspektiv. Regeringen anser sig ha agerat och vidtagit adekvata åtgärder för att försäkra sig om att Pisaresultaten är tillförlitliga. Regeringen har ställt frågor om den höga exkluderingsgraden till sin expertmyndighet och fått svar som bedömts rimliga. har angett att riktlinjer för såväl genomförande som exkluderingar har följts och att resultaten är tillförlitliga. Regeringen konstaterar att gett samma information i andra sammanhang, t.ex. via sin webbplats. Regeringens agerande, där regeringen löpande har efterfrågat information från expertmyndigheten och uppmuntrat till extern granskning då tveksamheter uppstått, ligger helt i linje med det uppföljningsansvar som regeringen har. Det interna arbetsmaterial som tagits fram inom har utgjort ett underlag i regeringens kommunikation med . Även den omständigheten att inte ser någon grund att ifrågasätta att gjort och genomfört alla de moment som kräver bekräftar regeringens uppfattning att regeringen har följt upp myndighetens arbete i enlighet med sitt uppföljningsansvar. När nya uppgifter framkom i media om misstankar om felaktiga exkluderingar har regeringen bistått med att etablera en kontakt med , som av fick i uppdrag att granska tillförlitligheten av de svenska resultaten. Regeringen noterar att , som leder och organiserar , både vid publiceringen av och därefter har stått fast vid att 2018 genomförts i enlighet med gällande riktlinjer, att den svenska exkluderingsgraden var acceptabel och att det inte fanns skäl att ifrågasätta resultaten. När det gäller bedömning att regeringen borde ha uppmärksammat felaktigheterna i , delar regeringen bedömning i huvudsak. Eftersom det var som var uppdragsgivare förekom dock ingen kommunikation om rapporten mellan regeringen och , varken under eller efter genomförandet. När presenterade sin rapport hade inlett sin granskning, vilken regeringen ville invänta innan några eventuellt ytterligare åtgärder Skr. 2021/22:39 vidtogs. Regeringen borde emellertid ha uppmärksammat felaktigheterna och i något sammanhang påtalat dem. 4Regeringens åtgärder med anledning av iakttagelser har rekommenderat regeringen att ta initiativ till att utreda de rättsliga förutsättningarna för att kunna särredovisa exkluderingsgrunderna i Pisaundersökningen. Regeringen delar bedömning att uppföljningen av exkluderingar har försvårats genom att exkluderingar för funktionsnedsättningar och språkbegränsningar samredovisas. Regeringen har därför för avsikt att vidta åtgärder i linje med rekommendation till regeringen. har rekommenderat att förbättra arbetet med att säkerställa ett korrekt deltagande i kommande PISA-undersökningar. Regeringen instämmer i huvudsak i iakttagelse att inte i tillräcklig utsträckning har följt upp den höga andelen exkluderade elever eller andelen bortfall. Regeringen har därför gett i uppdrag att förstärka sina insatser för att säkerställa ett högt deltagande i enlighet med gällande riktlinjer i (U2021/02549). Uppdraget ska redovisas till regeringen . I och med denna skrivelse anser regeringen att är slutbehandlad. –arbetet med att säkerställa ett tillförlitligt elevdeltagande är en myndighet under med uppgift att granska den verksamhet som bedrivs av staten. Vårt uppdrag är att genom oberoende revision skapa demokratisk insyn, medverka till god resursanvändning och efektiv förvaltning i staten. bedriver både årlig revision och efektivitetsrevision. Denna rapport har tagits fram inom efektivitetsrevisionen, vars uppgift är att granska hur efektiv den statliga verksamheten är. Efektivitetsgranskningar rapporteras direkt till . isbn 978-91-7086-594-7 rir 2021:12 omslagets originalfoto: caiaimage tryck: interntryckeri, 2021 E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N T I L L R I K S D A G E N B E S L U T A D : 2 0 2 1 - 0 4 - 1 5 D N R : 3 . 1 - 2 0 2 0 - 0 9 8 4 R I R 2 0 2 1 : 1 2 Härmed överlämnas enligt 9 § lagen (2002:1022) om revision av statlig verksamhet m.m. följande granskningsrapport: – arbetet med att säkerställa ett tillförlitligt elevdeltagande har granskat om regeringen och säkerställt att ett tillförlitligt urval av elever deltog i Pisa-undersökningen. Resultatet av granskningen redovisas i denna granskningsrapport. Den innehåller slutsatser och rekommendationer som avser regeringen och . Riksrevisor har beslutat i detta ärende. Revisionsdirektör har varit föredragande. Revisionsdirektör , revisor och enhetschef har medverkat i den slutliga handläggningen. R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Exkluderingar, bortfall och täckning över tid Migrationen inför Pisa-undersökningarna 2015 och 2018 samt beskrivning av utbildning för nyanlända Antalet asylsökande var som störst 2015 och har sjunkit för Utbildning för nyanlända elever sker på svenska Ett ökat antal nyanlända är inte en giltig förklaring till den höga andelen exkluderade elever i Pisa-undersökningen 2018 Begränsningar i tillgänglig statistik Exkluderingar av nyanlända elever i Pisa-undersökningen 2018 Beräkningar utifrån elevregistret och invandringsår Analys av Pisa-undersökningens individdata Otillräcklig uppföljning av exkluderingarna information och stöd till skolsamordnarna kvalitetssäkring och uppföljning av exkluderingar och bortfall