bet · H901UbU5 · 2022-01-26 00:00:00 — om urvalet av elever till Pisaundersökningen Utskottet föreslår att lägger regeringens skrivelse till handlingarna och föreslår även tre tillkännagivanden till regeringen med anledning av motionsyrkanden som rör internationella kunskapsmätningars tillförlitlighet, hur de genomförs och vilka som deltar i dem. • Regeringen ska utreda om ansvaret för genomförandet av och budgeten för Pisaundersökningen och de internationella kunskapsmätningarna Timss och Pirls ska flyttas till ett eller flera universitet. • Regeringen ska säkerställa ett korrekt deltagande i kommande Pisaundersökningar samt vidta åtgärder så att samtliga brister som framkommit i åtgärdas. • Regeringen ska säkra tillförlitligheten i genomförandet av internationella kunskapsmätningar i den svenska skolan samt genomföra en analys av hur förtroendet för Pisastudien kan återupprättas. Utskottet föreslår att avslår övriga motionsyrkanden. I skrivelsen behandlar regeringen Pisaundersökningen 2018 – arbetet med att säkerställa ett tillförlitligt elevdeltagande. I och med skrivelsen anser regeringen att är slutbehandlad. I betänkandet finns sex reservationer (S, M, SD, C, V, KD, MP). I två reservationer (S, C, V, MP) föreslås att inte ska göra något tillkännagivande till regeringen. Skrivelse 2021/22:39 om Pisa-undersökningen 2018. Tolv yrkanden i följdmotioner. Utskottets förslag till riksdagsbeslut Ärendet och dess beredning Överföring av ansvaret och budgeten för genomförandet av Pisaundersökningen, Timss och Pirls Åtgärder för att säkerställa att det inte förekommer brister i kommande Pisaundersökningar Pisaundersökningens tillförlitlighet och förtroendet för undersökningen 1.Överföring av ansvaret och budgeten för genomförandet av Pisaundersökningen, Timss och Pirls, punkt 2 (S, C, V, MP) 2.Åtgärder för att säkerställa att det inte förekommer brister i kommande Pisaundersökningar, punkt 3 (S, C, V, MP) 3.Regeringens arbete med Pisaundersökningen, punkt 5 (SD) 4.Samredovisning av exkluderade elever i Pisaundersökningen, punkt 6 (SD) 5.Valet av aktör som granskare av kunskapsmätningar, punkt 7 (M, SD, KD) 6.Ogiltigförklarande av resultat i Pisaundersökningen, punkt 8 (M, SD, KD) Bilaga Förteckning över behandlade förslag Utskottets förslag till riksdagsbeslut lägger skrivelse 2021/22:39 till handlingarna. Överföring av ansvaret och budgeten för genomförandet av Pisaundersökningen, Timss och Pirls ställer sig bakom det som utskottet anför om att regeringen ska utreda om ansvaret för genomförandet av och budgeten för Pisaundersökningen och de internationella kunskapsmätningarna Timss och Pirls ska flyttas till ett eller flera universitet och tillkännager detta för regeringen. 2021/22:4279 av m.fl. (KD) och 2021/22:4281 av m.fl. (M) yrkande 3, 2021/22:4280 av m.fl. (SD) yrkande 4 och 2021/22:4282 av m.fl. (L) yrkande 1. Reservation 1 (S, C, V, MP) Åtgärder för att säkerställa att det inte förekommer brister i kommande Pisaundersökningar ställer sig bakom det som utskottet anför om att regeringen ska säkerställa ett korrekt deltagande i kommande Pisaundersökningar samt vidta åtgärder så att samtliga brister som framkommit i åtgärdas och tillkännager detta för regeringen. 2021/22:4281 av m.fl. (M) yrkandena 1 och 2. Reservation 2 (S, C, V, MP) Pisaundersökningens tillförlitlighet och förtroendet för undersökningen ställer sig bakom det som utskottet anför om att regeringen ska säkra tillförlitligheten i genomförandet av internationella kunskapsmätningar i den svenska skolan samt genomföra en analys av hur förtroendet för Pisastudien kan återupprättas och tillkännager detta för regeringen. 2021/22:4278 av m.fl. (C) och 2021/22:4282 av m.fl. (L) yrkande 2. Regeringens arbete med Pisaundersökningen 2021/22:4280 av m.fl. (SD) yrkande 3. Reservation 3 (SD) Samredovisning av exkluderade elever i Pisaundersökningen 2021/22:4280 av m.fl. (SD) yrkande 1. Reservation 4 (SD) Valet av aktör som granskare av kunskapsmätningar 2021/22:4280 av m.fl. (SD) yrkande 2. Reservation 5 (M, SD, KD) Ogiltigförklarande av resultat i Pisaundersökningen 2021/22:4281 av m.fl. (M) yrkande 4. Reservation 6 (M, SD, KD) Följande ledamöter har deltagit i beslutet: (S), (L), (M), (S), (M), (SD), (S), (C), (V), (M), (SD), (S), (MP), (L), (S), (SD) och (KD). Ärendet och dess beredning har granskat deltagande i Pisaundersökningen med fokus på exkluderingar och bortfall av elever. Med exkluderingar avses elever som valts ut att skriva proven men som exkluderats från att delta på grund av funktionsnedsättningar eller bristande språkkunskaper. Bortfall avser elever som inte infinner sig till provtillfället. Granskningen har redovisats i rapporten 2018 – arbetet med att säkerställa ett tillförlitligt elevdeltagande (RiR 2021:12). överlämnade granskningsrapporten till regeringen . Av 9 kap. 19 § riksdagsordningen (2014:801) framgår det att för varje granskningsrapport som har överlämnats till regeringen ska regeringen i en skrivelse till redovisa vilka åtgärder regeringen har vidtagit eller avser att vidta med anledning av iakttagelser i rapporten. Regeringens skrivelse ska lämnas till från det att regeringen har tagit emot rapporten. Vid beräkning av fristen ska månader inte räknas in. Generaldirektör och medarbetare från informerade utskottet med anledning av (utbildningsutskottets prot. 2020/21:40). Statsrådet och medarbetare från samt riksrevisor och medarbetare från informerade utskottet med anledning av (utbildningsutskottets prot. 2020/21:38). Regeringen överlämnade skrivelse 2021/22:39 till . Fem motioner har väckts med anledning av skrivelsen. En förteckning över förslagen finns i bilagan. Skrivelsen innehåller regeringens bedömningar med anledning av 2018 – arbetet med att säkerställa ett tillförlitligt elevdeltagande (RiR 2021:12). övergripande slutsats är att för många elever har exkluderats i den svenska Pisastudien . Den höga andelen exkluderade elever kan inte förklaras av ett högt antal nyanlända elever till följd av flyktingkrisen och varken regeringen eller har säkerställt att Pisaundersökningen 2018 genomfördes på ett tillförlitligt sätt när det gäller exkluderingar och bortfall av elever. anser vidare att varken regeringen eller har vidtagit tillräckliga åtgärder för att utreda de tveksamheter som framkom i samband med undersökningen. uttalar sig i samband med granskningen om huruvida en rapport från om den svenska Pisastudien är tillförlitlig. anser inte att är trovärdig och menar att det borde ha gått att finna en lämpligare aktör än för uppdraget. Slutligen bedömer att regeringen inte fullföljt sitt uppföljningsansvar. rekommenderar regeringen att ta initiativ till att utreda de rättsliga förutsättningarna för att kunna särredovisa exkluderingsgrunderna i Pisaundersökningen. rekommenderar att förbättra arbetet med att säkerställa ett korrekt deltagande i kommande Pisaundersökningar. Regeringen delar i huvudsak övergripande bedömning att för många elever har exkluderats från att delta i men bedömer att resultatet i läsförståelse är fortsatt högre jämfört med resultatet 2012. Regeringen instämmer i huvudsak i iakttagelse att inte i tillräcklig utsträckning har följt upp den höga andelen exkluderade elever eller andelen bortfall. Regeringen har därför gett i uppdrag att förstärka sina insatser för att säkerställa ett högt deltagande i enlighet med gällande riktlinjer i (U2021/02549). Regeringen delar vidare bedömning att uppföljningen av exkluderingar har försvårats genom att exkluderingar för funktionsnedsättningar och språkbegränsningar samredovisas och har därför för avsikt att vidta åtgärder i linje med rekommendation till regeringen. Regeringen delar inte bedömning att det borde ha gått att finna en lämpligare aktör än för uppdraget att granska tillförlitligheten av den svenska Pisastudien. När det gäller frågan om regeringen brustit i sitt uppföljningsansvar gör regeringen delvis en annan bedömning än . Regeringen har agerat och vidtagit adekvata åtgärder för att försäkra sig om att Pisaresultaten är tillförlitliga. Regeringen instämmer dock i iakttagelse att bygger på vissa felaktiga antaganden i några avseenden och att och regeringen borde ha uppmärksammat felaktigheterna i rapporten. I och med skrivelsen anser regeringen att är slutbehandlad. Betänkandet är disponerat så att utskottet inleder med att i ett första avsnitt behandla skrivelsen. Därefter behandlas tolv motionsyrkanden som innehåller förslag om tillkännagivanden i frågor som anknyter till skrivelsen. Utskottets förslag i korthet lägger skrivelse 2021/22:39 om Pisaundersökningen 2018 till handlingarna. genomfördes för sjunde gången internationella kunskapsundersökning (Programme for International Student ). Studien har genomförts och undersöker 15-åriga elevers kunskaper i läsförståelse, matematik och naturvetenskap. resultat från Pisaundersökningen indikerade att den nedåtgående kurvan för vänt. Resultaten i alla tre ämnesområden förbättrades. Resultaten i undersökningen 2018 bekräftade denna bild med resultat i linje med de . Såväl andelen exkluderade elever som andelen elever som registrerades som frånvarande vid provtillfället ökade dock väsentligt . Eftersom ett av undersökningens syften är att jämföra olika länders skolsystem, är det viktigt att veta om de 15-åringar som deltagit för ett specifikt land är representativa för landets 15-åringar som helhet. Det kan därför finnas grupper av elever som av särskilda skäl behöver undantas, exkluderas, innan studien genomförs. har fastställt kriterier för när exkluderingar ska göras. Till exempel ska dels elever med vissa funktionsnedsättningar, dels elever som inte har svenska som modersmål och som dessutom har begränsade kunskaper i svenska och som har fått mindre än undervisning i svenska exkluderas. har även angett att exkluderingarna inte bör överstiga av målpopulationen. I uppgick andelen exkluderade elever i till . Andelen bortfall uppgick till . Den höga andelen exkluderade elever i Pisaundersökningen kan inte förklaras av ett ökat antal nyanlända elever Enligt analys har de flesta elever som kom till i samband med flyktingkrisen varit för länge i svensk skola för Pisaundersökningen 2018 för att kunna exkluderas enligt kriterier. har inte hittat någon annan förklaring till den höga andelen exkluderade elever. bedömning är därför att för många elever exkluderades i undersökningen. har brustit i arbetet med att följa upp exkluderingar och bortfall konstaterar att har genomfört de kvalitetssäkrings-moment som krävt men att för lite har gjorts för att följa upp hur skolsamordnarna uppfattat kriterierna och hur de faktiskt har exkluderat elever. bedömer att konsekvensen blev att många elever exkluderades på felaktiga grunder. har vidare, enligt , inte på ett trovärdigt sätt utrett tveksamheterna kring exkluderingarna i . Även kvalitetssäkring och uppföljning av bortfall kritiseras av . Uppföljningen av exkluderingar har enligt försvårats efter att 2016 gjorde en ny tolkning av personuppgiftslagen (1998:204)[1]. Tolkningen innebär att exkluderingar för funktionsnedsättningar och språkbegränsningar numera samredovisas. Detta är en fråga som enligt hade kunnat lyfta fram till regeringen för att eventuellt åstadkomma en författningsändring, vilket hade kunnat innebära en mer användbar redovisning av vilka elever som exkluderats. Kritik mot såväl som som granskande institution har också granskat den rapport som lämnade efter uppdrag från . Även kommer fram till att de höga exkluderingarna troligen beror på det höga antalet nyanlända elever före Pisaundersökningen 2018. anser dock att slutsatserna i rapporten bygger på felaktiga antaganden om dels de beräkningar som gjorts av antalet elever som potentiellt kan exkluderas på grund av språkkriteriet, dels hur utbildningen för nyanlända elever är organiserad i . bedömer det som tveksamt om hade tillräckligt starka incitament att faktiskt upptäcka felaktigheter i data och därmed överpröva sitt tidigare ställningstagande, eftersom organisationen redan en gång godkänt statistik. I anges även att inte har haft tillgång till ursprungsdata, utan bett göra beräkningar åt dem och att saknar kännedom om svensk skola för nyanlända elever. Sammanfattningsvis anser därför att inte är trovärdig och att det borde ha gått att finna en lämpligare aktör än för uppdraget att granska den svenska Pisastudien. Regeringen har inte fullföljt sitt uppföljningsansvar anger i sin rapport att regeringen inte säkerställt att Pisa-undersökningen 2018 genomfördes på ett tillförlitligt sätt när det gäller exkluderingar och bortfall av elever. Enligt bedömning har regeringen inte heller på ett trovärdigt sätt utrett tveksamheterna kring exkluderingarna i . Detta beror enligt inte nödvändigtvis på att regler eller processer är felaktigt utformade. Regeringen har i den här frågan inte fullföljt sitt ansvar att se till att underlydande myndigheter bedriver sin verksamhet enligt de krav som grundlagen ställer. påpekar att det funnits interna uppgifter i som gick emot de förklaringar som levererade när det gäller de höga exkluderingstalen. En rimlig åtgärd från regeringen hade enligt varit att ta kontakt med myndigheten och be om en förklaring till de motstridiga uppgifterna. På liknande sätt borde regeringen ha uppmärksammat att innehåller felaktiga antaganden. Ingen av de granskade har vidtagit tillräckliga åtgärder Sammanfattningsvis bedömer att varken regeringen eller har vidtagit tillräckliga åtgärder för att ta reda på om något faktiskt blivit fel när det gäller deltagandet i Pisaundersökningen . Varken regeringen eller har säkerställt att Pisaundersökningen 2018 genomfördes på ett tillförlitligt sätt när det gäller exkluderingar och bortfall av elever. Enligt vilar dock det yttersta ansvaret på regeringen. En expertmyndighet måste enligt ha förmågan att leverera det regeringen efterfrågar, men regeringen måste också ha förmågan att efterfråga rätt information. Därutöver har regeringen ett ansvar att följa upp det som levereras och ingripa om det inte håller god kvalitet. anser att det i detta fall har funnits indikationer på felaktigheter kring genomförandet av Pisaundersökningen 2018, bl.a. i egna underlag. bedömning är att arbetet brustit i båda riktningar om Pisaundersökningen 2018. har inte levererat tillförlitliga data för Pisaundersökningen 2018. Regeringen har brustit i sitt uppföljningsansvar gentemot i denna fråga. rekommendation till regeringen är att regeringen ska ta initiativ till att utreda de rättsliga förutsättningarna för att kunna särredovisa exkluderingsgrunderna i Pisaundersökningen. lämnar följande rekommendation till : Förbättra arbetet med att säkerställa ett korrekt deltagande i kommande Pisaundersökningar. Ett sådant arbete bör innefatta att större vikt läggs vid följande detaljer i genomförandet: – Förstärk den inledande kommunikationen med utvalda skolor. – Säkerställ att instruktionerna uppfattas och tillämpas korrekt av skolsamordnarna. – Följ upp exkluderingarna mer detaljerat genom att begära in elevprotokollen innan undersökningen genomförs. – Höj ambitionsnivån i arbetet med att minska bortfallet genom fler uppföljningstillfällen och betona vikten av att elever deltar i informationen som skickas till vårdnadshavarna. Regeringens bedömning av iakttagelser För många elever kan ha exkluderats från att delta i Pisaundersökningen anger i sitt yttrande att vissa av de slutsatser som dras i är alltför långtgående. uppger bl.a. att konsekvenserna av invandringen 2015 är större än vad analys visar. anger även andra skäl till att många elever, i enlighet med gällande regelverk, kan ha exkluderats från att delta i Pisaundersökningen . anser därtill att borde ha beskrivit den empiri som slutsatserna bygger på mer utförligt och utifrån vetenskapliga kriterier. När det gäller exkluderingarna av elever framhåller i sin rapport att bedömningen är att det första godkännandet av data, som gjordes av adjudiceringsnämnden[2] inför publiceringen av undersökningen, baserades på svag empiri. Enligt den information fått från baserades beslutet på en mejlväxling mellan och kontraktorn i samband med förstudien där skriver att flyktingströmmarna är en sannolik förklaring. bedömer det som tveksamt ifall hade tillräckligt starka incitament att faktiskt upptäcka felaktigheter i data och därmed överpröva sitt tidigare ställningstagande eftersom de redan en gång godkänt statistik. Regeringen bedömer mot denna bakgrund att även om det inte enbart utifrån den nationella statistiken går att slå fast en exakt nivå för andelen elever som ska exkluderas enligt riktlinjer på grund av bristande språkkunskaper, visar granskning att det finns oklarheter avseende exkluderingen av vissa elever. Det kan alltså enligt regeringens mening ha förekommit att elever har exkluderats från att delta i Pisaundersökningen på ett sätt som inte är förenligt med riktlinjer. De övergripande resultaten bedöms kvarstå De oklarheter som finns har dock inte enligt regeringen påverkat resultat eller resultatutveckling på något avgörande sätt. De övergripande slutsatser som drogs om resultatet i läsförståelse i Pisaundersökningen bedöms kvarstå, dvs. resultatet är fortsatt högre jämfört med resultatet 2012. Denna bild stöds även av andra internationella studier. Regeringen noterar i detta sammanhang att inte har presenterat några alternativa resultat. har inte i tillräcklig utsträckning följt upp den höga andelen exkluderade elever Regeringen instämmer i huvudsak i iakttagelse att inte i tillräcklig utsträckning har följt upp den höga andelen exkluderade elever eller andelen bortfall. Regeringen anser att granskning visar att kan göra mer för att säkerställa att deltagande skolor följer . Likaså behöver vinnlägga sig om ett så högt deltagande som möjligt. Därför har regeringen gett i uppdrag att förstärka sina insatser för att säkerställa ett högt deltagande i enlighet med gällande riktlinjer för Pisaundersökningen 2022 (U2021/02549). Regeringen delar vidare bedömning att uppföljningen av exkluderingar har försvårats genom att exkluderingar för funktionsnedsättningar och språkbegränsningar samredovisas. Enligt regeringen finns det därför anledning att vidta åtgärder i linje med rekommendation till regeringen. Vissa problem med genomförande av uppdraget Regeringen delar inte bedömning att det borde ha gått att finna en lämpligare aktör än för uppdraget att granska tillförlitligheten av den svenska Pisastudien. Regeringen instämmer dock i iakttagelse att bygger på vissa felaktiga antaganden i några avseenden och att och regeringen borde ha uppmärksammat felaktigheterna i rapporten. Regeringen konstaterar att är den aktör som har mest kunskap och kompetens när det gäller Pisaundersökningen. har lång erfarenhet av studien och har bäst kännedom om organisationens bedömningar, t.ex. om länders exkluderingar, bortfall och statistik. har också kunskap om samtliga deltagande länder i studien och resultaten i studien . Sammantaget bedömer därför regeringen att är en organisation med god kompetens att granska den svenska Pisastudien. Regeringen kan dock konstatera att de brister som trots allt förekom i borde ha uppmärksammats av och regeringen. Regeringens uppföljningsansvar har i huvudsak uppfyllts Regeringen gör delvis en annan bedömning än i fråga om att regeringen skulle ha brustit i sitt uppföljningsansvar. Regeringens uppföljningsansvar innebär bl.a. att regeringen ska följa upp myndigheternas resultat och verksamhet. I uppföljningsansvaret ingår även att regeringen ska ingripa om den bedömer att myndigheterna inte sköter sina uppgifter på ett ändamålsenligt sätt och vidta de åtgärder som är nödvändiga från ett styrningsperspektiv. Regeringen anser sig ha agerat och vidtagit adekvata åtgärder för att försäkra sig om att Pisaresultaten är tillförlitliga. Regeringen har ställt frågor om den höga exkluderingsgraden till sin expertmyndighet och fått svar som bedömts rimliga. har angett att riktlinjer för såväl genomförande som exkluderingar har följts och att resultaten är tillförlitliga. Regeringen konstaterar att gett samma information i andra sammanhang, t.ex. via sin webbplats. Regeringens agerande, där regeringen löpande har efterfrågat information från expertmyndigheten och uppmuntrat till extern granskning då tveksamheter uppstått, ligger helt i linje med det uppföljningsansvar som regeringen har. Det interna arbetsmaterial som tagits fram inom har utgjort ett underlag i regeringens kommunikation med . Även den omständigheten att inte ser någon grund att ifrågasätta att gjort och genomfört alla de moment som kräver bekräftar regeringens uppfattning att regeringen har följt upp myndighetens arbete i enlighet med sitt uppföljningsansvar. När nya uppgifter framkom i medier om misstankar om felaktiga exkluderingar har regeringen bistått med att etablera en kontakt med , som av fick i uppdrag att granska tillförlitligheten av de svenska resultaten. Regeringen noterar att , som leder och organiserar Pisaundersökningen, både vid publiceringen av och därefter har stått fast vid att Pisaundersökningen 2018 genomfördes i enlighet med gällande riktlinjer, att den svenska exkluderingsgraden var acceptabel och att det inte fanns skäl att ifrågasätta resultaten. När det gäller bedömning att regeringen borde ha uppmärksammat felaktigheterna i , delar regeringen bedömning i huvudsak. Eftersom det var som var uppdragsgivare förekom dock ingen kommunikation om rapporten mellan regeringen och , varken under eller efter genomförandet. När presenterade sin rapport hade inlett sin granskning, vilken regeringen ville invänta innan några eventuellt ytterligare åtgärder vidtogs. Regeringen borde emellertid ha uppmärksammat felaktigheterna och i något sammanhang påtalat dem. Regeringens åtgärder med anledning av iakttagelser har rekommenderat regeringen att ta initiativ till att utreda de rättsliga förutsättningarna för att kunna särredovisa exkluderingsgrunderna i Pisaundersökningen. Regeringen delar bedömning att uppföljningen av exkluderingar har försvårats genom att exkluderingar för funktionsnedsättningar och språkbegränsningar samredovisas. Regeringen har därför för avsikt att vidta åtgärder i linje med rekommendation till regeringen. har rekommenderat att förbättra arbetet med att säkerställa ett korrekt deltagande i kommande PISA-undersökningar. Regeringen instämmer i huvudsak i iakttagelse att inte i tillräcklig utsträckning har följt upp den höga andelen exkluderade elever eller andelen bortfall av elever. Regeringen gav därför i uppdrag att förstärka sina insatser för att säkerställa ett högt deltagande i enlighet med gällande riktlinjer i Pisaundersökningen (U2021/02549). Uppdraget redovisades till regeringen . I och med denna skrivelse anser regeringen att är slutbehandlad. Utskottet välkomnar granskning av Pisaundersökningen 2018 och konstaterar att regeringen gav i uppdrag att förstärka sina insatser för att säkerställa ett högt deltagande i enlighet med gällande riktlinjer för Pisaundersökningen 2022 (U2021/02549). Utskottet noterar att redovisade uppdraget (dnr 2021:1928). I sin redovisning framhåller bl.a. att de åtgärder som ska vidtas enligt riktlinjer för genomförandet av Pisaundersökningen 2022 ger en hög grad av säkerhet att rätt elever deltar. Därutöver redovisar olika åtgärder för att säkerställa ett högt deltagande. Utskottet har dock synpunkter på ansvar, brister och tillförlitligheten när det gäller Pisaundersökningen (se nedan i avsnitten som följer). Utskottet föreslår att lägger skrivelse 2021/22:39 om Pisaundersökningen 2018 till handlingarna. I det följande redogörs för motionsyrkanden med förslag i frågor som anknyter till rekommendationer och utskottets synpunkter i dessa frågor. Överföring av ansvaret och budgeten för genomförandet av Pisaundersökningen, Timss och Pirls Utskottets förslag i korthet