prop · H90339 · 2021-10-26 00:00:00 — Hade det då varit så höga exkluderingar som det blev 2018 hade det funnits tid att ifrågasätta det innan proven genomfördes. vidtog ingen av dessa åtgärder i samband med huvudstudien . Vi noterar även en viss skillnad när det gäller uppföljningstillfällen på skolorna. uppmanade skolorna att ha sådana vid bortfall om tre elever, vid bortfall om . Det senare skiljer sig utifrån hur många elever som skulle skriva men vid fullt antal innebar det sju elever. Vi ser ingen grund för att ifrågasätta att gjort och genomfört alla de moment som kräver. Vi kan dock inte se att de vidtagit några egeninitierade åtgärder för att få ett så högt deltagande som möjligt och inte heller analyserat det låga deltagandet för att fastställa vad som låg bakom det. 48R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N 6Regeringen och har inte säkerställt att tveksamheterna kring deltagandet i Pisa-undersökningen utretts ordentligt I detta kapitel besvarar vi frågan om huruvida regeringen, och utrett tveksamheterna kring deltagandet i Pisa-undersökningen 2018 ordentligt. Vi finner bland annat att: •Regeringskansliet hänvisar alla frågor kring uppdrag till •den rapport som tog fram bygger på ett flertal felaktiga antaganden •varken regeringen eller har uppmärksammat att missförstått hur utbildningen för nyanlända fungerar i . 6.1OECD gavs i uppdrag att granska data I samband med att resultaten för Pisa-undersökningen 2018 publicerades ifrågasattes de höga exkluderingstalen i , av både media och forskare. försäkrade att de gjort allt rätt och att de höga exkluderingstalen var en konsekvens av de stora flyktingströmmarna åren innan. Regeringen hänvisade till att såväl som godkänt och förklarat siffrorna. statssekreterare skrev en debattartikel i där han kallar ifrågasättandet av de svenska siffrorna för konspirationsteorier.110 När siffrorna återigen ifrågasattes, i samband med artiklar i , tog företrädare för regeringen, efter samråd med , kontakt med för att be om en förnyad och fördjupad granskning av den svenska statistiken.111 Eftersom exkluderingar var över den godkända gränsen på hade siffror redan behandlats och godkänts av adjudiceringsnämnd.112 Det var som lämnade uppdraget till och diskuterade form, innehåll och ersättning. Några instruktioner gavs inte från . 110Nilsson, ”Konspirationsteorier stjäl fokus från PISA-framgång”, . 111Hellberg, ”begär ny granskning av resultaten”, ; , A review of the 2018 Technical Standards in regard to exclusion due to insufficient language experience, 2020, s. 4; promemoria , Underlag inför möte med utbildningsutskottet. 112OECD, 2018 Adjudication Report, 2019. R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE Enligt fördes dock en dialog mellan , och representanter från departementet om Pisa-undersökningen 2018.113 Representanter från såväl regeringen som står fast vid att den svenska Pisa-undersökningen 2018 genomförts i enlighet med gällande regler och att granskat och godkänt tillvägagångssätt och resultat. Den ökade exkluderingsgraden förklaras med de migrationsströmmar som flyktingkrisen gav upphov till.114 I ett skriftligt svar i skriver utbildningsministern att det är som ansvarar för Pisa-undersökningen och att tidigare granskat och godkänt resultaten. I svaret framgår även att regeringen utgår från att svenska myndigheters och officiella statistik är korrekt och att de inte har fått några uppgifter som tyder på felaktiga exkluderingar. Det ska gå att lita på en så stor studie som Pisa-undersökningen och regeringen ser inga skäl att ifrågasätta den officiella statistiken från myndigheter och . För att det inte ska finnas några tvivel välkomnas att ska granska statistiken ännu en gång.115 tjänstemän har vid åtminstone två tillfällen sedan Pisa-resultaten presenterades tagit fram promemorior där de för fram att de höga exkluderingstalen är problematiska och inte fullt ut kan förklaras med ett ökat inflöde av nyanlända elever . Tjänstemännen för också fram att inte förefaller ha förstått hur utbildning för nyanlända elever fungerar i . Den första promemorian är daterad endast efter att Pisa-undersökningen publicerades och den andra i samband med att granskning av resultaten publicerades i september 2020.116 Vad vi känner till har inte dessa promemorior, eller deras innehåll, diskuterats med . 6.2Bristande transparens från gällande Pisa-undersökningen Följande anledningar har förts fram till att ge just uppdraget att göra ytterligare en granskning av siffror för exkluderingar från 2018:117 •OECD ansågs ha kompetensen att göra en ordentlig granskning och det ligger i organisationens intresse att göra det bra. •OECD ansågs ha kompetensen kring ländernas insamlingsarbete, vilket kan vara användbart om liknande dilemman funnits i andra länder. 113Mejl från , och . 114Promemoria , ; promemoria , Underlag inför möte med . 115Svar på skriftlig fråga 2019/20:1675 besvarad av utbildningsminister /03951/S. 116Promemoria , ; promemoria , . 117Promemoria , , Underlag inför möte med . 50R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N •OECD ansågs lämpade för att avgöra hur arbete med insamling och kvalitetskontroll står sig i jämförelse med andra deltagande länder. •En av regeringen tillsatt nationell kommission skulle innebära att resurser tas från andra aktiviteter som behöver utföras inom skolväsendet. Både regeringen och återkommer flertalet gånger i sin kommunikation till kompetens i dessa frågor och att det ligger i intresse att liknande frågor reds ut ordentligt. Det finns dock en mängd forskningsartiklar som ifrågasätter framför allt transparens när det gäller Pisa-undersökningen, se bilaga 3. I samband med våra dokumentstudier har även vi funnit det svårt att i vissa fall förstå skälen bakom ställningstaganden. Ett exempel är hur går till väga när de godkänner olika deltagande länders data.118 I samband med 2018 var det 16 länder som hade exkluderingstal över den godkända gränsen om (se avsnitt 2.2.3). Från dokumentation är det inte helt enkelt att förstå varför de höga talen accepterats. Vi har två gånger bett om förklaringar till länders exkluderingar, men inte fått tillräcklig information för att faktiskt förstå. Bland annat är det oklart varför höga exkluderingstal accepteras. Tydligen beror de på att ett antal pojkskolor vägrar delta, men det är oklart varför det blir exkluderingar och inte bortfall. För anges det felaktigt att de höga talen beror på fler elever med bristande språkkunskap när det är elever med funktionsnedsättningar som ökat. För pendlar exkluderingarna mellan utan att någon förklaring anges. När det gäller höga exkluderingar i samband med undersökningen 2018 har vi försökt få klarhet i vad adjudiceringsnämnden grundade sin bedömning på, det vill säga att de höga svenska exkluderingarna berodde innan 2018. har inte haft någon direkt korrespondens kring detta mer än en e-postväxling med kontraktorn, i samband med förstudien, där myndigheten skriver att flyktingströmmarna med stor sannolikhet är förklaringen.119 i sin tur hänvisar till kommunikation med kontraktorn, samt till att det fanns starkt stöd för hypotesen i tillgänglig migrationsstatistik.120 Som vi visat i kapitel 3 visar migrationsstatistiken på ett större inflöde av asylsökande inför Pisa-undersökningen 2015 och ett ungefär liknande inflöde vad gäller övriga beviljade uppehållstillstånd. När ett lands data inte bedöms trovärdiga av något skäl får landet en asterisk i tabellerna som signalerar att det finns tveksamheter kring hur korrekt resultatet är. Vid åtminstone några kända tillfällen har det uppdagats att vissa delar av datainsamlingen inte gått rätt till, utan att markerat berört lands resultat med en asterisk. Till exempel har återkommande haft problem med att 118OECD har tidigare kritiserats för bristande transparens när det gäller Pisa-undersökningen. Se exempelvis Tienken och Mullen, Education Policy Perils. Tackling the Tough Issues, 2016, s. 121. 119Mejl från , . 120Mejl från , . R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE många skolor väljer att inte delta, vilket försämrar representativiteten för de skolor och elever som deltar.121 Ett annat exempel är som i Pisa-undersökningen 2015 hade högre exkluderingar än omgången innan (från ). Förklaringen anges som en oavsiktlig konsekvens av förändringar i tidpunkten då information om särskilda behov samlades in, vilket verkar ha lett till att skolsamordnare markerade fler elever för uteslutning. Eftersom orsaken uppdagats och skulle åtgärdas till nästa gång valde att godkänna resultaten, det vill säga utan asterisk i tabellerna.122 exkluderingar återgick till den nivå de brukar ligga på i samband med Pisa-undersökningen 2018.123 6.3OECD:s uppdrag var otydligt och resultatet blev inte trovärdigt Enligt den kommunikation vi fått tillgång till mellan och , samt mellan och , beskriver och uppdraget på olika sätt. Det finns ingen uppdragsbeskrivning kopplad till ersättningen för uppdraget (). har signerat ett så kallat offer letter där ersättningen anges som ett frivilligt bidrag till analys av Pisa-data. Det står inget i vare sig brev eller fakturaunderlag att analysen gäller exkluderingar eller genomförande av Pisa-undersökningen.124 Enligt textmeddelande från generaldirektör till statssekreterare ska i rapporten beskriva:125 •hur kontakterna med skolorna såg ut •vad som sågs i genomgången av deltagande skolor •om uppföljning av en eller flera enskilda skolor varit aktuellt •hur processen gick till på skolorna i och hur exkluderingarna kvalitetssäkrades. skriver i rapporten att den ska innehålla:126 •en överblick av målpopulation och urvalsdesign i Pisa-undersökningen 121För mer information se m.fl., ”Is really an education superpower? The impact of non-participation on results from 2015”, 2021. 122OECD, 2015 Technical Report, 2017, s. 273. 123Före och efter 2015 sköttes genomförandet av (), men var det en annan organisation som ansvarade för genomförandet. Enligt e-postkorrespondens med . 124Offer letter ; invoice . 125Textmeddelanden 12 och . 126OECD, A review of the 2018 Technical Standards in regard to exclusion due to insufficient language experience, 2020. 52R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N •hur det tas fram en ram för skolurvalet och hur den nationella målpopulationen bestäms •kvalitetssäkringsprocessen hos kontraktorn och samt resultaten från adjudiceringsnämnden. Av rapportens 55 paragrafer handlar 7 om . Det finns även en faktaruta där beräkningar presenteras. Resterande text är tagen ur manualer och rapporter och är på en övergripande nivå. Det som nämns om den svenska kvalitetssäkringen är att nationella projektledare (det vill säga ) har förstått reglerna för exkluderingar och att de så vitt de vet har applicerats korrekt.127 levererade sin rapport som avtalat den 30 september 2020.128 De kommer fram till att de höga exkluderingarna troligen beror på det höga antalet nyanlända elever . Vi konstaterar dock att slutsatserna i rapporten baseras på felaktiga antaganden, nämligen att: •alla nyanlända elever går i förberedelseklass •elever i förberedelseklass går där . Därutöver räknas inte potentiell tid i förberedelseklass som undervisning Med dessa antaganden som bas gör beräkningar för hela riket, baserade på registerdata från elevregistret. I dessa beräkningar tas ingen hänsyn till invandringsår, utan elever födda som fanns i skolsystemet respektive år delas upp i tre kategorier: svenska, svenskfödda med utrikes bakgrund och utlandsfödda med utrikes bakgrund. De som tillkommer i den sista kategorin antas representera antalet utlandsfödda elever med utländsk bakgrund som börjat skolan . antar att samtliga elever födda utomlands med utländsk bakgrund, som tillkom i elevregistret efter , potentiellt kan exkluderas med anledning av reglerna för exkludering baserat på bristande språkkunskaper. Några av dessa elever kan ha gått i svensk skola när Pisa-undersökningen genomfördes . statistik är levererad och beräknad av . Tabell 3 nedan är framtagen av och återges i . har inte bett att få tillgång till ursprungsdata själva, men kan inte heller lämna ut mikrodata till utifrån existerande statistikreglering. Uppgifter kan endast lämnas ut för forsknings- eller statistikändamål om de skyddas av sekretess. Detta bedömer inte vara fallet för OECD.129 bedöms inte heller ha tillräcklig kännedom och kunskap om svenska 127OECD, A review of the 2018 Technical Standards in regard to exclusion due to insufficient language experience, 2020. 129Skriftligt svar från , . R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE förhållanden och dataregister för att kunna tillgodogöra sig data ifall de skulle fått den.130 menar att ovan nämnda antaganden är felaktiga (se kapitel 3 för en beskrivning av utbildning för nyanlända). en organisationsform och inte en skolform. Många nyanlända elever går inte i förberedelseklass. Det är dessutom reglerat i lag att en elev inte får gå i förberedelseklass i mer än två år.131 Som vi har konstaterat ovan går de flesta elever betydligt än i förberedelseklass och undervisningen i förberedelseklasser sker på svenska. Tabell 3 beräkningar av antalet elever som potentiellt kan exkluderas på grund av språkkriteriet – elever födda minst en förälder född i (1) utrikes bakgrund (2) utrikes bakgrund (3) (3) som började svensk skola mellan okt. (11 911–10 137) (3) som började svensk skola mellan okt. (14 482–11 911) (3) som började svensk skola mellan okt. (15 975–14 482) Källa: , A review of the 2018 Technical Standards in regard to exclusion due to insufficient language experience, 2020. Anm.: Siffrorna i parentes tillagda av . summerar alltså samtliga utlandsfödda elever med utländsk bakgrund som enligt elevregistret börjat i svensk skola . Till detta adderas 189 elever som beräknas ha börjat efter och alltså inte finns med i elevregistret. Tillsammans ger detta drygt 6 000 elever (1 774 + 2 931 + 1 133 + 189 = 6 027). Det viktade antalet exkluderade elever med anledning av bristande språkkunskaper i är cirka 7 500.132 Trots antaganden som 130Mejl från , . 1313 kap. 12 f § skollagen. 132Siffran är baserad på antagandet att exkluderingarna på grund av funktionsnedsättningar inte förändrats . Siffran är viktad för att representera hela målpopulationen av elever. 54R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N enligt vår mening är alltför inkluderande så kommer i sina beräkningar inte upp till siffran på 7 500 elever. bedömning är dock att det är tillräckligt nära för att kunna betrakta data som tillförlitliga. bedömning är att med den statistik som använder som underlag så bör endast de elever som börjat svensk skola efter kunna exkluderas. Dessa elever kan ha haft upp till och fyra månaders skolgång innan Pisa-undersökningen (vi har räknat på potentiellt , två terminer och ). Dessa elever summerar till 1 133 + 189 = 1 322, vilket endast är av målpopulationen. Vi kan se två förklaringar till den låga siffran i jämförelse med vår beräkning i kapitel 4. Dels kan det vara så att en större andel av de elever som folkbokfördes faktiskt började skolan än vi antagit (det vill säga ). Dels kan det vara så att många av de 4 705 elever som tillkommer mellan hade lämnat för insamlingen (många fick inte sina ansökningar om uppehållstillstånd beviljade) vilket innebär att en större andel än beräknat i tabellen faktiskt tillkommit . 6.3.2 Underlagen i rapport Referenslistan till består av artikel, en del egenutgivna manualer och rapporter, data från levererade av och en promemoria på svenska om hur utbildning för nyanlända ser ut i , skriven av enhetschefen för enheten för riktade insatser för nyanländas lärande på Skolverket.133 Promemorian beskriver enligt vår bedömning utbildning för nyanlända elever på ett korrekt sätt och att döma av de frågor vi sett i e-postväxlingen har korrekt besvarat alla frågor som skickat. Däremot kan vi se att i ett annat mejl skriver att en elev kan gå i svensk skola innan hen fått undervisning på svenska i ett år.134 Detta är förvånande och felaktigt. Det är viktigt att säkerställer att informationen de ger är korrekt. I rapporten från är tid i förberedelseklass inte inkluderad i tiden som en nyanländ elev fått undervisning på svenska. Vi har frågat varför de gör så men inte fått ett klargörande svar. De svarar att en elev måste ha fått undervisning i svenska skriver att detta medför att elever som gått i svensk skola och tagit förberedande klasser, såsom svenska som andraspråk, innan de får undervisning på svenska, kan exkluderas.135 Detta tyder på ett missförstånd eftersom svenska som andraspråk inte är en förberedande klass, utan ett ämne 133Skolverket, Nyanlända elever i det svenska skolsystemet, 2020. 134Mejl från till , . 135Mejl från , . R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE som en elev kan läsa under hela sin grundskole- och gymnasietid, även om hen är född i , som vi nämnt tidigare: undervisning i svensk skola sker på svenska. 6.3.3 synpunkter på bedömning har givits möjlighet att faktagranska de delar av denna granskning som berör . Efter detta har de gjort om sina beräkningar utifrån att en elev endast får gå i förberedelseklass och inte som de tidigare räknat med. Detta har alltså inte kommit till deras kännedom förrän påpekar det nästan efter att slutsatserna från deras rapport publicerades på och regeringens webbplats. De reviderade beräkningarna visar att 5 300 elever potentiellt kunde exkluderas på grund av språkkriteriet i undersökningen 2018, det vill säga 2 200 färre elever än som exkluderades.137 Trots detta förändras inte deras sammantagna bedömning att de höga exkluderingstalen kan förklaras med ett ökat antal nyanlända. skriver i sitt svar till att de har räknat på hur många elever som potentiellt kunde exkluderas. Eftersom det inte finns något exakt mått på hur en elev behöver innan hen kan delta i ordinarie svenskundervisning (vi tror att med ordinarie svenskundervisning avser ämnet svenska i stället för ämnet svenska som andraspråk) använder de den maximala tiden i förberedelseklass som en approximation för det. De skriver också att även om elever i förberedelseklass undervisas på svenska så bedöms de inte ha tillräckliga svenskkunskaper för att kunna delta i ordinarie svenskundervisning. bedömer att varken regeringen, eller har vidtagit tillräckliga åtgärder för att ta reda på om något faktiskt blivit fel vad gäller deltagandet i Pisa-undersökningen 2018. De data från elevregistret vi använt oss av i granskningen fanns tillgängliga redan första gången tveksamheterna kring exkluderingarna kom upp. drog tjänstemän på slutsatsen att det inte kan vara språkkriteriet som förklarar de höga exkluderingarna. Vi vet inte hur denna promemoria hanterades, men tveksamheterna verkar inte ha följts upp eftersom regeringen fortsatte hänvisa till och försäkringar om att den svenska statistiken var godkänd. hänvisar till både gällande om allt gått rätt till och hur och varför uppdraget givits till . Eftersom resultaten från Pisa-undersökningen används återkommande i bland annat budgetpropositionen borde regeringen ha följt upp ordentligt vad som faktiskt hänt. 1365 kap. 14 § skolförordningen (2011:185). 137Siffran är viktad för att representera hela målpopulationen av elever. 56R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N inledningsvis har ställt frågor om uppdraget och verkar ha försökt förvissa sig om att rapporten skulle besvara de frågor som fanns. borde förvisso ha kompetensen att göra en korrekt bedömning av statistiken, men de har inte haft kännedom om det svenska skolsystemet och hur utbildningen för nyanlända fungerar. De har inte heller själva haft tillgång till ursprungsdata, utan bett göra beräkningar åt dem. Detta har gjort det svårt att ta fram en trovärdig och korrekt rapport. Vår bedömning är att det första godkännandet av data, som gjordes av adjudiceringsnämnden inför publiceringen av undersökningen, baserades på svag empiri. Enligt den information vi fått från baserades beslutet på en mejlväxling mellan och kontraktorn i samband med förstudien där skriver att flyktingströmmarna är en sannolik förklaring.138 Vi bedömer det också som tveksamt ifall hade tillräckligt starka incitament att faktiskt upptäcka felaktigheter i data och därmed överpröva sitt tidigare ställningstagande eftersom de redan en gång godkänt statistik. bedömning är att i hög utsträckning är baserad på information och beräkningar. Tabell 3 som är basen för slutsatser är levererad av . Bedömningen att elever kan ha gått i svensk skola och ändå korrekt exkluderas verkar även den vara levererad av . Sedan har själva lagt när det gäller hur länge elever kan gå i förberedelseklass, och själva gjort antaganden att alla elever går i förberedelseklass, och gör det . Vår bedömning är att rapporten baseras på felaktiga antaganden och inte kan användas för att bedöma rimligheten i de höga exkluderingarna för i Pisa-undersökningen 2018. Såväl regeringen som borde ha uppmärksammat att innehåller ett flertal felaktiga antaganden, vilket gör det svårt att övertygas av rapporten. Särskilt eftersom påtalat brister i rapporten. Vi ser flera problem med hur uppdraget till givits och följts upp. För det första kan det ifrågasättas om var den mest lämpliga aktören att utföra uppdraget. Bland annat eftersom redan en gång godkänt siffror men också för att de saknar kännedom om svensk skola för nyanlända. För det andra tog fram en rapport som inte kan bedömas vara trovärdig. För det tredje har både och regeringen efter rapportens publicering återgivit slutsats att resultaten går att lita på, trots att de borde sett bristerna. Efter att reviderat sin rapport är diskrepansen mellan antalet potentiellt möjliga exkluderade och de som exkluderades större, men inte tillräckligt stor för att ska backa från sitt godkännande av den svenska statistiken. Vår tolkning av deras svar är att i praktiken har reviderat sitt kriterium för när elever kan exkluderas till att eleven har fått mindre än undervisning i svenska. R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE Vi konstaterar dock att detta inte är hur har informerat skolsamordnarna och inte någon skolsamordnare som vi intervjuat har uppfattat kriterierna så. har ett liknande system som och gör bedömningen att eventuell tid i förberedelseklass räknas in i tiden som undervisning på provspråket enligt kriterier.139 har ett något annorlunda system och verkar inte alltid räkna in tiden i förberedande undervisning i språkkriteriet.140 Vår bedömning utifrån de intervjuer vi gjort är dessutom att många felaktiga exkluderingar gjorts av elever av andra skäl än bristande språkkunskaper. 139Mejl från NPM, . 140Mejl från NPM, . 58R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N 7 Slutsatser och rekommendationer konstaterar att varken regeringen eller har säkerställt att Pisa-undersökningen 2018 genomfördes på ett tillförlitligt sätt vad gäller exkluderingar och bortfall av elever. De höga exkluderingarna i den svenska Pisa-undersökningen 2018 kan inte förklaras av antalet nyanlända elever med mindre än undervisning i svensk skola. har haft informativa och uppskattade informations- och stödinsatser, men skolsamordnarna har uppfattat och tillämpat kriterierna olika. Konsekvensen blev att många elever exkluderades på felaktiga grunder. Därefter har inte följt upp att genomförandet säkerställt ett korrekt urval av elever.