prop · H90339 · 2021-10-26 00:00:00 — R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE För att säkerställa att de regler som beslutat i sin tur efterlevs ute på skolorna väljs så kallade skolsamordnare på de deltagande skolorna. Skolsamordnarna fungerar som kontaktperson mellan skolan och den nationella projektledaren.158 Det är rektorn på respektive skola som bestämmer vem som ska vara skolsamordnare; vanligt är att det är en biträdande rektor eller en lärare som utses. Eftersom eleverna () gör provet och enkäterna på datorer ska skolorna även utse en IT-ansvarig. IT-ansvarig har en viktig roll för att eleverna ska kunna genomföra provet och är tänkt att stödja skolsamordnarna vid provtillfället.159 Skolsamordnarna har en viktig roll då de ska förse med listor över vilka elever som finns på skolan och som ingår i målgruppen för att göra provet. Det är även skolsamordnarna som ska bedöma vilka elever som möter för exkludering och därmed ska undantas från att göra proven.160 Även om måste förhålla sig till de regler som satt upp så har de en viktig roll när det gäller att säkra kvaliteten i deltagandet. I roll ingår bland annat att utbilda och ge stöd till skolsamordnarna i vilka regler som gäller för urval, exkludering och bortfall. ska också förse skolsamordnarna med relevanta manualer för hur proven ska genomföras. I detta ingår även att översätta och anpassa de manualer som tagit fram så att de blir användbara i den svenska kontexten samt informera vårdnadshavare om Pisa-undersökningen. Översättningen ska ske genom en av bestämd översättningsprocess för att undvika eventuella avvikelser från standarderna.161 I den manual som beslutat för nationella projektledare framgår även att ska säkerställa att de elevlistor som samlas in från varje deltagande skola håller hög kvalitet.162 Hur går genomförandet till? Pisa-undersökningen är tänkt att genomföras återkommande . Genomförandet av undersökningen sker i olika faser som består av flera på förhand specificerade moment och tidsramar. Själva dagen då proven skrivs utgör alltså bara en del i hela genomförandet av undersökningen. Övergripande kan man beskriva genomförandet i fyra faser. Den första fasen består av förberedelsearbete, där det bland annat ingår att ta fram provuppgifter, översättning, rekrytera personal samt påbörja urval av skolor och elevunderlag inför förstudien. Den andra fasen består av en förstudie. Förstudien är en viktig del för att testa provfrågor, översättning, metoderna för att samla in och analysera data samt utbildningen för involverad personal. Fasen möjliggör för länderna att upptäcka problem i genomförandet som kan rättas till inför huvudstudien. 158Skolverket, 2018 Huvudstudie – manual till skolsamordnare, 2018. 159Skolverket, Så här går till – en sammanfattande beskrivning, 2017. 160Skolverket, 2018 Huvudstudie – manual till skolsamordnare, 2018. 161Skolverket, Info om hur urvalet görs , 2019, s. 3. 162OECD, , 2017, s. 120.. 72R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Eventuella avvikelser från regelverket ska godkännas av innan det är dags för huvudstudien. Huvudstudien inkluderar liknande moment som förberedelsefasen men med ett större urval av skolor och elever. I den sista fasen analyseras data och tar fram en internationell rapport. Vid varje provtillfälle är det tänkt att ett ämnesområde ska vara i fokus, så kallat huvudområde, men alla tre områden undersöks varje gång, vilket möjliggör jämförelser . Att ett område är huvudområde innebär att ramverket för detta område uppdateras och att det skapas nya provuppgifter. Det finns också många fler provuppgifter inom huvudområdet än inom de andra områdena och därmed kan resultaten presenteras i mer detalj för just detta område. Dessutom undersöks elevers inställning och attityder till huvudområdet. Varje elev ska göra två delprov och besvara en enkät. Delproven tar var och enkäten . Proven består av flervalsfrågor och öppna frågor och det finns totalt cirka 66 delprov. Enkäten består av frågor om elevens bakgrund, elevens lärande samt engagemang och motivation att lära sig ämnena – och mycket mer. Även rektorerna på de utvalda skolorna besvarar en enkät om hur undervisningen organiseras. R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE 74R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Potentiell påverkan av exkluderingar och bortfall på de svenska Pisa-resultaten 2018 I denna bilaga visar vi hur de svenska Pisa-resultaten 2018 potentiellt skulle förändrats om inte hade haft så höga exkluderingar och högt bortfall. Analysen visar att resultaten eventuellt skulle varit lägre om fler elever hade skrivit provet. resultat förändras också mer än resultaten för våra grannländer när motsvarande analys görs för dessa länder. Viktigt att notera är att analysen endast är ett illustrerande exempel eftersom den bland annat utgår från ett antagande om att alla utvalda elever skulle skriva proven. Detta är givetvis inte sannolikt men underlättar en jämförelse mellan länder. För att undersöka hur känsliga de svenska Pisa-resultaten är för vilka och hur många elever som skrev provet har vi replikerat den metod som de brittiska forskarna m.fl.163 använder för att studera Pisa-resultat 2015.164 Ansatsen antar att elever som inte går i skolan, elever som exkluderats från studien och elever som registrerats som bortfall sannolikt har en annorlunda fördelning av resultat i Pisa-undersökningen än de elever som verkligen skrev provet.165 Eftersom vi inte känner till de individuella egenskaperna (vi har inga mikrodata för dessa individer) för eleverna som inte deltog så gör vi i stället olika antaganden om Pisa-resultaten för dessa individer. Beroende på vilka antaganden som görs påverkas resultaten olika mycket. Utgångspunkten är att Pisa-resultaten för icke-deltagare (exkluderade elever, elever som registrerades som bortfall samt 15-åringar som inte går i skolan) skulle vara lägre än för de elever som verkligen skrev provet. Forskning har exempelvis visat att elever med hög frånvaro presterar sämre i skolan.166 Även för Pisa-undersökningen har detta visats för i tidigare undersökningar.167 Det är givetvis inte möjligt att veta hur mycket sämre icke-deltagande elever skulle ha presterat i Pisa-undersökningen. Analysen undersöker därför hur Pisa-resultat 2018 potentiellt skulle ha förändrats under olika antaganden om hur elever som exkluderades eller blev bortfall i Pisa-undersökningen hade presterat 163Anders m.fl., ”Is really an education superpower? The impact of non-participation on results from 2015”, 2021. 164För mer information kring resultaten i den studien se bilaga 3. 165Andelen 15-åringar som inte gå i skolan i är mycket låg och detsamma gäller våra grannländer. 166Se exempelvis , ”Excused versus unexcused: how student absences in elementary school affect academic achievement”, 2009. 167Knighton m.fl., “Measuring up. Canadian results of the study”, 2010. R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE om de faktiskt hade skrivit provet.168 Vi gör också jämförelser med några av våra grannländer (, , och ) genom att utföra motsvarande analys för dessa länder under samma antaganden som för . Detta är intressant eftersom vissa av våra grannländer haft betydligt lägre exkluderingar och bortfall än . en exkluderingsgrad på i och motsvarande siffra för var . I slutet av bilagan görs dessutom ett antal alternativa beräkningar för resultat i läsförståelse för att undersöka hur känsliga beräkningarna är om vi lättar på några av antagandena. I dessa alternativa beräkningar för tillåter vi exempelvis en viss nivå av exkluderingar på grund av språkkriteriet och kognitiva funktionsnedsättningar. För att genomföra analysen gör vi följande. Först tar vi det totala antalet 15-åringar i från den tekniska rapporten för 2018 (108 622 elever) och delar dessa i två grupper: antalet deltagande elever viktat med de slutliga elevvikterna (79 604 elever) och det viktade antalet icke-deltagare (29 018 elever).169 För deltagargruppen används alltså Pisa-resultaten så som de redovisas i den internationella Pisa-databasen, men viktade så att totalen blir 79 604 elever. För eleverna som inte deltog i undersökningen så drar vi slumpmässigt 29 018 resultat från en normalfördelning. Detta görs med olika antaganden om dess medelvärde, men med samma standardavvikelse som för deltagargruppen. Värdet som används som medelvärde för denna normalfördelning korresponderar till olika percentiler (45:e, 40:e, 35:e, 30:e, 25:e, 20:e, 15:e samt används) av de observerade Pisa-resultaten för (och på motsvarande sätt för de grannländer som vi också utför analysen för). Motsvarande analys görs även för de två andra ämnesområdena naturvetenskap och matematik. För var och ett av dessa olika scenarier dras ett slumpmässigt urval av resultat för 29 018 observerade icke-deltagande elever (alla dessa elever får vikten ett) och dessa resultat tillfogas databasen med observerade data för 79 604 deltagande elever (som när vikterna appliceras summerar till att representera 108 622 svenska 15-åringar). 168Resultaten på individnivå i Pisa-undersökningen består av 10 så kallade plausibla värden. För att förenkla beräkningarna används det första plausibla värdet på samma sätt som m.fl., ”Is really an education superpower? The impact of non-participation on results from 2015”, 2021. 169Vi kallar genomgående de två grupperna deltagare och icke-deltagare. I verkligheten är deltagarna de elever som faktiskt skrev provet men här avses med termen deltagare det totala viktade antalet som faktiskt skrev Pisa-provet. Antalet viktade elever är hämtade från Technical Report, kapitel 11, tabell 11.7 och variabeln Number of Students Assessed (Weighted). Detta är det viktade antalet elever efter justeringar för bortfall. Eftersom inte haft tillgång till studentvikterna innan justeringar för bortfall för andra länder än så används informationen från tabell 11.7 för samtliga länder. När studentvikterna innan justering för bortfall används för påverkas resultaten endast marginellt. 76R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Analysen gör det möjligt att beakta hur prestationer i potentiellt skulle förändras i förhållande till våra närmaste grannländer under olika antaganden. Vi argumenterar alltså inte på något sätt för att dessa alternativa scenarier skulle vara det objektivt korrekta resultatet, men det är intressant att se hur resultaten för olika länder förändras när olika antaganden om resultaten görs för de elever som av olika anledningar inte skrev Pisa-provet . Resultaten ger alltså en bild av hur mycket som exkluderingar och bortfall potentiellt kan tänkas påverka de svenska Pisa-resultaten 2018. Det är också intressant att göra motsvarande beräkning för våra grannländer som i vissa fall har haft betydligt lägre exkluderingar och bortfall.170 I analysen kommenterar vi om de officiella resultaten från Pisa-undersökningen 2018 är statistiskt signifikant skilda mellan och de övriga undersökta länderna. Vi gör dock inga beräkningar av om de simulerade resultaten är statistiskt skilda från varandra för de olika länderna. Detta eftersom de simulerade resultaten endast är tänkta att fungera som ett illustrativt exempel där huvudintresset är på de beräknade punktestimaten och inte huruvida skillnaden mellan länder är statistiskt signifikant. I tabell 4 presenteras de simulerade resultaten för delprovet läsförståelse i . Läsförståelse presenteras först eftersom detta var huvudämne i Pisa-undersökningen 2018. Kolumn 1 refererar till den percentil i fördelningen av läsförståelseresultaten i som de icke-deltagande eleverna antas ha befunnit sig på i genomsnitt om de skulle ha skrivit provet. 170För mer information kring de olika ländernas exkluderingar och bortfall se avsnitt 2.3.1. R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE Tabell 4 Simulerade resultat i läsförståelse i Pisa-undersökningen 2018 under olika antaganden om resultaten för icke-deltagande elever. Resultat för olika länder som en percentil av de Källa: bearbetning av mikrodata för Pisa-undersökningen 2018. genomsnittliga Pisa-resultat i delprovet för läsförståelse var 506 poäng . Detta var något högre än (498 poäng), (499 poäng) och (501 poäng), men lägre än för (520 poäng). Det ska här noteras att det inte finns några statistiskt säkerställda skillnader mellan resultat och resultaten för , och . De svenska resultaten är dock signifikant lägre än de finska. När vi sedan räknar om de svenska Pisa-resultaten i läsförståelse under olika antaganden om hur väl de elever som inte skrev provet kan tänkas ha presterat i undersökningen så ser vi att de svenska resultaten förändras. När vi antar att de som inte skrev provet endast hade haft marginellt sämre resultat i genomsnitt (prestationer i genomsnitt som den 40:e resultatpercentilen) än de som skrev provet skulle det svenska resultatet i läsförståelse sjunka till 499. i Pisa-resultatet för läsförståelse som är större än för jämförelseländerna. Om antagandet om de potentiella resultaten för de elever som inte skrev provet förändras så förändras också det simulerade genomsnittliga resultatet Om vi antar att de elever som inte skrev provet i genomsnitt skulle prestera mycket dåligt på provet i läsförståelse (i genomsnitt som den 10:e resultatpercentilen) skulle vi få en mycket större påverkan på det genomsnittliga resultatet för i läsförståelse. I stället för 506 skulle , enligt vår hypotetiska beräkning, få ett genomsnittligt resultat på 466 poäng. Det svenska resultatet under detta kraftiga antagande om prestationerna för dem som inte skrev provet förändrar alltså det genomsnittliga resultatet i läsförståelse med 78R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Detta kan till exempel jämföras med de finska resultaten som endast skulle förändras med 15 poäng. Förklaringen till att de finska resultaten inte påverkas lika mycket är den låga andelen som inte skrev provet i den finska Pisa-undersökningen 2018. Samma sak gäller de tyska resultaten som vid ett antagande om att de som inte skrev provet skulle ha presterat mycket sämre än de elever som verkligen skrev provet får ett försämrat resultat i läsförståelse på 17 poäng. För och är inte skillnaderna i de simulerade Pisa-resultaten i jämförelse med lika stora, men om vi skulle anta att de elever som inte skrev provet hade presterat i genomsnitt som den 25:e resultatpercentilen skulle inte längre ha ett bättre resultat än . Båda länderna skulle enligt denna beräkning få ett genomsnittligt resultat på 486 poäng och bara något bättre än som då skulle fått resultatet 483 poäng.171 Förändringarna i Pisa-resultaten i läsförståelse vid olika antaganden om prestationer för de elever som inte deltog i provet illustreras grafiskt i figur 9. Som vi påpekat ovan är skillnaderna mellan ländernas genomsnittliga Pisa-resultat inte statistiskt signifikant skilda från varandra i de officiella resultaten. Undantaget är som hade statistiskt signifikant bättre resultat än i läsförståelse i . Figur 9 Förändrade Pisa-resultat i läsförståelse vid olika antaganden om prestationerna för eleverna som inte skrev provet Källa: bearbetning av mikrodata för Pisa-undersökningen 2018. 171Notera att konfidensintervallen runt de olika ländernas resultat är stora och att dessa skillnader inte är statistiskt skilda från varandra. R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE Från figur 9 är det tydligt att resultaten för påverkas allra mest av länderna som jämförs vid en simulering av Pisa-resultaten där de som inte skrev provet inkluderas. Särskilt tydligt är detta vid en jämförelse med och . I tabell 5 och 6 presenteras resultaten av motsvarande analys men för ämnesområdena naturvetenskap och matematik i . Resultaten för dessa ämnesområden kommenteras inte i detalj. Tabell 5 Simulerade resultat för naturvetenskap i Pisa-undersökningen 2018 under olika antaganden om resultaten för icke-deltagande elever. Resultat för olika länder som en percentil av de Källa: bearbetning av mikrodata för Pisa-undersökningen 2018. För naturvetenskap visar resultaten en liknande bild som för läsförståelse. resultat i naturvetenskap i var 499 poäng. Resultatet var högre än (490 poäng) och (493 poäng), men något lägre än (503 poäng) och betydligt lägre än (522 poäng). Skillnaden i resultatnivå för är endast statistiskt signifikant lägre än den för när det gäller naturvetenskap. 80R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Tabell 6 Simulerade resultat för matematik i Pisa-undersökningen 2018 under olika antaganden om resultaten för icke-deltagande elever. Resultat för olika länder som en percentil av de Källa: bearbetning av mikrodata för Pisa-undersökningen 2018. Skillnaderna i de officiella resultaten mellan de jämförda länderna är betydligt mindre i matematik för 2018. Bäst presterade eleverna i med 509 poäng, följt av med 507 poäng. Övriga länder som jämförs fick strax över 500 poäng Skillnaderna mellan länderna är inte statistiskt signifikanta. Analysen som presenteras ovan för de olika ämnesområdena utgår från antaganden som sannolikt inte är uppfyllda men genom att göra samma antaganden för samtliga länder underlättas en jämförelse av hur resultaten i olika länder potentiellt skulle kunna påverkas om alla utvalda 15-åringar i landet hade deltagit i Pisa-undersökningen. För att undersöka resultatens känslighet för dessa antagande presenteras nedan analyser för där vi tillåter att ett visst antal elever inte deltar i Pisa-undersökningen av olika anledningar.172 Denna analys av resultatens känslighet görs endast för resultaten i läsförståelse som var huvudämnet i Pisa-undersökningen 2018. I den första av dessa analyser (alternativ 1) tillåter vi 2,5 procents exkluderade elever på grund av den höga flyktinginvandringen till åren innan Pisa-undersökningen 2018.173 Det ska dock noteras att även vissa av grannländer tog emot relativt många flyktingar . Det skiljer sig dock mycket om dessa länder har exkluderat många elever eller inte på grund av 172I dessa analyser modelleras de olika tillåtna exkluderingarna genom att inte räkna upp de svenska Pisa-resultaten för alla 15-åringar i för Pisa-undersökningen 2018. 173Se avsnitt 4.3 för en argumentation kring varför vi anser att en exkluderingsgrad på på grund av språkkriterium för Pisa-undersökningen är rimlig att anta. R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE Exempelvis tog , precis som , emot många flyktingar åren innan Pisa-undersökningen 2018 men har trots detta väldigt få exkluderingar på grund av språkkriteriet (0,). I en andra analys (alternativ 2) tillåter vi även för övertäckning på (motsvarande 3 344 elever) för . i Pisa-undersökningen 2018 beror enligt på tre nedlagda grundskolor och de utvalda gymnasieskolor som inte hade några elever födda 2002.174 I en tredje analys (alternativ 3) tillåts, förutom de exkluderingar som redogörs för ovan, dessutom för att resultaten för av eleverna inte simuleras fram (798 individer) på grund av en diskrepans mellan det totala antalet individer födda och det totala antalet individer födda i svensk skolas årskurs 7 eller högre.175 I den avslutande analysen (alternativ 4) tillåts samtliga exkluderingar ovan och dessutom tillåts exkluderingar om på grund av kognitiva funktionsnedsättningar.176 Resultaten för de olika känslighetsanalyserna för ämnesområdet läsförståelse presenteras i figur 10. Figur 10 Förändrade Pisa-resultat i läsförståelse för vid olika antagande om tillåten exkludering samt olika antaganden om prestationerna för eleverna som inte skrev provet Källa: bearbetning av mikrodata för Pisa-undersökningen 2018. Från figur 10 kan vi se att förändringen av potentiella resultat i läsförståelse, under olika antaganden om vilka exkluderingar som tillåts i simuleringen, är relativt liten så länge vi inte antar att de icke-deltagande eleverna skulle prestera på en mycket låg nivå. Exempelvis är skillnaden mellan 174Skriftligt svar från , . motsvarar medianvärdet för exkluderingar på grund av kognitiv funktionsnedsättning för deltagande . 82R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N den ursprungliga simuleringen (där inga exkluderingar och bortfall tillåts) och alternativ 4 (där vi tillåter exkluderingar på grund av språkkriteriet, på grund av övertäckning samt exkluderingar på grund av kognitiva funktionsnedsättningar) cirka 3 Pisa-poäng vid ett antagande om att icke-deltagande elever skulle prestera på den 30:e resultatpercentilen. Vid ett antagande om att icke-deltagande elever i stället skulle prestera på i genomsnitt den 10:e resultatpercentilen så blir skillnaden i de simulerade resultaten mellan den ursprungliga simuleringen och alternativ 4 cirka 10 Pisa-poäng. R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE 84R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Forskning kring exkluderingar och bortfall i Pisa-undersökningen Det finns en omfattande, och ökande, forskningslitteratur som berör Pisa-undersökningen. Den största delen av forskningen handlar om hur elevers resultat påverkas av variabler relaterade till socioekonomi, skola, klass samt elevers självuppfattning och tilltro till sin egen förmåga. Den näst största kategorin av forskning berör olika typer av kritik av undersökningen och handlar oftast om provets konstruktion och hur frågorna konstrueras, men även om analys och tolkning av resultaten. En ytterligare kategori som är vanlig i forskningen kring Pisa-undersökningen är artiklar som är policyinriktade och undersöker vilken effekt undersökningen haft på länders utbildningspolitik.177 I detta kapitel ligger dock fokus på den forskning som undersökt hur urvalet av elever samt exkluderingar och bortfall av elever kan tänkas påverka olika länders resultat och därmed jämförbarheten mellan länder och . m.fl.178 analyserar resultat i . är ett land som presterat väldigt bra i Pisa-undersökningarna. konstaterar författarna att jämförelsevis har en hög andel exkluderade elever, lågt skoldeltagande och högt bortfall av elever. Denna kombination gör att forskarna drar slutsatsen att det finna allvarliga problem att jämföra resultat i med andra länders resultat. I en rad känslighetsanalyser visar forskarna att Pisa-resultat blir lägre än andra högpresterande länder såsom , , och om landet inte haft så hög andel exkluderade elever och högt bortfall. För att förbättra Pisa-resultatens jämförbarhet mellan länder föreslår författarna att ett lands lägsta tillåtna svarsfrekvens borde höjas från till och att krav på maximalt exkluderingar borde tillämpas hårdare. En ytterligare rekommendation är att bortfallsanalysen borde göras grundligare och mer transparent av . Exempelvis skulle kunna tillhandahålla en ”säkerhetsgradering” från 1 till 5 för hur tillförlitlig ett lands statistik är. Aursand och Rutkowski179 studerar möjliga förklaringar till de ökande och relativt höga exkluderingstalen i i Pisa-undersökningen . Genom intervjuer med skolledare söker forskarna svar på frågan varför har bland den största ökningen i exkluderingsgrad bland . Genom att intervjua 6 skolledare kring exkluderingar och vilka elever på respektive skola som dessa skolledare skulle ha exkluderat från Pisa-undersökningen visar författarna