prop · H90339 · 2021-10-26 00:00:00 — 78Skolverket, Så här går urvalet till – en sammanfattande beskrivning, 2020. 38R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Inför informationsmötet ombads skolsamordnarna att lista de elever på skolan som motsvarar undersökningens målgrupp. Dessutom skulle skolsamordnaren göra en anteckning vid de elever som av någon anledning var i behov av stöd i sin utbildning på skolan. Precis innan skolsamordnarmötet skickade ut en lista till skolorna på vilka 37 elever som blivit utvalda att delta i undersökningen. Efter att skolsamordnarna fått urvalet tog de ställning till vilka elever som skulle exkluderas i enlighet med kriterier.79 höll åtta informationsträffar i , och . Enligt kom i princip alla skolsamordnare till mötena.80 För dem som inte kunde delta hölls utbildningen på telefon, men alla skolsamordnare nåddes inte utan några fick klara sig med skriftlig information.81 Mötena var heldagsmöten och innehöll bakgrund om Pisa-undersökningen, vad som testas och hur resultaten kan användas, information om övriga internationella studier som arbetar med samt praktisk information om genomförandet av Pisa-undersökningen. Enligt var en viktig del av informationsmötena att poängtera att Pisa-undersökningen ska vara inkluderande och vikten av att alla elever ska delta. gick igenom kriterierna för exkludering av elever och det var vanligt att det blev diskussion med skolsamordnarna om detta. Enligt handlade den vanligaste diskussionen om att bedöma vilka elever som kunde exkluderas på grund av kognitiv funktionsnedsättning. fick även många samtal från skolsamordnarna om denna elevgrupp i samband med att de skulle bestämma exkluderingarna.82 Diskussionerna om kriterier för exkludering av elever omfattade även nyanlända elever. Enligt handlade det om att många skolor hade nyanlända elever som fått undervisning i skolan i mindre än men även nyanlända elever som gått i skolan men fortfarande inte kunde läsa eller skriva på svenska. En del skolsamordnare var även osäkra på hur länge vissa nyanlända elever gått i skola i då eleven flyttats runt mellan regioner och skolor. uppmanade skolsamordnarna att endast exkludera elever som fått undervisning i svenska i mindre än och hade begränsade kunskaper i svenska och ett annat modersmål än svenska. De skolsamordnare som var osäkra på hur länge en elev gått i skolan i ombads utgå ifrån vad de kunde uttala sig om på den egna skolan.83 79Skolverket, Info om hur urvalet görs , 2019, s. 1. 81Intervjuer med skolsamordnare. 82Skolverket, Info om hur urvalet görs , 2019, s. 3. R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE Nedan ges två elevexempel ur manualen och ifall de kan exkluderas:84 Även om erfarenhet av svenska är begränsad så har han undervisats i svenska och uppfyller därför inte kriterier för att exkluderas på grund av otillräckliga språkkunskaper. Därför lämnas kolumnen ”Exkl” tom och anses kunna delta i provet. Enligt utlåtande av en på området professionellt sakkunnig person har nedsatt kognitiv förmåga och får kod ”4” i kolumnen ”Stöd”. Hon deltar inte i andra liknande prov. Därför kommer hon inte att delta i PISA-provet och får kod ”3” i kolumnen ”Exkl”. I manualen underströks även vikten av att skolsamordnarna följer rutinerna för att säkerställa att Pisa-undersökningen genomförs på samma sätt i alla deltagande länder. Om rutinerna inte följs kan det leda till att resultaten blir oanvändbara.85 Vidare informerades skolsamordnarna om att många elever med behov av stöd troligen kunde inkluderas i Pisa-undersökningen utan den hjälp de annars får i klassrummet eller i samband med andra prov. Enligt räckte det med att eleven deltog i en del av provet för att resultaten ska kunna användas. Om skolsamordnaren var osäker på om en elev ska exkluderas uppmanades hen att kontakta för konsultation.86 5.1.2 arbete med bortfall Andelen av de utvalda eleverna som inte dök upp på provdagen ökade med Det kan finnas en mängd orsaker till att elever inte dyker upp. De kan vara sjuka. De kanske inte får för sina vårdnadshavare. De kanske inte vill. De kanske är bortresta. Det finns olika åtgärder som kan vidtas för att öka närvaron vid provskrivningen. Skolorna kan, till exempel: •betona hur viktigt deltagandet är •locka med fika/pizza •underlätta deltagandet, till exempel inte lägga proven långt bort eller på studiedag •vara strikta med uppföljningstillfällen. På informationsträffarna som hölls för skolsamordnarna diskuterade hur de kunde arbeta med att motivera eleverna att delta i Pisa-undersökningen. Bland annat visades en film som kunde användas för ändamålet och de fick även 84Skolverket, 2018 Huvudstudie – manual till skolsamordnare, 2018, s. 15. 85Ibid., s. 2. 86Skolverket, Info om hur urvalet görs , 2019, s. 3. 40R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N broschyrer som skulle delas ut till eleverna. De informerade även om den fikapeng som skolorna kan nyttja vid provtillfället. I samband med Pisa-undersökningen var det en skola som bad komma ut och motivera eleverna inför provet, vilket gjorde.87 I och med att i samband med undersökningen 2018 kopplade på personnummer på dem som skrev proven ändrades informationen som gick ut till vårdnadshavarna, enligt krav från SCB.88 I brevet betonades vikten av elevens deltagande. I det brev som skickade ut framhölls i stället att det var frivilligt att skriva provet och vårdnadshavarna uppmanades att ringa till kontaktpersonerna på om de inte ville att deras barn skulle delta. Studien är frivillig och som vårdnadshavare har du rätt att få information om att ditt barn är utvald till 2018. Eleverna kommer på sin skola under skoltid att göra provet och besvara enkäten . Om du inte vill att ditt barn deltar i studien ombeds du höra av dig till någon av kontaktpersonerna på , se nedan. Vårdnadshavarna uppmuntrades att ta direkt kontakt med för att avlasta skolorna men också för att ansågs ha större möjligheter att förklara vad Pisa-undersökningen handlade om och vikten av elevernas deltagande. I några fall där vårdnadshavare ringt om att deras barn inte ska delta lyckades ändra deras beslut.89 Andelen elever som inte fick skriva provet för sina vårdnadshavare ökade dock kraftigt och står för De andra nordiska länderna framhöll inte frivilligheten, men det kan framgå lite underförstått. Så här stod det till exempel i det finska brevet: Vi vill tacka även er för ert barns insats i PISA-undersökningen. Det är viktigt för undersökningens trovärdighet att så många som möjligt av de utvalda eleverna deltar i undersökningen. Vi tror att resultaten åter kommer att bli hedrande för de unga i och den finländska skolan. Även om det är frivilligt att deltaga i Pisa-undersökningen kan detta presenteras på en mängd olika sätt, vilket de olika nordiska breven illustrerar. Det finns även länder som valt att göra deltagandet obligatoriskt för utvalda elever. 87Skriftligt svar från , . 88Skriftligt svar från , . 89Skriftligt svar från , . 90År 2015 var det 28 elever, 2018 var det 161 elever. R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE där det i de flesta delstater är obligatoriskt för de utvalda eleverna i federala skolor att delta i Pisa-undersökningen.91 En skolsamordnare vi intervjuat berättade att på deras skola skickades ett redigerat brev ut till vårdnadshavarna, där elever som ville delta uppmanades att anmäla sig till undersökningen. Elever som inte anmälde intresse kontaktades inte igen. På denna skola fick alltså eleverna själva välja om de ville vara med och vårdnadshavare behövde inte anmäla att de inte ville att deras barn skulle delta. De elever som inte anmälde sig till provet registrerades som bortfall.92 hade som krav för att resultat skulle godkännas att minst av de utvalda eleverna, efter att exkluderingarna gjorts, också skriver proven.93 hade som princip att skolor med lägre än deltagande på den enskilda skolan skulle ha ett uppföljningstillfälle (det vill säga en ytterligare provdag för elever som var frånvarande vid första tillfället), men om det var svårt att få till tilläts ibland undantag. Fokus var på att det totala bortfallet inte skulle överstiga 15 procent.94 I samband med Pisa-undersökningen 2018 hade 23 skolor mer än 20 procents bortfall och 18 skolor anordnade uppföljningstillfällen. En ytterligare åtgärd för att minska bortfallet kan vara att undvika att ha nationella prov som Pisa-undersökningen genomförs. Det finns tre Pisa-perioder, två och en . genomför undersökningen och det går inte att ändra provperiod.95 skrev eleverna i årskurs nio sammanlagt nio nationella prov, två som Pisa-proven skrivs. Inga andra nordiska länder har nationella prov som Pisa-undersökningen genomförs.96 5.2Skolverkets kvalitetssäkring och uppföljning av exkluderingar och bortfall Inför varje Pisa-undersökning genomförs en förstudie året innan. Syftet är att testa och kvalitetssäkra alla moment, praktiskt och tekniskt samt det material som används, exempelvis informationen till skolorna samt prov- och enkätfrågor. Förstudien är en viktig del i kvalitetssäkrandet av huvudstudien.97 I samband med förstudien uppmärksammade att exkluderingarna var betydligt högre än . Totalt av eleverna exkluderades från undersökningen i förstudien. Detta fick projektgruppen att ringa runt till skolorna för att säkerställa 91Mejl från nationell projektledare för i , . 92Detta var en skola med färre än 37 elever i målgruppen – gjorde alltså inget urval. 93Skriftligt svar från , . 94Skriftligt svar från , . 95Skriftligt svar från , . 96Mejlkorrespondens med de nordiska nationella projektsamordnarna. 97Skriftligt svar från , . 42R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N att exkluderingarna gjorts korrekt. Enligt framkom det inte några tecken på felaktiga exkluderingar under dessa samtal. Många exkluderingar handlade i stället om elever som fått mindre än undervisning i svenska och i vissa fall elever som var analfabeter.98 Det finns ingen skriftlig dokumentation av arbete med att följa upp exkluderingarna i förstudien.99 informerade om att de förväntade sig höga exkluderingstal i samband med huvudstudien , på grund av det höga flyktingmottagandet under perioden.100 Genomförandet av Pisa-undersökningen styrs och kontrolleras av och har detaljerade manualer att förhålla sig till.101 har inte bedömt det som nödvändigt att göra någon ytterligare kvalitetssäkring eller uppföljning av exkluderingar inför huvudstudien. I samband med förstudien hade projektgruppen på en längre kommunikation med kontraktorn för undersökningen, där de diskuterade dels anledningarna till de höga exkluderingarna, dels vad det kunde innebära för huvudstudien. Kontraktorn föreslog att det skulle införas ett maxantal för tillåtna exkluderingar per skola men vi kan inte se att detta har följts upp någonstans.102 En försvårande omständighet vad gäller uppföljning av exkluderingar är den tolkning av personuppgiftslagen som jurister gjorde 2016. Från och med förstudien redovisas exkluderingarna gemensamt i kategorin övrigt, i stället för separat för funktionsnedsättningar och språkbegränsningar. anser att myndigheten saknar rättslig grund att behandla så kallade känsliga personuppgifter enligt den tidigare personuppgiftslagen.103 Tillämpningsområdet för en myndighet att behandla sådana nödvändiga personuppgifter med stöd av exempelvis statistiska ändamål eller något viktigt allmänt intresse har dock tydliggjorts i samband med införandet av EU:s dataskyddsförordning. I samband med detta klargjordes att till exempel anordnande och bedrivande av utbildning utgör ett sådant viktigt allmänt intresse.104 Trots detta har inte förändrat sitt ställningstagande i frågan.105 Det är inte upp till att göra något rättsligt ställningstagande i detta avseende. Vi kan dock konstatera att inte heller har lyft frågan till för att möjliggöra en mer användbar redovisning av exkluderingarna genom till exempel Det ska tilläggas att lagstiftaren redan har bemyndigat 98Skolverket, Info om hur urvalet görs , 2019, s. 3. 99Skriftligt svar från , . 100Mejl från med skriftliga frågor och svar från inför möte, . 101Skriftligt svar från , . 102Mejlkorrespondens – Westat, . 103Personuppgiftslag (1998:204) som ersattes av EU:s dataskyddsförordning 2016/679 (GDPR). 2017/18:218, bet. 2017/18:UbU28, rskr. 2017/18:431. 105Mejl från , . R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE regeringen att meddela ytterligare föreskrifter om sådan behandling av känsliga uppgifter som är nödvändig med hänsyn till ett viktigt allmänt intresse.106 5.3Mittuniversitetets genomförande av Pisa-undersökningen , som hade genomförandeansvaret för Pisa-undersökningen fram , arbetade på ett i vissa avseenden annorlunda sätt än . De genomförde alla de moment som kräver, men vidtog några ytterligare åtgärder för att få ett så högt deltagande som möjligt. Efter att fått listor på vilka skolor som var utvalda att delta i undersökningen kontaktades alla rektorer på de utvalda skolorna. Därefter åkte projektansvariga från på en rektorsturné och samlade samtliga skolor vid träffar runt om i landet, i fyra olika städer. Med sig hade de en forskare som använde sig av statistik från Pisa-undersökningen i sin forskning. motiverade dessa rektorsturnéer med att det är viktigt att få med rektorerna, annars är det svårt att få det att fungera på skolorna. gjorde de ingen rektorsturné i samband med förstudien men såg då att exkluderingarna steg varpå de återinförde den till huvudstudien.107 Träffarna sträckte sig över en hel dag, där förmiddagen användes till en genomgång av forskning relaterad till Pisa-undersökningen tillsammans med den medföljande forskaren. De pratade om vad Pisa-undersökningen är och hur dess resultat kan användas. Mycket fokus var på att medvetandegöra för rektorerna hur viktigt det är att urval och genomförande blir rätt. argumenterade att Pisa-undersökningen i slutändan gagnar rektorerna och deras skolverksamhet eftersom forskning som baseras på korrekta Pisa-resultat bör fånga upp de problem som finns i skolan och därigenom bör kunna leda till lämpliga förbättringsåtgärder. Eftermiddagen ägnades åt mer praktiska detaljer kring arbetet för att göra korrekta exkluderingar och minska bortfall. Därutöver tog de upp vikten av att rektorerna valde ut en lämplig skolsamordnare och det betonades att det bör vara en person som kan entusiasmera och motivera elever och lärare i arbetet samt inge förtroende. Även deltog på dessa träffar. åkte ut på ytterligare en turné för att träffa de utvalda skolsamordnarna. Då hade de inte med någon forskare, men presenterade hur Pisa-undersökningen kan användas inom forskningen. Samtalen om exkluderingar upplevdes som tuffa eftersom det kan vara känsliga frågor att prata om när det gäller elever med olika funktionsnedsättningar. 1063 kap. 4 § lagen (2018:218) med kompletterande bestämmelser till EU:s dataskyddsförordning. 107Intervju med och . 44R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N pratade med skolsamordnarna om vikten av att uppmuntra elever att delta och pratade om olika sätt att motivera dem. Enligt var det en medveten strategi att sälja in Pisa-undersökningen hos rektorerna, för att medvetandegöra ”allvar och mening” i samband med undersökningen. Träffarna ansågs av vara bidragande till att inte bara haft ett högt deltagande utan även att skolor och elever genomfört undersökningen med aningen mer allvar.108 hade som regel att uppföljningstillfällen skulle hållas om fem eller fler elever var borta vid provtillfället, men uppmanade skolorna att ha uppföljningar även när tre eller fler elever varit borta och även överväga det för enstaka elever.109 Eftersom exkluderingarna hade ökat lite bad skolsamordnarna att skicka in elevprotokollen inför huvudstudien , efter att de markerat vilka av eleverna som valts ut att skriva proven som skulle exkluderas av olika skäl. Enligt resulterade det i en hel del telefonsamtal med skolsamordnarna innan listorna skulle skickas in, men inte att de behövde ifrågasätta de exkluderingar som sedan gjordes. Insamlingen av listorna gjorde att de fick en bättre överblick över antalet elever som skolorna tänkte exkludera och att de i förväg hade kunnat upptäcka skolor som eventuellt exkluderade för många elever. 5.4 Skolsamordnarnas tillämpning av kriterierna Den samlade bilden från våra intervjuer med skolsamordnarna är att de upplevt informationsmöten som bra, tydliga och informativa. Trots detta visar intervjuerna att skolsamordnarna uppfattat informationen som gavs på mötet på olika sätt. Ungefär hälften av dem vi intervjuat har uppfattat informationen korrekt, det vill säga i enlighet med kriterier. De skolsamordnare som varit så strikta som reglerna säger att de ska vara verkar inte ha upplevt det som speciellt prövande att exempelvis inkludera elever som trots skolgång i inte kan så bra svenska. Generellt säger de skolsamordnare vi intervjuat att de elever som skrivit proven upplevt det som positivt. Eleverna har varit stolta över att få bidra till något större som kan påverka bilden av svensk skola, och i förlängningen eventuella satsningar på skolan. Vid vissa av våra samtal har vi fått höra om elever med ganska stora särskilda behov, såväl av språkskäl som olika diagnoser, som faktiskt tyckt det varit kul att få vara med. 108Fredriksson, och , under – resultat och trender, 2018, s. 39. 109Mejlkorrespondens med , . R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE En del skolsamordnare har uppfattat att exkluderingarna av eleverna generellt är en bedömningsfråga för skolsamordnaren att göra, eventuellt tillsammans med andra lärare. Bland de skolsamordnare som missförstått kriterierna kring bristande språkkunskap är det två varianter som dominerar: •De som har uppfattat att nyanlända elever kan exkluderas, men refererar till definition av nyanlända för statistiska ändamål, det vill säga elever som varit upp till i . •De som har uppfattat att de själva ska bedöma elevens språkkunskaper oavsett tiden som eleven fått undervisning i svenska och utifrån det avgöra om eleven ska skriva provet. Vad gäller elever som exkluderats på grund av olika funktionsnedsättningar har de skolsamordnare vi pratat med i allmänhet haft svårare att minnas hur de gjort. I ett antal fall har det varit elever som får sin utbildning i men läser enligt grundsärskolans kursplan och därför ska exkluderas enligt . Ofta har en speciallärare eller specialpedagog varit involverad i besluten, men ibland är det skolsamordnaren som själv avgjort vilka som ska delta och inte. På några skolor vars skolsamordnare vi intervjuat har ett stort antal elever med känslomässiga/emotionella funktionsnedsättningar exkluderats. När det gäller elever med dyslexi så har vissa skolsamordnare exkluderat sådana elever medan andra låtit dem vara med i undersökningen. Några skolsamordnare har uppenbart exkluderat elever felaktigt. Till exempel har några skolsamordnare exkluderat hemmasittare och några har exkluderat elever som kan tänkas uppleva det jobbigt att skriva provet. Någon har även exkluderat elever vars vårdnadshavare inte låtit eleven skriva provet trots att dessa elever ska registreras som bortfall. Med något enstaka undantag har de skolsamordnare vi intervjuat bara haft kontakt med under själva träffen när det gällt exkluderingar. Några har haft kontakt med utöver träffen, men då har det oftast handlat om praktiska och tekniska frågor till exempel kopplat till lån av datorer. Vi kan alltså inte uttala oss om de ytterligare stödinsatser som erbjudit vid behov. Några skolsamordnare har vidarebefordrat uppgiften om exkluderingar till lärare och arbetslag och inte själva varit delaktiga i processen. Många skolsamordnare har arrangerat aktiviteter och samlingar på skolorna för att entusiasmera och motivera de utvalda eleverna att skriva provet. Alla har dock inte gjort det och vissa skolor har arrangerat proven på ett sätt som snarare motverkat ett högt deltagande. Till exempel var det en skola, med högt bortfall, som genomförde proven i en annan skollokal än den egna, en lokal som innebar 20 minuters promenad för de utvalda eleverna. De intervjuade skolsamordnarna upplever att vid informationsmötet gick igenom hur de kan entusiasmera eleverna till att skriva proven. Många skolsamordnare poängterar också vikten av 46R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N incitament i form av exempelvis pizza eller fika till de elever som kommer och skriver proven. Endast en av de intervjuade skolsamordnarna har upplevt att det ibland kan vara svårt att veta hur länge eleven gått i svensk skola. Av de skolsamordnare vi frågat är det knappt hälften som upplever att det är ett problem att Pisa-undersökningen genomförs som det är en hel del nationella prov. När det upplevs som ett problem anses det vara en bidragande orsak till hög frånvaro vid proven. Det är ofta mer högpresterande elever som faller bort av den anledningen. Vår sammantagna bedömning efter de intervjuer vi gjort med 32 skolsamordnare är att trots att informationsmötena upplevts som bra, tydliga och informativa så är det uppenbart att reglerna för exkludering av elever har uppfattats på många olika sätt. En rektor uttryckte det väl när hon sa att vid mötet upplevdes det som tydligt och enkelt, men när de satt med listorna uppstod ändå massa frågor och tolkningssvårigheter. I vissa fall har uppenbart felaktiga beslut tagits, till exempel när skolsamordnare exkluderat elever för att de ändå aldrig skulle närvara vid proven. Eller när de utgått från fyraårsgränsen för nyanlända. är det mer tveksamma fall, till exempel när det gäller de elever som exkluderats för att skolsamordnare ansett att eleven inte kan sitta still så länge eller inte kan koncentrera sig den tid som behövs. Eftersom vi inte intervjuat samtliga skolsamordnare gör vi dock inga anspråk på att ha en komplett bild av hur alla skolsamordnare uppfattat informationen de fått från . Om gjort som diskuterades i konversationen med kontraktorn i samband med förstudien, det vill säga infört ett maximalt tak för antal exkluderade elever per skola, hade kanske de höga siffrorna kunnat undvikas. Vi vet inte varför denna idé inte förverkligades. Det är också svårt att förstå varför , på basis av exkluderingarna i förstudien, antog att det skulle bli lika höga exkluderingar 2018. Den stora gruppen nyanlända kom i slutet på 2015 och har antalet nyanlända sjunkit stadigt. Vi ser två huvudsakliga skillnader i arbetet med genomförandet mellan och som vi tror är av betydelse. För det första arbetade aktivt med rektorerna oavsett om de hade rollen som skolsamordnare eller inte, för att betona vikten av att det blev rätt med urvalet och att deltagandet blev så högt som möjligt. De betonade hur viktigt det var att rätt person valdes till skolsamordnare. Även om informationen som givits av både och Mittuniversitet utgått från samma manualer bedömer vi det särskilt främjande för genomförandet att aktivt arbeta med samtliga rektorer för att de ska förstå vikten av att få elever att delta i undersökningen. R I K S R E V I S I O N E N PISA-UNDERSÖKNINGEN 2018 – ARBETET MED ATT SÄKERSTÄLLA ETT TILLFÖRLITLIGT ELEVDELTAGANDE är att betonade valet av skolsamordnare mer än . tydliggjorde vikten av att välja en person med sådana egenskaper som behövs för att uppnå ett högt deltagande. För det andra krävde i samband med huvudstudien i Pisa-undersökningen 2015 in elevprotokollen innan proven skrevs.