prop · H603110 · 2019-04-11 00:00:00 — meddelade också att man arbetade för att ta fram nya hanteringsföreskrifter där dessa förtydliganden skulle ingå. Anledningen som angavs var att rekommendationer och förtydliganden i hanteringsinstruktionerna inte är bindande, vilket föreskrifter är.49 Av intervjuer framgår att ville förtydliga instruktionerna i väntan på att revideringarna i föreskrifterna kunde genomföras.50 gick de nya föreskrifterna ut på remiss, men innehöll då endast förslag om att fick föreskriva tidpunkt för provgenomförande.51 Föreskrifterna innehöll inga av de övriga tre skärpningar som tidigare kommunicerat och fört in i hanteringsinstruktionen. Det finns ingen dokumentation där det framgår varför vissa av de rekommenderade förändringarna och förtydligandena inte genomfördes. I intervjusvar och skriftliga svar som mottagit beskrivs det som att det internt gjordes en prioritering av åtgärder. valde att fokusera på att de skärpta skrivningarna i hanteringsinstruktionerna skulle få skolenheterna att se över sina egna rutiner i hanteringen av proven.52 En tidigare enhetschef på enheten för nationella prov beskriver att väntade med att föreskriva om ytterligare delar för att myndigheten internt inte hade fastslagit hur långt staten bör gå i sin styrning av skolornas organisation genom att föreskriva deras arbete. Den interna diskussionen på om hur långt det var lämpligt att reglera skolornas hantering och genomförande av proven fanns även vid införandet av föreskrifterna 2013 och i samband med revideringen 2015.53 fortsatte enheten som ansvarar för nationella prov att diskutera otillåten spridning och möjliga åtgärder. Man diskuterade till exempel att ta fram en film om hantering av proven eller att sluta återanvända provuppgifter. För varje åtgärd listades för- och nackdelar, däribland förväntade kostnadsökningar eller kostnadsminskningar. Särskilt resonerade enheten kring förslag om en ny provmodell för vuxenutbildningen, där man såg stora risker för spridning.54 49Skolverket, e-post till rektorer , Årsredovisning 2017 och Vi stramar upp reglerna för hur nationella prov ska hanteras. 50Intervju med , , och . 51Skolverket, Konsekvensutredning avseende förslag till ändring i föreskrifter om hantering och genomförande av nationella prov (SKOLFS 2013:19). Själva tidpunkten regleras i andra beslutade föreskrifter om nationella prov. 52E-post från , . 53Intervju med , . 54Se exempelvis , protokoll provgruppsmöte, och , protokoll enhetsmöte, och samt , Provgruppens förslag till handling angående otillåten publicering och Förslag på åtgärder för att hindra att proven sprids på otillbörligt vis. R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Risken för spridning framgick i den övergripande riskhanteringsprocessen men analyserades inte systematiskt Risken för otillåten spridning av nationella prov kom upp i övergripande riskanalys våren 2017.55 Risken var inte värderad utifrån sannolikhet att den inträffar och konsekvens, det vill säga skadan ifall otillåten spridning sker. I riskanalyser och verksamhetsuppföljningen angavs att risken för otillåten spridning skulle åtgärdas, men det angavs inte vilka åtgärderna var eller när de skulle genomföras.56 Någon systematisk riskanalys av den identifierade risken för otillåten spridning gjordes heller inte . Risken för otillåten spridning var inget undantag för hur risker hanterades på . Både av dokumentation och intervjuer framgår att den interna styrningen och kontrollen avseende den generella riskhanteringen hade brister , vilket årliga revision avrapporterade till Skolverket.57 Bristerna bestod bland annat i att riskvärderingar inte gjordes enligt en enhetlig mall, att åtgärder inte hade angetts och att effekter av genomförda åtgärder sällan framgick. påbörjade ett arbete för att utveckla processen för intern styrning och kontroll utifrån identifierade brister.58 3.6År 2018 – otillåten spridning ökar ytterligare och riskarbetet systematiseras ökade den otillåtna spridningen av nationella prov ytterligare, och bedömde därför att de rekommendationer och förtydliganden som utfärdades inte var tillräckliga. I kapitel 4 beskrivs hur rutiner vid spridning utvecklades . Även samverkan med Skolinspektionen utökades, vilket beskrivs i kapitel 6. I övrigt beskrivs arbete nedan. Otillåten spridning blev hela myndighetens angelägenhet Efter att flera nationella prov hade spridits i stor omfattning beslutades att stab skulle leda ett riskanalysarbete om otillåten spridning av nationella prov och framåt. Riskanalysen bestod främst av interna workshoppar och en enkät till rektorer med frågor om risker för otillåten 55Skolverket, Verksamhetsuppföljning Tertial 1 och 2 (läroplaner). 56Skolverket, Riskhantering Tertial 1 2017, Verksamhetsuppföljning Tertial 1 och 2 (läroplaner), Sammanställning av risker planering 2017 och Uppföljning av risker 2017. 57Avrapportering från årlig revision till gjordes och . , Bedömning av interna styrning och kontroll i årsredovisningen . Intervju med , . 58Skolverket, Verksamhetsuppföljning Tertial 2 och 3 . R I K S R E V I S I O N E N O T I L L Å T E N S P R I D N I N G A V N A T I O N E L L A P R O V spridning och möjliga åtgärder. I riskanalysen deltog medarbetare från flera avdelningar och enheter på med olika kompetens och kunskap om nationella prov, juridik, kommunikation, it, informationssäkerhet, ekonomi och analysarbete. I riskanalysen identifierades risker och möjliga åtgärder i hela provprocessen, från konstruktionen till genomförandet av proven på skolan.59 Identifierade risker, planerade åtgärder, ansvar och tidsangivelser dokumenterades i en övergripande mall. Staben har därefter följt upp arbetet och vid behov justerat risker och åtgärder. Av intervjuer där arbetet har berörts, framgår att det gemensamma riskarbetet har varit uppskattat. De intervjuade uppfattar att risken för otillåten spridning nu är angelägenhet, snarare än bara en enskild enhets ansvar. Medarbetare och chefen för enheten för nationella prov beskriver också att arbetet har bidragit till att ta fram åtgärder utifrån identifierade risker på ett tydligare sätt.60 Flera externa kontakter har tagits av som har granskats 2018. Samtal om hantering och genomförande av nationella prov har förts med Skolinspektionen, Specialpedagogiska skolmyndigheten, , och provkonstruktörerna.61 har även tagit kontakt med Universitets- och högskolerådet om hur de hanterar genomförandet av högskoleprovet.62 Utvecklat övergripande arbete med riskhantering har utvecklat sitt generella arbete med riskhantering och tydligare kopplat arbetet till verksamhetsplanering och uppföljning, vilket framgår av interna vägledningar och anvisningar. Förändringarna har bland annat inneburit att riskanalysen alltid ska utgå från en uppföljning av tidigare riskåtgärder. Arbetet med att identifiera och följa upp risker ska också göras kontinuerligt varje tertial, istället för att som tidigare främst koncentreras . Det har också tydliggjorts hur värderingen av riskerna ska göras. Otillåten spridning av nationella prov var den enskilt största risken för myndigheten, enligt egen riskanalys.63 Uppföljningen av arbetet har också utvecklats. Alla risker ska ha dokumenterade riskåtgärder om de inte 59Skolverket, SWOT-analys av åtgärden ”Flera provversioner” och Riskanalyslista nationella prov. Intervju med , . 60Intervju med , , (två intervjuer), och . 61Skolverket, Konsekvensutredning avseende förslag till ändring i föreskrifter om hantering och genomförande av nationella prov (SKOLFS 2013:19). Intervju med , . 62E-post från , . 63Skolverket, Uppföljning av risker och riskåtgärder 2018 – Tertial 1 2018. Sannolikhet ges värde 0 till 4 (4 = risken har inträffat/ inträffar högst sannolikt). Konsekvens ges värde 0 till 4 (4 = allvarliga konsekvenser för myndighetens förmåga att utföra sitt uppdrag). Värdena för sannolikhet och konsekvens multipliceras och kan rangordnas i olika riskkategorier. Risk för otillåten spridning är 16. R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N accepteras – exempelvis anges tydligare vilka åtgärder som görs avseende otillåten spridning av nationella prov.64 Av intervjuer med chefer och medarbetare framkommer att den utvecklade processen för intern styrning och kontroll är uppskattad. Den uppfattas som mer systematisk och som ett stöd i arbetet med riskhantering på avdelningarna. Arbetssättet genererar enligt intervjupersonerna ett bättre underlag för att kunna jämföra och prioritera mellan risker på myndigheten.65 3.7 /2019 – ytterligare åtgärder Utifrån den genomförda riskanalysen har beslutat om flera åtgärder för /2019. Exempelvis bestämdes att bedömningsanvisningar återigen ska skickas efter genomfört prov i årskurs 9 i och i gymnasieskolan. Provmaterial ska också skickas till skolorna närmare inpå provdatumet för att minska förvaringstiden på skolan.66 har dessutom fört samtal med Postnord om avtalstypen leverans utan kvittens (). är ett avtal som vissa skolor och huvudmän har med Postnord och som innebär att paket får lämnas på en plats, även om ingen mottagare finns där för att kvittera ut paketet. Det utgör en risk för spridning som vill eliminera. Ytterligare en åtgärd som har utretts är en unik märkning av provmaterial i syfte att kunna spåra vilket prov som har spridits. har beställt en förstudie om möjliga tekniker för unik provmärkning och beräknad kostnad.67 Vissa åtgärder har även rört processteg som finns innan provmaterialet anländer till skolorna. ska exempelvis inom sitt informationssäkerhetsarbete granska lärosätenas behörigheter för inloggningar till system med provmaterial. Tryckeriet har även ombetts inkomma med en beskrivning av säkerhetsläget. har också arbetat med ytterligare förtydliganden och rekommendationer i hanteringsinstruktionerna inför /2019.68 Ytterligare revideringar av hanteringsföreskrifterna Under slutet av påbörjades arbetet med att ta fram ytterligare förslag på revideringar i hanteringsföreskrifterna. Förslaget gick ut på remiss och föreslås börja gälla . En stor del av arbetet med 64Skolverket, Beslut om vägledning för arbete med intern styrning och kontroll och Anvisning för riskhantering vid tertialerna. Intervju med , . 65Intervju med , , och . , Verksamhetsuppföljning T1. 66Skolverket, protokoll provgruppsmöte, . 67Intervju med , . 68Skolverket, Nationella prov. R I K S R E V I S I O N E N O T I L L Å T E N S P R I D N I N G A V N A T I O N E L L A P R O V förslaget till nya föreskrifter gjordes för granskning, och förslaget presenteras därför översiktligt. En av de större föreslagna förändringarna i föreskriften provens förslutning, med vissa undantag när det gäller anpassningar av provgenomförandet, får öppnas tidigast på provdagen eller för föreskriven provperiod.69 kunde man på skolan bryta provens förslutning dagen före provdagen för att organisera materialet, kopiera upp prov och genomföra anpassningar.70 har sett att spridning främst sker dygnet före provgenomförandet och har velat minska den risken.71 I övrigt innebär förslaget vissa förtydliganden, bland annat om förvaring, mottagande av leveranser av prov och överföring till digitalt format. Förslagen har utarbetats med utgångspunkt i den genomförda riskanalysen. föreskrifter ska enligt myndigheten ha ett målgruppsperspektiv, vilket innebär att de ska vara begripliga, användbara och aktuella.72 Föreskrifter ska också kommuniceras. innehåll återges exempelvis i hanteringsinstruktionen, i lärarinformationen och på webben. Flera av de intervjuade på beskriver att inte får föreskriva sådant som innebär en kostnad för skolorna, exempelvis att proven ska förvaras i en viss typ av kassaskåp. har skriftligen svarat att en myndighet ska inhämta regeringens medgivande, innan den beslutar om föreskrifter som vid tillämpningen kan få sådana effekter på kostnader för staten, kommuner eller landsting som inte är oväsentliga.73 Olika syn på hanteringsföreskrifterna föreskrifter får en avgörande betydelse vid Skolinspektionens tillsyn och kvalitetsgranskning av hantering och genomförande av nationella prov. Ett utbyte av erfarenheter mellan myndigheterna kan därför bidra till en ändamålsenlig utformning av föreskrifterna. Skolinspektionen framförde i sitt remissvar angående föreskriftsändringen om provtidpunkt att ”ytterligare reglering genom föreskrifter, utöver 69Rektorn kan dock besluta att provet får öppnas tidigast dagen före föreskrivet provdatum eller föreskriven provperiod i syfte att anpassa provets genomförande för elever med funktionsnedsättning. Provet får enligt förslaget inte öppnas för anpassningar som förlängd provtid och extra pauser. , Föreskrifter om ändring i föreskrifter (SKOLFS 2013:19) om hantering och genomförande av nationella prov. 70Skolverkets föreskrifter om hantering och genomförande av nationella prov (SKOLFS 2013:19). 71Skolverket, Konsekvensutredning avseende förslag till ändring i föreskrifter om hantering och genomförande av nationella prov (SKOLFS 2013:19). Intervju med , . 72Skolverket, Processbeskrivning: Utarbeta övriga föreskrifter. 73Förordningen (2014:570) om regeringens medgivande till beslut om vissa föreskrifter. R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N tidpunkt, bör övervägas för att stävja spridning av nationella proven”.74 Skolinspektionen informerade vid ett samverkansmöte om att det enligt Skolinspektionen finns begränsade möjligheter att utöva tillsyn utifrån gällande föreskrifter. Information om hantering, exempelvis i lärarinformationen som medföljer nationella prov, har enligt Skolinspektionen inte sådan juridisk status att den är möjlig att utöva tillsyn utifrån. Skolinspektionen menade därför att de delar av hanteringen eller genomförandet av proven som vill ska vara föremål för tillsyn bör regleras direkt i föreskriften och inte i lärarinformationen. Som exempel har förbud mot mobiltelefoner diskuterats. Skolinspektionens syn på svårigheterna att utöva tillsyn utifrån lärarinformationen var ny för flera av de intervjuade på i maj 2018.76 En tidigare enhetschef för enheten för nationella prov beskriver även att beslutet om att hänvisa till lärarinformationen i föreskrifterna fattades för att lärarinformationen skulle gälla som reglering för skolorna. har det därmed framkommit att myndigheterna inte gjort samma bedömning av lärarinformationens juridiska status, det vill säga vad som är bindande regler för skolorna att följa gällande proven. I sitt yttrande över förslag till nya hanteringsföreskrifter som remitterades framförde Skolinspektionen att det är positivt att det vidtas fler regleringsåtgärder för att öka säkerheten kring hanteringen av nationella prov, men att Skolinspektionen fortfarande anser att ytterligare regleringsåtgärder bör vidtas för att föreskrifterna ska bli tydligare. har inte granskat hantering av inkomna remissvar och slutliga handläggning av ärendet.77 3.8 Stor risk för spridning i vuxenutbildning Både i gymnasial komvux och i sfi genomförs nationella prov kontinuerligt, vilket ökar risken för otillåten spridning.78 Inom sfi har nationella prov återkommande spridits i Facebookgrupper. har 2017 och 2018 polisanmält spridningen och även skickat brev till Facebookkoncernen med en förfrågan om att diskutera 74Skolinspektionen, Yttrande över förslag till ändring i föreskrifter för hantering och genomförande av nationella prov (SKOLFS 2013:19). 75Skolverket, Möte mellan Skolinspektionen och angående nationella prov och samarbete. Intervju med , och . Intervju med Skolinspektionen, och . 76Intervju med , , och . 77Skolinspektionen, Yttrande över förslag till ändring i föreskrifter för hantering och genomförande av nationella prov (SKOLFS 2013:19). 78Skolverket, Årsredovisning 2016, s. 38. Intervju med , . R I K S R E V I S I O N E N O T I L L Å T E N S P R I D N I N G A V N A T I O N E L L A P R O V problematiken med att provuppgifter sprids på företagets plattformar.79 lyfte till att även nationella prov för sfi bör digitaliseras, bland annat för att minska risken för otillåten spridning.80 har internt diskuterat möjliga lösningar återkommande.81 har arbetat med att se över provformerna i vuxenutbildning i samarbete med en forskare från . Huvudsyftet är att hitta en modell för nationella prov som bättre passar vuxenutbildningens flexibla form. Arbetet är egeninitierat och har målsättningen att utgöra underlag för en skrivelse till regeringen med eventuella förslag på förändringar i det nationella provsystemet i vuxenutbildning.82 3.9 slutsatser och bedömning Efter den kronologiska beskrivningen av arbete görs här bedömningar av arbetsprocessen. Bedömningarna görs utifrån granskningens bedömningsgrunder där kraven i förordningen om intern styrning och kontroll är centrala. Systematiska riskanalyser av otillåten spridning gjordes först sammantagna bedömning utifrån all genomgången dokumentation för granskningsperioden och genomförda intervjuer är att medarbetare och chefer som arbetar direkt med de nationella proven har haft en förståelse för behoven av säker informationshantering av proven. De har på olika sätt beaktat spridningsrisker i det kontinuerliga arbetet. I övrigt har inte granskat säkerhetskulturen närmare på . Först när den faktiska spridningen blev alltmer omfattande 2017 redovisades risken för otillåten spridning inom övergripande process för intern styrning och kontroll. menar att kraven ökade på att mer systematiskt analysera riskerna för otillåten spridning. Ingen sådan systematisk riskanalys gjordes . gjorde inga riskvärderingar av myndighetens risker utifrån sannolikhet och konsekvens. bedömer att det utgjorde en brist därför att det inte gick att bedöma hur stor risken för otillåten spridning var, jämfört med andra risker. Det kan ha försvårat för myndighetsledningen att utläsa vilka som var myndighetens väsentliga risker och att prioritera mellan dessa risker. 79Brev från till Facebook, . , Förteckning över anmälda incidenter rörande nationella prov och 2018. 80Skolverket, Redovisning av uppdrag om plan för utvecklingsarbetet med att digitalisera de nationella proven m.m. 81Se exempelvis , Provgruppens förslag till handling angående otillåten publicering. 82Intervju med , och . R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N finns exempel på att har analyserat risker för spridning, både vid interna möten och i pm om åtgärder. Analysen gjordes dock inte på samma systematiska sätt som . Riskanalysen omfattade hela hanteringen av nationella prov. Kompetens från hela myndigheten deltog, och erfarenheter från rektorer togs tillvara genom en enkät. Riskerna värderades utifrån sannolikhet och konsekvens, vilket kontinuerligt har följts upp och justerats. ser därför sammantaget att numera har de verktyg som behövs för att fortsatt systematiskt analysera risker för otillåten spridning av nationella prov. Åtgärder har genomförts men borde ha utretts mer ingående har genomfört en rad åtgärder för att minska risken för otillåten spridning av nationella prov. prov har kontinuerligt diskuterat och dokumenterat förslag på åtgärder, särskilt då spridning har uppdagats. noterar att har kommunicerat om åtgärder innan kostnaderna och nyttan av åtgärderna verkar ha utretts. Det gäller exempelvis 2015 när generaldirektören beslutade om att skicka bedömningsanvisningar till proven i efterhand, ett beslut som drogs tillbaka 2016.83 Även 2017 kommunicerade att förtydliganden och rekommendationer i hanteringsinstruktionerna skulle införlivas i föreskrifter. Föreskriftsarbetet smalnades därefter av till att enbart röra förslag om tidpunkt för proven. Inte heller då framgick att åtgärderna byggde på en systematisk analys av riskerna. Detta är exempel på att det under mitten av granskningsperioden, då spridningen ökade, gjordes åtgärder som inte på ett tydligt sätt var kopplade till en systematisk analys av identifierade risker i provprocessen. Vidare är det enligt en brist att 2017 inte utredde om samtliga av de förtydliganden och rekommendationer som man hade infört i hanteringsinstruktionen skulle införlivas i hanteringsföreskrifterna för de nationella proven. hanteringsföreskrifter bedömer som ett av de mest kraftfulla verktygen för att hantera risker för spridning på skolor. borde därför mer ingående ha utrett hur detaljerade föreskrifter det var lämpligt att besluta om. har i många fall vägt nyttan av en åtgärd mot kostnaden, men sällan utifrån faktiska beräkningar.84 Vissa åtgärder, som unik märkning av prov, har utretts mer ingående från kostnadssynpunkt. Vid införandet och revideringar av föreskrifter så har eventuella kostnadsmässiga konsekvenser också redovisats. I intervjuer med tjänstemän på 83Skolverket, Konsekvensbeskrivning av separata utskick av Bedömningsanvisningar i nationella prov /2016. 84Avvägningarna handlar inte alltid om monetära kostnader. beskriver också att lärares arbetssituation vid betygssättning kan bli pressad när bedömningsanvisningarna skickas i efterhand. R I K S R E V I S I O N E N O T I L L Å T E N S P R I D N I N G A V N A T I O N E L L A P R O V har det förekommit resonemang om att myndigheten inte får föreskriva om sådant som innebär en kostnad för skolorna. Enligt förordningen (2014:570) om regeringens medgivande till beslut om vissa föreskrifter kan en myndighet besluta om föreskrifter som inte innebär väsentliga kostnader för staten, kommuner eller landsting, utan regeringens medgivande.85 Väsentliga kostnader kan beskrivas som kostnader som kan leda till mer omfattande ekonomiska konsekvenser för staten, kommuner eller landsting. I praktiken handlar det om situationer av undantagskaraktär.86 anser därför att inte bör utesluta vissa typer av åtgärder på förhand, med argumentet att de skulle innebära en kostnadsökning för skolorna. Kostnaderna för en åtgärd skulle nämligen kunna bedömas som oväsentliga. bedömer att har tagit fram åtgärder utifrån identifierade risker och i högre grad utrett olika möjliga åtgärder. har också sökt samarbete och information hos både myndigheter och intresseorganisationer, för att öka kunskapen om risker och möjliga åtgärder. har särskilt samverkat med Skolinspektionen, vilket redovisas närmare i kapitel 6. har, när det gäller sfi, lyft problematiken med otillåten spridning till regeringen och efterfrågat att också nationella prov för sfi bör ingå i digitaliseringsuppdrag. På så sätt bedömer att tagit ansvar för att redovisa risker till regeringen som inte kan accepteras. Delvis bristande uppföljning av genomförda åtgärder fanns det brister i övergripande uppföljning och dokumentation av myndighetens riskhantering, vilket årliga revision avrapporterade till . Granskningen visar att generella utvecklingsarbete har lett till att bristerna i uppföljning, bedömning och dokumentation av myndighetens riskhantering i många delar har åtgärdats avseende risken för otillåten spridning av nationella prov. bedömer att delvis har brustit i uppföljningen och bedömningen av sina hanteringsföreskrifter. Föreskrifterna utgör ramverket för hur nationella prov ska hanteras och genomföras på skolorna och är därmed mest ingripande åtgärd för en god provhantering. Föreskrifterna är också centrala för Skolinspektionens möjligheter att utöva tillsyn över skolors provhantering. är medveten om att delar av föreskrifterna har reviderats . Men för att uppnå interna krav, som bedömer är relevanta, och som innebär att föreskrifter ska vara begripliga, användbara och aktuella, bör de utvärderas tillsammans med 85Förordningen (2014:570) om regeringens medgivande till beslut om vissa föreskrifter. 86Ds 2014:10, s. 26. 30 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N målgruppen, enligt , exempelvis genom referensgrupper eller skolbesök.