sou · H4B325 · 2016-10-18 00:00:00 — Även om digitaliseringen kan medföra förenklingar för skolorna, t.ex. när det gäller distributionen av proven, innebär den också ökade utmaningar och oro bland de skolor som deltar i . Arbetet med de digitala proven fungerade dock bättre i skolorna om it- ansvarig personal deltog i det. Inför 2015 genomfördes en förstudie. Den fungerade väl i och datorkapaciteten blir bättre och bättre ute på skolorna. Några av skolorna i förstudien hade Macdatorer, vilket proven inte stödde, och några hade alltför gammal utrustning trots att proven ställer ganska låga tekniska krav. Dessutom är allt fler skolor ut- rustade med surfplattor i stället för datorer och proven kunde inte genomföras på dessa. Totalt sett har dock proven i förstudien fungerat mycket väl och det var få tekniska missöden. Detsamma gällde när PISA-proven genomfördes i skarpt läge. Få skolor hade tekniska problem. Ett antal skolor saknade dock tekniska förutsättningar för att genomföra PISA-proven digitalt. Till 15 av 202 skolor fick , som genomför på uppdrag, leverera datorer med kurir för att proven skulle kunna genomföras. 4.6.4Digitala prov i andra internationella studier Utöver de digitala proven i finns det andra internationella studier som genomförs digitalt. Den internationella studien (Progress in International Reading Literacy Study), som under- söker läsförmågan hos elever i årskurs 4, är delvis datorbaserad 2016. Eleverna gör då ett läsprov på papper och ett på dator. Inför PIRLS 2016 har utvalda skolor tillfrågats om sin beredskap att delta i ett digitalt genomförande av proven. Det digitala genomförandet sker med hjälp av usb och kräver pc, vilket medför att skolor som använder läsplattor eller andra lösningar än pc har svårare att delta. Cirka 30 av de 150 tillfrågade skolorna kan inte genomföra provet på pc. Eftersom PIRLS genomförs i årskurs 4 är tillgången till pc- Förutsättningar för digitalisering av nationella prov datorer sannolikt lägre än för de elever som genomför , dvs. 4.7Svenska försök med datorbaserade nationella prov 4.7.1Kommunal vuxenutbildning i svenska för invandrare Digitaliserade nationella prov har i skarpt läge endast genomförts i när det gäller utbildning inom vuxenutbildning i svenska för invandrare (sfi). fick 2008 i uppdrag av regeringen att utveckla nya nationella slutprov för sfi.109 De nya proven skulle baseras på it- lösningar. Uppdraget justerades därefter i regleringsbreven , 2010 och 2011, bl.a. genom att möjligheten att använda pappers- baserade prov förlängdes. I regleringsbrevet för 2012110 ändrades uppdraget på så sätt att it-baserade slutprov för sfi inte skulle utvecklas framöver. har redovisat uppdraget i olika rapporter.111 Enligt rapporterna är det en stor omställning att gå från pappersbaserade till it-baserade prov. De it-baserade proven ska vara säkra så att innehåll inte sprids och de ska kunna genomföras hos olika anordnare med olika tekniska förutsättningar. En annan aspekt som enligt behöver utredas är den juridiska. 109Utbildningsdepartementet (2008). Uppdrag om mål och prov på varje studieväg i svensk- undervisning för invandrare (sfi). U2008/1045/SV. 110Utbildningsdepartementet (2013). Regleringsbrev för avseende . U2013/532/S. 111Skolverket (2010). Redovisning av uppdrag om mål och prov på varje studieväg i svensk- undervisning för invandrare (sfi). Dnr 2010:125; (2011). Delredovisning av upp- drag om mål och prov på varje studieväg i svenskundervisning för invandrare (sfi). Dnr 2010:381; (2012). Slutredovisning av uppdrag om mål och prov på varje studieväg i svenskundervisning för invandrare (sfi). Förutsättningar för digitalisering av nationella prov vara problematiskt att lagra och arkivera digitalt elevmaterial med tanke på personuppgiftslagen. har de it-baserade proven en stor potential. En av fördelarna med it-baserade prov är minskad tidsåtgång för bedömning av delprov med automatisk rättning. Förutsättningarna som gavs vid sfi-provens införande har, enligt , visat sig mindre lyckade för mottagandet av proven i skolorna eftersom flera tekniska lösningar inte var fullt ut ut- prövade. Beredskapen för it-baserade prov var god på många skolor men på en del skolor saknades både kompetens och utrustning. anger i rapporterna att pappersbaserade prov kommer att behövas framöver. En fortsatt utveckling bör dock ske inom ramen för en försöksverksamhet för att i förlängningen kunna tillhandahålla en användarvänlig och funktionell it-lösning för de it-baserade sfi-proven. Samtal med provkonstruktörerna vid I utredningens samtal med den grupp som utvecklade de digitala sfi-proven vid framkommer ytterligare för- och nackdelar med proven. En fördel med datorbaserade prov är att eleverna kan skärma av sig och sitta med egna hörlurar. Upplevelsen är att provtagaren kan styra provet mer själv. En annan fördel är att eleverna slipper skriva texter för hand, vilket underlättar både för provtagaren och för lärarna som inte behöver tolka olika handstilar. Dessutom nämner gruppen att bedömningen underlättas om många uppgifter kan automaträttas. De program som används för digitala prov kan också automat- generera resultat, statistik och sammanställningar. I arbetet med de digitala sfi-proven fanns det dock vissa problem med hur resultaten på uppgifterna fördes in i de automatgenererade sammanställ- ningarna. Förutsättningar för digitalisering av nationella prov När det gäller nackdelar med datorbaserade prov anger gruppen bl.a. tekniska problem, att det är kostsamt och tidskrävande att utveckla digitala prov samt att provformat och uppgiftstyper kan begränsas av det program som används112. De digitala sfi-proven låg på en server hos och skolorna skulle vid provtillfället koppla upp sig mot den. Det skapade problem eftersom det i vissa sammanhang fanns för lite utrymme på servern. Dessutom var uppkopplingsmöjligheten och uppkopplingshastigheten till och från skolorna bristfällig vilket orsakade en försämrad bild- och ljudkvalitet i proven. Därmed upplevdes bilderna och ljudet som sämre i de datorbaserade sfi- proven än i de pappersbaserade. Andra tekniska problem var att de lärare som genomförde proven inte hade tillgång till tekniskt stöd och att inloggningarna inte fungerade fullt ut. Tillgången till datorer var ofta bristfällig och skolorna hade olika förutsättningar när det gällde exempelvis skärm- storlekar, fungerande datorsalar och annan utrustning, t.ex. hörlurar. Dessutom hade målgruppen i sig, elever i sfi, relativt liten dator- vana och låg utbildningsbakgrund, vilket ibland försvårade genom- förandet. Trots att de flesta användarna av de digitala sfi-proven var miss- nöjda blev många lärare och rektorer besvikna när proven togs bort. På skolorna tyckte man att man hade kommit igång och att proven drev fram en utveckling av verksamheten. Proven drev också fram en bättre datortillgång inom sfi. Den grupp som utvecklade de digitala sfi-proven har vunnit ett antal lärdomar av arbetet. En lärdom är att det bör finnas med en tekniskt kunnig person i provutvecklingen, i stället för att varje provkonstruktör ska lära sig det program som används för att ta fram de digitala provuppgifterna. 112 I arbetet med de digitala sfi-proven användes Questionmark. Förutsättningar för digitalisering av nationella prov En annan lärdom är att det tar tid att få digitala prov att fungera bra. Det är, enligt gruppen, viktigt att börja i liten skala och att ge tid för uppföljning och utvärdering. Kostnaderna för provutvecklingen beror i hög grad på de förut- sättningar som ges inledningsvis. Om villkoren är tydligt satta går det lättare att påbörja arbetet, det blir billigare och man kan spara tid. Villkoren bör i så stor utsträckning som möjligt fastställas centralt innan respektive universitet eller högskola som utvecklar nationella prov får sitt uppdrag. Det bör finnas gemensamma rikt- linjer för digitala prov som bl.a. behandlar frågor om format, layout, bild, text och uppgiftstyper. Under hela processen behövs, enligt gruppen, tydliga krav- specifikationer gentemot skolorna så att de vet vad som kommer att krävas av dem för att kunna genomföra de digitala proven. Skolorna behöver också tillgång till övningsprov som ser ut på samma sätt som de skarpa proven kommer att göra, så att eleverna får en chans att förbereda sig. 4.7.2Pilotstudier i engelska och matematik Utöver genomförandet av digitala nationella prov i sfi har två pilotstudier gjorts, en i engelska och en i matematik. Pilotstudien i engelska genomfördes av och beskrivs dels i en egen rapport113, dels i kunskapsöversikt om adaptiva och andra datorbaserade prov114. Piloststudien i matematik gjordes av och beskrivs i kunskapsöversikt. I de båda pilotstudierna användes datorbaserade prov från det norska nationella provsystemet. Proven var datorbaserade men inte adaptiva. De genomfördes i ett antal klasser och under- söktes attityder, uppfattningar och reaktioner hos elever, lärare och rektorer. Pilotstudierna hade även fokus på beredskapen för använd- ning av datormediet som sådant i relation till prov och bedömning. 113Lindqvist, A-K. (2009). Datorbaserade prov i engelska – en pilotstudie . 114Skolverket (2010). Adaptiva och andra datorbaserade prov. Förutsättningar för digitalisering av nationella prov Pilotstudien i engelska genomfördes på sex skolor i ett län. Cirka 250 elever i årskurserna 5, 6 och 8 deltog. Provuppgifterna fokuserade på läsning och provtypen var olika former av flervals- uppgifter som automaträttades. Vid genomförandet använde eleverna stationära datorer i datorsalar eller kombinerade studie- och datorsalar. Generellt föreföll den tekniska standarden i pilotskolorna vara relativt låg och vid varje skola var någon dator ur funktion. Vissa datorer var också mycket långsamma vilket försvårade genom- förandet. Dessutom förekom visst krångel med inloggningar och internettillgång. Vad tyckte eleverna? Eleverna som genomförde provet tyckte generellt att det fungerade bra. De menade att det var roligt att göra provet digitalt, att provet var ungdomsanpassat, att ett datorbaserat prov är motivations- höjande och att det är lättare när man inte måste skriva för hand. Flera elever reflekterade dock över försvårande omständigheter med digitala prov, t.ex. tekniska förutsättningar på skolorna. Elevernas synpunkter på provet som sådant handlade ofta om svårighetsgrad och textmängd. Många elever tyckte att provet var lätt, men flera menade också att det var mycket text och att det kan vara jobbigt att läsa på skärmen. Vad tyckte lärarna och rektorerna? Lärarna som deltog i pilotstudien ansåg att det datorbaserade provet var lätt att förstå sig på och använda. Drygt hälften av lärarna tyckte inte att deras skola hade tillräcklig beredskap för att genomföra datorbaserade prov. Efter studien var de flesta lärarna positiva till, och såg peda- gogiska fördelar med, datorbaserade prov i engelska. Förutsättningar för digitalisering av nationella prov lärarna menade också att de skulle börja använda datorer i sin engelskundervisning oftare efter pilotstudien. Ett antal för- och nackdelar lyftes fram av lärare och rektorer vid deltagande skolor. Fördelarna handlade bl.a. om att eleverna är positiva till datorbaserade prov, att digitala prov är arbets- och tids- besparande för lärare, att datorisering av prov erbjuder goda möjlig- heter till snabb återkoppling till eleverna och en ”objektiv bedöm- ning” samt att digitaliseringen underlättar statistiska sammanställ- ningar av resultat. Några nackdelar som togs upp var datortekniska problem på skolan, att eleverna har svårt att läsa text på skärm och att dator- baserade prov kan begränsa både vilka färdigheter som prövas och provformaten. Sammanfattningsvis konstaterade att elever, lärare och rektorer vid skolorna i pilotstudien generellt var mycket positiva till den datorbaserade formen av prövning. Pilotstudien i matematik genomfördes på fem skolor i en kommun med fyra klasser i årskurs 3 (88 elever) och fyra klasser i årskurs 6 (102 elever). Provet bestod till av flervalsuppgifter och resterande uppgifter var av kortsvarstyp. Vid genomförandet använde eleverna bärbara datorer. Eleverna loggade in på en särskild webbsida med ett användarnamn och lösenord. Dessutom skulle eleverna som en säkerhetsåtgärd ange ytterligare ett lösenord som var gemensamt för hela klassen. På det stora hela fungerade tekniken bra. Elevernas uppkoppling fungerade överlag mycket bra och inloggningen till det webbase- rade norska systemet fungerade prickfritt. Studien visade dock att inloggningsprocessen var längre för elever i årskurs 3 än i årskurs 6 och att de äldre eleverna, inte oväntat, var mer datorvana. De tekniska problem som uppstod handlade bl.a. om att kontakten med servern bröts vid några få tillfällen för någon elev och att vissa elever ibland inte kunde komma in på internet. Förutsättningar för digitalisering av nationella prov Gränssnittet skapade vissa problem eftersom eleverna gjorde provet på bärbara datorer med liten skärm. Längst ner på sidan visades information om vilka uppgifter eleven hade gjort och vilka som återstod. För att komma åt denna information var eleverna tvungna att skrolla ner. En slutsats som drar av detta är att uppgifter i datorbaserade prov inte bör utformas så att de är beroende av en viss teknisk utrustning, t.ex. en skärm av viss storlek. Vad tyckte eleverna? Enligt pilotstudien uppfattade eleverna uppgifterna som lättbegrip- liga; det var endast ett fåtal uppgifter där eleverna hade problem med att förstå vad de skulle göra. Eleverna som genomförde provet var intresserade, nyfikna och allmänt positiva till att göra ett dator- baserat prov i matematik. Det här gällde i synnerhet de yngre eleverna. Dessutom fanns tendenser till att elever som inte använder dator så mycket blev mer stimulerade av att göra digitala uppgifter än de som hade mer erfarenhet av datoranvändning. Vad tyckte lärarna och rektorerna? Lärarna och rektorerna som deltog i pilotstudien tillfrågades bl.a. om vilka fördelar och nackdelar de kunde se med datoriserade prov. Fördelar som lyftes fram var att pappershanteringen och bedöm- ningsarbetet med proven borde minska markant, att barnen tycker att det är spännande med datorer samt att datorbaserade prov kan vara bra för skrivsvaga barn. Nackdelar som togs upp var att svarsformatet innebär att man inte kan följa elevernas tankegångar, något som prioriteras i kurs- planerna. slutsatser av de båda pilotstudierna drar några slutsatser av de båda pilotstudierna i engelska och matematik. Enligt myndigheten visar pilotstudierna att många skolor har en beredskap för datorbaserade prov, även om inte alla Förutsättningar för digitalisering av nationella prov har den utrustning som krävs. Dessutom framkommer en positiv förväntan och attityd till datorbaserade prov från elever, lärare och rektorer. 4.7.3Utprövning av digitala provuppgifter Såväl de digitala sfi-proven som pilotstudierna i engelska och mate- matik genomfördes , vilket gör att förutsätt- ningarna har förändrats . har även helt ny- ligen gjort en utprövning av digitala provuppgifter. fick de universitet och högskolor som utvecklar de nationella proven i uppdrag av att göra några av de nuvarande pappersbaserade uppgifterna digitala. I utprövningen användes antingen frisläppta uppgifter, dvs. sådana som inte längre används i proven och som därmed inte omfattas av sekretess, eller nykonstru- erade uppgifter. Uppgifterna lades in i en digital plattform. Tre olika plattformar valdes ut: Inspera Assessment som är den plattform som används i för de digitala nationella proven, BTL surpass som bl.a. används för några av de storskaliga proven i samt som är en s.k. open source-plattform115. Provkonstruktörer vid universiteten och högskolorna besökte ett antal skolor för att pröva ut de digitala provuppgifterna. Cirka 700 elever i , gymnasieskolan och sfi deltog i utpröv- ningen. Av universitetens och högskolornas verksamhetsberättelser fram- går några resultat och slutsatser från utprövningen av digitala prov- uppgifter. Flera av slutsatserna rör de digitala plattformar som användes, t.ex. möjligheterna att konstruera prov och använda olika uppgiftstyper i provkonstruktionen, att mata in användare i syste- men, att bedöma elevlösningarna samt att presentera och analysera resultaten. Provkonstruktörerna upplevde ibland att det var svårt att få överblick över det färdiga provet i plattformen. 115 Open source innebär att plattformen är gratis och tillgänglig via internet. Förutsättningar för digitalisering av nationella prov ämnet matematik fanns det vissa svårigheter att skriva matematik- symboler och formler i de system som testades. Dessutom satte t.ex. skärmstorleken upp vissa hinder för hur texter presenterades och svar lämnades. Själva genomförandet med eleverna gick relativt bra. Såväl stationära och bärbara datorer (både pc och Macdatorer) som surfplattor användes för utprövningen. Olika skolor hade ofta olika tekniska förutsättningar, vilket innebar likvärdighetsproblem. För några elever fungerade det inte att göra alla delar i utprövningen digitalt utan de fick komplettera med lösningar med papper och penna. Det kunde bero på bristande datortillgång eller problem med att fylla i svar i provplattformen. Vissa tekniska problem upp- stod också i och med att plattformarna var webbaserade. försvann elevsvar och några av eleverna uttryckte oro för risken för fusk. Även för eleverna kunde överblicken i plattformarna vara bristfällig. Det kunde t.ex. vara svårt att hoppa mellan uppgifter och se vilka uppgifter som var besvarade. I matematik var det svårt för eleverna att redovisa sina lösningar digitalt trots att de hade till- gång till en meny med flera matematiksymboler och ett ritverktyg. Majoriteten av eleverna tyckte att det var roligt att arbeta med uppgifterna i de digitala proven och överlag var eleverna positivt inställda till digitala prov. Lärarna var också positiva men såg ibland att tekniken orsakade problem. 5Utgångspunkter för nationell kunskapsutvärdering och trendmätning över tid I det här avsnittet redogör utredningen för utgångspunkter för nationell kunskapsutvärdering och trendmätning . Vi defi- nierar begreppet nationell kunskapsutvärdering. Dessutom beskri- ver vi vilka informationskällor som finns i när det gäller elevernas kunskapsutveckling. Avslutningsvis behandlar vi internationella erfarenheter av stickprovsbaserade system för nationell kunskapsutvärdering. Hela avsnitt 5 avser utgångspunkter för nationell kunskaps- utvärdering och utredningen lämnar inga förslag i det här avsnittet. 5.1Definition av begreppet nationell kunskapsutvärdering Utbildningsresultatens stora betydelse på såväl individ- som sam- hällsnivå gör att det finns behov av att följa resultatutvecklingen på nationell nivå. har olika system för nationell utvärdering utvecklats i . Dessa system har bl.a. haft som uppgift att beskriva kunskapsnivåer och deras förändring på nationell nivå. OECD1 identifierar sex olika syften med bedömning av kun- skaper på nationell nivå. Dessa syften är att: 1 (2013). Synergies for better learning. An international perspective on evaluation and assessment. Utgångspunkter för nationell kunskapsutvärdering och … 1.vid en viss given tidpunkt beskriva resultatnivåer, och då inte minst för olika grupper av elever med uppdelning på exempelvis region, kön eller föräldrarnas utbildningsnivå 2.beskriva förändringar i resultatnivåer över tid 3.följa upp och utvärdera effekter av policyförändringar eller interventioner 4.samla in demografiska, administrativa och kontextuella data som kan vara användbara för att förklara de observerade utfallen 5.skapa och återföra information som är relevant för olika aktörer inom utbildningssystemet 6.använda den insamlade informationen för analys, utveckling och implementering av utbildningspolitik. Av dessa sex syften gäller utredningens direktiv2 framför allt punkterna 1 och 2, nämligen att beskriva resultatnivåer och att beskriva förändringar i resultatnivåer . Uppdraget är alltså att utveckla ett system för bedömning av kunskapsnivåer på nationell nivå. En lämplig term för detta är enligt utredningens uppfattning system för nationell kunskapsutvärdering (NKU). Även om uppdraget i första hand avser system för att beskriva nationella kunskapsnivåer och deras förändringar är givetvis också de övriga syften som anger i större eller mindre utsträckning relevanta när det gäller utformning och imple- mentering av ett system för kunskapsutvärdering. De bakgrunds- översikter som presenteras i detta avsnitt avser därför nationella och internationella erfarenheter av NKU i flera olika avseenden. Även om det knappast kan sägas finnas ett formaliserat system för nationell kunskapsutvärdering i , utöver del- tagandet i internationella studier, är det möjligt att identifiera några huvudsakliga informationskällor om elevernas kunskapsutveckling. 2 Kommittédirektivet Översyn av de nationella proven för grund- och gymnasieskolan (dir. 2015:36). Utgångspunkter för nationell kunskapsutvärdering och … 5.2.1Betygen och de nationella proven De nationella proven och betygen används som grund för kun- skapsuppföljning på såväl nationell som lokal nivå. Resultaten finns tillgängliga i Statens skolverks databas Betygen och de nationella proven anses inte tillräckliga för att följa elevernas kunskapsutveckling över tid I en rapport från SNS Utbildningskommission4 menar författarna att det är olyckligt att använda prov och betyg som enda grund för kunskapsuppföljning på nationell nivå. Skälen för det är att det inte är möjligt att fullt ut ha tilltro till korrektheten i resultaten och att betygen kan ge en alltför positiv bild av kunskapsutvecklingen. Även resultaten på de nationella proven är svåra att jämföra . Regeringen har gett i uppdrag att kvalitetssäkra de nationella proven.5 Av slutredovisning6 av uppdraget framgår att myndigheten, liksom författarna till , ser vissa problem med att använda de nationella proven för att följa kunskapsutvecklingen . Proven konstrueras med de natio- nella kurs- och ämnesplanerna som utgångspunkt och har därför hög innehållslig relevans. Vissa av de förmågor som lyfts fram i de nationella styrdokumenten prövas dock med uppgifter som kräver omfattande elevsvar, t.ex. uppsatser och laborationer, och dessa är svåra att bedöma på ett enhetligt sätt. Här kan man alltså säga att den innehållsliga relevansen är hög medan mätsäkerheten är mer svårbedömd. Det relativt begränsade antalet uppgifter som kan an- vändas i de nationella proven gör det också svårt att på ett adekvat sätt täcka in de olika ämnesområdenas innehåll. 3http://siris.skolverket.se/siris/f?p=Siris:1:0 4Gustafsson, J-E., , C. & , G. (2014). Likvärdig kunskapsbedömning i och av den svenska skolan – problem och möjligheter. 5Utbildningsdepartementet (2011). Uppdrag om nationella prov. U2011/6543/S. 6 (2014). Redovisning av uppdrag om kvalitetssäkring av nationella prov. Utgångspunkter för nationell kunskapsutvärdering och … Behovet av ett särskilt mätinstrument för att följa elevernas kunskapsutveckling över tid För att med säkerhet kunna följa kunskapsutvecklingen uttrycker i sin redovisning av uppdraget att kvalitets- säkra de nationella proven att det är motiverat att undersöka möjligheten att ta fram ett särskilt mätinstrument för just det ändamålet. På så sätt skulle det, enligt myndigheten, vara möjligt att renodla de nationella provens betygsstödjande syfte och ändå skapa nationell statistik utifrån samma premisser som i de inter- nationella studierna. Författarna till är av samma uppfattning som när det gäller behovet av ett särskilt mätinstrument för att följa kunskapsutvecklingen .