sou · H4B325 · 2016-10-18 00:00:00 — I alla länder skattas behovet av att utveckla sin digitala kompetens högt; det kommer i genomsnitt som det andra eller tredje viktigaste utvecklingsbehovet hos lärarna. 4.3.1Användning av digitala och andra hjälpmedel i undervisningen och provsituationen När nationella prov genomförs tillåts vissa tekniska hjälpmedel. Tillåtandet av dessa grundar sig både på kunskap om hur under- visningen sker och på överväganden om säkerhetsrisker. Som en följd av den snabba tekniska utvecklingen finns det en oöver- skådlig mängd mer eller mindre avancerade digitala verktyg som används i skolan. Utvecklingen kräver, enligt Skolverket28, upp- märksamhet för att säkra likvärdighet och säkerhet vid genom- förandet av prov. Det är viktigt att göra åtskillnad mellan de hjälp- medel som tillåts för att prov ska kunna genomföras på ett lik- värdigt sätt och hjälpmedel som används vid anpassning av prov för elever med funktionsnedsättning. De tekniska hjälpmedel som tillåts varierar från ämne till ämne och från prov till prov. Ett exempel är att för gymnasieskolans kursprov i matematik tillåts symbolhanterande räknare men inte för ämnesproven i matematik i . Ett annat exempel är att vissa delprov kan genom- föras på dator, andra inte. En förutsättning är att de hjälpmedel 25OECD (2015). Students, Computers and Learning: Making the Connection. 26OECD (2014). 2013 Results: Perspective on Teaching and Learning. 27Talis är en internationell studie som riktar sig till lärare och rektorer i och som undersöker lärares yrkesvardag. 28Skolverket (2012). Redovisning av uppdrag om kvalitetssäkring av nationella prov. Förutsättningar för digitalisering av nationella prov som tillåts inte förändrar möjligheten att uppfylla syftet med provet. 4.4Fördelar och nackdelar med datorbaserade prov Som huvudsakliga skäl för att införa datorbaserade prov brukar anges dels att datorn möjliggör bedömning av kunskaper som inte fullt ut eller på lämpligt sätt kan prövas med pappersbaserade prov, dels att digitaliseringen underlättar administrationen runt proven och ökar effektiviteten och användbarheten.29 Införandet av dator- baserade prov kan dock medföra ytterligare fördelar och nackdelar. I tabell 4.1 ges en sammanställning av de för- och nackdelar som en datorisering av prov kan medföra. Som framgår av tabellen kan vissa aspekter, t.ex. säkerhetsfrågan, finnas med som både fördel och nackdel. Vissa fördelar och nackdelar kan sannolikt komma att förändras . Som exempel är ett rimligt antagande att andelen elever med låg datorvana inte är . Här kan även ökad användning av it i undervisningen överbrygga kunskapsskillnader mellan elever med hög respektive låg datorvana, eftersom skillnader i datortillgång i exempelvis hemmiljön kan jämnas ut i skolan. 29 Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assess- ment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. European Commission; , T. (2011). Practical Considerations in Computer-Based Testing. & Development Division. Förutsättningar för digitalisering av nationella prov Var och en av aspekterna i tabellen behandlas utförligare i nedan- stående avsnitt (4.4.1–4.4.13). 4.4.1Hantering av datorbaserade prov En fördel som ofta lyfts fram med datorbaserade prov är att hante- ringen av proven underlättas för de som genomför proven, för provutvecklarna och för de som använder provresultaten.30 Datorisering möjliggör en papperslös distribution av prov och till- hörande material, vilket kan förenkla distributionen och höja säkerheten. Dessutom underlättas datainsamling och det blir lättare att göra sammanställningar av resultat och statistik.31 Utöver att 30Skolverket (2010). Adaptiva och andra datorbaserade prov. Kunskapsöversikt; , T. (2011). Practical Considerations in Computer-Based Testing. & Development Division. 31Skolverket (2009). Redovisning av regeringsuppdrag att ge förslag på hur det nationella provsystemet bör utvecklas och utformas. Dnr 2009:337; Redecker, C. (2013). The Use of ICT for the Assessment of . JRC Scientific and Policy reports. Förutsättningar för digitalisering av nationella prov underlätta datainsamlingen är det möjligt att ta fram helt ny information när proven genomförs digitalt. Med den nya in- formationen ges också nya analysmöjligheter. Ett exempel är att den tid det tar för en elev att besvara en uppgift kan registreras. Även när det gäller själva genomförandet av proven och bedöm- ningen av dem blir hanteringen effektivare med digitala prov.32 För delar som kan automaträttas uppnås en tidsvinst och provtagare kan få en direkt återkoppling av sina resultat.33 4.4.2Uppgifter och uppgiftstyper i datorbaserade prov Uppgiftstyper i datorbaserade prov kunskapsöversikt om adaptiva och andra datorbaserade prov34 anger två olika kategorier av uppgiftstyper som är möjliga i digitala prov: valda svar respektive konstruerade svar. Inom den första kategorin väljer provtagaren sitt svar från en lista av presen- terade svar, t.ex. genom att kryssa i en eller flera rutor, matcha ord eller bilder med varandra samt använda dra-och-släpp-funktionen. Inom den andra skapar provtagaren ett svar, t.ex. en egen text eller en uppsats. Beroende på vilka uppgiftstyper som väljs så ges olika förutsättningar för om, och i så fall hur, provet kan rättas auto- matiskt. Uppgifter med valda svar och kortare konstruerade svar är ofta relativt enkla att automaträtta om tydliga rättningsmallar skapas. Om man däremot använder konstruerade svar är det svårare att automaträtta dem, men i takt med att bättre system har skapats blir det allt lättare. har tagit fram en kunskapsöversikt om datorbaserade prov i engelska.35 I den görs skillnaden mellan slutna svarsformer, där provtagaren väljer mellan ett antal möjliga, givna svar och öppna svar, där provtagaren själv skriver svaret. Slutna svarsformat handlar om olika typer av flervalsuppgifter som kan 32Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. 33Davey, T. (2011). Practical Considerations in Computer-Based Testing. & Development Division. 34Skolverket (2010). Adaptiva och andra datorbaserade prov. 35Albinsson, H. (2009). Datorbaserade prov i engelska – en kunskapsöversikt 2009. Förutsättningar för digitalisering av nationella prov vara mer eller mindre komplexa. Den enklaste typen är när prov- tagaren ska besvara om ett påstående är sant eller falskt. I det fallet finns endast två möjliga svar. Mer komplexa flervalsuppgifter inne- bär att det finns ett stort antal möjliga svar, t.ex. att provtagaren kombinerar uppgifter från två listor eller markerar ett ord i en text- massa. Det finns forskning som visar att även mer komplexa förmågor, som analys, reflektion och värdering, går att pröva med flervalsuppgifter.36 För- och nackdelar när det gäller uppgifter och uppgiftstyper i datorbaserade prov En fördel med datorbaserade prov är att datorn kan ge potential för nya, intressanta uppgiftsformat som kan mäta andra aspekter av kunskap än traditionella uppgifter.37 Genom datormediet kan nya uppgiftstyper användas som kompletterar eller till vissa delar ersätter traditionella papper-och-penna-uppgifter.38 Som exempel kan mer interaktiva uppgifter utvecklas.39 Provets funktion måste dock alltid vara utgångspunkt för dess form och vilka uppgifter som ska ingå. Om någonting prövas på ett bättre sätt med en traditionell flervalsuppgift finns det ingen anledning att konstruera en mer innovativ uppgiftstyp.40 Digitaliseringen kan också innebära en ökad flexibilitet när det gäller exempelvis konstruktion, upplägg, val av uppgifter och provtid.41 En nackdel med datorbaserade prov är att de kan kräva en större uppgiftsbank, t.ex. om olika elever ska förses med olika uppgifter i ett och samma prov eller om proven är adaptiva och därmed 36http://link.springer.com/article/10.1186%2F1472-6920-7-49#page-1 37Skolverket (2010). Adaptiva och andra datorbaserade prov. 38Skolverket (2009). Redovisning av regeringsuppdrag att ge förslag på hur det nationella provsystemet bör utvecklas och utformas. 39Redecker, C. (2013). The Use of ICT for the Assessment of . JRC Scientific and Policy reports; European Commission. Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. 40Davey, T. (2011). Practical Considerations in Computer-Based Testing. & Development Division. 41Skolverket (2010). Adaptiva och andra datorbaserade prov. Förutsättningar för digitalisering av nationella prov behöver ha olika svårighetsgrad utifrån elevernas förmåga.42 Adap- tiva prov ställer också stora krav på utprövning och kategorisering av uppgifter. Dessutom kan det upplevas som orättvist att olika provtagare får olika uppgifter i ett adaptivt prov.43 Uppgifter i adaptiva prov Ett adaptivt prov kräver en stor uppgiftsbank som täcker in alla förmågor som provet ska mäta. Det måste också finnas tillräckligt många uppgifter inom varje område och en lämplig fördelning av uppgifternas svårighetsgrad. har infört adaptiva prov, och deras erfarenhet är att uppgiftsbanken inledningsvis var för liten och inte höll tillräcklig kvalitet. Det medförde att de fick göra ett omtag, bygga upp större uppgiftsbanker och pröva ut alla uppgifter på nytt.44 I kunskapsöversikten om datorbaserade prov i engelska45 görs iakttagelsen att många elever upplever att alla uppgifter i ett dator- baserat adaptivt prov är svåra. Om provmodellen inte tillåter revision, dvs. möjlighet att ändra tidigare givna svar, kan det fram- kalla oro hos eleverna. Duktiga elever är också vana vid att lugnas av ett relativt stort antal uppgifter som de upplever som lätta. I ett adaptivt prov finns i princip inga lätta uppgifter, eftersom eleverna får uppgifter vars svårighetsgrad är anpassad till deras förmåga. Boards rapport46 framgår att elever i ett adaptivt prov föredrar att kunna navigera själva i en provdel i stället för att tvingas svara på en enskild uppgift i taget. Det är viktigt för eleverna att kunna granska och ändra tidigare besvarade uppgifter samt att kunna hoppa framåt i provet. Enligt rapporten talar det här för att adaptiva prov hellre bör ges i form av provmoduler (testlets) än som enskilda uppgifter (items). Dessutom finns det även för- 42Davey, T. (2011). Practical Considerations in Computer-Based Testing. & Development Division. 43Skolverket (2010). Adaptiva och andra datorbaserade prov. 44Artikel av , ; Skolestyrelsen i i Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. 45Albinsson, H. (2009). Datorbaserade prov i engelska – en kunskapsöversikt 2009. 46Luecht, R. & Sireci, S. (2011). A Review of Models for Computer-Based Test. Förutsättningar för digitalisering av nationella prov delar när det gäller teknik och hantering som talar för provmoduler i stället för enskilda uppgifter. Moduliseringen är ett effektivt sätt att hantera provdata och underlättar presentationen av uppgifterna och navigeringen mellan dem. Adaptiva prov kan också försvåra återkopplingen till enskilda elever. Eftersom olika elever genomför olika prov kan det i efter- hand vara svårt att redogöra för exakt vilket prov en viss elev har gjort. Systemtekniskt är det möjligt men för den enskilda eleven kan det upplevas som svårare eftersom provet är unikt.47 4.4.3Kunskaper som kan prövas i datorbaserade prov Datorbaserade prov kan möjliggöra andra sätt att pröva kunskaper än vad som är möjligt i pappersbaserade prov.48 Som exempel kan datorn använda ljud, rörlig bild och simuleringar, interagera med provtagaren, rätta svaren automatiskt och erbjuda mer autentiska uppgifter och bedömningssituationer.49 finns det forskning som särskilt pekar på risker med digitalisering av high-stakes-prov.50 En sådan är att proven och deras innehåll riskerar att styras av tekniken. Det kan leda till en begränsning av vilka kunskaper som prövas och vilka uppgiftstyper som används. 47Erfarenheter från Universitets- och högskolerådets arbete med att utreda frågan om huruvida högskoleprovet ska digitaliseras. 48Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. 49Davey, T. (2011). Practical Considerations in Computer-Based Testing. & Development Division; (2009). Redovisning av regeringsuppdrag att ge förslag på hur det nationella provsystemet bör utvecklas och utformas. 50Artikel av van Lent, ; ETS Global i Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. Förutsättningar för digitalisering av nationella prov 4.4.4Mätsäkerhet och mäteffektivitet i datorbaserade prov En förutsättning för ett framgångsrikt införande av digitala prov är att proven har en hög validitet (giltighet).51 Då är det avgörande vad proven egentligen prövar och om innehållet påverkas av datoriseringen. Även om samma förmågor och innehåll är avsedda att prövas i ett pappersbaserat respektive ett datorbaserat prov kan de olika formaten leda till olika resultat. Därför är det viktigt att ut- värdera om ett prov ger olika resultat beroende på i vilket medium det genomförs. ETS52 anger att en förutsättning för ett datorbaserat prov är att provet är mäteffektivt och precist. Mäteffektivitet handlar enligt ETS om såväl reliabilitet (tillförlitlighet) som tidsåtgång. OECD53 konstaterar att de svenska nationella proven har en viktig roll för bedömning och utvärdering. Av det skälet behöver, enligt , provens reliabilitet öka. anser att ett sätt att göra proven mer tillförlitliga är att utveckla och använda hög- kvalitativa datorbaserade program som även kan bedöma komplexa förmågor. Eftersom instruktioner, eventuella hjälpfunktioner, genomförandeprocesser, tidsramar och bedömning av digitala prov styrs via dator kan mycket av den variation som omgärdar en traditionell prövningsprocess undvikas och proven därmed bli mer reliabla. Dessutom kan informations- och exempelmaterial göras mer enhetliga och lättillgängliga, vilket kan öka likvärdigheten.54 51Artikel av Csapó, B., Molnár, G. & , K. R.; on Learning and Instruction, on the Development of Competencies, i Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. European Commission; , A-K. (2012). Datorbaserad bedömning i språk – forskningsläge, erfarenheter och implikationer. Masteruppsats i ämnesdidaktik. 52Davey, T. (2011). Practical Considerations in Computer-Based Testing. & Development Division. 53OECD (2011). Reviews of Evaluation and Assessment in Education. 54Lindqvist, A-K. (2012). Datorbaserad bedömning i språk – forskningsläge, erfarenheter och implikationer. Masteruppsats i ämnesdidaktik. Förutsättningar för digitalisering av nationella prov 4.4.5Utveckling och design av datorbaserade prov För att utveckla och designa datorbaserade prov behövs, enligt ETS55, modeller för hur provuppgifter fördelas till provtagarna, för poängsättning och bedömning samt för stabilitet och jämförbarhet mellan provtagare och . Ju enklare dessa modeller är, desto mindre kan gå fel. kan en mer komplex design vara effek- tivare och säkrare. Digitala prov förutsätter ibland mer komplice- rade modeller än pappersbaserade prov. 4.4.6Tekniska frågor när det gäller datorbaserade prov En förutsättning för ett lyckat införande av datorbaserade prov är att huvudmännen ser till att skolornas datorer har nödvändig prestanda och bandbredd. Ytterligare en förutsättning är att det finns tillgång till tekniskt stöd i genomförandet av de digitala proven.56 När digitala prov införs är det till nackdel att det i vissa fall finns en bristande datortillgång, dålig prestanda i befintlig utrustning, otillräcklig hastighet på internetuppkopplingar och låg teknisk kompetens.57 I de här frågorna finns det skillnader mellan olika skolor, vilket kan utgöra ett hot mot en likvärdig utbildning för alla.58 Kopplat till den mjukvara som används finns det också några problem. I valet av digitalt system behöver ett antal beslut fattas, t.ex. om systemet ska vara webbaserat eller inte.59 Ytterligare ett problem i samband med införandet av datorbaserade prov är den bredd av hårdvara och mjukvaruplattformar som används inom 55Davey, T. (2011). Practical Considerations in Computer-Based Testing. & Development Division. 56Skolverket (2009). Redovisning av regeringsuppdrag att ge förslag på hur det nationella provsystemet bör utvecklas och utformas. 57Skolverket (2010). Adaptiva och andra datorbaserade prov. Kunskapsöversikt; (2009). Redovisning av regeringsuppdrag att ge förslag på hur det nationella provsystemet bör utvecklas och utformas. 58Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. 59Artikel av Kozma, R.; , Microsoft, and Education Taskforce i Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. Förutsättningar för digitalisering av nationella prov utbildningssektorn.60 Bredden gör att det är svårt att hitta standar- der och system som kan fungera tillsammans med den hård- och mjukvara som olika huvudmän och skolor använder. I kunskapsöversikten från universitet61 behandlas hur den digitala provtekniken påverkar en enskild provtagare. Eftersom datorvanan är så stor kan, enligt kunskapsöversikten, farhågor om teknikens negativa påverkan på provtagaren rimligen anses som relativt små. Det finns dock fortfarande tekniska problem för individen. Några sådana som lyfts fram i kunskapsöversikten hand- lar om svårigheten att läsa långa texter på skärm, vikten av funge- rande layout och typsnitt samt skillnader mellan olika teknisk utrustning, t.ex. olika stora skärmar. 4.4.7Ett säkert genomförande av datorbaserade prov Att kunna garantera säkerheten vid genomförandet av digitala prov är en viktig förutsättning. Proven måste kunna genomföras med tillräcklig säkerhet inom ett driftssäkert system och utan att prov- tagarna har möjlighet att använda datorn till annat än att genom- föra proven, t.ex. chatta och söka och hämta information på internet.62 Det är en utmaning att upprätthålla säkerheten och minimera risken för fusk, särskilt om bedömningssystemet är webbaserat.63 Men som det finns risker med datorbaserade prov kan de också öka säkerheten. Elektronisk distribution av provmaterial innebär ofta en ökad säkerhet jämfört med pappershantering.64 60Artikel av van Lent, G.; ETS Global i Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. 61Albinsson, H. (2009). Datorbaserade prov i engelska – en kunskapsöversikt 2009. 62Skolverket (2009). Redovisning av regeringsuppdrag att ge förslag på hur det nationella provsystemet bör utvecklas och utformas. 63Artikel av Kozma, R.; , Microsoft, and Education Taskforce i Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. 64Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. Förutsättningar för digitalisering av nationella prov Digitala prov kan alltså både minska och öka risken för fusk.65 I ett adaptivt prov däremot kan risken för fusk ofta minskas, eftersom olika elever får olika uppgifter.66 Boards rapport67 framgår att en av de viktigaste frågorna när digitaliserade high-stakes-prov ska införas är hur man ska kunna säkra uppgiftsbankerna. Dessa banker är tänkta att användas och det finns stora risker att de utsätts för fuskförsök. Enligt rapporten finns det fyra generella metoder för att hantera säkerhetsriskerna när det gäller datorbaserade high- stakes-prov. Dessa är att: använda slumpmässiga system för att blanda uppgifter och moduler så mycket som möjligt öka storleken på uppgiftsbanken byta ut uppgifterna i banken , antingen helt och hållet eller delvis specifikt styra hur uppgifter exponeras i provsystemet. 4.4.8Kostnader för datorbaserade prov Initialt är införandet av datorbaserade prov förenat med stora utvecklingskostnader.68 Om proven ska vara adaptiva är de särskilt kostsamma att utarbeta.69 som datorbaserade prov är kostsamma att utveckla finns det ekonomiska vinster . Det kan handla om minskade kostnader för insamling och analys av resultat.70 Ökade kostnader för huvudmän kan också ställas mot framtida vinster i form av t.ex. 65Davey, T. (2011). Practical Considerations in Computer-Based Testing. & Development Division. 66Skolverket (2010). Adaptiva och andra datorbaserade prov. 67Luecht, R. & Sireci, S. (2011). A Review of Models for Computer-Based Test. 68Davey, T. (2011). Practical Considerations in Computer-Based Testing. & Development Division; Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. 69Skolverket (2010). Adaptiva och andra datorbaserade prov. 70Artikel av Kozma, R.; , Microsoft, and Education Taskforce i Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. Förutsättningar för digitalisering av nationella prov ökad säkerhet vid genomförandet och automatiserad bedömning av elevresultat.71 Digitalisering av prov kan alltså innebära både ökade och minskade kostnader.72 Beräkningen av kostnaderna är beroende av flera faktorer. En sådan är om proven utgörs av urvalsunder- sökningar eller om alla elever i landet deltar. Andra faktorer som påverkar kostnaderna är vilka uppgiftstyper proven innehåller, hur bedömningen ska göras och hur sammanställningen av resultat går till. Ytterligare faktorer av betydelse för kostnaderna är vilken mjukvara som används, hur systemet är uppbyggt, t.ex. om det är webbaserat eller baseras på ett nedladdningsbart program, hur licenser och behörigheter hanteras samt vilka säkerhetslösningar som väljs. Det går inte generellt att säga att datorbaserade prov minskar kostnaderna jämfört med pappersbaserade prov. I stället måste kostnader i samband med övergången från analoga till digitala prov granskas från fall till fall. Utfallet beror snarare på vilken typ av datorbaserade prov som införs och de val som görs när det gäller teknik än på digitaliseringen i sig. 4.4.9Elevers resultat på datorbaserade prov Det finns forskningsstudier som jämför elevers resultat på pappers- baserade respektive datorbaserade prov.73 I dessa studier överförs ofta pappersbaserade prov till digitalt format utan några direkta anpassningar till datormediet. Studierna visar inga eller små skillna- der i provresultat beroende på om proven genomförs på papper eller digitalt. En australisk studie i matematik för elever i årskurs 4 och 6 visar dock ett motsatt resultat.74 Av den framgår att provresultaten påverkas av i vilket medium provet genomförs. 71Skolverket (2009).