sou · H4B325 · 2016-10-18 00:00:00 — Redovisning av regeringsuppdrag att ge förslag på hur det nationella provsystemet bör utvecklas och utformas. 72Artikel av Farcot, M. & , T.; Centre de Recherche Public i Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. 73Redecker, C. (2013). The Use of ICT for the Assessment of . JRC Scientific and Policy reports. 74Jones, A. (2015). Paper på konferensen 2015, Education and Transition. Förutsättningar för digitalisering av nationella prov på pappersprovet var i denna studie bättre än när samma prov genomfördes digitalt. En förklaring till de sämre resultaten som anges i studien är att både lärarna och eleverna upplevde att pappersprovet var på riktigt medan det digitala provet mer betrak- tades som ett spel och därmed inte togs på allvar. 4.4.10Elevers inställning till datorbaserade prov En fördel som brukar tas upp med datorbaserade prov är att eleverna ofta är positiva till digitaliseringen. presterar eleverna också bättre när de får skriva på dator, vilket de är vana vid.75 Dessutom kan digitala prov ha en positiv effekt på elevers motivation och koncentration.76 Erfarenheter från Norge77 visar att datorbaserade prov kan tilltala grupper som har svårt att sitta still och genomföra ett vanligt prov. Förutom att fungera motivations- höjande för eleverna kan användningen av datorer i provgenom- förandet öka den generella it-kompetensen.78 Eftersom proven genomförs med dator förbereds eleverna att visa sina kunskaper digitalt även i andra bedömningssituationer och i undervisningen i övrigt. En nackdel som lyfts fram är bristande datorvana hos vissa elever.79 Det kan leda till orättvisor och till att andra förmågor än de avsedda prövas.80 blir elever alltmer datorvana. 75Skolverket (2010). Adaptiva och andra datorbaserade prov. 76Redecker, C. (2013). The Use of ICT for the Assessment of . JRC Scientific and Policy reports. 77Artikel av , E.; i i Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. 78Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. 79Skolverket (2010). Adaptiva och andra datorbaserade prov. 80Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. Förutsättningar för digitalisering av nationella prov 4.4.11Datorbaserade provs påverkan på olika elevgrupper I kunskapsöversikten om datorbaserade prov i engelska81 behandlas frågan om huruvida datorbaserade prov gynnar eller missgynnar olika kategorier av provtagare. Enligt översikten finns det forsk- ning som visar att användningen av datorer minskar ett systematiskt gynnande eller missgynnande av olika personer. För många, kanske framför allt unga människor, känns papper och penna väsentligt mer främmande än tangentbord och skärm. När det gäller adaptiva prov refererar kunskapsöversikten till forskning som visar att dessa fungerar bäst för att bedöma de starkaste och svagaste prestationerna men mindre bra för prestationerna däremellan. Elever i behov av särskilt stöd och anpassningar Pearson82 anger i en forskningsrapport83 att många elever i behov av särskilt stöd snarare bedöms utifrån hur väl de kan hantera ett visst provformat än utifrån sina egentliga kunskaper. Det kan exem- pelvis vara prov som mäter elevernas förmåga att avkoda eller skriva, eller deras motivation, trots att det är helt andra förmågor som är avsedda att prövas. Enligt rapporten behövs mer flexibilitet för att förbättra bedömningen för elever i behov av särskilt stöd, och en ökad flexibilitet kan erbjudas med datorbaserade prov eftersom de i större utsträckning kan möjliggöra anpassningar till enskilda elever.84 81Albinsson, H. (2009). Datorbaserade prov i engelska – en kunskapsöversikt 2009. 82Pearson är ett internationellt utbildningsföretag som erbjuder produkter och tjänster till organisationer och enskilda. Företaget har sina huvudkontor i och i . 83Dolan, R. P. m.fl. (2013). A Design for Framework for Designing Accessible Technology-Enhanced Assessments. 84Artikel av Kozma, R.; , Microsoft, and Education Taskforce i Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. Förutsättningar för digitalisering av nationella prov Digitala prov kan ha positiva effekter för elever med funktions- nedsättning.85 En sådan effekt är att det kan vara lättare för en elev med nedsatt rörelseförmåga eller synnedsättning att använda en datorskärm för att lämna svar än att skriva svaren för hand. För elever med kognitiv funktionsnedsättning kan det vara lättare att skriva på dator än att skriva för hand. Det kan också vara lättare att delta i en diskussion på internet än att mötas ansikte mot ansikte, eftersom samtalet ofta går långsammare via datorn. En ökad användbarhet och tillgänglighet i ett digitalt bedömningssystem torde dessutom gagna inte bara elever med funktionsnedsättning utan alla elever. Begreppen design för alla eller universell design innebär, enligt konventionen om rättigheter för personer med funktionsned- sättning, att en produkt eller miljö skapas så att den är användbar för alla utan särskilda anpassningar. Målet är inte att omöjliggöra individanpassning utan att redan i konstruktionsfasen beakta alla användares behov och därmed minimera behovet av särskilda lös- ningar. Att en produkt eller miljö är universellt utformad ska alltså inte utesluta hjälpmedel för enskilda personer med funktions- nedsättning där så behövs. Skillnader mellan flickors och pojkars resultat När det gäller könsskillnader är resultaten av forskningen mot- sägelsefulla. Kunskapsöversikten från universitet86 visar att inget av könen presterar sämre eller bättre när ett prov är dator- baserat. finns det forskning som pekar på att pojkar presterar bättre än flickor på digitala prov. Det finns också studier som visar att flickor är mer positiva till att läsa papperstexter och mindre benägna att använda digitala 85Artikel av Reich, K.; , . , C.; , i Scheuermann, F. & , J. (red.) (2009). The Transition to Computer- Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. 86Albinsson, H. (2009). Datorbaserade prov i engelska – en kunskapsöversikt 2009. Förutsättningar för digitalisering av nationella prov medier, t.ex. filmer, för att inhämta information.87 Enligt studierna föredrar pojkar däremot att använda datorer för informations- inhämtning. Således borde datorbaserade prov vara ett format som är särskilt tilltalande för pojkarna. Att införa digitala prov ger enligt studierna en möjlighet att bredda provformaten så att resultaten inte är så beroende av förmågan att läsa vanliga texter. Det borde göra att könsskillnaderna minskar. 4.4.12Datorbaserade provs påverkan på undervisningen En fördel med digitala prov är att dessa kan främja datoranvänd- ningen i undervisningen.88 När prov genomförs med papper och penna är lärare mindre benägna att använda datorer i under- visningen. Datorbaserade prov påskyndar också skolornas upp- gradering av utrustning såsom datorer och uppkopplingar. som digitala prov ger positiva effekter för undervis- ningen finns det forskning som visar att informations- och kom- munikationsteknik i allmänhet har liten påverkan på undervis- ningens upplägg och resultat. Det finns, enligt denna forskning, ett svagt empiriskt stöd för att digital bedömning stödjer elevers lärande.89 4.4.13Bedömning av datorbaserade prov En fördel som ofta nämns när det gäller datorbaserade prov är att bedömningen av proven underlättas. Det blir enklare att avidenti- fiera elevlösningar. Det blir också enklare för lärare att bedöma lösningar från andra elever än sina egna eller att göra bedömningen 87Se bl.a. artikel av , R. & Binkley, M.; i Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. 88Artikel av Kozma, R.; , Microsoft, and Education Taskforce i Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. 89Artikel av van Lent, G.; ETS Global i Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. Förutsättningar för digitalisering av nationella prov gemensamt med andra lärare. Dessutom kan vissa delar av proven automaträttas, dvs. rättas av en dator.90 Det finns system för automaträttning av prov. Nedan beskrivs olika uppgiftstyper och i vilken utsträckning de kan bedömas av en dator.91 Olika typer av flervalsuppgifter är sannolikt de vanligaste uppgifts- typerna i datorbaserade prov. Dessa uppgifter kan automaträttas. Skrivna kortsvarsuppgifter på ungefär en menings längd kan ofta också rättas automatiskt. Av dessa uppgifter är det lättast att auto- matiskt rätta s.k. lucktest, där ett ord eller tal har utelämnats. Men redan här kan det uppstå problem, t.ex. om felstavade men fullt begripliga svar ska accepteras. Det kan finnas väldigt många kom- binationer av stavning även av enstaka ord eller matematiska uttryck. Öppna svar som består av fler ord eller hela meningar är svårare att automaträtta. Svårigheten med kortsvarsuppgifter, där prov- tagaren själv skriver en kortare text, är att utveckla uppgifter som har ett definitivt svar som datorn kan hitta. Eftersom eleverna själva formulerar sina svar finns det många möjliga korrekta alternativ och olika sätt att uttrycka dem på. Det finns dock forsk- 90Skolverket (2010). Adaptiva och andra datorbaserade prov. Kunskapsöversikt; Scheuermann, F. & , J. (red.) (2009). The Transition to Computer-Based Assessment. New Approaches to Skills Assessment and Implications for Large-scale Testing. JRC Scientific and Technical reports. 91Redecker, C. (2013). The Use of ICT for the Assessment of . JRC Scientific and Policy reports. European Commission; , H. (2009). Datorbaserade prov i engelska – en kunskapsöversikt 2009. och litteratur; ETS, Pearson and (2010). Automated Scoring for the Assessment of Common . Förutsättningar för digitalisering av nationella prov ning som visar att automaträttning av kortsvarsuppgifter är minst lika tillförlitlig som bedömning. Eftersom automaträttningen inte är hundraprocentigt tillför- litlig kan öppna svar behöva kontrollbedömas manuellt. När det gäller möjligheten att bedöma talade svar finns det automa- tiska rättningsprogram som t.ex. kan bedöma ett kort svar på en enkel fråga. Även andra aspekter, som en elevs uttal, kan bedömas automatiskt. För längre eller mer komplexa talade svar finns det ännu inga fungerande varianter för automatisk bedömning. Datorn kan inte heller bedöma exempelvis interaktionen mellan olika parter i ett samtal eller tolka och ”förstå” mänskligt tal. Uppsatser och långa öppna svar Det är svårt att automatiskt bedöma uppsatser och uppgifter där eleverna själva får lämna längre svar, även om automaträttning används också i dessa fall. För att bedöma uppsatser använder de automatiska rättnings- programmen främst särdrag i texten som är lätthanterade av en dator, bl.a. textens struktur (inledning, huvudtext och avslutning), ordens svårighetsgrad och längd, grammatik, stavning, flyt och språklig variation. I dessa sammanhang uppmäts en hög korrelation med bedömning. Det som datorer inte klarar av att bedöma är exempelvis inne- håll, relevans och hur texten uppfattas av en läsare. Inte heller kan de värdera kreativa inslag i en text eller retorik, logiken i ett argu- ment eller om ett påstående är välgrundat. ETS är ett exempel på ett företag som har utvecklat flera program för automatisk bedömning av essäer och mer komplexa uppgifter. Deras system är bl.a. E-rater92, Criterion93 och Scoreitnow94. Även i pågår viss forskning om system för automatbedömning av 92www.ets.org/erater/about 94www.dxrgroup.com/cgi-bin/scoreitnow/index.pl Förutsättningar för digitalisering av nationella prov Utredningen har t.ex. träffat företrädare från som bl.a. har utvecklat ett sådant system95. När det gäller ämnet matematik behöver eleverna, för att kunna redovisa sina tankegångar, bl.a. ha möjlighet att skriva formler, använda symboler, rita bilder och använda grafer. I datorbaserade prov är det svårt att automatiskt bedöma handskrivna uttryck och grafer. Därför kan det bli problem att rätta matematikprov helt automatiskt. ska delar av TIMSS genomföras digitalt (det s.k. E- TIMSS).96 Inom E-TIMSS planerar man att använda surfplattor så att eleverna kan redovisa sina tankegångar samt skriva och rita bl.a. symboler, uttryck och grafer. Den tekniska utvecklingen av system för automaträttning Den tekniska utvecklingen av mer avancerade automatiska rätt- ningsprogram går framåt. Mycket resurser läggs på forskning för att förbättra programmens möjligheter att bedöma också mer komplexa förmågor. Överensstämmelse mellan automatisk och bedömning Det finns studier som undersöker överensstämmelsen mellan auto- matiska bedömningssystem och bedömning. I en ameri- kansk forskningsrapport97 redovisas resultat från flera av dessa. Enligt rapporten presterar de digitala systemen ungefär lika bra som en människa när det gäller bedömning av konstruerade svar, dvs. det finns en relativt god bedömaröverensstämmelse. Trots att utvecklingen av system för automatiserad bedömning av digitala 95Se även avsnitt 2.2.5. 96www.iea.nl/upcoming_studies.html 97Wang, Z. (2014). Monitoring of Scoring Using the e-rater Raters on a Writing Test. Research Report ETS RR–14-04. Förutsättningar för digitalisering av nationella prov prov går framåt är det dock tveksamt om datorer kan ersätta den bedömningen. Forskningsrapporten visar att det också finns brister i de digitala systemen. De övervärderar ibland textens struktur och organisation och undervärderar innehållet. Ett sätt att hantera problematiken är, enligt rapporten, att kombinera datorise- rad och bedömning. Varför ska prov automaträttas? I en amerikansk promemoria98 tas några nackdelar upp med att bedöma öppna eller konstruerade svar manuellt, bl.a. att det är både dyrt och svårt att rekrytera, utbilda och betala bedömarna. Bedöm- ningsprocessen tar också än vid automatisk rättning. Dessutom finns problem med objektivitet och likvärdighet i bedömningen. Enligt promemorian används de system som finns för att auto- maträtta konstruerade svar såväl för high-stakes-prov som för low- stakes-prov, och både tillgången till och acceptansen för systemen växer . Utöver att underlätta bedömningsprocessen möjliggör automaträttningen även direkt återkoppling till prov- tagaren och aggregerade resultatsammanställningar på gruppnivå, skolnivå och nationell nivå. har det utvecklats system för att kunna ge såväl elever som lärare detaljerad återkoppling om provtagarens styrkor och svagheter, och därigenom understöds också formativ bedömning99. Kan datorer ersätta människor? Av en analys100 av nio system för automatisk bedömning av upp- satser och fritextsvar framgår att flera av programmen håller en hög kvalitet. Det innebär att samstämmigheten i bedömningen mellan dator och människa är god. 98ETS, Pearson and (2010). Automated Scoring for the Assessment of Common . 99Redecker, C. (2013). The Use of ICT for the Assessment of . JRC Scientific and Policy reports. 100Shermis, M. & , B. (2012). Contrasting state-of-the-art automated scoring of essays. Förutsättningar för digitalisering av nationella prov pågår i en debatt om hur tillförlitliga olika automatiska bedömningsprogram är. Forskare diskuterar hur man på olika sätt kan ”lura” datorn i bedömningen av komplexa upp- gifter. Les Perelman, från , konstruerade ett program: Basic Automatic BS Essay Language Generator (BABEL). Där kördes nonsenssvar genom automatise- rade bedömningsprogram, men svaren ledde ändå till höga betyg av datorn.101 Ytterligare en aspekt som diskuteras av forskare är acceptansen för tekniken. För att få en hög acceptans hävdar forskare att en kombination av och automatiserad bedömning är viktig.102 Olika datorprogram tenderar att ha en bristande legitimitet hos elever om den automatiska bedömningen ersätter lärarens slut- giltiga bedömning. Om ett automatiskt program däremot blir en del av bedömningsprocessen, och att läraren gör den slutgiltiga bedömningen, ökar förtroendet för bedömningen hos eleverna.103 Även om ett digitalt prov inte kan automaträttas kan bedömningen göras digitalt genom s.k. on-screen marking (OSM). Antingen lämnar provtagaren sina lösningar i ett datorbaserat system eller så överförs pappersbaserade lösningar till digital form. Därefter sker bedömningen av en människa men på skärm.104 Det finns flera studier som jämför OSM med pappersbaserad bedömning. När det gäller provtagarnas resultat har man inte på- visat några skillnader beroende på om bedömningen sker på skärm eller manuellt. Inte heller bedömaröverensstämmelsen påverkas av OSM. Det innebär att skillnaden mellan två bedömare som använder dator är densamma som den mellan två bedömare som 101Se t.ex. dialogue/2014/05/computerized_grading_purloinin.html 102ETS, Pearson and (2010). Automated Scoring for the Assessment of Common . 103Warschauer, M. (2010). Invited commentary: New tools for teaching Writing Language, . February 2010, Vol. 14, nr 1; Warschauer, M. & Grimes, D. (2008). Automated Writing Assessment in the Classroom, Pedagogies: , 3:1, s. 22–36. 104Ofqual (2014). Review of Marking Internationally. Förutsättningar för digitalisering av nationella prov använder papper och penna.105 Däremot finns det tendenser som pekar på att bedömningen blir mer exakt och tillförlitlig när den görs på skärm. Dessutom finns det belägg för att bedömningen går snabbare och blir mer effektiv med OSM. Skälen för dessa kvalitets- och effektivitetsvinster är bl.a. att resultat kan återkopplas snabbare till skolorna, att man enklare kan följa upp resultaten på uppgifts- nivå, att man slipper skicka bedömningsanvisningar manuellt, att olika bedömare kan specialisera sig på och bedöma specifika upp- gifter och att gemensam bedömning underlättas.106 4.5Datorbaserade prov i andra länder I flera andra länder genomförs datorbaserade prov. ligger efter både de nordiska grannländerna och andra länder när det gäller utvecklingen av digitala prov i stor skala. I t.ex. och är de nationella proven digitaliserade. De danska proven är digitala . För del genomförs proven huvud- sakligen på dator och är all provverksamhet tänkt att ske digitalt. övergår också till datorbaserade prov och där är målet att alla studentexamensprov ska vara digitaliserade 2020. De danska, finska och norska proven är dock inte betygsstödjande som de svenska proven, utan de används för utvärdering och som stöd för formativ bedömning. Internationella utblickar kan generellt sett vara svåra att göra eftersom prov i olika länder har olika syften. I undersöks genom prov och enkäter femtonåriga elevers förmågor i och attityder till läsförståelse, matematik och natur- vetenskap. Den internationella studien introducerades och har datainsamling skett . När genomfördes var det för femte gången och studie fanns datorbaserad problemlösning med som ett 105Coniam, D. (2009). A comparison of onscreen and paper-based marking in the public examination system. : on Theory and Practice, 15:3, s. 243–263. 106Bew, L. (2011). Stage 2 testing, assessment and accountability. Förutsättningar för digitalisering av nationella prov deltog också i en valfri datorbaserad mätning av läsförståelse och matematik. redovisade resultaten från 2012 i december 2013.107 4.6.1Resultat på läsförståelseprovet i 2012 När det gäller läsförståelse hade de svenska eleverna 2012 ett högre medelvärde på det digitala läsprovet än på det pappersbaserade. Det återspeglas också i hur de svenska elevernas medelvärde står sig i relation till andra länders medelvärden. I det traditionella läsprovet hade de svenska eleverna ett medelvärde som var signifikant lägre än medelvärde medan de på det digitala läsprovet låg på samma nivå som . Flickor hade bättre resultat än pojkar i både traditionell och digital läsning. Skillnaden mellan flickor och pojkar var dock mindre när det gäller digital läsning än traditionell läsning. 4.6.2Resultat på matematikprovet i 2012 Även på det datorbaserade provet i matematik presterade svenska elever bättre än på det pappersbaserade. Till skillnad från det pappersbaserade provet, där det inte fanns någon signifikant skill- nad mellan flickors och pojkars resultat i matematik, presterade de svenska pojkarna signifikant bättre än de svenska flickorna i det digitala provet. 4.6.3Enbart digitala prov i 2015 När genomfördes gjorde alla elever proven digitalt.108 Genomförandet gällde skolor med femtonåriga elever och PISA- proven kunde göras på både pc och Macdatorer. Vissa av upp- gifterna i de digitala proven var desamma som i de tidigare pappers- baserade proven för att möjliggöra trendmätningar. 107Skolverket (2013). 15-åringars kunskaper i matematik, läsförståelse och natur- vetenskap. 108www.skolverket.se/statistik-och-utvardering/internationella-studier/pisa/pisa-2015- 1.207529 Förutsättningar för digitalisering av nationella prov gifter var nya och anpassade till ett digitalt format, t.ex. genom att vara interaktiva. De digitala proven innehöll såväl flervalsuppgifter som öppna uppgifter. Enligt innebär digitala prov ökade möjligheter att bredda det som mäts och hur det mäts. Fler aspekter av de olika ämnena kan också mätas och det är möjligt att lämna svar på olika och mer flexibla sätt. Några nackdelar som lyfts fram av när det gäller digitala prov är att elever som saknar datorvana kan få en sämre chans att visa sina kunskaper. Det kan också vara tveksamt om proven mäter elevernas kunskaper eller deras förmåga att hantera en dator. Dock visade den digitala läsningen i 2009 att de elever som preste- rade bäst var medelanvändarna av datorer. Det tycks alltså inte krävas väldigt god förmåga att hantera en dator för att uppnå bra resultat. Dessutom är det rimligt att anta att andelen elever med låg datorvana minskar . Ytterligare en nackdel med det digitala PISA-provet är att det inte går att gå tillbaka i provet när eleverna har löst en uppgift, vilket upplevs som negativt i förhållande till det pappersbaserade provet. Resultaten från 2015 var inte publicerade när detta betän- kande trycktes. Varför digitala prov? anger tre huvudargument för att man i 2015 helt har övergått till digitala prov. Det första är att datormediet bättre motsvarar elevernas använd- ning av information och kommunikation. Det andra är att man vill kunna pröva elevernas förmåga att göra naturvetenskapliga undersökningar och deras förmåga till problemlösning. Det tredje är att man vill uppnå ökad effektivitet i prov- genomförandet och få bättre precision i mätningarna. Effektivi- tetsvinsterna handlar bl.a. om att slippa hantera och trycka provhäften. Förutsättningar för digitalisering av nationella prov Distribution och tekniska förutsättningar De digitala PISA-proven distribuerades inte online utan via usb. Det berodde såväl på kapaciteten hos bredbanden i olika länder som på att ville värna provsekretessen och minimera risken för fusk. I 2012 användes dock ett onlinesystem.