sou · H4B325 · 2016-10-18 00:00:00 — Men även om proven i större utsträckning görs likvärdiga i detta avseende är de otillräckliga som grund för ett system för nationell kunskapsutvärdering. Ett skäl för det är att de nationella proven endast kan innehålla ett begränsat antal uppgifter och att varje in- nehållsområde därmed inte kan prövas med tillräckligt många upp- gifter. Inte heller är det möjligt att ge olika uppgifter till olika ele- ver i de nationella proven, eftersom provresultaten har stor bety- delse för den enskilda eleven, vilket förutsätter fullt ut jämförbara prov. Ytterligare ett problem är att de nationella proven endast ges i vissa ämnen och i vissa årskurser. Det är också önskvärt att renodla syften med olika bedömnings- system, vilket utredningen lämnar förslag om i avsnitt 7. Forskning visar nämligen på vikten av att inte föra in alltför många syften i ett och samma instrument och vi vill skapa ett robust system. 1 Se även avsnitt 5.2.1. Ett nytt system för nationell kunskapsutvärdering och … är ett av de som lägger mest pengar på skola och utbildning2. Vi menar att kunskapen om den svenska skolan bör öka så att politiker får ett bredare och mer gediget un- derlag för att fatta beslut om skolväsendets utveckling. 14.1.2De internationella studierna visar att trendmätning är möjlig Erfarenheterna från de internationella studierna visar att det är möjligt att utveckla utvärderingar som tillåter bestämning av trender inom länder.3 visar erfarenheterna att dessa system är tekniskt komplexa och att de ställer stora krav dels på omfatt- ningen av antalet uppgifter, dels på kvaliteten i uppgifterna. Det internationella samarbete som studierna bygger på ger dessutom stora effektivitetsvinster och synergieffekter som inte står till buds när en likartad teknik ska implementeras i ett enskilt land. Därför är det nödvändigt att noga utreda hur ett system för nationell kunskapsutvärdering kan utformas och implementeras. 14.1.3Tidigare svenska nationella utvärderingar har bidragit till utvecklingen av svensk skola men inte huvudsakligen gett underlag för trendmätning över tid Även de nationella utvärderingar som har gjorts i pekar på stora utmaningar i att beskriva kunskapsutvecklingen över tid.4 Detta var det ursprungliga syftet med de svenska utvärderingarna men det finns endast några få exempel på resultat som har viss bä- ring på syftet och då främst från jämförelserna mellan NU 92 och NU 03. måste det understrykas att de olika utvärdering- arna har gett värdefull information om undervisningen och dess förutsättningar inom olika ämnesområden. Skolverket5 gör den samlade bedömningen att utvärderingarna har gett stora bidrag till utvecklingen av svensk skola. 2OECD (2015). Improving Schools in : An Perspective. 3Se även avsnitt 5.2.2. 4Se även avsnitt 5.2.3. 5Skolverket (2006). Rullande stickprovsbaserat system för kunskapsutvärdering av grund- skolans ämnen. Ett nytt system för nationell kunskapsutvärdering och … En anledning till att de svenska nationella utvärderingarna har framstått som något okoordinerade är att det inte har funnits ett samlat ramverk som har styrt innehåll och metoder. Inte heller har det funnits en långsiktig planering och finansiering av verksam- heten. Beslut om enskilda utvärderingar har i stället fattats ad hoc.6 Eftersom studier av förändring kräver planering på mycket lång sikt framstår en sådan beslutsprocess som föga ändamålsenlig. är det, enligt utredningens uppfattning, viktigt att i bygga upp ett robust system som är hållbart och där det finns ett långsiktigt åtagande. För att systemet ska fungera behöver ut- vecklingen av det ges tillräckligt med tid. Därigenom ges också möjlighet att bygga upp kompetens i landet. 14.1.4Ett nytt system för trendmätning ska införas i form av en försöksverksamhet För att kunna följa svenska elevers kunskapsutveckling och därigenom få mer kunskap om det svenska skolsystemet föreslår utredningen att en försöksverksamhet med ett nytt system för nationell kunskapsutvärdering (NKU) ska inledas. Skälen för att genomföra NKU i form av ett försök är att inte har haft ett robust system för nationell kunskapsutvärdering. Ett sådant system behöver byggas upp bl.a. med ramverk, teknik för genom- förande, bedömning och analys samt med en organisation för att utveckla utvärderingen. Vissa ämnesområden är svårare att pröva än andra i en NKU. Av dessa anledningar behöver man pröva sig fram. Försöksverksamheten blir därmed också lång, för att kunna ta ställ- ning till hur en eventuell permanent verksamhet ska se ut och vilken omfattning den ska ha. 6 (2006). Rullande stickprovsbaserat system för kunskapsutvärdering av grund- skolans ämnen. Ett nytt system för nationell kunskapsutvärdering och … Syftet med den nationella kunskapsutvärderingen ska vara att ge information om kunskapsutvecklingen på nationell nivå över tid I avsnitt 5.3 beskrivs internationella erfarenheter av stickprovsbase- rade system för nationell kunskapsutvärdering från , Neder- länderna, och . De beskrivna systemen har flera olika syften. Ett första syfte är att undersöka förändringar av resultatnivåer och resultatskillnader . Detta syfte är uttalat i och . Av upplägget av det tyska systemet framgår att detta syfte finns också där. I är syftet att studera föränd- ring mindre tydligt uttalat, även om det finns. Ett andra syfte är att undersöka i vilken utsträckning eleverna når de uppställda målen och kraven. Detta är huvudsyftet i det fin- ländska systemet där resultaten värderas mot stegen i betygsskalan. Även i är huvudsyftet att värdera i vilken utsträckning de olika delstaterna når upp till de standarder, dvs. nivåer av kun- skaper, som har fastställts. I har detta syfte också alltmer kommit i förgrunden, både genom införandet av standarder och genom att utvärderingen på delstatsnivå har knutits till de kompe- tensnivåer som definieras i lagstiftningen om No child left behind. Den ökade betoningen av uppnådda nivåer inom läsförståelse och matematik i det kan även ses som en rörelse i riktning mot det andra syftet. Ett tredje syfte är att beskriva såväl uppnådda resultat som undervisningens utformning och kontextuella förhållanden på olika nivåer. De studier som avser ämnen som undersöks sällan, och där möjligheterna att studera förändringar därmed är begrän- sade, genomförs utifrån detta syfte. Många exempel på sådana stu- dier finns i , och . däremot har begränsat sitt urval av ämnen och fastställt relativt korta tids- intervall mellan på varandra följande undersökningar inom ett ämne. I princip kan dessa tre syften, enligt utredningens uppfattning, vara intressanta även för ett svenskt system för nationell kunskaps- utvärdering. Den främsta anledningen till att införa NKU är dock den upplevda bristen på information om hur kunskapsutvecklingen gestaltar sig, i synnerhet i de ämnen, områden och årskurser som inte ingår i de internationella studierna. Mot denna bakgrund före- slår vi att syftet med NKU ska vara att ge information om kun- Ett nytt system för nationell kunskapsutvärdering och … skapsutvecklingen på nationell nivå . Det faktum att åt- minstone vissa av de presenterade internationella systemen visar positiva erfarenheter av att beskriva kunskapsutvecklingen ger stöd för att detta syfte ska göras till ett huvudsyfte i den svenska utvärderingen. Syftet att undersöka uppnådda kravnivåer är av mindre vikt för ett svenskt system för trendmätning Det andra syftet, att undersöka i vilken utsträckning eleverna når de uppställda målen och kraven, bör diskuteras med utgångspunkt i det faktum att redan har nationella prov och betyg som är baserade på kravnivåer och mäter enskilda elevers kunskaper. De svenska läroplanerna, kursplanerna och ämnesplanerna anger krav- nivåer dels i form av det centrala innehållet (s.k. content standards), dels i form av kunskapskraven (s.k. performance standards). Det vore olämpligt att låta en svensk NKU helt styras av de nuvarande styrdokumenten, eftersom ett sådant system bör ha en högre grad av långsiktighet och stabilitet än vad som gäller för kurs- och ämnesplanerna. Det vore inte heller lämpligt att utforma en ytter- ligare uppsättning kravnivåer i anslutning till ett nyutvecklat system eftersom detta skulle skapa förvirring om vilka kravnivåer som faktiskt gäller. Däremot kan en urvalsbaserad NKU stärka förankringen av det nuvarande betygssystemet. Ett problem med betygssystemet är att det inte är helt resistent mot betygsinflation. Ett nytt system som kan ge information om kunskapsutvecklingen kan då ge underlag för att bedöma om förändringar i betygsnivåer återspeglar faktiska förändringar i kunskapsnivåer. Det är intressant att kon- statera att ett stickprovsbaserat system med detta syfte nu prövas i England7. Där gör man stickprovsmätningar för att undersöka för- ändringar i elevernas kunskapsutveckling och använder dessa mätningar för att bestämma hur mycket betygen får öka eller bedöma om betygsökningarna är rimliga. Ett annat pro- blem med det svenska betygssystemet är att kunskapskraven är uttryckta i förhållandevis allmänna termer och i ett begränsat antal 7 (2015). Arrangements to implement the national reference test. Ett nytt system för nationell kunskapsutvärdering och … NKU blir mer effektiv om resultaten uttrycks på en kontinuerlig skala, t.ex. en poängskala, än i ett fåtal kategorier. Det tredje syftet, att beskriva såväl uppnådda resultat som undervisningens utformning och kontextuella förhållanden på olika nivåer, är givetvis också i hög grad aktuellt för . Mycket av det arbete som har gjorts inom de nationella utvärderingar som genomförts avser just en bred beskrivning av ämnenas situation och utveckling med användning av en rad olika informa- tionskällor. Så har t.ex. varit fallet för den utvärdering av ämnena bild, musik och slöjd som publicerade 2015. I denna typ av studier är det dock i allmänhet svårt att undersöka förändringar av kunskapsnivåer . Inte heller det amerikanska NAEP har mer än mycket begränsade ambitioner att uppfylla det tredje syftet. Det framstår därför inte som nödvändigt att föra samman denna typ av utvärderingsstudier med de som fokuserar på förändringar av kunskapsnivåer . Försöksverksamheten ska genomföras digitalt i form av stickprovsundersökningar Det finns, enligt utredningens uppfattning, mycket som pekar på att stickprovsundersökningar liknande de som har utvecklats inom de internationella studierna kan ge information om kunskapsut- vecklingen med en relativt begränsad resursinsats i form av elev- och lärartid. Av denna anledning föreslår vi att försöksverk- samheten med det nya systemet för kunskapsutvärdering ska ge- nomföras i form av stickprovsundersökningar. När undersök- ningarna genomförs ska eleverna delta i alla delar av dem. De länder som vi har beskrivit i avsnitt 5.3 genomför antingen sin nationella kunskapsutvärdering digitalt eller planerar för en över- gång till datorbaserade prov. Av denna anledning framstår det som naturligt att ett nytt svenskt system redan från start genomförs via dator. Därför föreslår vi att försöksverksamheten ska genomföras digitalt. Ett digitalt genomförande underlättar också för skolorna, förutsatt att tekniska lösningar finns på plats. Eftersom nationella prov ska digitaliseras kan vi förutsätta att tekniken även ska fungera för NKU. I avsnitt 9 och 11 lämnar vi förslag om digitalisering av de nationella proven. Vi föreslår bl.a. att ska genomföra en Ett nytt system för nationell kunskapsutvärdering och … försöksverksamhet med datorbaserade prov, extern bedömning och medbedömning. Såväl försöket med datorbaserade prov som NKU kräver en teknisk lösning. Hur upphandlar och väljer teknisk lösning är en fråga som myndigheten får hantera. Det framstår dock som naturligt att den tekniska lösningen samordnas mellan de nationella proven och NKU. Detta är inte minst viktigt av kostnadsmässiga skäl. När vi beräknar kostnader för våra förslag (se avsnitt 15) utgår vi från att utvecklingskostnader för en teknisk lösning inte behöver räknas dubbelt, vilket förutsätter samordning mellan digitaliseringen av de nationella proven och NKU. Införandet av ett digitalt system för NKU innebär en ökad da- toriserad behandling av personuppgifter och en möjlighet till ökat informationsutbyte av personuppgifter mellan olika aktörer. Där- med aktualiseras en rad integritetsaspekter. För att möjliggöra en ändamålsenlig behandling av personuppgifter och skydda eleverna i försöksverksamheten mot att deras integritet kränks vid behand- lingen av personuppgifter har vi i avsnitt 1.8 lämnat förslag till en registerlag. Registerlagen omfattar också försöksverksamheten med datorbaserade prov, extern bedömning och medbedömning. Den beskrivs närmare i avsnitt 11.2. Inledningsvis ska ett ämne ingå i försöksverksamheten för att sedan successivt utökas Många länder strävar efter att studera alla ämnen Av de länder som utredningen har presenterat i avsnitt 5.3 strävar alla, utom , efter att täcka in samtliga skolans ämnen i sina nationella kunskapsutvärderingar. I vissa fall undersöks även ämne- sövergripande kompetenser. Den frekvens med vilken olika ämnen undersöks varierar men det finns en tydlig tendens att vissa områden, t.ex. matematik och läsförståelse, har fått en successivt ökad uppmärksamhet. I , och under- söks dessa ämnen numera medan andra ämnen under- söks betydligt mer sällan. Ett nytt system för nationell kunskapsutvärdering och … I de internationella studierna undersöks ett begränsat antal ämnen De internationella studierna har som huvudsyfte att undersöka förändringar i kunskapsnivåer . Även om det finns vissa skillnader mellan de svenska styrdokumenten och innehållet i stu- dierna är skillnaderna inte av en sådan art att de förhindrar att stu- dierna används för information om kunskapsutvecklingen i den svenska skolan. De internationella studierna täcker dock endast in vissa ämnen och vissa områden inom ämnena. I undersöks läsförståelse, matematik och naturvetenskap för femtonåringar. PIRLS fokuserar på läsförståelse i årskurs 4. I TIMSS studeras matematik och naturvetenskap i årskurserna 4 och 8 i samt i den avslutande årskursen i gymnasieskolan. Utöver att bara vissa ämnen ingår är t.ex. svenskämnet kraftigt inskränkt eftersom endast läsförståelse prövas. Urvalet av årskurser är också begränsat, särskilt för gymnasieskolan. Det är bara TIMSS som vid tre till- fällen (1995, 2008 och 2015) har inkluderat gymnasieskolan i sina undersökningar. Några ämnen finns inte alls representerade i de internat- ionella studierna. Främmande språk är ett sådant, förutom den stu- die som genomfördes (se avsnitt 14.2.1). Att främmande språk inte är representerade är bekymmersamt med tanke på den stora betydelse som språken har för länder med ett litet eget språkområde. Även samhällsvetenskapliga och humanist- iska ämnen undersöks sällan, men det bör nämnas att delar av om- rådet samhällskunskap (civics) har undersökts (1971, 1999 och 2009) och undersöks igen 2016. Ämnesövergripande kompetenser kan också ingå i nationella kunskapsutvärderingar Stickprovsundersökningar behöver inte göras strikt ämnesan- knutna utan kan med fördel användas för att undersöka ämnes- övergripande kompetenser. Ett intressant exempel är som studerar ämnesövergripande kompetenser, t.ex. att lära sig lära, problemlösning, kommunikation och motivation. I den svenska läroplanen för beskrivs sådana kom- petenser i avsnittet Kunskaper och under rubriken Ett nytt system för nationell kunskapsutvärdering och … mål och riktlinjer. Där fastslås att skolan ska ansvara för att varje elev efter genomgången grundskola bl.a. kan lösa problem och omsätta idéer i handling på ett kreativt sätt kan lära, utforska och arbeta både självständigt och tillsammans med andra och känna tillit till sin egen förmåga kan använda sig av ett kritiskt tänkande och självständigt formulera ståndpunkter grundade på kunskaper och etiska överväganden kan använda modern teknik som ett verktyg för kunskaps- sökande, kommunikation, skapande och lärande.8 Motsvarande formuleringar om ämnesövergripande kompetenser finns i läroplanen för gymnasieskolan.9 Även i andra länder förs diskussioner om betydelsen av att uppmärksamma ämnesövergripande kompetenser. Exempelvis lyf- ter den norska utredningen skola10 fram fyra kom- petensområden som grund för förnyelse av skolans innehåll: ämnes- specifik kompetens, kompetens att lära, kompetens att kom- municera, samarbeta och delta samt kompetens att utforska och skapa. Andra exempel är EU:s åtta nyckelkompetenser11 och 21st century skills12 som anger vilka generella kompetenser som behövs för framtiden. Det framstår som angeläget att även utveckla angreppssätt för att beskriva utvecklingen av den här typen av ämnesövergripande kompetenser inom ramen för ett svenskt system för nationell kun- skapsutvärdering. Utmaningarna att utveckla mätsystem för ämnes- övergripande kompetenser som uppfyller de krav på validitet och reliabilitet som måste gälla för NKU är dock stora, varför detta måste se i form av en försöksverksamhet. 8Förordningen (SKOLFS 2010:37) om läroplan för , förskoleklassen och fritids- hemmet. 9Förordningen (SKOLFS 2011:144) om läroplan för gymnasieskolan. 10Fremtidens skole (NOU 2015:8). 11Europaparlamentets och rådets rekommendation av om nyckel- kompetenser för livslångt lärande (2006/962/EG). 12Se t.ex. ; ; Ett nytt system för nationell kunskapsutvärdering och … Försöksverksamheten med den svenska nationella kunskapsutvärderingen ska till att börja med gälla ett ämne Huvudsyftet med ett svenskt system för nationell kunskapsutvär- dering ska, som utredningen tidigare föreslagit, vara att undersöka förändringar i nationella kunskapsnivåer , vilket bör gälla dels totalt, dels för olika undergrupper av elever. För att kunna uppnå detta syfte krävs både att mätningen vid varje enskild tid- punkt har hög kvalitet och att det är möjligt att jämföra de olika mätningarna med varandra. Det ställer höga krav på mätningarnas validitet, reliabilitet och generaliserbarhet. Det föreslagna systemet kommer att innebära delvis nya mo- deller för utformning och genomförande av prov. Eftersom dessa modeller inte har prövats i , utöver vårt deltagande i internationella studier, är det lämpligt att börja i liten skala. Vi före- slår som tidigare nämnts att undersökningen ska ske i form av en försöksverksamhet. För att kunna pröva och värdera olika inne- hållsliga frågor och en teknisk lösning i liten skala inom ramen för försöket ska inledningsvis ett ämne ingå. Därefter ska försöksverk- samheten successivt utökas till fler ämnen och ämnesövergripande kompetenser. Arbetet med den nationella kunskapsutvärderingen ska styras av ramverk För att ett nytt system för nationell kunskapsutvärdering ska kunna konstruera föreslår utredningen att arbetet ska styras av ett gemensamt ramverk, som preciserar de grundläggande principerna för systemets konstruktion och anger krav på precision i skatt- ningar. Ett sådant ramverk behövs redan i försöksverksamheten. bör ansvara för att det gemensamma ramverket tas fram. Utöver det gemensamma ramverket föreslår vi att det ska ut- vecklas ämnesramverk för de ämnen som ingår i försöksverksam- heten. Ämnesramverken anger bl.a. vilka domäner som ska mätas, vilka typer av uppgifter som ska användas och hur stor andel av upp- gifterna som ska utgöras av en viss uppgiftstyp. De universitet och högskolor som kommer att konstruera den nationella kunskapsut- värderingen i respektive ämne bör få i uppdrag att utarbeta de ämnesspecifika ramverken utifrån det gemensamma. Ett nytt system för nationell kunskapsutvärdering och … relevant och möjligt bör arbetet med de ämnesspecifika NKU- ramverken bedrivas i anslutning till och samverkan med utveck- lingen av ämnesramverk för motsvarande nationella prov. En självklar utgångspunkt för ämnesramverken är läroplaner, kursplaner och ämnesplaner. Ramverken bör dock inte bindas så hårt till dessa dokument att de måste ändras så snart dokumenten förändras. Inom det amerikanska NAEP görs ofta smärre föränd- ringar av ramverket inom ett område från en utvärdering till en annan, men avsikten är att ett ramverk i huvudsak ska vara använd- bart under . Anledningen är att förändringar av ett ram- verk hotar att omöjliggöra studier av förändring . Frågan om ämnesramverkens validitet är viktig och rymmer många aspekter, men tre framstår som särskilt viktiga: att ramverket har acceptans och legitimitet att det ger signaler som utvecklar skolverksamheten i en önsk- värd riktning att det återspeglar undervisningens innehåll och former. Dessa aspekter kan vara svåra att uppfylla, och praktiska omständig- heter kan göra det nödvändigt att hitta kompromisser. Många uppgifter ska ingå i systemet men varje elev behöver bara besvara ett urval Datoriseringen av det nya systemet för nationell kunskapsutvärde- ring innebär både begränsningar och möjligheter när det gäller ut- formningen av provuppgifter. Bland de intressanta möjligheterna erbjuds flexiblare och rikare möjligheter att presentera interaktiva och multimediala uppgifter samt att hantera provsvaren automa- tiskt. Begränsningar kvarstår dock när det gäller möjligheten att automaträtta längre textsvar, vilket gör att uppgifter med bundna svarsalternativ under överskådlig framtid kommer att vara rikligt förekommande. I de olika systemen för nationell kunskapsutvärdering har alltid uppgifter med givna svarsalternativ använts tillsammans med upp- Ett nytt system för nationell kunskapsutvärdering och … gifter som krävt korta svar i form av något eller några ord eller några meningar. Uppgifter där eleverna lämnar svar i form av några meningar eller längre texter kan ännu inte rättas automatiskt. Där- emot är det naturligtvis möjligt att använda datorn för att distribu- era elevsvaren till bedömare som gör en bedömning. Inom NAEP har det funnits en ambition att ha en relativt stor andel öppna uppgifter, bl.a. för att dessa uppgifter an- ses ha positiva signaleffekter på verksamheten i skolan. Genom att urval görs av både elever och uppgifter har det varit möjligt att an- vända relativt stora andelar öppna uppgifter. De produktiva upp- gifterna är dock ofta mycket tidskrävande att besvara för eleverna och det krävs stora insatser i form av tid och resurser för att be- döma elevernas produktion. I frivilliga prov där resultaten inte har någon betydelse för eleverna har dessa uppgifter också en betydligt större andel utelämnade svar än uppgifter med bundna svar. Frågorna om olika uppgiftstyper och om hur fördelningen mellan olika uppgifter bör se ut i NKU-proven bör hanteras inom det gemensamma ramverket och ämnesramverken. Erfarenheter från de stickprovsbaserade bedömningssystem som utredningen har studerat (se avsnitt 5.3) och de internationella studierna visar att en stor mängd uppgifter krävs för att det ska vara möjligt att uppnå en adekvat täckning av de olika ämnesområ- dena och att få tillräckligt många uppgifter av olika svårighetsgrad. Som exempel kan nämnas att matematikdelen i TIMSS i årskurs 8 omfattar drygt 200 uppgifter. Av det skälet måste någon form av matrissampling användas. Matrissampling innebär att eleverna bara besvarar en del av uppgifterna, antingen genom slumpmässig för- delning eller genom att hänsyn tas till elevens tidigare prestationer. Utredningen föreslår att NKU-systemet ska innehålla ett omfatt- ande antal uppgifter men att varje elev bara behöver besvara ett urval genom matrissampling. Det antal uppgifter som behöver konstrueras bestäms av olika faktorer – dels av i vilken utsträckning rapportering ska göras av olika delpoäng, dels av det antal uppgifter som behövs för att täcka in de olika innehållsområdena, uppgiftstyperna och prestationsni- Ett nytt system för nationell kunskapsutvärdering och … Det totala antalet uppgifter och den totala testtiden be- stämmer sedan, tillsammans med den tid som varje elev ska lägga ner på provet, hur många uppgifter som varje elev kan besvara.