sou · H2B312 · 2014-03-12 00:00:00 — 9Uppgifterna i testet upp i olika versioner av testformuläret på ett sådant sätt att olika elever besvarar delvis olika uppgifter som det görs en viss överlappning mellan de upp- gifter som erbjuds olika elever. Balanced Incomplete Block (BIB) är en design för detta som beskrivs i rapporten för ett system för uppföljning av kunskapsutvecklingen i grund- skolan (2006) av . 10When measuring change, do not change the measure. Beaton och Zwick i artikeln Disentangling the NAEP 1985-86 reading anomaly (NAEP Rep. 17-TR-21) NJ: Educational testing service. Här citerad efter (2006) för ett system för uppföljning av kunskapsutvecklingen i grund- skolan. Systemet för att följa kunskapsresultat – utvecklingsbehov Som nämnts ovan är på nationell nivå de genomsnittliga betygs- resultaten mer stabila än de genomsnittliga resultaten från de nationella proven. Hur stora variationerna är varierar för olika ämnen, men förhållandet indikerar att de genomsnittliga betygs- resultaten sannolikt är mer rättvisande än resultaten från de nationella proven. Orsaken till detta kan bl.a. vara att prov vid ett enstaka tillfälle mäter en mer begränsad del av ett ämnes kunskapsinnehåll än den bedömning som läraren gör. Lärarens bedömning fångar elevens kunskaper bredare och tar dessutom hänsyn till elevens prestationer . Detta innebär dock inte att betygen fungerar tillräckligt bra för att mäta trender. Ett problem är den betygsinflation som forskare pekar på 11. Även konstaterade att det empi- riska underlaget ger tydliga indikationer på att betygsinflation har förekommit i både och gymnasieskolan sedan slutbe- tyg började utfärdas enligt det målrelaterade betygssystemet . I var den starkast efter 1998, för att sedan minska . Minst var betygsinfla- tionen i ämnen där det förekommer nationella prov.12 Det bör observeras att denna analys avser perioden innan den nya betygsskalan infördes . Erfarenheten från 1990- talet pekar på att det nu finns en risk för att lärare initialt är för- siktiga med sin betygssättning, för att sedan successivt utnyttja hela betygsskolan. Detta kan nu återigen komma att leda till en kraftigare betygsinflation. Det kan dock även finnas andra orsaker till betygsinflation, exempelvis konkurrensen om elever till följd av det fria skolvalet och allt starkare påtryckningar från elever och föräldrar. Utredningen bedömer sammantaget att det faktum att betygsys- temet inte är stabilt , samt att det av olika orsaker finns risk för betygsinflation, innebär att betyg inte lämpar sig som underlag för att studera trender. Betygresultat kan dock användas för andra analyser, t.ex. prognosticerar de bättre för kommande studiefram- gångar än de nationella proven. Som utredningen pekat på redan i delbetänkandet är det för när- varande särskilt olämpligt att använda betygsresultat för att följa 11Gustafsson, , och (2014) Likvärdig kunskaps- bedömning i och av den svenska skolan – problem och möjligheter. 12Skolverket (2012) Betygsinflation – betygen och den faktiska kunskapsutvecklingen (dnr. Systemet för att följa kunskapsresultat – utvecklingsbehov Anledningen till detta är att betygssättningen påverkas av de reformer som genomförts och som gör att såväl kurs- planer och kunskapskrav som betygsskalan är nya. Erfarenheten visar att det tar tid innan nya bedömningssystem sätter sig och innan lärare använder hela betygsskalan på det sätt som är avsett. Varken de genomsnittliga betygsresultaten eller resultaten från de nationella proven lämpar sig för att ligga till grund för trend- mätning. Betygen har visserligen en lägre volatilitet än provresul- taten, men är ändå behäftade med problem vad gäller likvärdigheten mellan olika grupper och skolor samt med betygsinflation. Flera av de syften som är knutna till de nationella proven gör att dessa genomförs av samtliga elever i årskullen. Ett sådant prov, utformat lika för samtliga elever, kan inte omfatta ett tillräckligt stort antal frågor för att ge tillräckligt god validitet för trendmät- ning. De nationella proven är helt enkelt utformade för andra syften än att ligga till grund för trendmätning och har därför ett begränsat värde i samband med utvärdering av reformer. Det bör understrykas att både betyg och nationella prov har andra viktiga funktioner vid olika former av utvärdering, t.ex. effektutvärdering. Både betyg och nationella provresultat kan t.ex. ligga till grund för olika former av tvärsnittsanalyser och för longitudinella studier (se vidare kapitel 10). Betygen är också den bästa indikatorn vi har på elevers framtida yrkesframgång. Det betyg och nationella provresultat inte duger till är att uttala sig om hur kunskapsnivån utvecklas på nationell nivå . 9.1.2Internationella studier – de enda instrument som kan mäta kunskapsresultat över tid Utredningen har i kapitel 4 redovisat deltagande i olika internationella studier. Som ett resultat av en ständigt pågående metodutveckling bygger de internationella studierna på en avancerad statistisk modellering. De internationella studierna har ett gott anseende bland experter, bl.a. beroende på att proven debatteras och till följd av det utvecklas. Systemet för att följa kunskapsresultat – utvecklingsbehov Debatten handlar bland annat om vad de mäter och inte mäter, hur resultaten presenteras och hur de kan förstås. En vanlig invänd- ning är att proven är konstruerade utifrån ett ramverk som definierar huvudstrukturen av kunskaper och färdigheter inom ett område, anger vilka typer av uppgifter som skall användas, hur stor andel av det totala antalet uppgifter en viss uppgiftstyp skall utgöra osv.13 Detta ramverk överensstämmer mer eller mindre väl med de del- tagande ländernas nationella läro- och kursplaner.14 har dock analyserat överensstämmelsen mellan de internationella studierna och de svenska kursplanerna och funnit att den överlag är god.15 Där överensstämmelsen inte är perfekt kompletterar dess- utom och TIMSS varandra.16 Ett problem med de internationella studierna är att de omfattar ett begränsat antal ämnen, fokuserar ett begränsat kunskaps- innehåll och genomförs med olika periodicitet och i olika årskurser . PIRLS fokuserar på läsförmågan i årskurs 4 och genomförs . TIMSS fokuserar matematik och naturvetenskap i årskurs 4 och årskurs 8 och genomförs . mäter 15-åringars kunskaper (årskurs 9) i läsning, mate- matik och naturvetenskap och genomförs . Det finns dessutom risk för både missförstånd och övertolk- ningar eftersom de internationella studierna bygger på så avancerade statistiska metoder att de inte ens behärskas av alla fors- kare och att resultaten presenteras i former som kan vara svåra att tillgodogöra sig även för dem som arbetar inom utbildnings- området.17 Trots att invändningar av olika slag alltså har rests mot de inter- nationella studierna drar utredningen ändå slutsatsen att de utgör den enda källan för bedömning av hur den svenska skolans kunskapsresultat utvecklas . De ger dock en bild av svenska elevers kunskaper som är begränsad till vissa ämnen och förmågor, vilket aktualiserar frågan om hur ett framtida nationellt system bör utformas. 13Gustafsson, (2006) a.a. 14Skolverket (2004) Internationella studier under . Svenska resultat och erfarenheter. 15Skolverket (2006b). Med fokus på läsförståelse – En analys av skillnader och likheter mellan internationella jämförande studier och nationella kursplaner. aktuella analyser 2006. : och (2006c). Med fokus på matematik och naturvetenskap – En analys av skillnader och likheter mellan internationella jämförande studier och nationella kursplaner. aktuella analyser 2006. 16Gustafsson, , och (2014) Likvärdig kun- skapsbedömning i och av den svenska skolan – problem och möjligheter. 17Gustafsson, (2006) a.a. Systemet för att följa kunskapsresultat – utvecklingsbehov 9.2Användningen av nationella prov i andra länder Utredningen har besökt , , och och diskuterat hur man i dessa länder arbetar med att samla in och bearbeta information om elevers kunskapsresultat som ett led i län- dernas utvärdering av skolans resultat. Samtliga dessa länder deltar i någon eller i flera av de internationella studierna, vilket ger viss information om trender. Flera länder har också examensprov, vilka dock knappast ger underlag för att följa kunskapsutvecklingen . Liksom de nationella proven i kan examensproven inte täcka ett ämnes samtliga mål. Vi har därför uppehållit oss särskilt vid de olika ländernas nationella prov eller tester, vilka kan utgöra komplement till de internationella studierna. En skillnad mellan länderna gäller om de nationella proven eller testerna liksom i omfattar samtliga elever i berörda års- kurser, eller om testerna baseras på stickprov. I och baseras de på stickprov. Orsaken är att syftet med dessa prov i första hand är att ge en nationell bild av kunskapsläget. I åter- rapporteras resultaten från proven till kommunen och skolan, men endast på skolnivå och inte för enskilda elever. Varje skola får en sådan återkoppling om läget i förhållande till riket minst . I görs ingen sådan återkoppling till den enskilda deltagande skolan. I och genomförs de nationella proven eller testerna för samtliga elever i berörd årskurs. I båda länderna är det primära syftet med proven att fungera som ett pedagogiskt verktyg för läraren samt att vara en utgångspunkt för skolans kvalitets- arbete. I sammanställs dock en nationell prestationsprofil som publiceras en gång . 2013 redogörs för utvecklingen innan. I publiceras resultat från de nationella proven på nationell nivå, men man understryker att proven inte är avsedda för att beskriva utvecklingen . Trendmätande prov har dock introducerats i matematik och engelska. Gemensamt för länderna är att proven genomförs för ett stra- tegiskt urval av ämnen samt att provuppgifterna inte publiceras och därmed kan återanvändas. Gemensamt är också att proven inte är av high-stakeskaraktär, dvs. resultaten har ingen omedelbar bety- delse för deltagande skolor, lärare och elever vad gäller t.ex. resurs- fördelning eller betyg. I flera av länderna finns dock, som nämnts ovan, examensprov som är av high-stakeskaraktär. Systemet för att följa kunskapsresultat – utvecklingsbehov 9.3Tidigare förslag om rullande stickprovsbaserad utvärdering av elevernas kunskapsresultat har i en rapport med anledning av ett rege- ringsuppdrag redovisat ett förslag till ett framtida nationellt stick- provsbaserat system för kunskapsutvärdering av ämnen.18 rapport för ett system för upp- följning av kunskapsutvecklingen i grundskolan19 utgjorde ett underlag för denna rapport från . rapport är den grundligaste genomgång av förut- sättningarna för ett system för mätning av kunskapsutvecklingen (trendmätning) som gjorts i . redogör bland annat för hur extern kunskapsbedömning och mätning, dvs. bedömning som initieras och genomförs av andra än av den under- visande läraren, vuxit fram med som föregångsland och hur de landvinningar som gjorts inom statistisk modellering och psykometri utnyttjats vid utformningen av den återkommande utvärderingen av amerikanska skolbarns kunskaper (National Assessment of Educa- tional Progress, NAEP) och därifrån förts vidare till de olika inter- nationella studier som utvecklats av IEA (TIMSS och PIRLS) och (). En av slutsatser är att det tycks vara nödvändigt att använda sig av flera olika utvärderingsformer vid kun- skapsbedömning. För att mäta trender föreslår att ett stickprovsbaserat system för kunskapsbedömning på nationell nivå införs. Stickprovsbaserade prov har, enligt , flera för- delar jämfört med prov där samtliga elever i en årskurs deltar: de kan utformas så att de har hög validitet i förhållande till läroplanens samlade kunskapsmål utan att de blir alltför omfattande för varje enskild elev, de minskar risken för allmän provtrötthet och de eliminerar risken för att lärarna börjar anpassa sin under- visning till proven (teach–to the–test). I rapporten system för kunskapsutvär- dering av ämnen20 menade att det förslag som lämnat skulle bli alltför kostsamt för ett litet land som , både i uppbyggnadsskedet och i en tänkt mer regel- 18Skolverket (2006) Rullande stickprovsbaserat system för kunskapsutvärdering i ämnen. 19Denna rapport är publicerad som appendix till rullande stickprovs- baserat system för kunskapsutvärdering av ämnen. 20Skolverket (2006). Rapporten utgjorde en bilaga till redovisning av ett regeringsuppdrag avseende resultatinformation givet . Systemet för att följa kunskapsresultat – utvecklingsbehov föreslog i stället att de interna- kunskapsmätningarna ska integreras i en nationell strategi och helt eller delvis ersätta nationella mätningar inom de kunskaps- eller ämnesområden de mäter. I de fall en internationell studie står i rimlig överensstämmelse med intentioner och ambitioner i de nationella måldokumenten, skulle således de internationella studierna ersätta nationella mätningar och nationella stickprovsundersök- ningar genomföras endast som komplement till de internationella studierna. ansåg att sådana nationella undersökningar borde göras i ett fåtal strategiskt valda ämnen där det nationella kunskapsbehovet inte täcks av internationella studier eller av andra skäl bedöms som särskilt angeläget. En förutsättning för förslag är att fattar ett långsiktigt beslut om att delta i de internationella studierna och inte som förutsättningslöst prövar deltagandet inför varje enskilt tillfälle. Regeringen har inte reagerat på förslag, vilket innebär att något särskilt uppdrag att genomföra denna typ av stickprovsundersökningar inte har lämnats. Det bör i sammanhanget uppmärksammas att det är möjligt för ett land att i samband med en internationell studie utöka urvalet av elever för att möjliggöra mer fördjupade analyser av resultaten, t.ex. för olika elevgrupper eller olika kommuntyper etc. Det är också möjligt att lägga till egna frågor utöver dem som ingår i den inter- nationella undersökningen för att få en mer nationellt anpassad belysning av ämnet ifråga. I båda fallen är detta förknippat med kostnader. Att tillföra extra frågor kan dessutom påverka elevernas motivation att lösa uppgifterna i negativ riktning. Att proven inte redovisas tillbaka till skolan eller eleverna riskerar att påverka både elevernas och lärarnas engagemang för proven negativt. 9.4Förslag till utveckling av systemet för att mäta trender Utredningens förslag: Ett system införs med stickprovsbaserade undersökningar för trendmätning, som kompletterar de internatio- nella studierna. Ett sådant system skulle förbättra möjligheterna att följa kunskapsutvecklingen i den svenska skolan. Systemet bör ha en bredd med avseende på både de ämnen och de kun- skapskvaliteter som mäts. Systemet för att följa kunskapsresultat – utvecklingsbehov En utredning föreslås med uppdrag att i ett sammanhang utforma ett system för trendmätning genom stickprovsunder- sökningar och att utreda det framtida systemet för utvärdering av kunskapsresultat i sin helhet. Arbetet bör i den senare delen inriktas på vilka syften som kan och ska knytas till systemet, vilka instrument som bör knytas till respektive syfte och vilka aktörers informationsbehov de olika instrumenten ska svara mot. I det föregående har olika aspekter av det nuvarande systemet för kunskapsuppföljning beskrivits. Av genomgången ovan framgår att dagens svenska system för kunskapsuppföljning inte förmår att tillhandahålla den slags information som är nödvändig för att följa kunskapsutvecklingen i skolan . Varken betygssystemet eller det nationella provsystemet lämpar sig för trendmätning. Det bör understrykas att det inte är nödvändigt med den typ av absolut kunskapsmätning som trendstudier representerar för att det ska vara möjligt att utvärdera reformer, genom exempelvis effektstu- dier. Utredningen bedömer dock att det behövs mått av god kvali- tet, som belyser hur skolan utvecklas . Systemet bör ha en bredd med avseende på både de ämnen och de kunskapskvaliteter som mäts. Till det svenska nationella bedömningssystemet har knutits allt fler mer eller mindre förenliga syften, ett för- hållande som inte är ensamt om. Som exempel kan nämnas att Newton21 för vidkommande har identifierat inte mindre än arton olika syften kopplade till bedömning (assessment)22. I likhet med Skolverket23 konstaterar att det är nödvändigt att hålla isär olika typer av syften för bedömning. Eftersom de har uppenbara återverkningar på utformningen av ett system för kun- 21Paul E. (2002) Clarifying the perpose of educational assessment. Assessment in education, Vol. 14, No. var för artikelns publicering chef för research, regulation and Standards Division vid Qualifications and Currculum Authority i . Han är professor vid utbildningsvetenskapliga institutionen vid . 22De 18 olika syftena är: social utvärdering, formativ, elevuppföljning, uppflyttning, place- ring, diagnostik, vägledning, utfärdande av en kvalifikation, urval, licensiering, val av skola, institutionell granskning, fördelning av resurser, grund för intervention i en organisation, utvärdering av en åtgärd, uppföljning på systemnivå, jämförelse och nationellt ansvarsutkrä- vande. 23Se t.ex. (dnr. 2009:337) med anledning av regeringsuppdrag givet i regleringsbrev . Systemet för att följa kunskapsresultat – utvecklingsbehov skapsbedömning behöver vart och ett av syftena enligt tas om hand för sig. Kraven på att det nationella systemet för kunskapsbedömning ska kunna beskriva kunskapsutvecklingen har stärkts un- der hand. Som redan nämnts gav t.ex. regeringen i uppdrag24 att kvalitetssäkra ämnes- och kursproven så att de bättre än kan användas för att bedöma kunskapsutvecklingen . konstaterade dock i sin redovisning25 att de nuvarande nationella proven är utformade för att stödja en likvärdig och rätt- vis bedömning och betygssättning, och att det inte är rimligt att använda dem för att också göra årliga trendanalyser av olika kun- skapsområden. För att kunna utgöra grund för trendmätning krävs enligt att proven är stabila , dvs. att varje nytt prov inne- håller ett antal uppgifter som ingått i tidigare prov. Vidare krävs att innehållet i kursplaner och utformningen av betygssystemet inte förändras. Vi har dessutom i det ovanstående visat att det, för att få en god täckning av ett ämne, även krävs att varje undersökning omfattar ett så stort antal frågor att det inte är rimligt att förvänta sig att en elev vid ett och samma tillfälle ska kunna besvara dem. förordar att de nationella provens nuvarande syften bibehålls och inte utökas till att också omfatta trendmätning. Om kunskapsutvecklingen inom olika kunskapsområden med stor säker- het ska kunna följas är det enligt verket mer motiverat att undersöka möjligheten att ta fram ett särskilt mätinstrument för just det ändamålet. Utredningen konstaterar att det nuvarande systemet för kunskaps- bedömning har vuxit fram genom successiva förändringar . Detta har inte bara medfört att förväntning- arna på vad systemet ska bidra till har blivit allt fler utan att det också skapats spänningar mellan de olika förväntningarna. Dess- utom har den successiva framväxten lett till att prov i olika ämnen är utformade på olika sätt, vilket försvårar för de lärare som under- visar i flera ämnen för vilka det genomförs prov. Utredningen delar uppfattningen att det inte är rimligt att för- vänta sig att den typ av nationellt provsystem som vi har i ska kunna användas för att följa trender och föreslår därför att ett system med stickprovsbaserade undersökningar för trendmätning 24U2011/6543/S. 25Skolverket (dnr. Systemet för att följa kunskapsresultat – utvecklingsbehov som kompletterar de internationella studierna ska införas för detta syfte. Ett sådant system skulle förbättra möjligheterna att följa kunskapsutvecklingen i den svenska skolan och därmed även för- bättra förutsättningarna för att utvärdera reformer och andra ini- tiativ på skolans område. Det bör understrykas att behovet att komplettera de internationella undersökningarna inte endast avser andra ämnen och mål i läroplanen än de som ingår i dessa. Även för de ämnen för vilka det genomförs internationella mätningar kan det finnas behov av komplettering. Utöver de fördelar med ett stickprovsbaserat system som redo- gjorts för ovan – hög validitet i förhållande till läroplanens samlade kunskapsmål, få frågor per elev, låg risk för provtrötthet, minskad risk för teaching to the test – ger ett stickprovsbaserat system även goda möjligheter att analysera variation, t.ex. mellan elever med olika kön eller socioekonomisk bakgrund. Det bör också kunna utformas för att möjliggöra kvalificerade analyser av vilka inslag i olika ämnen som svenska elever lyckas väl med och vilka de lyckas mindre väl med, dvs. kunna ligga till grund för olika nationella åtgärdsprogram. Erfarenheten från de internationella studierna visar dock att det kan finnas problem med stickprovsundersökningar, som bl.a. har att göra med motovationen, då proven inte har någon avgörande betydelse för eleven eller skolan. Detta bör dock gå att hantera, t.ex. genom att anpassa antalet elever i urvalet så att varje elev inte behöver besvara mer än ett begränsat antal frågor. Vi bedömer emellertid att det inte är lämpligt att nu endast lägga till ytterligare ett instrument i form av stickprovsundersökningar till ett redan hårt belastat system utan att utreda konsekvenserna av detta för övriga delar av systemet. Det bör få konsekvenser för övriga delar av det nationella systemet för kunskapsbedömning om behovet av trendmätning tillgodoses via ett stickprovsbaserat system. Det gäller framför allt för de nationella proven som bl.a. har till syfte att bidra med underlag för en analys av i vilken utsträckning kunskapsmålen nås på nationell nivå. Den successiva framväxten av systemet för kunskapsbedömning har enligt vår uppfattning nu lett fram till en punkt där systemets olika syften behöver övervägas på nytt. Hela systemet behöver enligt vår uppfattning utredas från grunden för att klargöra dels vilka syften som kan och ska knytas till systemet, dels vilka instru- ment som bör knytas till respektive syfte och dels vilka aktörers Systemet för att följa kunskapsresultat – utvecklingsbehov informationsbehov de olika instrumenten ska svara mot. Det bör därvid observeras att även betyg och resultat från nationella prov utgör viktiga underlag för olika former av utvärdering, t.ex. effekt- utvärdering. Vi föreslår att en utredning tillsätts med uppdrag att utreda det framtida systemet för kunskapsbedömning med avse- ende på dessa faktorer. En ambition bör vara att de nationella prov som ska finnas utformas på ett mer likartat sätt för olika ämnen. Frågan om att utforma stickprovsundersökningar för att kunna följa kunskapsutvecklingen i den svenska skolan föreslås ingå i uppdraget. Liknande rekommendationer lämnas i en SNS-rap- port26. I denna rekommenderas bl.a. en försöksverksamhet med ett rullande, stickprovsbaserat, nationellt kunskapsbedömningssystem för grund- och gymnasieskolan inom ett par ämnen. Vidare redovi- sas tankar om hur ett sådant nationellt kunskapsbedömningssystem kan kopplas samman med det nationella provsystemet, genom en gemensam uppgiftsbank, i syfte att de nationella proven bättre ska kunna stödja en likvärdig och stabil betygssättning. Detta innebär dock inte att författarna menar att det går att konstruera ett enskilt instrument som svarar mot samtliga olika syften. Utred- ningen bedömer att rapportens bedömningar kan bidra med värde- fulla utgångspunkter för den utredning vi här föreslår. En sådan utredning bör slutligen ses i perspektivet av vad vi redovisat i föregående avsnitt om behovet av ett utvärderings- ramverk. Systemet för kunskapsbedömning utgör en central del av ett sådant ramverk. Förändringar bör göras för att systemets olika delar ska kunna bidra optimalt till helheten som varje del kan utformas på ett stabilt och funktionellt sätt. 26 , , och (2014) Likvärdig kun- skapsbedömning i och av den svenska skolan – problem och möjligheter. 10Data för utvärdering – utvecklingsbehov