sou · H4B3252 · 2016-03-31 00:00:00 — Vissa inslag i linje med den standardsbaserade modellen fanns (2002–2004) då några sammanfattande provbetyg inte gavs i engelska och svenska, utan endast betyg på de delprov som gällde olika förmågor (tala, höra, skriva och läsa). Sedan var det lärarens uppgift att sätta såväl provbetyg (i den mån det efterfrågades) som betyg på elevens samlade kunskaper. Modellen övergavs dock eftersom den väckte kritik för att betygssättningen inte skulle bli rättvis och likvärdig om det inte fanns gemensamma regler för hur de sammanfattande provbetygen skulle bestämmas. Lgr 11 och Lgy 11 De kurs- och ämnesplaner som började gälla 2011 behöll de grund- läggande delar som gällde benämningen på bedömnings- systemet, dvs. mål- och kunskapsrelaterat. Någon ändring av kunskapssynen gjordes inte heller utan de fyra f:en kvarstod. Den utredning Tydliga mål och kunskapskrav39 som låg till grund för de nya läroplanerna behandlade kunskapsbegreppet översiktligt (jäm- fört med ett helt kapitel i Skola för bildning) och någon diskussion av progressionsbegreppet i kunskapstermer gjordes därför inte. Däremot uppmärksammades avsaknaden av innehållsangivelser och därför har kurs- och ämnesplaner ett angivet centralt inne- håll för olika ämnen och kurser. Dessa är allmänt formulerade om man jämför med gamla tiders stoffkataloger, men i linje med nutida sätt att formulera content standards. Tydliga mål och kunskapskrav tog också fasta på den kritik som funnits mot att betygskriterierna var abstrakta och svårtolkade. Detta ledde till försök att finna en terminologi som kunde gälla för alla ämnen och kurser och som därmed skulle underlätta förståelsen av betygskriterierna, eller kunskapskraven som de kom att heta i de nya kurs- och ämnesplanerna. Eftersom någon progression baserad på kunskapssyn inte fanns konstruerades en progression baserad på så kallade värdeord. Kunskapskravens progression formulerades alltså som en form av grammatisk progression av typen goda kun- skaper, utvecklade kunskaper och väl utvecklade kunskaper. I kunskapskraven anges också ibland hur detta kan visas. Som exempel återges nedan progressionen för ett par av de förmågor som ingår i kunskapskraven för matematik i årskurs 9 (värdeorden i fetstil).40 Kunskapskrav för betyget E i slutet av årskurs 9 Eleven kan lösa olika problem i bekanta situationer på ett i huvudsak fungerande sätt genom att välja och använda strategier och metoder med viss anpassning till problemets karaktär samt bidra till att formulera enkla matematiska modeller som kan tillämpas i samman- hanget. Eleven för enkla och till viss del underbyggda resonemang om val av tillvägagångssätt och om resultatens rimlighet i förhållande till 40Ur (2011). problemsituationen samt kan bidra till att ge något förslag på alternativt tillvägagångssätt. Kunskapskrav för betyget C i slutet av årskurs 9 Eleven kan lösa olika problem i bekanta situationer på ett relativt väl fungerande sätt genom att välja och använda strategier och metoder med förhållandevis god anpassning till problemets karaktär samt formulera enkla matematiska modeller som efter någon bearbetning kan tillämpas i sammanhanget. Eleven för utvecklade och relativt väl underbyggda resonemang om tillvägagångssätt och om resultatens rimlighet i förhållande till problemsituationen samt kan ge något för- slag på alternativt tillvägagångssätt. Kunskapskrav för betyget A i slutet av årskurs 9 Eleven kan lösa olika problem i bekanta situationer på ett väl funger- ande sätt genom att välja och använda strategier och metoder med god anpassning till problemets karaktär samt formulera enkla matematiska modeller som kan tillämpas i sammanhanget. Eleven för välutvecklade och väl underbyggda resonemang om tillvägagångssätt och om resultatens rimlighet i förhållande till problemsituationen samt kan ge förslag på alternativa tillvägagångssätt. Om man jämför detta sätt att formulera performance standards med vad som är vanligt i andra länder så framstår de olika nivåerna som abstrakta och svårtolkade. är det inte meningen att kunskapskraven ska tolkas fristående utan tillsammans med beskriv- ningarna av ämnets syfte och det centrala innehållet. För det nuvarande systemet gäller även att för att eleven ska få ett visst betyg (E, C eller A) måste respektive kunskapskrav vara uppfyllt i sin helhet. Det är en icke-kompenserande regel. Om en förmåga ligger på E-nivå har det ingen betydelse om övriga för- mågor ligger på högre nivå. Det sammanfattande betyget blir E. Denna regel gäller när läraren sätter betyg. För de nationella proven gäller inte den icke-kompensatoriska regeln lika strikt. Genom att ett prov begränsas av praktiska hänsyn (tid) kan inte alla förmågor prövas i tillräcklig omfattning för att resultaten på enskild förmågenivå ska bli rimligt reliabla. Det betyder att mätosäkerheten kan anses bli för stor för att medge icke-kompensatoriskt beslutsfattande vid bestämningen av prov- betygen. Den här skillnaden, att läraren ska sätta icke-kompensatoriska betyg på elevens kunskaper medan provbetygen i varierande grad är kompensatoriska, skapar förvirring hos många lärare och leder till diverse resonemang om i vilka sammanhang betyg kan ges eller inte ges och vad betyg representerar. Några av de lärosäten som anlitar för provkonstruktion argumenterar därför för att ta bort övergripande provbetyg och/eller delprovsbetyg. Andra gör försök att konstruera prov som fördelar uppgifter så att så många förmågor som möjligt prövas på så många nivåer som möjligt. Därigenom anses uppgifterna ge belägg för nivån på uppnådda kun- skaper för olika förmågor. Detta leder till att matriser används för att kunna överblicka fördelningen av belägg på förmågor och nivåer. De endimensionella trappor som var vanliga 1994–2010 har således i vissa fall ersatts av tvådimensionella matriser efter införandet av läroplaner. Problemen med bristen på samstämmighet mellan sätten att bestämma provbetyg och ämnes- eller kursbetyg leder också till att vissa röster höjs för att även om läraren sätter ett betyg på provet så bör eleven inte få veta detta betyg eftersom det är en annan sorts betyg än det slutliga. I vilket fall kan man konstatera att det nuvarande systemet visar likheter med både det kriterierelaterade och det standardsbaserade systemet. Det kriterierelaterade systemet förväntas resultera i ett sammanfattande provbetyg. Det standardsbaserade systemet förut- sätter att learning standards och performance standards är formulerade i förmågor och progression i dessa. Progressionen så som den uttrycks i kunskapskraven är visserligen abstrakt, men det finns stödjande material som med tiden borde kunna öka likvärdigheten i tolk- ningen av kunskapskravens innebörd. Man kan alltså se att progres- sionen i kunskapskraven följer ett antal spår (förmågor). Ett annat förhållande som liknar det standardsbaserade systemet är att samtliga förmågor ska uppnås till en viss nivå för att berättiga till ett visst slutbetyg. Detta är en ansats som anses gälla för standardsbaserade prov. I föreskrivs den emellertid enbart för lärarens sammanfattande betygssättning och inte för nationella prov. Detta leder till viss förvirring genom att proven i i huvudsak är summativa medan de standardsbaserade proven i inter- nationella sammanhang i första hand är formativa. Man kan alltså se de aktuella svårigheterna som ett uttryck för problemen med att förena kriterierelaterade ansatser med standardsbaserade i ett gemensamt system. artikel41 och modell syftar till att ge referensramar för att bestämma sambandet mellan provs syften och deras utformning. Han formulerar en referensram som bygger på begreppen bedöm- ning, beslut och effekt (impact). Till detta kan man lägga en under- liggande nivå som gäller insamlingen av det som ska bedömas, i det här sammanhanget kallat mätning. I takt med att synen på kunskap, lärande och undervisning har förändrats har även sättet och grunderna för att konstruera prov förändrats. I grova drag kan man säga att utvecklingen i har gått från ett påtagligt mätbaserat prov- system mot ett provsystem som i allt högre grad baseras på tolk- ning av verbalt formulerade mål och kriterier för bedömning, vanligen med en gemensam term kallade standards. En strömning har således varit att proven gått från att vara strikta mätinstrument baserade på tydliga föreskrifter om det innehåll som ska undervisas och de kunskaper som ska läras, till att bli underlag för att bedöma i vilken grad elever utvecklat de förmågor som skrivs fram i de standards som anger målen för och innehållet i undervisningen samt de standards som anger vad förmågor på olika nivåer innebär. För svensk del uttryckt som ämnets syfte, centralt innehåll och kunskapskrav. Denna förskjutning i synen på kunskap, lärande och bedömning har lett till att prov som utgår från standards är dominerande i flertalet länder. En annan strömning är att tyngdpunkten har förskjutits från summativa prov mot formativa prov. har främst engelska (, m.fl.), men också australiensiska och nya zeeländska forskare (, m.fl.) argumenterat starkt för det formativa förhåll- ningssättet. Även i har rörelsen haft flera förespråkare (, m.fl.). De här strömningarna har förstås även haft inverkan på den svenska synen på prov. Många forskare och lärarutbildare har haft utbyte med utländska före- språkare för olika typer av formativa och standardsbaserade ansatser och i olika grad anammat dessa synsätt. Även lärare har förstås genom fortbildning och kompetensutveckling påverkats. 41Newton (2007). När det gäller konstruktionen av de nationella proven har det inte funnits någon gemensam syn på hur de summativa och formativa ansatserna ska hanteras. Detta har fått till följd att sättet att se på prov och deras funktion i viss mån varierar. De uttryckta syftena för dagens prov är att de ska stödja en likvärdig och rättvis betygssättning och att de ska ge underlag för en analys av i vilken utsträckning kunskapskraven uppfylls på skolnivå, på huvud- mannanivå och på nationell nivå. Dessutom anges att proven kan ha en roll i vissa andra avseenden, t.ex. att de kan användas formativt även om de främst är summativa.42 Här har alltså den formativa ansatsen som är utmärkande för det standardsbaserade sättet att se på prov fått viss inverkan. Dock med en tolkning av begreppet som inte är i linje med den som vanligen anges för formativa prov (styrs av läraren, ges vid behov, omfattar mindre delar av kursinnehållet, prövar specifika förmågor, etc.). Man kan däremot säga att vissa av proven fångar upp en del idéer som gäller för de standardsbaserade proven, t.ex. när det gäller att de enskilda förmågorna ska prövas. Detta har lett till att upp- gifterna i proven klassificeras efter vilken förmåga som prövas och på vilken nivå (uttryckt som E-poäng, C-poäng eller A-poäng, i vissa ämnen används beteckningen belägg som ännu tydligare markerar kopplingen till den enskilda förmågan och kunskaps- kravet). En följd av denna ansats blir också att resultathanteringen blir omfattande eftersom provet är summativt och omfattar en hel kurs. Det formativa synsättet leder då till att varje förmåga registreras för sig och för varje förmåga ska de olika beläggen för betygsnivån anges. För att kunna hantera detta krävs mer eller mindre omfattande matriser. Eftersom provet är summativt måste sedan matrisen på något sätt sammanfattas till ett provbetyg. Detta sker genom olika anvisningar för olika ämnen. I vilket fall blir bedömningsproceduren omfattande genom att den hämtat inspiration från den formativa ansatsen (som innebär korta men återkommande prov på enskilda eller ett fåtal förmågor i taget), men används summativt (vilket innebär täckning av så mycket som möjligt av ämnet eller kursen på så många nivåer som möjligt). har alltså vissa problem eftersom de nationella proven ska uppfylla flera syften och därtill ofta ges ytterligare funktioner, t.ex. den formativa. De andra nordiska länderna har snarare valt olika prov för olika syften. och digitala nationella prov i har en mer uttalat formativ (och delvis utvärderande) funktion och är inte betygsstödjande. För den sum- mativa uppgiften finns särskilda examensprov. Examensproven betygssätts av censorer och lärarna sätter betyg utifrån sin samlade bedömning. I examensbeviset ingår sedan både examensprov- betyget och lärarbetyget. betonar, liksom flertalet forskare på området, att prov måste konstrueras med specifika syften. Det är också prov- konstruktörens uppgift att informera om vad prov inte lämpar sig för. Sedan är det en annan sak att så fort provresultat publiceras så har inte konstruktören och den ansvariga utgivaren (för svensk del ) längre kontroll över hur resultaten används av politiker, media, olika intressegrupper, föräldrar m.fl. Det viktiga i det här sammanhanget är att den som ska konstruera provet får ett tydligt och avgränsat syfte med provet angivet av den som har ansvaret för provverksamheten. Är det ett betygsstödjande summativt prov? Är det ett formativt prov? Är det ett utvärderande prov? Är det ett uppföljande prov? Är det ett examinerande prov? Är det ett validerande prov? Ska provet mäta förändring ? (red.). (2015). The glossary of education reform. (1971). On the classification and framing of educational knowledge. In MFD (red.). Knowledge and Control: New directions for the sociology of education. : Collier , 47–69. Betänkande med utredning och förslag angående betygssättningen i folkskolan (SOU 1942:11). : Ecklesiastikdeparte- mentet. Betänkandet Ett nytt betygssystem (SOU 1992:86). Slutbetänkande av Betygsberedningen. Betänkandet Skola för bildning (SOU 1992:94). Betänkande av läroplanskommittén. Betänkandet Tydliga mål och kunskapskrav i (SOU 2007:28). Betänkande av Utredningen om mål och uppföljning i . Cresswell, M. (red.). (2000). Research studies in public examining. Haertel, E. & , W. A. (2004). Validating standards-based test score interpretations. Measurement: , 2, 61–104. Gulliksen, H. (1950). Theory of mental tests. , F. M. and Novick, M. (1968). Statistical theories of mental test scores. (2007). Clarifying the purposes of educational assess- ment. Assessment in Education. 14, No. 2, 2007, 149– 170. Piaget, J. (2013). Barnets själsliga utveckling. (2011). Läroplan för , förskoleklassen och fritidshemmet 2011. Zieky, M. & Perie, M. (2006). A Primer on Setting Cut Scores on Tests of Educational Achievement. (2013). of Curriculum Terminology. /_GlossaryCurriculumTerminology2013_eng.pdf I den här bilagan redogör utredningen kortfattat för några olika typer av mätfel som prov är förenade med. Dessutom beskriver vi olika testteorier för att uppskatta mätfelen. Nationella prov och andra prov är alltid behäftade med olika typer av fel. Det finns slumpmässiga mätfel på individnivå (slumpfel), bedömningsfel på grupp- eller lärarnivå och systematiska fel på nationell nivå.1 Slumpfel handlar i stor utsträckning om vilka frågor som ställs på ett prov och hur dessa relaterar till den enskilda elevens kunskaper. Eftersom inget prov kan täcka in ett helt kunskapsområde blir varje prov ett stickprov av alla frågor som kan ställas. Med lite tur i urvalet av uppgifter kan elevens resultat leda till en över- skattning av förmågan, med lite otur till en underskattning. I prov som låter eleverna välja mellan olika givna svarsalternativ finns ofta utrymme för gissning, där slumpen har stort inflytande på utfallet. Ett annat slumpfel kan vara att en elev råkar ha en dålig dag. 1 Avsnittet om provs mätfel bygger bl.a. på (2015). Bedömningsfel handlar om att bedömningen av elevens svar görs på olika sätt av olika bedömare. Denna felkälla är ofta ett mindre pro- blem för korta uppgifter. Ju mer komplexa och omfattande svaren är desto större tenderar dock variationen mellan olika bedömare att bli. Den här typen av fel uttrycks vanligen i termer av bedömar- överensstämmelse eller interbedömarreliabilitet2. Ofta finner man att olika bedömare är olika stränga i sina bedömningar, liksom att det finns skillnader mellan olika bedömares rangordning av svaren från en grupp elever. Eftersom det i oftast är elevens egen lärare som bedömer proven kan man säga att denna typ av fel gäller på gruppnivå, vilket innebär att lärarens grad av stränghet påverkar alla elever i klassen på samma sätt, förutsatt att läraren bedömer alla prov efter samma normer. Det kan dock inte förutsättas att läraren fullt ut bedömer alla elevers prov lika eftersom det är väl belagt att en bedömare som känner den elev som har gjort provet tenderar att påverkas av denna kännedom, s.k. haloeffekter. En svårighet vid bedömningar av mer komplicerade uppgifter är att bedömningsanvisningarna inte kan ange specificerade rätta svar utan endast mer allmänna kriterier och exempel på olika typer av svar. Bedömaren behöver alltså tolka såväl elevens utsaga som be- dömningsanvisningarna. Statens skolinspektions ombedömningar av nationella prov kan ge ett visst underlag för att avgöra hur stor andel av lärarna som gör olika bedömningar. Andelen avvikelser varierar stort med typen av prov. Prov baserade på item3 har färre bedömningsavvikelser medan prov med omfattande uppgifter av typen uppsatser kan ha stor andel avvikelser. Skolinspektionens ombedömningar tyder också på att osäkerheten i lärares bedömningar, mätt som procentuell överensstämmelse, ökar när antalet betygssteg ökar.4 2Man talar också om intrabedömarreliabilitet som gäller hur lika en och samma bedömare bedömer vid olika tillfällen. Sådana bedömningar kan skilja sig åt en hel del. Se t.ex. , J- A m.fl. (2013). 3Små, korta uppgifter som vanligen bedöms rätt eller fel dvs. ger 0 eller 1 poäng eller belägg. En uppgift kan bestå av flera item. 4Se också t.ex. Qualifications and Curriculum Authority (2009). Systematiska fel kan handla om att kravgränserna för olika betyg ligger på fel nivå. Den princip som med nuvarande bestämmelser gäller för kravgränssättning är att betygsgränser och betygskrav ska vara fastställda när proven genomförs. Det är därmed inte möjligt att avvakta provresultaten innan betygskraven fastställs. Ett sådant systematiskt fel i provresultatet eller provbetyget har inte någon större betydelse om resultatet endast ska gälla för jämförelser mellan elever och elevgrupper det aktuella året, eftersom alla då drabbas av samma fel. Om resultatet däremot ska användas för jämförelser av provresultat , t.ex. när elever från olika årskurser söker till samma högre utbildning, eller för utvärderingsändamål, får denna typ av systematiska fel betydelse. Olika testteorier för att uppskatta mätfel Slumpfel kan uppskattas med hjälp av olika testteorier. Man talar huvudsakligen om två testteorier: den klassiska och den moderna.5 Den klassiska testteorin bygger på grundantagandet att en prov- deltagares provpoäng kan ses som summan av en sann poäng och ett mätfel. Med sann poäng menas det poängmedelvärde en prov- tagare skulle få om hon eller han kunde upprepa samma prov . Detta är förstås inte möjligt och därför finns olika sta- tistiska metoder för att skatta den sanna poängen. Utifrån grund- antagandet och flera andra antaganden, som t.ex. gäller att mätfelet är slumpmässigt med medelvärdet noll och att mätfelens storlek är oberoende av testpoängen, kan formler för beräkning av reliabilitet och mätfel bestämmas. Den klassiska testteorin kan användas i många olika prov- sammanhang, men den har också nackdelar. Till exempel kan man inte avgöra i vilken utsträckning uppgifternas eller provens egen- 5 Avsnittet om olika testteorier bygger bl.a. på (2003) och Crocker, L. & , J. (1986). skaper beror på de som gör provet eller på det aktuella provet. Uppgifternas egenskaper, t.ex. deras svårighetsgrad, beror både på provet och på gruppen. Detsamma gäller provets egenskaper i form av reliabilitet och mätfel. För att eliminera denna effekt försöker provkonstruktörerna skapa prov som är så likartade (parallella) som möjligt. Det innebär att man försöker ha lika många uppgifter i proven, se till att uppgifterna är av samma typ och svårighetsgrad samt säkerställa att uppgifterna har så likartat innehåll som möjligt. Därigenom antas proven bli mer jämförbara och eventuella skill- nader i lösningsproportioner eller poängfördelningar kan då hän- föras till de prövade grupperna. Den moderna testteorin, item response theory (IRT), är baserad på statistiska modeller. Dessa modeller uttrycker sannolikheten för ett korrekt svar på en uppgift som en funktion av individens latenta förmåga och av olika egenskaper hos uppgiften, t.ex. dess svårig- hetsgrad. Med latent förmåga avses en inte direkt iakttagbar för- måga som konstrueras med hjälp av den statistiska modellen och de ingående uppgifterna. Även uppgifternas egenskaper konstrueras i samma process. Dessa kan sedan antas vara konstanta och upp- gifterna kan användas för att bestämma den latenta förmågan hos nya provtagare. När man har bestämt uppgifters egenskaper kan man överföra dem till en gemensam skala. Med hjälp av gemen- samma, överlappande uppgifter är det möjligt att skapa en stor mängd olika prov med kända mätegenskaper. Alla dessa prov ut- trycker sedan resultat på en och samma skala. Med IRT är det alltså inte, som i klassisk testteori, nödvändigt att prov är parallella för att resultat ska bli jämförbara. IRT bygger bl.a. på antaganden om endimensionalitet6 och lokalt oberoende7, men det finns också flerdimensionella modeller. Även i de fall an- tagandena inte är fullt ut uppfyllda har IRT-ansatsen visat sig vara användbar för att lösa många praktiska mätproblem. Ett sådant är att skapa prov som ger resultat som är jämförbara , vilket 6Betyder att uppgifterna i ett prov i huvudsak mäter samma förmåga. 7Betyder att resultatet på en uppgift inte bygger på resultat från en annan uppgift. bl.a. utnyttjas i de internationella studierna, t.ex. och TIMSS. IRT bygger inte heller på antagandet att mätfelens storlek är obero- ende av prestationsnivån (vilket den klassiska testteorin gör)8. Det gör det möjligt att konstruera prov som har god mätsäkerhet vid vissa viktiga punkter på skalan, t.ex. vid en definierad gräns för godkänt. En nackdel med den moderna testteorin är att den är statistiskt och tekniskt komplicerad. För att hantera den tekniska komplexi- teten finns ett stort antal väl utprövade datorprogram att tillgå. Vid användning av IRT-modellerna presenteras en elevs resultat i form av poäng på en godtyckligt bestämd kontinuerlig skala.9 Ett pro- blem som kan uppstå är att rangordningen mellan elever på grund- val av dessa poäng i vissa fall kan bli en annan än när man baserar rangordningen på observerade poäng på provet. En fördel är dock att olika IRT-baserade prov kan kalibreras så att de uttrycker poäng på en i förväg definierad skala, t.ex. med medelvärdet 500 och stan- dardavvikelsen 100. De svenska nationella proven har främst grundat sig på klassisk testteori. Detta framstår som något paradoxalt mot bak- grund av att den klassiska mätläran i första hand är utvecklad för att lösa problem i anslutning till mätning av individuella differenser i prestationer med hjälp av normrelaterade (grupprelaterade) prov. Den moderna mätläran är däremot mer lämpad att stödja kon- struktion och användning av den typ av nivåindelade skalor som används i kriterierelaterade prov av det slag vi använder i genom att den ger möjlighet att välja uppgifter så att mät- säkerheten blir optimal vid betygsgränserna. 8Det finns dock varianter av klassisk testteori som hanterar s.k. betingade mätfel (conditional standard error of measurement) som varierar med provpoängen. 9Till skillnad från en vanlig poängskala som används för prov och där skalan i allmänhet uttrycks i hela poäng. m.fl. (2013). Marker effects and examination reliability. Crocker, L. & , J. (1986). Introduction to classical and modern test theory. : , Rinehart and . Qualifications and Curriculum Authority (2009). Research into marking quality. Studies to inform future work on national curriculum assessments. QCA/09/4042. (2003).