sou · H4B3252 · 2016-03-31 00:00:00 — Även när det gäller ovanstående skattning kan man jämföra med den engelska motsvarigheten. 59 Ur Wheadon & Stockford 2010, s. 9. Se också Bramley & Dhawan 2010. Som vi ser är likheten mellan det svenska och det engelska diagram- met slående. I det engelska har man ritat ut hela fördelningen medan figuren för ma B endast innehåller de delar som har sannolikhet över 0,50.60 Vi ser i figuren att sannolikheten för korrekt betygsklassi- ficering av elever i mitten av intervallen är lägre för det engelska 60 Detta för att förenkla figuren. Det är dock lätt att rita om den på samma sätt som den engelska. Den engelska figuren visar förutom sannolikheten för korrekt betyg (de delar av graferna som ligger över skärningspunkterna) även sannolikheten för falskt negativt och falskt positivt provbetyg (de delar av graferna som ligger under skärningspunkterna). Observera också att figur 18 anger sann poäng på x-axeln medan figur 17 anger observerad poäng. Denna skillnad har endast marginell betydelse och görs för att förenkla förståelsen av figur 17. provet (0,60–0,65), vilket inte beror på att det är mindre reliabelt utan på att det har fler betygssteg än det svenska exemplet. Vi kan förvänta oss att en analys av ett svenskt prov enligt sex- gradiga betygsskala uppvisar en bild liknande den engelska. Om man i figur 16 (och 17) tänker sig att man lägger in ytterligare två betygsgränser tillkommer ytterligare två områden med falskt positiva och falskt negativa resultat. Vi går då från fyra till sex betygsgrupper och om vi antar mätfel av ungefär samma storlek blir det totala felet större, dvs. det går från av eleverna till . Därmed skulle andelen korrekt klassificerade bli mellan . En jämförelse med tabell 14 visar att dessa värden korresponderar tämligen väl med motsvarande engelska resultat. Som framgått av avsnittet är slumpfelen på individnivå betydande. Det aktuella värdet på enligt stickprovet (3,24 poäng) är beräknat på gängse sätt. Det medför att värdet är ett genomsnitt som anses gälla lika för hela poängskalan. Noggrannare analyser visar emellertid att standardfelet i själva verket varierar så att det är större i mitten av skalan och minst ute vid ändarna.61 I gängse litteratur på området62 anses dock det genomsnittliga värdet tillräckligt för praktiskt bruk, men kan alltså betraktas som en approximation. I figur 16 och vid bestämningen av klassifikationsfelet (classi- fication accuracy) har för det första en viss approximativ metod använts för bestämning av ett betingat63 . För den fördelning inom vilken den sanna poängen antas ligga har för det andra en normalfördelning valts. För såväl betingat som fördelning kan olika metoder väljas och de som valts här kan ses som ganska enkla och osofistikerade.64 Syftet med analysen har dock inte varit att försöka hitta det mest korrekta värdet på klassificeringsriktigheten och på andelen (antalet) elever som hamnat i gruppen falskt 61Brukar kallas conditional eller betingat . 62Se t.ex. Crocker & (1986). 64Metoderna beskrivs närmare i (2015b). positiva respektive falskt negativa, utan mer att peka på storleks- ordningen. Jämförelserna med de engelska resultaten, som erhållits med modernare metoder, visar att den här använda metoden ger resultat i samma storleksordning. Det finns därför ingen anledning att tro att de använda approximationerna skulle ha någon avgör- ande betydelse för utfallet. Den avgörande slutsatsen blir att trots det aktuella provets höga reliabilitet (0,91) är det rimligt att anta att av eleverna av rena slumpskäl får ett för lågt eller högt provbetyg på det aktuella provet. För den nya betygsskalan som gäller kan slumpfelet antas öka till mellan 25 och 35 procent.65 Den tredje typen av fel handlar om bedömningen av elevers prov- svar och prestationer i övrigt. Framför allt handlar det om tolkning av texter, men även olika typer av problemlösningar, laborationer, praktiska övningar och inte minst muntliga prestationer ingår. Läraren gör också fortlöpande bedömningar som utgör viktiga underlag vid den slutliga betygssättningen. När det gäller prov, och i synnerhet de nationella prov som är i fokus för den här bilagan, handlar det mer om enstaka punkt- mätningar. Proven är i allmänhet standardiserade i den meningen att de ges under bestämda villkor vad avser exempelvis tid, plats och tillåtna hjälpmedel, och med strikta regler för genomförandet. Syftet med detta är att elevernas prestationer ska utföras under så likartade förhållanden som möjligt. Detta kan ses som en grund- läggande rättvisefråga. Provet kan betraktas som en form av stimuli på vilket prov- tagaren ska generera utsagor som kan ligga till grund för en analys av i vilken utsträckning hon eller han behärskar det kunskaps- område som provet avser att pröva. Beroende på kunskapsområdets art är proven och utsagorna av olika karaktär och bedöms och tolkas på olika sätt och enligt olika principer. 65 Detta kan förstås prövas empiriskt. De lärosäten som utvecklar de nationella proven anser dock att proven behöver ha varit i användning för att ha stabiliserats och att resultat på de tidiga proven inte bör ligga till grund för mer långtgående slutsatser. Vissa prov baseras på ett antal förhållandevis korta uppgifter som bedöms var för sig, vanligen med poäng, belägg eller liknande. Resultaten anges då ofta som en poängsumma. För denna typ av prov finns utvecklade teorier66 med hjälp av vilka det är möjligt att beräkna och uppskatta hur väl provresultaten kan anses ge en representativ bild av provtagarens kunskaper och med vilken säker- het man kan uttala sig. Givetvis måste provet på ett så allsidigt sätt som möjligt spegla det aktuella kunskapsområdet (ha god validitet) och på olika sätt försöka minimera olika slumpfaktorers inverkan (ha hög reliabilitet). Att sådana krav uppfylls är en uppgift för prov- konstruktörerna. I provkonstruktionen ligger också att konstruera uppgifter som ger så litet slumpinflytande som möjligt vid bedöm- ningen. Flervalsfrågor kan ses som ideala ur det perspektivet. Även kortsvarsuppgifter, matchningsuppgifter och uppgifter där ord ska fyllas i ger hög överensstämmelse vid bedömningen. måste provkonstruktören avgöra om denna typ av uppgifter ger tillräcklig validitet. Reliabiliteten i form av bedömaröverensstämmelsen är hög för denna typ av provuppgifter, vilket styrks av många studier.67 Om proven å andra sidan utgörs av uppgifter där provtagarna ska producera mer omfattande texter blir bedömaruppgiften svårare. Denna typ av uppgifter ges ofta av validitetsskäl. Till exem- pel att en viktig kunskap är att kunna föra ett resonemang om någon fråga eller företeelse, eller att kunna producera en text av god kvalitet i olika genrer. Vid sådana prov flyttas kraven på validitet och reliabilitet till stor del över på bedömarna. Upp- gifterna eller provet bedöms i sådana fall ofta helhetligt i betygs- termer och då måste bedömaren till stor del själv tolka provtexten i relation till de krav eller kriterier som gäller för olika betyg (vilka också kräver tolkning). Även om provkonstruktören tillhandahåller förebildliga exempel krävs alltså betydande tolkning av bedömaren. Någon entydigt sann bedömning finns knappast när det gäller exempelvis uppsatser. Den säkraste bedömningen vore att låta många kompetenta bedömare bedöma varje uppsats och sedan beräkna ett medelvärde av deras bedömningar. Ett sådant tillvägagångssätt är dock inte möjligt av ekonomiska och praktiska skäl och därför lär bedömningen även framöver i huvudsak vila på en eller ett par 66Olika former av klassisk och modern testteori, se t.ex. Crocker & (1986). 67Se t.ex. Massey & Raikes (2006). bedömares uppfattningar.68 Detta får till följd att skillnaden i bedömning är betydligt större mellan olika bedömare för denna typ av prov än för prov baserade på många avgränsade uppgifter med mer distinkta svar. Frågor om bedömarreliabilitet är komplicerade och det finns en hel del forskning på området.69 Utrymmet här medger inte någon utförligare diskussion i frågan. Skolinspektionen har ett uppdrag från regeringen att genomföra ombedömningar av ett urval av delprov som ingår i de nationella proven.70 Frågan om relationen mellan prov och betyg är komplex och av litteraturen på området följer inga entydiga veten- skapligt fastlagda riktlinjer för vilken överensstämmelse som kan eller bör rekommenderas.71 Dock kan överenstämmelsen mellan olika bedömare höjas genom träning och utbildning. Empiriska resultat visar att bedömaröverensstämmelsen i allmänhet rör sig på en glidande skala från höga värden för prov med många uppgifter och korta svar, mot betydligt lägre värden för prov med långa skrift- liga svar eller uppsatser. Vissa prov kan innehålla både lättbedömda och svårbedömda uppgifter. För en myndighet som ska bedriva tillsyn måste någon form av norm fastställas. Skolinspektionen har i sin rapport valt att för uppsatser sätta gränsen för acceptabel överensstämmelse mellan ursprungsbedömare och ombedömare till 0,70. Det betyder att när ett urval uppsatser från en skola har bedömts och betygssatts av ombedömarna ska av deras betyg överensstämma med den bedömande lärarens betyg på samma uppsatser för att resultatet ska anses acceptabelt. Detta är ett vanligt värde i olika tekniska rapporter av provresultat. I sådana fall handlar det om över- ensstämmelse mellan två oberoende bedömare. Den svenska modellen med lärare som bedömer obligatoriska nationella prov är 68Det är dock möjligt att effektivisera bedömningen genom att t.ex. utveckla digitala metoder för automaträttning med dator. Även försök med extern bedömning och medbedömning som utredningens föreslår kan effektivisera bedömningen och göra den mer likvärdig. 69Se t.ex. Tisi m.fl. (2013) och Ofqual (2014) för allmänna kunskapsöversikter om forskning på området bedömarreliabilitet. 70Skolinspektionen (2010), Skolinspektionen (2011), Skolinspektionen (2012), Skol- inspektionen (2013), Skolinspektionen (2015). Tisi m.fl. (2013) och Ofqual (2014). internationellt mycket ovanlig och ombedömningen i har mer rollen av kontrollfunktion, medan studierna i andra länder i huvudsak handlar om att genom träning finna en rimlig norm för vad som kan betraktas som tillräckligt god bedömarreliabilitet mellan oberoende bedömare. Den svenska forskningen på området är inte särskilt omfatt- ande72 och för syftet i den här bilagan nöjer vi oss med några resultat från Skolinspektionens ombedömning. Figur 19 visar av- vikelser för några delprov i ämnena svenska och engelska för åren 2009 (omgång 1) till 2012 (omgång 4). Av figuren framgår tydligt att avvikelserna mellan bedömarna är störst för de delprov som utgörs av uppsatser medan delprov som endast innefattar uppgifter med korta svar visar mindre skillnader. Man kan notera att avvikelserna ligger på ganska jämn nivå för att sedan öka betydligt det fjärde året, främst för gymnasieskolan. Förklaringen till detta är att 2012 var då den nya sexgradiga betygsskalan tillämpades på de aktuella 72 Se t.ex. (2009). Eftersom den innebar att antalet betygssteg ökade från fyra till sex () så finns det ytterligare två betygs- gränser där avvikelser kan förekomma. Om alla betygsgränser är ungefär lika svårbedömda bör ökningen från fyra till sex betygssteg innebära att andelen avvikelser ökar i samma utsträckning, dvs. Av figur 19 framgår tydligt att för gymnasieskolan stämmer ökningen i avvikelse för uppsatsdelen mycket väl med ökningen av antal betygssteg, från avvikelse till knappt 60 pro- cent, dvs. en ökning med (). Det som är något svårförståeligt är att avvikelsen för kortsvarsdelar nästan fördubblas från 10 till 20 procents avvikelse. Denna typ av delprov brukar inte erbjuda särskilt stort tolkningsutrymme. Det är också svårt att förstå varför tillkomsten av ytterligare två betygs- steg skulle få så stor inverkan på bedömningen av sådana delprov. För gymnasieskolan som helhet anger Skolinspektionens rap- port att avvikelsen av ombedömning som gäller betygsskala ligger på . Om man skulle utgå från att ombedömarna bedömer korrekt skulle således felet vara . kan man emellertid inte utgå från att ombedömarna är felfria (vilket Skolinspektionen inte heller gör), vilket gör att felet rimligen bör kunna vara . I vissa fall där ursprungsbedömare och ombedömare varit oeniga har en ytterligare ombedömare fått ge sitt omdöme. Figur 20 visar resultaten. Man kan se en viss tendens till att den nya ombedömaren i högre grad stöder den första ombedömaren än ursprungs- bedömaren. Det tycks framför allt gälla kortsvarsuppgifterna. För uppsatsdelarna är tendensen ännu svagare och en rimlig slutsats blir att felet för dessa delprov är i det närmaste försumbart, i varje fall för de uppgifter som gått vidare till en andra ombedömning. Dock kan man anta att de fall som ombedömts en andra gång i stor utsträckning rör bedömningar som ligger i närheten av betygsgränser. Dessa fall har valts för att det råder oenighet mellan ursprungs- bedömare och första omgångens ombedömare samt eftersom andra omgångens bedömare i så stor utsträckning stöder såväl ursprungs- bedömare som första omgångens ombedömare. För de elevarbeten som är typiska för respektive betyg torde bedömaröverensstäm- melsen vara tämligen hög. Rimligen är det gränsfallen som skapar oenighet och då är det inte heller förvånande att ombedömarnas omdömen är tämligen jämt fördelade. Av den litteratur och de rapporter som gäller bedömaröverens- stämmelse kan man säga att en överenstämmelse på mer än 70 pro- cent förefaller allmänt accepterad som ett mått på godtagbar över- ensstämmelse. Hur man ska tolka Skolinspektionens resultat i det avseendet är svårt att avgöra. Men om man utgår från att den första ombedömningen är korrekt förefaller den genomsnittliga över- enstämmelsen för det aktuella urvalet av skolor ligga på gränsen för det acceptabla med en avvikelse på (för en fyrgradig betygsskala). Den sammanfattande bedömningen när det gäller såväl positiv som negativ avvikelse i Skolinspektionens ombedömning visas i figur 21. Om man utgår från uppsatsproven och ser både positiv och negativ avvikelse som ett mått på bedömningsfel ligger felet i intervallet cirka 35 till 60 procents avvikelse (sexgradig betygsskala). I så stor andel av fallen är alltså ursprungsbedömare och ombedömare oeniga. Om man använder samma terminologi som för mätfelens effekter på poängbaserade delprov skulle negativ avvikelse mot- svara det som kallades FP (falskt positiva)73. Om vi utgår från årskurs 9 med fyrgradig betygsskala ser vi att för uppsatsdelen i engelska (delprov C) är andelen FP och FN . Andelen korrekt bedömda är . För svenska i årskurs 9 (delprov C) är motsvarande värden FP , FN , vilket ger en andel korrekta på . Vid en jämförelse med andelen elever med korrekta betyg respektive falskt positiva eller falskt negativa betyg 73 Avvikelse är skillnaden mellan ombedömare och ursprungsbedömare (O-U). Negativ avvikelse innebär då att ursprungsbedömaren hade ett högre betyg än ombedömaren. Om vi antar att ombedömaren gör den sanna bedömningen betyder det att ursprungsbedömaren satt för högt betyg, dvs. eleven är falskt positiv vad gäller provbetyget. På motsvarande sätt motsvarar positiv avvikelse andelen falskt negativa elever. för matematik (tabell 13), framgår att andelen korrekta betyg är lägre för engelska och betydligt lägre för svenska. Så vilka slutsatser kan man dra om bedömningsfelets storlek? Skattningen ovan bygger på antagandet att ombedömarens bedöm- ning alltid är korrekt. Detta är knappast realistiskt. Låt oss därför som skattning av genomsnittlig avvikelse för uppsatsprov ange intervallet 25–(för den fyrgradiga skala som undersöks i den här bilagan) med tolkningen att om en annan bedömare gjort bedömningen är detta sannolikheten för att betyget blivit ett annat. Man kan också notera att andelen falskt positiva är betydligt större än andelen falskt negativa, för matematikexemplet i tabell 13 var det tvärtom men där baserades resultaten på skattningen av sann poäng och provets betingade standardfel CSEM. Inledningsvis i bilagan angavs nedanstående syften: Att sammanställa provbetygens variation . Att bestämma kravgränsfelets storlek. Att jämföra kravgränsfelet med standardfelet () och de fel i klassificering till olika betyg som leder till.74 Att jämföra kravgränsfel med bedömningsfel och slumpfel. Att ge ett underlag för att bedöma vilka felnivåer som är acceptabla inom ramen för prov av god kvalitet. I det här avslutande avsnittet görs ett försök att sammanställa och diskutera resultaten. 74 Det som kallas classification accuracy på engelska. Provbetygens variation och bestämning av kravgränsfelets storlek Kravgränsfelens storlek redovisas i de sammanställningar och ana- lyser som finns i den första delen och i appendix 1. För grund- skolans del, där samtliga provbetyg samlas in och hela populationen genomför samma prov, är detta en förhållandevis enkel uppgift75. För gymnasieskolans del är uppgiften svårare och resultaten osäkrare eftersom endast ett stickprov av provbetyg samlas in. Dessutom kan de grupper som genomför proven variera mellan olika år när det gäller programtillhörighet. Båda dessa förhållanden kan påverka resultaten. För svenskans och engelskans del (sv A och eng A) finns dessutom sammanfattande provbetyg endast (2005– 2011) medan det för matematiken (ma A) finns redovisade prov- betyg (1999–2011). Detta gör att resultaten i svenska och engelska är mindre tillförlitliga än resultaten i matematik. Den metod som använts för att skapa ett mått på den årliga avvikelsen i respektive betygskategori går ut på att en trendlinje anpassas till den andel elever (i procent) som tilldelats respektive provbetyg olika år. Därefter beräknas skillnaden (residualen) mellan den observerade andelen och det av trendlinjen angivna värdet. På detta sätt fås ett mått på hur stor andel elever (i procentenheter) i respektive betygskategori som fått för högt eller för lågt provbetyg i relation till trendlinjens värde. Absolutvärdet av samtliga av- vikelser ett visst år summeras sedan och ger den totala avvikelsen i klassificeringen76. Om man emellertid tänker sig att man för ett poängbaserat prov i efterhand skulle korrigera en betygsgräns så att andelen elever i en viss betygkategori (t.ex. IG) bättre skulle stämma med trendvärdet blir tolkningen av resultatet (avvikelsen) annorlunda. Det beror på att det finns ett randvillkor att summan av procentandelarna för de 75Redovisad i (2015a). 76Observera att detta är den klassificering som baseras på andel elever som fått respektive provbetyg. Det ska inte sammanblandas med den klassificering (classification accuracy) som baseras på mätfelet eller den klassificering som bygger på jämförelser mellan ursprungs- bedömare och ombedömare. fyra betygskategorierna är . Om då en betygs- kategori ökar sin andel måste någon annan minska lika mycket för att summan av de fyra betygsandelarna fortfarande ska vara 100 (en sorts nollsummespel). Det betyder att om kategorin IG minskar med ett visst antal elever, exempelvis 200, genom att en betygs- gräns flyttas en poäng, ökar kategorin G lika mycket. Det vill säga de 200 elever som legat en poäng under G får nu G i stället för IG. Ändringen av betyget för 200 elever minskar således andelen i kategorin IG med 200 och ökar den i kategorin G med 200, en ändring med 200 elever i var och en av två kategorier (en total ändring på 400 uttryckt i avvikelser). Men endast 200 fysiska elever har i realiteten fått ändrat betyg, de 200 som fick G i stället för IG. Det betyder alltså att antalet felklassificeringar (avvikelser) anger dubbelt så stora värden som det faktiska antal elever som skulle beröras av en korrigering. Detta kan vara viktigt att ha i åtanke när man värderar kravgränsfelet. Prov i svenska och engelska består ofta av olika delprov där vissa är poängbaserade och andra är av uppsatstyp och helhetligt bedömda. För de poängbaserade proven gäller i princip samma resonemang som ovan för matematikproven där en förskjutning av poänggränsen för något provbetyg direkt ändar andelen elever i de två av poäng- gränsen berörda grupperna. För uppsatsproven finns däremot ingen skarp kravgräns och inga möjligheter att justera någon poänggräns. Här är det den bedömande läraren som – med stöd av de anvis- ningar och exempel som tillhandahålls i provmaterialet – utifrån sina tolkningar och bedömningar avgör delprovsbetyget. Någon central instruktion från kan därmed inte på samma sätt som en flyttad poänggräns ändra en given fördelning, eftersom den beror av varje enskild bedömande lärares helhetliga bedömning. Betygsfördelningen på poängbaserade prov beror således i huvudsak på den bedömning den kravgränssättande gruppen hos provkonstruktören gjort om placeringen av poänggränser för olika provbetyg. Det är en bedömning gjord av cirka 10–15 särskilt utvalda personer. Provbetygens fördelning beror därmed i huvud- sak på dessa personers bedömning och beslut. och det är knappast förvånande att det förekommer varia- tioner mellan olika år när en så pass begränsad grupp gör sina bedömningar. I varje fall är det rimligt i relation till den stora mängd bedömare som är inblandade när provbetygen sätts för de uppsatsbaserade proven. Där är provbetygen grundade på hela lärarpopulationens bedömning77 (de som fungerar som bedömare) medan provbetygen på poängbaserade prov baseras på ett i sam- manhanget litet stickprov bedömares (kravgränssättares) bedöm- ningar. Ovanstående skulle kunna vara en förklaring till varför krav- gränsfelet på aggregerad nivå är större för poängbaserade prov (matematik) än för prov som kombinerar holistiskt bedömda prov och poängbaserade prov (svenska och engelska).78 Det stickprov 10–15 personer79 som sätter poänggränser för poängbaserade prov kan antas ha svårare att bibehålla en viss standard än de många tusen bedömare som sätter provbetyg på uppsatser.80 Det skulle innebära att de prov som innefattar delprov av olika slag (med poäng- respektive holistisk bedömning) kan förväntas få ett lägre kravgränsfel än ett renodlat poängprov. Den poängbaserade betygsskalan innebär oftast att varje poäng- steg motsvarar flera procentenheters ändring i andelen provbetyg på intilliggande nivåer. Detta gäller inte för de helhetligt bedömda proven där varje bedömare själv avgör provbetyget för varje enskilt prov. Där finns inga definierade gränser att överskrida, men själv- klart är osäkerheten störst vid betygsgränser även för holistiskt bedömda uppgifter och prov, men det finns inga statistiska under- lag som möjliggör skattningar av andelen falskt positiva och falskt negativa provbetyg för den typen av prov. Ett memento i sammanhanget är som vi tidigare konstaterat att de lärare som bedömer poängbaserade prov vet vid vilka poäng betygsgränserna ligger och att detta tenderar att leda till att en oproportionerligt stor andel elever har provpoäng just över gränsen för ett högre betyg. Figur 1 och 15 illustrerar företeelsen. Dock är denna avvikelse, som främst påverkar kravgränsfelet, i det närmaste 77Där varje lärare bedömer ett mindre stickprov av elever (vanligen en eller ett par klasser). 78Jämför tabell 10. 79Oberoende av om det är samma eller olika individer olika år. 80En sorts tillämpning av stora talens lag eller den massans visdom som Surowieccki (2004) talar om. försumbar i relation till den stora felkällan för poängbaserade prov, nämligen slumpfelet och de falskt positiva och falskt negativa provbetyg det genererar. Slumpfel finns på alla nivåer. Den grupp som sätter kravgränser kan ses som ett stickprov ur den totala grupp ämnesdidaktiker, lärar- utbildare, lärare etc. som kan ingå i denna grupp. Kravgränsfelet kan ses som ett mått på detta fel om vi ser den långsiktiga trend- linjens värde som ett övergripande populationsmått. Det handlar då om slumpens inverkan på nationell nivå. Olika bedömare gör i större eller mindre utsträckning olika bedömningar av samma uppsatser som Skolinspektionens gransk- ning visar.