sou · H4B325d2 · 2016-03-31 00:00:00 — Syftet med detta avsnitt var att få ett mått på kravgränsfelets storlek uttryckt i andelen felklassificerade elever utifrån den lång- siktiga trenden. Vill man veta hur stor andel av eleverna som skulle behöva ändra provbetyg för att avvikelsen skulle närma sig noll får man ta felklassificerade betyg. Här har endast det sammanfattande provbetyget och dess variation studerats. Någon hänsyn har inte tagits till hur det sammanfattande provbetyget konstruerats. Detta kan dock antas ha betydelse för hur mycket det slutliga provbetyget varierar . Man kan notera att provbetygen i matematik har de största avvikelserna medan proven i engelska och svenska ligger på en väsentligt lägre nivå. Detta kan förefalla något överraskande och det är svårt att finna någon uppenbar förklaring. Man kan tänka sig åtminstone två faktorer som kan vara av betydelse. För det första provens utformning och sättet att konstruera provbetyg. För det andra provens bedömning. De olika proven konstrueras enligt olika principer och de samman- fattande provbetygen bestäms likaledes på olika sätt. Prov i svenska B består av delprov som prövar dels läsförståelse, dels skriftlig för- måga. Även muntlig förmåga prövas. Detsamma gäller proven i engelska, vilka till skillnad från proven i svenska även prövar för- mågan att lyssna. Proven i läsförståelse och hörförståelse poängsätts medan proven i skriftlig förmåga (uppsatser) bedöms holistiskt, dvs. betygssätts i enlighet med angivna kriterier och exempel. För båda ämnena gäller att de olika delproven betygssätts var för sig varefter de olika provbetygen sammanvägs till ett sammanfattande prov- betyg enligt någon för ämnet mer eller mindre specifik metod. I korthet kan man säga att matematikprov i huvudsak baseras på uppgifter som kan ge en eller flera poäng. Dessutom används ofta olika typer av poäng (G-poäng, VG-poäng respektive någon form av MVG-poäng eller MVG-kvaliteter). Beroende på om de upp- gifter en elev besvarat korrekt bedömts som G-, VG-, respektive MVG-uppgift har eleven tilldelats motsvarande typ av poäng. Vissa uppgifter kan bestå av olika deluppgifter som ger olika typer av poäng. De olika poängen summeras och betyg sätts utifrån olika villkor för respektive betyg. Ofta ska en viss totalpoäng ha upp- nåtts för varje betyg. För ett högre provbetyg kan ytterligare gälla att en viss minsta summa av VG- och/eller MVG-poäng ska ha SOU 2016:25 Bilaga 5 erhållits och/eller att poängen måste erhållas på uppgifter som täcker in olika kunskapsområden. I bedöms de nationella proven av undervisande lärare. Det betyder antingen att läraren helt själv bestämt provbetyget eller att det skett i större eller mindre samverkan med andra kollegor. Kan provens utformning och bedömning förklara den större variationen för provbetygen i matematik? Kan de två ovanstående faktorerna – provens utformning och provens bedömning – förklara den större variationen för provbetygen i matematik? Proven i matematik är nästan uteslutande baserade på uppgifter som poängsätts. Uppgifterna är i allmänhet avgränsade och kan ge ett begränsat antal poäng. De korrekta svaren är också i allmänhet tämligen avgränsade och det finns sällan något större utrymme för tolkningar. Har en elev gjort en felaktighet så är det oftast förhållandevis tydligt och om inte felet är trivialt33 så innebär det i allmänhet någon form av poängavdrag även om läraren med stor säkerhet ”vet” att eleven har de kunskaper som behövs för att nå rätt svar. Matematikens krav på stringens skulle alltså kunna innebära att kravgränserna blir skarpa och att det därmed inte ges utrymme för en lärare som känner eleven att tolka in tidigare erfarenheter av elevens kunnande i sin bedömning. är dock inte tolkningsmöjligheter uteslutna. Om man granskar poängfördel- ningen för poängbaserade prov kan man ofta notera en viss förhöjd andel elever med poäng precis ovanför provets betygsgränser. Figur 1 och figur 15 kan tjäna som illustrationer. För proven i engelska och svenska gäller motsvarande förhåll- ande för de poäng- och itembaserade34 delproven. Framför allt i engelska är de poängbaserade delarna omfattande. Dessutom finns i engelska och svenska ett delprov som består av en längre skriv- 33Till exempel ger 2+2=5 i ett gymnasieprov knappast något poängavdrag. 34Uppgifterna kan t.ex. utgöras av en text som ska läsas varefter att antal frågor (items) kopplade till texten ska besvaras. uppgift (en uppsats). Detta delprov bedöms inte med poäng utan som tidigare nämnts holistiskt. Prov där en helhetsbedömning ska göras innefattar ofta ett större inslag av tolkning av den som bedömer provet än om bedömningen görs med poäng. Då kan det vara svårt för bedömaren att frigöra sig från tidigare uppfattningar om eleven. Det kan handla om den s.k. haloeffekten35 eller om egna erfarenheter av elevens tidigare prestationer i ämnet. Denna tendens att tolka positivt (eller negativt) behöver inte vara en medveten process. Det förefaller dock som om det är vanligare att denna tendens ger utslag i positiv än negativ riktning. Detta skulle kunna vara en möjlig förklaring till att skillnaden mellan provbetyget och slutbetyget i genomsnitt är mindre i svenska och engelska än i matematik. Eftersom analysen av provbetygen för gymnasieskolans del baseras på stickprov finns mer eller mindre stora urvalsfel beroende på stickprovens storlek och den slumpmässighet med vilken de valts. Dessa påverkar tillförlitligheten i analyserna. Data är dessutom angivna i hela procentsatser, vilket också innebär en begränsning i noggrannheten. De försök till skattningar av de olika felens storlek tillsammans med jämförelser med motsvarande resultat för grund- skolan (vilka baseras på hela populationer) tyder dock på att analyserna av kravgränsfelens storlek ger rimliga resultat, framför allt för matematikämnet som har långa tidsserier jämfört med tids- serierna för svenska och engelska. Utöver ovanstående fel kan man diskutera den linjära trend- linjens giltighet över långa tidsintervall. Betyg med stigande trender skulle stiga mot och betyg med fallande trender skulle gå mot noll procent. En sådan utveckling förefaller förstås inte trolig. Den linjära modellen förefaller dock fungera väl för den aktuella perioden. Men om betygsskalan skulle bli bestående och börja visa dålig anpassning till en linjär trend kan man tänka sig att låta trendlinjen vara ”glidande” genom att t.ex. endast innefatta de senaste 10–15 åren. 35 Vetskap om att eleven är duktig (eller inte duktig) i andra sammanhang. Sammanfattande resultat för kravgränsfelet De erhållna resultaten (se tabell 10) tyder på att kravgränsfelens storlek innebär att i genomsnitt utgör andelen felklassificeringar för den aktuella perioden. Det betyder att av eleverna är i fel betygsgrupp enligt den långsiktiga trenden (och skulle behöva flyttas från betygsgrupper med över- skott av elever till betygsgrupper med motsvarande underskott av elever för att anpassning till trendlinjen skulle ske). Andelen elever som fått ett från trendlinjen avvikande betyg i matematik är ungefär dubbelt så stor, . Som tabell 10 också visar är variationen betydande. En viss minskning av kravgräns- felens storlek (i genom- snitt) kan dock noteras för provbetygen i flertalet ämnen. Om avvikelser av den rådande storleksordningen är rimliga och accep- tabla är en fråga som behöver diskuteras. Kravgränserna i form av poänggränser eller andra anvisningar för olika provbetyg bestäms av de lärosäten som konstruerar proven i samråd med . De avvikelser som beror på kravgränsernas läge och övriga bestämningar är således i huvudsak ett resultat av provkonstruktörernas bedömningar. Det sammanfattande empiriska resultatet är det som visas i tabell 10 när det gäller stabiliteten i provbetygen uttryckt i den andel elever som vid vårterminens nationella prov fått provbetyg som avviker från det värde som anges av den långsiktiga trenden. Detta är de avvikelser som framträder statistiskt i tabeller och grafiskt i diagram, en sorts synliga nettoavvikelser. Bakom dessa avvikelser finns emellertid andra fel som inte framträder vid analyser av det slag som gjorts . Dessa fel finns på individnivå och tenderar att ta ut varandra om man jämför provresultat för olika grupper. Det beror på att det förutom systematiska avvikelser kopplade till kravgränser för olika provbetyg också finns slump- mässiga faktorer som påverkar enskilda elevers provresultat och därmed även deras provbetyg. Sådana osynliga slumpbaserade fel tas upp i nästa avsnitt. Ett nationellt prov baseras oftast på många olika uppgifter. När ett sådant prov konstrueras måste ett urval av uppgifter göras. Till varje lite mer omfattande kunskapsområde kan mängder av olika uppgifter konstrueras. De kan konstrueras så att de täcker olika delar av kunskapsområdet och de kan vara av olika svårighetsgrad. Det betyder att de uppgifter som väljs att ingå i provet utgör ett stickprov av många för provet tänkbara uppgifter. Uppgifterna väljs efter innehåll för att så väl som möjligt täcka det kunskapsområde som ämnesplanen föreskriver. Detta urval sker i samverkan med ämnesexperter och aktiva lärare, vilket är nödvändigt för att säkra provets relevans eller validitet. Uppgifterna väljs också efter svårighetsgrad och även där medverkar ämnes- experter och lärare, men även personer med kunskaper i pedagogisk mätningslära. Svårighetgrad kan förstås bedömas erfarenhetsmässigt, men för att få mer precisa mått behövs även empiriska underlag, vilka erhålls via olika utprövningar. Att varje prov är ett stickprov av uppgifter i relation till alla uppgifter som kan konstrueras för kunskapsområdet innebär att det finns ett urvalsfel. Om en annan uppsättning av uppgifter från samma kunskapsområden och av samma svårighetgrad hade valts visar erfarenheten att resultaten på de två proven kommer att variera i större eller mindre grad för enskilda elever. Detta beror på slumpen. Endast den som inte kan lösa någon uppgift eller alla uppgifter kommer att få samma resultat. För övriga kommer antalet uppgifter man kan lösa på respektive prov i allmänhet att variera. Man kan en viss (okänd) andel av alla tänkbara uppgifter. Och det är den okända andelen som provresultatet ska försöka fånga. Med lite tur råkar provet innehålla en större andel uppgifter som prov- deltagaren klarar. Med lite otur en mindre andel. Utmaningen för den som ska värdera provresultatet för en elev är att bedöma vilken betydelse slumpen har. Att göra denna bedömning på ett systematiskt sätt är dock inte helt enkelt. 36 Se t.ex. /bedomning/nationella-prov/hur-konstrueras-de-nationella-proven /primgruppen/matematik Graden av slumpinflytande på provresultatet är det som brukar anges som provets reliabilitet. Ambitionen är givetvis att få så hög reliabilitet som möjligt. Den mäts i allmänhet som ett tal mellan 0 och 1 där 0 betyder att resultaten är helt slumpmässiga och 1 att de helt saknar slumpinflytande. Inga prov når upp till 1 men värden kring 0,90 brukar anses bra för prov av typen nationella prov. Reliabiliteten är dock ett mått på ett visst provs tillförlitlighet för en viss grupp och är således inte en bestämd egenskap hos provet. Reliabilitetsmåttet kan också vara svårt att tolka i relation till en enskild elevs resultat och i nästa avsnitt kommer den frågan att tas upp. Det skulle föra för långt i det här sammanhanget att ytter- ligare fördjupa sig i resonemang om reliabilitetens och validitetens roll i samband med pedagogiska mätningar.37 Vi utgår i stället från ett empiriskt exempel. Det här avsnittet baseras på de metoder som finns närmare beskrivna i (2015b). Metoderna upprepas inte här utan endast resultaten av deras tillämpning återges. Syftet är att ge en bild av vilken betydelse slumpfelet har för bedömningen av hur tillförlitlig den enskilda elevens provpoäng är och därmed också det provbetyg eleven får. I det här sammanhanget har inte kravgränsernas placering någon betydelse eftersom ingen jämförelse görs mellan olika år, utan här handlar det enbart om ett enskilt prov och de slumpfel som gäller för ett sådant. De metoder som tillämpas här för att bestämma de parametrar eller storheter som behövs för att skatta slumpens betydelse för enskilda elevers resultat gäller främst för uppgiftsbaserade prov. Ett sådant kommer därför att användas som exempel. Även för prov med holistiska bedömningar kan reliabilitet (i form av bedömaröverens- 37 Detta beskrivs i grundläggande litteratur om pedagogiska mätningar t.ex. Crocker & (1986). stämmelse) skattas och ligga till grund för bedömningar av mätfel, men denna typ av fel får anstå till nästa avsnitt. Underlaget här utgörs av data för provet ma B . De har insamlats av som även ansvarat för konstruktionen av provet.38 Syftet med analysen är som nämnts att utifrån detta underlag ge en representativ bild av slumpfelens stor- lek och konsekvenser för poängbaserade prov. Tillvägagångssättet är detsamma som för motsvarande rapport för grundskolan.39 Poängfördelningen för det aktuella provet visas nedan i figur 13. Poängfördelning Ma B, vt 11 Uppgifterna bedöms med två typer av poäng som representerar kunskaper i enlighet med olika betygskriterier – G-poäng och VG- poäng, samt för uppgifter markerade med ”¤”, med ett antal MVG- kvaliteter.40 Kravgränserna för olika provbetyg definieras i enlighet med nedanstående anvisning. 38Se www5.edusci.umu.se/np/np-prov/B-kursprov-vt11.pdf och /np/np-2- 4/resultat/ 39Skolverket (2015b). 40För närmare beskrivning se www5.edusci.umu.se/np/np-prov/B-kursprov-vt11.pdf Om man sammanställer den totala poängfördelningen för elever som fått olika provbetyg fås bilden i figur 14. Dessa poänggränser används i den fortsatta analysen. Poängfördelning för olika provbetyg Man kan notera att för de lägre betygen IG och G stämmer poäng- fördelningarna väl med anvisningarna för kravgränserna (för- hållandevis liten överlappning vid betygsgränsen). För betyget VG och i synnerhet MVG är det svårare att bedöma överensstämmelsen utan mer ingående analyser (större överlappning vid betygsgräns- Som framgår av figuren finns det en betydande överlappning och villkoren om VG-poäng och MVG-kvaliteter skapar uppen- barligen vissa omkastningar i provbetygen. För de analyser som görs här väljer vi dock för enkelhets skull att ange gränsen för MVG vid skärningen mellan kurvorna för VG och MVG.41 Den enskilda mätningens standardfel ()42 Några grundläggande parametrar utifrån urvalet visas i tabell 11.43 Medelvärde och standardavvikelse bestäms med hjälp av statistik- programmet SPSS. Det gäller även reliabilitetsmåttet coefficient alfa som är ett av flera tänkbara mått, men det som oftast används. är det genomsnittsvärde som oftast används och som enkelt beräknas.44 Figur 15 visar poängfördelningen och aktuella betygsgränser. Betygsgränserna är inlagda i figuren. Vidare är poängen för en elev med 15 poäng markerad (gul stapel). Den observerade poängen är alltid behäftad med ett (okänt) slumpfel. Det är dock möjligt att utifrån vissa antaganden skatta ett intervall inom vilket elevens ”sanna” poäng45 kan antas ligga med viss sannolikhet. Denna san- nolikhet fördelar sig som kurvan runt foten av den gula stapeln i 41Detta är i enlighet med en av de metoder som används för att bestämma kravgränser för olika betyg (contrasting groups-metoden). 42SEM = standard error of measurement. 43En närmare beskrivning av data för det aktuella provet ges i appendix 3. 44Se (2015b). 45Med ”sann poäng” menas i det här sammanhanget den medelpoäng en elev skulle få om hon eller han kunde göra ett stort antal likvärdiga prov. Detta är av olika skäl inte möjligt, men det finns metoder för att skatta ett värde på den sanna poängen. Se t.ex. (2015b) eller Crocker & (1986). det aktuella fallet. Standardavvikelsen för denna normalfördelade skattning kallas det enskilda felets standardavvikelse (standard error of measurement förkortat på engelska)46. Enligt tabell 11 är för det aktuella provet (och gruppen) 3,24 poäng. Ett 95 procentigt konfidensintervall för den sanna poängen blir då 15±1,96*3,24 poäng, dvs. den bör ligga mellan 9 och 21 poäng. Poängfördelning för Ma B vt 2011 Standardfelet i det aktuella fallet visar således att det finns en icke oväsentlig sannolikhet att en elev med 15 poäng på provet och betyget G, har en sann poäng under gränsen för provbetyget G. Utifrån givna data kan man beräkna hur stor andel av eleverna med 15 poäng som kan antas ha en poäng lägre än gränsen för G. Men man kan inte utifrån provresultatet peka ut vilka dessa elever är. Man vet således att de finns men inte vilka de är.47 Motsvarande resonemang gäller för alla observerade provpoäng. 46Se (2015b) för en närmare beskrivning. 47Utifrån de antaganden som den klassiska testteorin bygger på i det här fallet. Man kan också använda modern testteori, vilken dock ger likartade skattningar. Av figur 15 och ovanstående resonemang torde det framgå att för elever med observerade poäng i närheten av en betygsgräns finns det betydande sannolikhet att eleven antingen haft tur och hamnat över den aktuella betygsgränsen, eller otur och hamnat under den. Låt oss ytterligare illustrera detta med aktuella data från provet i matematik B, . Utan att närmare gå in på tillväga- gångssättet blir resultatet av en sammanställning det som visas i figur 16.49 48Det finns ingen vedertagen svensk benämning på uttrycket. En möjlig benämning kunde vara klassifikationsriktighet. Observera dock att det är en annan form av klassificering än den som gällde i avsnittet Kravgränsfel. 49Jämför (2015b). Figuren visar på den vågräta axeln observerad provpoäng och på den lodräta motsvarande sann poäng.50 De vertikala och horison- tella linjerna markerar gränserna för respektive betyg på de två skalorna.51 De elever som ligger i de gröna diagonala rutorna har samma betyg på den observerade och den sanna skalan. De kan därmed antas ha fått korrekta provbetyg. Vilka eleverna är vet vi dock inte enligt tidigare resonemang, endast hur många de är i den aktuella gruppen. De elever som ligger i intervallet för IG på skalan för observerad poäng, men i intervallet för G enligt den sanna skalan representerar de elever som haft otur på provet. De har en sann poäng som räcker till G, men genom otur med valet av uppgifter i provet, dålig dagsform eller vad det kan vara, har de inte nått sin sanna nivå. De råkar tillhöra det som brukar kallas gruppen ”falskt negativa” (FN, se figur 16). På motsvarande sätt finns det en grupp elever som haft tur med valet av uppgifter och som därmed lyckas prestera över sin sanna nivå på det aktuella provet.52 Denna grupp har fått högre betyg än förväntat och kallas därför ”falskt positiva” (FP, se figur 16). De har t.ex. en sann poäng som motsvarar IG, men har exempelvis genom tur med valet av uppgifter i provet fått en observerad poäng som räcker till G. För varje observerat betygssteg finns en eller två grupper prov- deltagare med falskt positiva eller falskt negativa betyg. Dessa provdeltagare kan alltså antas ha fått oriktiga provbetyg. 50Den sanna poängen är konstruerad utifrån regression mot medelvärdet med användning av formel (se (2015b) för närmare beskrivning). Fördelningen av elever med viss observerad poäng i y-led (sann poäng) baseras på CSEM (C står för conditional, vilket innebär att SEM:s värde varierar med den observerade poängen, se (2015b)). 51Notera att för det tidigare exemplet med 15 observerade poäng är i figur 16 fördelningen av den sanna poängen vertikal (röda siffror). Man kan notera att den elev som har 15 poäng på provet lika gärna kan ha en sann poäng på 14 eller 16 poäng. Ett par elever med 15 poäng (och provbetyg G) har sannolikt 24 eller 25 i sann poäng och har alltså för lågt provbetyg. De borde ha VG och är alltså falskt negativa (FN). Betydligt fler elever med 15 poäng har sann poäng i IG-intervallet samt har för högt provbetyg och är falskt positiva (FP). 52Det aktuella provet ses alltså bara som ett (stick)prov av alla tänkbara prov som skulle kunna konstrueras utifrån det aktuella kunskapsområdet och de aktuella förmågorna. Den sanna poängen är en skattning av vad eleven kan prestera för hela kunskapsområdet och alla förmågor. Räknar man samman antalet elever med korrekta betyg, falskt negativa och falskt positiva betyg och uttrycker dem i procent fås följande tabeller: På grund av avrundningsfel blir summan mindre än 100. Tabell 13 visar att för det aktuella provet i matematik har 79 pro- cent av eleverna fått ett korrekt provbetyg medan fått ett för högt eller för lågt provbetyg.53 Den viktiga frågan i sammanhanget är hur siffrorna i tabell 13 ska tolkas. Det bör observeras att ovanstående fel (falskt positiva och falskt negativa) till ganska liten del är beroende av var betygs- gränserna har lagts. Om man flyttar en betygsgräns sker en ökning för exempelvis gruppen falskt positiva, men minskar gruppen falskt negativa ungefär lika mycket (se figur 16). Det felet framför allt är ett uttryck för är provets mätegenskaper baserade på 53 I engelskspråkig litteratur innebär det att provet har en classification accuracy (eller klassifikationsriktighet) på . de parametrar som anges i tabell 11 och då främst på provets standardavvikelse och reliabilitet.54 De tidigare beskrivna krav- gränsfelen och ovanstående typ av slumpfel är alltså i huvudsak två av varandra oberoende fel. Jämförelse med ett engelskt exempel Om man tycker det låter mycket att av eleverna får fel provbetyg kan man jämföra med resultat på andra liknande prov. I en engelsk rapport55 redovisas följande värden för accuracy, false positive, false negative m.m. i ett antal ämnen från den engelska motsvarigheten till gymnasieskolans nationella prov.56 54Dessa är för övrigt ingen generell egenskap hos provet utan en egenskap för provet givet till den aktuella gruppen. Om den aktuella gruppen kan anses representativ för hela den population som gjort det aktuella provet bör dock de erhållna parametrarna vara goda approximationer för de värden som gäller för hela populationen. 55Wheadon & Stockford (2010). 56GCSE och A-level examinations. Som framgår vid en jämförelse med tabell 14 förefaller det aktuella svenska exemplet ha förhållandevis hög klassifikationsriktighet. Jäm- förelser med andra utländska exempel ger ungefär samma bild så detta är den osäkerhet man får leva med när det gäller examensprov av gängse typ. Dock måste man vara försiktig vid sådana jäm- förelser eftersom andelen falskt positiva och falskt negativa ökar i 57Baserade på användning av modern testteori, Item Response Theory (IRT). 58Ur Wheadon & Stockford 2010, s. 15. takt med antalet klasser. De svenska resultat som används i det här redovisade exemplet gäller fyra betygsklasser, medan de engelska värdena baseras på sex klasser (A–E samt fail). Det vill säga mot- svarande den nu gällande svenska betygsindelningen. Om det aktuella provet gällt skulle således ytterligare två betygsgränser med vidhängande falska klassificeringar (FN och FP) ha tillkommit vilket skulle lagt de svenska resultaten mer i nivå med de engelska. Sannolikhet för korrekt betyg i relation till erhållen provpoäng Som nämnts ett antal gånger är det inte möjligt att utifrån prov- resultaten avgöra vilka elever som har falskt positiva eller falsk negativa resultat. Däremot kan man skatta hur stor sannolikheten är för att en elev med en viss poäng fått ett korrekt provbetyg. Om man för enkelhets skull redovisar dessa sannolikheter i ett diagram får man bilden i figur 17. Figuren visar att för elever med provpoäng i närheten av en betygsgräns är sannolikheten cirka 0,50 att eleven ska få ett korrekt betyg. För en grupp av elever i närheten av en kravgräns innebär det att får det ena betyget (korrekt) och cirka 50 pro- cent ett annat (felaktigt) provbetyg.