sou · H4B325d2 · 2016-03-31 00:00:00 — : , Rinehart and . Qualifications and Curriculum Authority (2009). Research into marking quality. Studies to inform future work on national curriculum assessments. QCA/09/4042. (2003). Det nationella provsystemet – vad, varför och varthän? (2015). Om nationella prov – Åk 9 1998–2012. Provbetygens stabilitet och tillförlitlighet i gymnasieskolan De nationella proven har fått allt större betydelse. En ny läroplan och en ny betygsskala infördes . I denna bilaga ingår dock de nationella prov som gavs i den tidigare gymnasie- skolan för att få tidsserier som sträcker sig över en någorlunda . gällde också den fyrgradiga betygsskalan med betygen icke godkänt (IG), godkänt (G), väl godkänt (VG) och mycket väl godkänt (MVG). Varje prov är behäftat med olika typer av mätfel och syftet med denna bilaga är främst att granska tre typer av fel. För det första fel som beror på att poänggränser för olika provbetyg inte är stabila (s.k. kravgränsfel). För det andra slumpbaserade fel som främst beror på om en elev har tur eller otur med de uppgifter som ingår i provet, men även andra slumpfaktorer som har betydelse vid själva provtillfället kan inverka (s.k. slumpfel). För det tredje fel som är kopplade till att olika bedömare gör olika bedömningar av elevlösningar (s.k. bedömningsfel). Resultaten redovisas i form av hur stor andel av eleverna som kan bedömas få ett felaktigt provbetyg på grund av något av de tre felen. De kursprov som främst granskas är de tidigare kärnämnes- kurserna svenska B, engelska A och matematik A.1 De olika felen varierar beroende på vilka kurser proven gäller. Detta har att göra med hur proven är konstruerade. Proven i svenska och engelska består av delprov där vissa förmågor prövas med s.k. itembaserade 1 Benämningen kärnämne används inte i den gymnasieskola som infördes utan där används benämningen gymnasiegemensamma ämnen. Dessutom betecknas kursernas progression med siffror i stället för med bokstäver, t.ex. svenska 1, svenska 2 osv. och poängsatta delprov och andra förmågor med längre skriftliga uppgifter. Matematikprovens resultat baseras i huvudsak på upp- gifter som poängsätts. Det betyder att proven i svenska och engelska har vissa delprov (itembaserade) där slumpfel dominerar och vissa (längre skriftliga uppgifter) där bedömningsfel dominerar. För matematikens del är det slumpfelen som dominerar eftersom få uppgifter visar nämnvärd bedömningsavvikelse. För alla prov visar resultaten att kravgränsfelet är det fel som berör minst andel elever. I jämförelse är detta fel något större för matematikproven än för de andra proven. Kravgränsfelet medför att 5–av eleverna får ett annat provbetyg än vad som kan förväntas utifrån den långsiktiga trenden. Detta kan jämföras med 2–av eleverna för proven i svenska och engelska. När det gäller slumpfelets betydelse finns inte data för att bedöma detta för de delprov i svenska och engelska som är item- baserade. För matematikens del visar analysen att slumpfelet med- för att cirka 20–av eleverna får för högt eller lågt prov- betyg i förhållande till deras ”faktiska” kunskaper. Å andra sidan visar de skriftliga delproven i svenska och engelska bedömningsfel av motsvarande storleksordning 10–beroende på del- prov (enligt Statens skolinspektions ombedömningar). Sammanfattningsvis kan man säga att för de aktuella proven tyder resultaten på att provbetygen är tillförlitliga, dvs. avspeglar elevernas kunskaper på ett korrekt sätt, till . Av provresultaten kan man dock inte särskilja vilka elever som ingår i dessa . Hur och om de olika felen samverkar kan inte avgöras av befint- liga data. Det krävs också mer sofistikerade metoder för att konstruera ett mått som integrerar de olika felen. De redovisade resultaten bygger, som tidigare nämnts, på den fyrgradiga betygs- skalan. Med sexgradiga betygsskala2 beräknas mätfelen att öka med . Med fler betygssteg blir betygsskalan mer preciserad, men mindre robust. 2 I den sexgradiga betygsskalan ingår betygen F, E, D, C, B och A. I en tidigare rapport har de nationella provbetygens stabilitet i års- kurs 9 redovisats för åren 1998 till 2012.3 Den handlade om att försöka få en bild av i vilken utsträckning betyg på de nationella proven kan anses likvärdiga mellan olika år. I den här bilagan görs motsvarande redovisning för gymnasieskolans nationella kursprov i svenska, engelska och matematik. Bilagan kan alltså ses som en fortsättning på den tidigare grundskolerapporten. De nationella proven har främst två syften nämligen 1) att tjäna som betygsstöd för läraren och 2) att ge underlag för resultat- jämförelser på olika nivåer i skolsystemet. För att jämförelser ska vara möjliga krävs att provbetygen mellan olika år kan antas likvärdiga, dvs. att samma kunskapsnivå ska gälla för olika prov- betyg olika år. Eller annorlunda uttryckt att provbetygen är stabila . Syftet med denna bilaga och den tidigare nämnda rappor- ten för är att försöka undersöka i vilken utsträckning detta antagande kan anses uppfyllt. För att få ett rimligt tillförlitligt underlag behövs tidsserier som sträcker sig över en någorlunda . Det gör att tids- serien för prov konstruerade utifrån ämnesplaner är för kort för att ge tillförlitliga resultat. De här redovisade resultaten baseras därför på prov enligt kursplaner4. Metoderna för att fastställa provbetyg har dock inte ändrats med ämnes- planer5 och därför kan de resultat som erhålls för provbetyg enligt betygsskala ligga till grund för en skattning av stabiliteten även enligt den nya betygsskalan. De kunskapskrav som gäller har en annan utform- ning och delvis annan vokabulär, men de kräver i likhet med betygskriterier uttolkning och operationalisering i form av konkreta exempel på vad olika kunskapskrav innebär i form av iakttagbara elevprestationer. En sådan utveckling sker med tiden, men hur skrivningarna kunskapskrav tolkas av prov- konstruktörer och betygssättande lärare i relation till motsvarande tolkning av betygskriterier vet ingen . Man kan alltså inte uttala sig om nivån i de nya provbetygen i relation till de 3Skolverket (2015a). 4Till vilka även räknas de revisioner som gjorts, t.ex. Kursplan 2000. 5Ny benämning på det som tidigare kallades kursplaner. gamla, men eftersom de använda metoderna är desamma bör man kunna dra vissa slutsatser om den förväntade stabiliteten i de nya provbetygen på basis av stabiliteten i de gamla. Detta är det ena övergripande syftet med denna bilaga. Det andra övergripande syftet gäller provens betygsstödjande roll och frågan om hur tillförlitligt provbetyget är som underlag för den enskilda elevens betyg. Här kommer frågor som rör tillför- litligheten i bedömningen av proven in, liksom frågor om slumpens betydelse när det gäller urvalet av uppgifter till provet, elevens till- stånd vid det specifika provtillfället och annat som kan bidra till att ett begränsat prov inom en begränsad tidsram vid en viss bestämd tidpunkt inte till fullo förmår ge en komplett bild av en elevs kunskaper och förmågor i ett visst ämne eller en viss kurs. Bilagan försöker således undersöka två saker, dels provbetygens långsiktiga stabilitet på nationell nivå där slumpmässiga fel och lokala bedömningsskillnader tenderar att ta ut varandra, dels provbetygens tillförlitlighet i relation till den enskilda individen som berörs av de olika felen. Two types of error are likely to occur when cut scores on tests are used to classify students. These errors of classification do not occur because someone made a mistake. The errors will occur because no test can be perfectly reliable or perfectly valid, and because no method of setting cut scores is perfect.6 Alla kunskapsprov ger mer eller mindre felaktiga resultat. Kunskap är en flyktig och svårfångad materia och ju mer komplex och omfattande den är desto svårare är den att fånga. Dessutom är kunskap inte utan varierar . Det kan vara på sin plats att betona att ”fel” i det här samman- hanget inte betyder att någon gjort fel eller handlat felaktigt. Det handlar mer om antingen skattningsbara statistiska avvikelser eller 6 Zieky & Perie (2006). om olika tolkningar och bedömningar där någon ”sann” bedöm- ning inte finns eller kan konstrueras statistiskt. För prov baserade på poäng finns det tekniker för att skatta fel i form av avvikelser från statistiska väntevärden (”sanna” värden) eller avvikelser från en trendlinje (som kan ses som ett glidande medelvärde). När det gäller t.ex. bedömning av uppsatser och tolkningen av bedöm- ningsanvisningar och kunskapskrav finns normalt ingen ”sann” tolkning tillgänglig, varken i absolut eller statistisk mening. I statistisk mening skulle en ”sann” tolkning kunna konstrueras genom att ett stort antal bedömare tolkar och betygssätter samma doku- ment varefter ett medelvärde beräknas som ”sann” bedömning. Ett sådant förfarande är dock av praktiska och ekonomiska skäl inte möjligt för en reguljär provverksamhet. Att utifrån ett (vanligen) skriftligt prov som en elev genomför en viss bestämd dag göra en rättvisande bedömning av den elevens kunskaper och förmågor är en uppgift förenad med betydande osäkerhet. Eleven kan ha tur eller otur med de uppgifter som kommer på provet. Eller eleven kan av olika skäl ha en dålig dag: pollenallergi, kärleksbekymmer, tandvärk eller någon form av konflikt. Eller kanske har något hänt som i stället gör att eleven kan överprestera i relation till sin normala förmåga. Det senare är lite svårare att exemplifiera, men ett grundantagande i den testteori som ligger till grund för konstruktionen av prov är att de slumpfaktorer som påverkar en elevs provresultat tenderar att jämna ut sig för en hel grupp av elever (eller för samma elev om hon eller han får göra många prov). När det gäller en enskild elevs provresultat vet man dock inte i vilken utsträckning och på vilket sätt resultatet är påverkat av slump. Ändå finns det olika metoder för att skatta detta slumpfel och när man analyserar provresultat måste hänsyn tas till denna typ av fel. Felen brukar kallas den enskilda mätningens standardfel och förkortas SEM.7 Detta är en typ av slumpbaserade fel som gäller 7 Efter den engelska benämningen = Standard of Measurement. Vid redovisning av provresultat bör enligt den standard som fastställts av de professionella organisationerna AERA, APA och NCME (2014) provets standardfel anges. generellt för alla provresultat och alla provdeltagare. Det är också ett dolt fel. Det är inte möjligt att säga att en viss elevs provresultat har si eller så stort mätfel. Däremot kan man säga att sannolikheten för ett en elev ska ha ett visst resultat bestäms av storleken på . Ett annat fel tillkommer om provresultaten ska ligga till grund för någon form av klassificering, t.ex. genom att betyg ska sättas på provet. På prov som baseras på poäng eller belägg (vilka kan ses som en form av poäng som är kopplade till kunskapskrav på olika nivåer) innebär det att ange hur många poäng som krävs för olika provbetyg. För prov som utgörs av en enda stor uppgift, t.ex. en uppsats, kan i stället en helhetsbedömning baserad på de bedöm- ningsanvisningar som provkonstruktören tillhandahåller ligga till grund för betyget. Vissa prov kan vara sammansatta av delprov där vissa kan vara poängbaserade och andra helhetsbedömda. I samtliga fall ska dock bedömningen resultera i att varje elev tilldelas ett provbetyg. Det är dessa provbetyg som blir det manifesta utfallet av provet och som ger det resultat som t.ex. publiceras på Statens skolverks webbplats. Att fastställa de kravgränser som ska gälla för olika provbetyg är en grannlaga uppgift. Därför är det inte förvånande att kravgränser ibland fastställs och sedan, när väl de samlade resultaten finns, visar sig avvika från vad man kan förvänta sig. Detta är en typ av fel som vi här kallar kravgränsfel. Om det handlar om poängbaserade prov ligger svårigheten främst i att bestämma vilka poäng som ska krävas för olika betyg. Om det gäller uppsatser ligger provkonstruktörernas svårigheter framför allt i att formulera tydliga bedömningsanvisningar och att hitta före- bildliga exempel på elevarbeten som av konstruktörerna klassificeras till olika betyg. För bedömaren ligger svårigheten i att tolka och värdera de elevarbeten som ska bedömas och betygssättas i relation till bedömningsanvisningarna. Här görs bedömningen ofta direkt i betygstermer med betydande påverkan på provbetyget. För poängbaserade prov är utrymmet för tolkning i allmänhet mindre och bedömningen resulterar i ett kvantifierbart mått, vanligen ett antal poäng. Här blir kravgränsfelet inte så beroende av en enstaka bedömning utan mer av vid vilka poängnivåer krav- gränserna lagts. För prov med större inslag av helhetsbedömning blir å andra sidan tolkningsutrymmet större och här kommer kravgränsfelet att mer bero på hur olika bedömare tolkar uppgifter av t.ex. upp- satstyp. Som den korrekta tolkningen och bedömningen skulle man kunna se medelvärdet av de provbetyg en grupp av kvalifi- cerade inbördes oberoende bedömare var och en skulle ge upp- satsen. Det finns forskning som visar att även bland kvalificerade bedömare finns det en betydande variation i bedömningen, men en bedömaröverensstämmelse brukar anses som acceptabel. För nationella prov i finns i allmänhet endast en bedömare, även om det i många fall också sker olika former av sam- eller medbedömning. Men i vilket fall torde man kunna säga att en stor del av de kravgränsfel som finns i prov med större inslag av helhetsbedömning består av bedömningsfel. Detta fel är inte direkt observerbart, men de ombedömningar som Skolinspektionen gör kan ses som en indikator. Bilagans syften kan formuleras i fem punkter: Att sammanställa provbetygens variation . Att bestämma kravgränsfelets storlek. Att jämföra kravgränsfelet med standardfelet () och de fel i klassificering till olika betyg som leder till.8 Att jämföra kravgränsfel med bedömningsfel och slumpfel. Att ge ett underlag för att bedöma vilka felnivåer som är acceptabla inom ramen för prov av god kvalitet. 8 Det som kallas classification accuracy på engelska. Avsnittet Kravgränsfel i bilagan behandlar punkterna 1 och 2, prov- betygens variation och bestämningen av kravgränsfelet för de olika nationella prov som används i gymnasieskolan. I avsnittet Slumpbaserade fel diskuteras slumpfelet med hjälp av ett par exempel. Där redogörs kortfattat för storleken av slump- mässiga mätfel och klassificeringsfel9. Avsnittet Bedömningsfel tar kortfattat upp fel som gäller bedöm- ning av mer omfattande uppgifter av typen uppsatser. I detta fall används underlag från Skolinspektionens ombedömningar som exempel. Slutligen sammanfattas och diskuteras de samlade resultaten i avsnittet Sammanfattande diskussion. För ett poängbaserat prov påverkar en förflyttning av en kravgräns ett poängsteg åt ena eller andra hållet många elevers provbetyg. Figur 1 visar ett exempel på poängfördelningen på ett prov med poänggränser för olika provbetyg. 9 Utförligare redovisningar finns i (2015b). Poängfördelning och betygsgränser för ett prov Andel elever (%) Av figuren framgår t.ex. att en förflyttning av den nedre poäng- gränsen för betyget G från 12 till 13 poäng innebär att andelen elever med betyget IG (EUM)10 ökar med (med motsvarande minskning för andelen elever med G). Om man tänker sig att det är ett nationellt prov som gäller en årskull på cirka 100 000 elever innebär höjningen således att cirka 4 300 fler elever får provbetyget IG. Det är alltså uppenbart att placeringen av kravgränserna har stor betydelse för provbetygens fördelning. samlar in resultaten på genomförda nationella prov. samlas samtliga resultat in för del. För gymnasieskolan samlades provresultat in för ett stickprov av de elever som genomförde vårterminens version av respektive prov, men fr.o.m. samlas samtliga 10 EUM = ej uppnått målen. Exemplet är från och där fanns inte betyget IG. Därför användes beteckningen EUM. resultat, såväl höst- som vårtermin, in även på gymnasieskolans nationella prov. Varje nationellt prov ska åtföljas av anvisningar om vilka krav som ställs för olika betyg på det aktuella provet. Om det är ett prov som bedöms med poäng (numera ibland kallade belägg), anges hur många poäng som krävs för respektive betyg. anges också vilka kombinationer av poäng graderade som G-poäng, VG-poäng och MVG-poäng som krävs, vilket främst gäller prov i matematik. Om det å andra sidan är prov med mer omfattande uppgifter av typen uppsatser kan uppgiften betygssättas direkt. Det gäller främst för vissa delprov i svenska och engelska. För att öka lik- värdigheten i bedömningen tillhandahåller proven bedömnings- anvisningar med exempel på poäng- eller betygssatta elevarbeten och argument för de gjorda valen. Kraven för olika provbetyg ska således vara fastställda i förväg. Att bestämma dessa krav är en grannlaga uppgift. Det finns olika metoder, delvis beroende på ämnets och provens karaktär och utformning. Flertalet av metoderna bygger på bedömning av en grupp kvalificerade bedömare med goda insikter i styrdokumenten och god kännedom om de elevgrupper det handlar om.11 Alla prov- uppgifter utprövas i förväg och då samlas vanligen statistik in över elevernas resultat. Även denna statistik kan sedan vara ett underlag vid bestämningen av kravgränserna för olika betyg. Ett rimligt antagande är att kunskapsförändringar för stora grupper som läser ämnen är tröga processer. Då är det inte troligt att olika gruppers kunskaper i ett ämne varierar särskilt mycket mellan olika år, i synnerhet torde det gälla grupper som gör prov närliggande år. Plötsliga kunskapsfall (eller ökningar) vissa år kan då antas vara ett tecken på att mätningen inte är stabil utan påverkas av någon form av systematiskt mätfel. Ett sådant antagande förefaller åtminstone rimligt för där hela 11 Cizek & (2007). årskullen (cirka 100 000 elever) läser samma ämne och gör samma prov, och där samtliga provresultat samlas in. I det fallet kan med fog årliga variationer i huvudsak antas vara uttryck för svårigheten att bestämma betygsgränser eller betygskrav som är stabila över tid.12 För gymnasieskolan är bilden mer komplicerad. I de tidigare kärn- ämnena svenska B (sv B), engelska A (eng A) och matematik A (ma A) var proven obligatoriska, vilket innebär att alla elever berördes. Proven i högre kurser – engelska B (eng B), matematik B (ma B), matematik C (ma C) och matematik D (ma D) – var obligatoriska för de program där kurserna var avslutande. Även för mellanliggande kurser rekommenderades lärarna att använda proven. För elever på exempelvis Naturvetenskapsprogrammet var således för matematikens del endast proven i ma A och ma D obli- gatoriska, men rekommendationen var att genomföra även proven för ma B och ma C. I praktiken innebar det att de allra flesta eleverna gjorde även dessa prov. Några faktorer som försvårar möjligheterna att beräkna prov- betygens stabilitet för gymnasieskolans del är följande: Varje prov i gymnasieskolan ges både höst- och vårtermin. Prov- resultat som finns tillgängliga har samlats in endast för vår- terminerna. Elevsammansättningen med avseende på program varierade mellan vår- och hösttermin. Elever på yrkesförberedande pro- gram genomförde t.ex. oftast provet i ma A under den andra terminen, dvs. vårterminen, medan elever på t.ex. Naturveten- skapsprogrammet i allmänhet gjorde det första terminen, dvs. Elevsammansättningen vår- och hösttermin torde därmed ha varit olika. Men eftersom resultat endast har samlats in för vårterminens prov förefaller det rimligt att anta att den insamlade elevgruppens sammansättning inte har varierat alltför mycket mellan olika år. Det är då möjligt att skatta prov- betygens avvikelser för vårterminens kursprov. 12 Se (2015a) för närmare beskrivning. av kravgränser sker på samma sätt för vårens och höstens kurs- prov. Därför är det rimligt att anta att de genomsnittliga avvikelser som kan skattas för vårterminens provbetyg i huvud- sak även gäller för höstterminens kursprov trots att andelen elever med höga provbetyg kan antas vara högre för t.ex. ma A13. Det är inte den genomsnittliga betygsnivån i sig (uttryckt i hur många procent av eleverna som har respektive provbetyg) som indikerar avvikelse utan hur mycket de årliga resultaten avviker från den långsiktiga nivån (trenden) över hela den ingående tidsperioden. Provresultat har endast insamlats från ett stickprov av skolor (cirka en sjättedel så att alla skolor har deltagit i in- samlingen ). Hur representativt varje stickprov är för hela gruppen är oklart. Antalet rapporterade provresultat vari- erar mellan år och kurser, vilket gör det tveksamt i vilken ut- sträckning det är rimligt att bortse från urvalsfelen. Det här gäller i synnerhet för de högre matematikproven (ma C och ma D) och är den mest osäkra punkten.14 I bilagan görs dock försök att bedöma urvalfelets betydelse. För proven i sv B, eng A och eng B redovisades fram till vår- terminen 2005 endast delprovsbetyg, men inget samlat provbetyg. Delprovsbetygen var därtill redovisade för olika antal elever, vilket gör det svårt att i efterhand beräkna ett samlat provbetyg. Från och med redovisas ett samlat provbetyg av Skol- verket men först anges att det samlade prov- betyget endast baseras på resultat för elever som deltagit i och har resultat på samtliga delprov. Vad som gällde i det avseendet 2005– 2007 är oklart, men om det visar sig att resultaten på dessa prov inte avviker på något anmärkningsvärt sätt i förhållande till resultaten på efterföljande prov kommer de att ingå i underlaget för studien. 13Eftersom flertalet elever på Naturvetenskapsprogrammet genomförde provet . 14Kan möjligen skattas om man undersöker hur eleverna fördelar sig på olika program de olika åren. För många program blir dock elevgrupperna små så det är tveksamt hur till- förlitligt resultatet blir. En annan tänkbar möjlighet är att välja endast det största pro- grammet (Samhällsvetenskapsprogrammet för flertalet kursprov), men då blir elevantalet i stickprovet ändå tämligen begränsat (jämför figur 1). De data som används har hämtats från webbplats.15 Nedanstående bild ger ett exempel på hur data kan se ut. De resultat som används i analyserna gäller ”Totalt program”. Som framgår av bilden rapporterades den aktuella terminen (vår- terminen 2005) totalt 5 875 provresultat. För övriga kursprov är tillgängliga data av liknande slag som ovan. Med tanke på de begränsningar och osäkerheter som tidigare nämnts får slutsatserna av analyserna tolkas med försiktighet. Men om resultaten blir i paritet med motsvarande analyser för grund- skolan kan det rimligen ses som en indikation på att stabiliteten i provbetyg i och gymnasieskolan är av samma storleks- ordning, vilket är vad man kan förvänta sig eftersom tillvägagångs- sättet vid bestämning av kraven för olika provbetyg bygger på samma metoder. Den metod som används är densamma som redovisas i mot- svarande grundskolerapport.16 Det innebär att trendlinjer skattas för de tidsserier av data som används, främst andelen elever i pro- cent som fått olika provbetyg.17 Därefter jämförs det värde trend- linjen ger med motsvarande datavärde ur . Skillnaden mellan dessa värden (residualen) beräknas och kan sedan ses som ett mått på hur stor avvikelsen är för de olika provbetygen det aktuella året uttryckt i procentenheter.18 Andel avvikelser och andel elever med avvikande provbetyg I vissa tabeller kommer summan av absolutvärdena (alla värden räknas som positiva) av residualerna att användas som mått på totala avvikelserna (se t.ex. tabell 3). Detta ger totala andelen avvikelser från trendlinjen oberoende av om de är positiva eller negativa. Sam- tidigt är summan av andelarna som har respektive betyg 100. Om det är för många elever i en betygsgrupp måste det vara för få i någon annan för att summan ska vara 100. En avvikelse uppåt i en grupp måste således kompenseras av en avvikelse neråt i någon (eller några andra grupper).