sou · H4B3252 · 2016-03-31 00:00:00 — 17Till mindre del även för genomsnittlig betygspoäng GBP. 18Det innebär alltså att resultatet uttrycks i andel av samtliga elever (). Ett annat sätt att uttrycka avvikelsen är i procent, dvs. hur stor avvikelsen är i relation till den för- väntade andelen för det aktuella betyget. (Jämför t.ex. valresultat. Partiet X minskar från , dvs. I procent däremot blir minskningen 2/10 = 0,20, dvs. Både procentenheter och procent kommer att användas i resultatredovisningen. hand för den genomsnittliga betygspoängen (GBP)19. Ett grund- antagande är att en liten årlig variation (residual, avvikelse från trend- linjen) i andelen elever som får respektive provbetyg är ett mått på hög stabilitet. GBP ger ett grovt mått som inte kan översättas till andel eller antal elever, utan endast tjänar som en indikation. Detta beror på den asymmetriska poängsättningen av betygsskalan.20 Beräkningar bas- erade på andel elever med olika provbetyg ger ett mer precist mått. Resultaten visas först för svenska B, därefter för engelska A och slutligen för matematik A. Dessa prov har genomförts av alla elever. Resultaten för svenska B redovisas tämligen utförligt för att tydliggöra den använda metoden. För övriga kurser ges en mindre ingående beskrivning eftersom samma metodik används för redo- visningen av varje kursprov. För att inte tynga framställningen med alltför många diagram och tabeller läggs dessutom resultaten på proven i engelska B och matematik B–D i appendix 1. De avvikelser som redovisas här antas gälla avvikelser som beror på att betygsgränser eller betygskrav varit för stränga eller för milda. Om alla betygsgränserna varit korrekta skulle avvikelserna vara nära noll (förutsatt att den antagna linjära modellen är korrekt). Det finns andra typer av fel som beror på reliabilitetsbrister av olika slag.21 Från sådana fel bortses i den här resultatredovisningen. Däremot tas de upp i senare avsnitt. 19GBP = (0*IG+10*G+15*VG+20*MVG)/100, där IG, G, osv. är andelen elever i procent med respektive betyg. 20Den är främst politiskt motiverad för att användas vid beräkning av meritvärden med särskild vikt lagd vid att uppnå betyget G. 21Den enskilda mätningens standardfel eller på engelska Standard error of measurement () för främst poängbaserade prov samt bedömningsfel beroende på olika bedömares olika syn på komplexa uppgifter av typen uppsatser, t.ex. avvikelse mellan lärarens bedöm- ning och bedömningen av Skolinspektionens ombedömare. Tabell 1 visar resultat på provet i svenska B: antal elevresultat som redovisats, andelen elever med respektive betyg uttryckt i procent samt GBP enligt och beräknad utifrån de angivna procent- satserna22. rapporteras som nämnts inga sammanfattande provbetyg i svenska och engelska. Tabellen visar exempelvis att antalet elever i stickproven varierar mellan 5 570 och 8 099 elever och G och VG är de vanligaste prov- betygen (sammantaget). Man kan t.ex. notera att en förhållandevis stor andel elever fick IG vårterminerna 2005 och 2008, som en förhållandevis liten andel fick MVG. Detta ledde till låga värden på GBP. Vissa data sticker alltså ut, men det är svårt att mer i detalj värdera om avvikelsen eller stabiliteten i prov- betygen för svenska B kan anses som stor eller liten utan en mer systematisk granskning. 22 Om skillnaderna mellan de olika GBP-måtten indikerar att det finns vissa avrundningsfel kan inte avgöras utifrån befintliga data i . En tydligare bild fås om tabellen visas i diagramform (figur 3). Dia- grammet används också för att generera trendlinjer och mot- svarande ekvationer.23 De senare används sedan för att beräkna modellvärden för de olika procentandelarna. I figur 3 visas värdena från samt anpassade trendlinjer (de streckade linjerna) med tillhörande ekvationer. Andel elever med olika provbetyg Sv B y = -0,5357x + 48,571 y = 0,25x + 34,714 y = 0,6071x + 7,4286 y = -0,2857x + 9,5714 Av figuren kan man t.ex. notera att andelen elever med G på provet i genomsnitt avtar med (anges av negativt värde på koefficienten i ekvationen för G, k=-0,5357) och att andelen elever med provbetyget MVG ökar med i genomsnitt (k=0,6071). Detta kan också utläsas ur den högra delen av tabell 2 där modellvärdena är beräk- nade utifrån de värden på k och m som anges i tabellhuvudet. 23 Görs med hjälp av kalkylprogrammet Excel. Ekvationen för en rät linje har formen y = k*x + m där y är värdet på y-axeln (procentenheter i det aktuella fallet), k är koefficienten framför x (anger lutningen på linjen och hur många procentenheter värdet på y ändras ) och m slutligen anger var linjen skär y-axeln. Betyg (%) -0,286 -0,536 Om man antar att trendlinjen representerar en stabil flerårig utveckling kan skillnaden mellan den observerade andelen elever med ett visst betyg och motsvarande andel enligt modellen (trendlinjen) ses som ett mått på hur stor andel elever som tilldelas ett provbetyg som avviker från det betyg de kan förväntas ha enligt modellen. Avvikelsen, eller felet om vi antar att modellen är korrekt, blir då andelen betyg i tabellens vänstra del minus motsvarande andel betyg i den högra delen av tabell 2, (O-M)24. blir således, för betyget IG, avvikelsen lika med 10-9,3 = , dvs. andelen elever med IG på provet var högre än förväntat utifrån den långsiktiga trenden (räknat på samtliga elever, dvs. Om man i stället undrar hur stor del av eleverna med provbetyget IG som enligt trendvärdet inte borde ha IG (positiv skillnad) eller borde ha fått IG (negativ skillnad) får man i stället beräkna hur stor andel 0,7 är av 9,3 (modellvärdet för IG), avrundat till heltal ger det . De elever som fick IG på provet var alltså 8 pro- cent för många enligt modellen eftersom värdet är positivt. Dessa elever borde ha haft betyget G (något annat alternativ finns ju inte 24 O(bserverat värde)-M(odellvärde). för den som har fått IG). Tabell 3 visar motsvarande resultat för samtliga betyg.25 Avvikelse(% av totalt) Sum(ABS) -1,0 -1,0 -2,5 -2,7 -2,7 -0,9 -0,1 -0,5 -0,9 -1,4 -0,1 -1,5 Avvikelse(% av respektive betyg) Medel(ABS) Sum(ABS) i den vänstra delen av tabellen anger totala andelen avvikelser (procentenheter) från modellens värden oberoende av om andelen varit för hög eller för låg. Tabell 3 visar att avvikelserna är mellan cirka 2 (2009) och 7 (2008) procent vår- terminen 2005 till , med ett medelvärde för andelen avvikande eller felaktiga betyg på . Medel(ABS) i den högra delen av tabellen anger hur stor andel av eleverna (procent) som i genomsnitt fått ett annat betyg än det förväntade i relation till det enligt den långsiktiga trenden för- väntade betyget. Man kan konstatera att för sv B är det främst betyget IG som visar stora avvikelser. var gruppen elever med IG mindre än förväntat och 2008 var den större än förväntat. I genomsnitt avviker gruppen som fått IG (uppåt eller neråt) i relation till vad den enligt modellen 25Siris visar andelen elever i hela procent, vilket gör att avrundningsfelen kan bli ganska stora. De beräknade värdena räknas i tiondelar av procent, vilket får hållas i minnet då resultaten värderas. Variationen mellan olika år är dessutom stor, vilket framgår av tabellen och standardavvikelsen som är . Även MVG visar ganska stor avvikelse medan den är mindre för G och VG. Skillnaderna mellan tabellens vänstra och högra del beror på att avvikelsen jämförs i vänstra delen (procent- enheter) och med procentandelen för det aktuella betyget i högra delen (procent). Båda värdena är korrekta, men värderingen kan bli olika beroende på vilket man väljer att lyfta fram. Figur 4 nedan illustrerar den genomsnittliga avvikelsen i klassi- fikation räknat på samtliga avvikelser (Sum(ABS)). Man kan notera att trenden är avtagande, dvs. variationen i provbetygens avvikelse tycks minska, eller omvänt – provbetygens stabilitet tycks visa en tendens att öka. En avtagande trend för avvikelsen innebär således en ökande stabilitet i provbetygen. Fel betyder den andel av eleverna som klassificerats med ett annat provbetyg än vad som kan förväntas utifrån den långsiktiga betygsutvecklingen, dvs. trenden för den aktuella . Observera att om man vill uttrycka avvikelsen som andel elever som fått fel betyg får man halvera värdena i figur 4. Total andel avvikelser för provbetyg, Sv B Figur 5 visar den genomsnittliga betygspoängen (GBP) för prov- betygen i sv B . GBP ökar , vilket stämmer med att såväl andelen VG som MVG ökar medan IG och G minskar (figur 3 och tabell 2). I synnerhet ändringar mellan IG och G får stor betydelse på grund av den skala som används för betygspoäng och som ligger till grund för beräkningen av GBP (steget IG–G ger 10 poäng mot övriga betygssteg 5 poäng). Man kan notera en kraftig avvikelse 2008, vilket stämmer med tabell 3 där det framgår att ovanligt många elever fick betyget IG. I övrigt är det dock svårt att dra några mer precisa slutsatser av den genomsnittliga betygspoängen. Det är t.ex. inte möjligt att på något enkelt sätt översätta GBP till hur stor andel elever som fått från trenden avvikande provbetyg olika år. GBP får därmed mer ses som en långsiktig trendindikator än som ett instrument för att bestämma storleken på olika avvikelser. Tabell 4 visar resultat på provet i engelska A: antal elevresultat som redovisats, andelen elever med respektive betyg uttryckt i procent samt GBP enligt och beräknad utifrån de angivna procent- satserna. Betyg (%) Inget särskilt kan noteras i tabell 4 utom möjligen att antalet elever i stickproven varierar en hel del. En tydligare bild fås om tabellen visas i diagramform (figur 6). Diagrammet används också för att generera trendlinjer och mot- svarande ekvationer. De senare används sedan för att beräkna modellvärden för de olika procentandelarna. Man kan notera att andelen IG, G och VG avtar medan andelen MVG ökar . Betyg (%) -0,107 -0,214 -0,107 Inte heller tabell 5 visar några särskilda avvikelser. Resultattabellen (tabell 6) redovisar, liksom tidigare för sv B, av- vikelsen i procentenheter i den vänstra delen och avvikelsen som procent av förväntad andel elever med det aktuella betyget i den högra delen (negativa värden anger för få givna betyg, positiva värden för många). Avvikelse(% av totalt) Sum(ABS) -0,9 -0,6 -0,1 -3,4 -0,4 -1,2 -1,9 -1,1 -3,3 -0,5 -0,4 -1,6 -0,1 -0,3 -1,4 Avvikelse(% av respektive betyg) Medel(ABS) För engelska A är den genomsnittliga totala avvikelsen (medelvärdet för Sum(ABS)). utmärker sig med de största avvikelserna. är dock avvikelsen betydligt lägre och trenden pekar på ökad stabilitet i provbetygen. Detta illustreras av figur 7. Man kan också notera i den högra delen av tabellen att det fram- för allt är gruppen elever med förväntade betyg IG eller MVG som visar stor inbördes variation. Där kan gruppen med förväntat betyg IG variera mellan att vara för stor till för liten. För MVG gäller liknande siffror. Det som leder till de höga procentsatserna är att antalet elever i kategorin är förhållandevis litet, i synnerhet för IG (jämför tabell 5). Total andel avvikelse för provbetyg, Eng A Diagrammet över GBP pekar på större avvikelser och ger därmed en likartad bild av utvecklingen. GBP 1999-2011, observerad () och modell (trend), Eng A Tabell 7 visar resultat på provet i matematik A: antal elevresultat som redovisats, andelen elever med respektive betyg uttryckt i procent samt GBP enligt och beräknad utifrån de angivna procent- satserna. För kursproven i matematik finns provbetyg rapporterade fr.o.m. eller 2000 och resultaten blir därmed mer tillförlitliga än för svenska och engelska. Betyg (%) I jämförelse med tidigare redovisade provbetyg för svenska och engelska kan man för matematik A konstatera en betydligt större andel IG samt betydligt lägre värden på GBP. En tydligare bild fås om tabellen visas i diagramform (figur 9). Diagrammet används också för att generera trendlinjer och motsvar- ande ekvationer. De senare används sedan för att beräkna modell- värden för de olika procentandelarna. I figur 9 kan man utan svårighet se att den årliga variationen i provbetyg, eller de årliga avvikelserna för olika provbetyg om man jämför med trendlinjen, är betydande i relation till vad vi sett för svenska och engelska. Andel elever med olika provbetyg Ma A y = 0,2527x + 22,308 y = -0,2143x + 25,346 y = -0,0275x + 8,0385 Av figur 9 framgår att för betyget G är trenden att ingen förändring alls skett . Däremot är den årliga variationen betydande. Detta gäller också IG och VG, men i mindre grad MVG. Tabell 8 visar resultaten i siffror. Betyg (%) -0,214 -0,028 Standardavvikelsen i den vänstra tabelldelen visar störst variation för IG och minst för MVG (vilket också framgår av figur 9). I den högra halvan kan man notera att enligt modellen (trendlinjen) är andelen elever med provbetyget G (44,) över perioden, dvs. samma sak som vi kunde se i diagrammet. Resultattabellen (tabell 9) redovisar liksom tidigare i den vänstra delen avvikelsen i procentenheter och i den högra delen som procent av förväntad andel med det aktuella betyget. Avvikelse(% av totalt) Sum(ABS) -3,1 -4,1 -5,8 -2,0 -6,7 -3,1 -6,5 -2,6 -1,9 -2,1 -4,1 -6,1 -2,1 -2,3 -5,4 -0,8 -2,8 -1,8 -5,0 -1,1 -5,1 -1,3 -1,7 -0,6 -2,6 Avvikelse(% av respektive betyg) Medel(ABS) Av den vänstra tabelldelen framgår att den totala avvikelsen i genomsnitt är . Uttryckt i andel elever betyder det att får av eleverna ett felaktigt provbetyg på grund av instabila betygsgränser. För tidigare redovisade kurs- prov i svenska och engelska var de procentuella felen störst för IG och MVG. Så är det också för provbetygen i ma A, men är felen i andelen med förväntat provbetyg G respektive VG betydligt större i matematik A än i svenska B och engelska A. Av tabellens högra del framgår att i genomsnitt har den grupp som förväntas få provbetyget IG varit för stor eller liten med en variation mellan att vara för stor och för liten. Bilden för MVG är nästan densamma och VG ser inte särskilt mycket bättre ut. Några uppenbara förklaringar till de förhållandevis stora av- vikelserna i relation till de andra kärnämnena är svåra att se. Stick- proven är stora, i genomsnitt nästan 10 000 elevresultat (tabell 7) så det kan inte gärna handla om urvalsfel. Det handlar också om ett kärnämnesprov så det är i princip samma elever som deltagit i övriga kärnämnesprov som deltagit i provet för ma A. Vi får återkomma till frågan i slutdiskussionen. Trenden när det gäller avvikelsen för provet ma A är dock av- tagande (figur 10). Det betyder alltså att stabiliteten är (var) ökande, men , 2011, var den totala avvikelsen ändå (dvs. av provdeltagarna fick ett annat prov- betyg än det av modellen förväntade). Total andel avvikelser, Ma A Bilden av den genomsnittliga betygspoängen – 2011 är i linje med tidigare redovisade resultat (figur 11). GBP 1999-2011, observerad () och modell (trend), Det är dock tveksamt om den svagt stigande trendlinjen ska tolkas som en resultatförbättring. Av tabell 8, den högra delen, framgår att förbättringen främst beror på att andelen IG minskat med . Eftersom steget IG till G ger dubbel betygs- poäng får detta också dubbel verkan på GBP. De redovisade resultaten visar att andelen elever som får ett visst provbetyg varierar mellan olika år. Med det mål- och kunskaps- relaterade betygssystem som gäller är inte andelen elever som ska ha ett visst provbetyg bestämd i förväg. Ökade kunskaper leder till att en större andel av eleverna får högre betyg, vilket förstås i sin tur leder till en minskande andel elever med lägre betyg. Om kun- skaperna å andra sidan sjunker händer det omvända. Sådana kun- skapsförändringar sker långsamt när det gäller stora populationer av det slag som deltar i nationella prov, i synnerhet gäller detta för de nationella prov som genomförts av alla elever, dvs. sv B, en A och I den aktuella studien fångas sådana långsiktiga förändringar upp av de använda trendlinjerna. De mer kortsiktiga förändringar som kan noteras i provbetygen mellan närliggande år är därmed inte främst en följd av den lång- siktiga utvecklingen utan antas bero på att provet är ett mät- instrument som i likhet med andra mätinstrument är behäftat med olika fel. I de nu redovisade resultaten manifesteras dessa i form av årliga svängningar i andelen elever som får ett visst provbetyg. Dessa svängningar kan ses som uttryck för ett mätfel hos det använda instrumentet. Det är detta systematiska mätfel som vi kallar kravgränsfel. Felet är systematiskt eftersom det är en egen- skap hos provet (till vilket föreskrifterna om hur provbetyget fastställs räknas) och inte hos provdeltagarna. Ett grundläggande antagande är således att kunskaperna hos den elevgrupp som genomför proven inte ändras nämnvärt mellan närliggande år utöver den systematiska och långsiktiga förändring som fångas upp av trendlinjen. De årliga fluktuationerna i relation till tilltrendlinjen ses därmed som ett uttryck för provets krav- gränsfel. En väsentlig orsak till denna typ av klassificeringsfel är att betygsgränserna eller betygskraven ligger för högt (eller för lågt) i relation till det läge de borde haft för att andelen skulle sam- manfalla med trendlinjens värde.27 För ett i huvudsak poängbaserat prov betyder det att poänggränsen för ett betyg ligger för högt eller för lågt. För ett prov som mer baseras på essäliknande uppgifter med holistisk bedömning kan bedömningsunderlagen vara mer svår- tolkade och i högre grad bygga på den bedömande lärarens egen tolkning medan de poäng- och itembaserade28 proven i allmänhet har mer precisa bedömningsanvisningar med mindre tolknings- utrymme för den som bedömer provet. Denna skillnad kan ha betydelse för de olika resultatbilder vi ser mellan ämnena i denna studie. 27Vi kan alltså inte bestämma något fel i relation till kunskapskravens formuleringar efter- som dessa inte är konstruerade för sådana jämförelser. 28Med item avses mindre provuppgifter kopplade till någon specifik information eller något visst tema. De bedöms med poäng, oftast 0 eller 1. Det kan t.ex. gälla ett hörförståelseprov där frågor ska besvaras om innehållet i det hörda eller läsförståelseprov där frågor baserade på den lästa texten ska besvaras. Tabell 10 visar andelen elever med från trenden avvikande betyg för de aktuella populationerna (stickproven).29 Resultat från års- kurs 9, som bygger på hela provpopulationen, finns med som jämförelse. Man kan notera att för samtliga prov i svenska och engelska samt för matematik i årskurs 9 varierar andelen med från trenden avvikande provbetyg med mellan cirka 2 och 3 pro- cent. För proven i årskurs 9 innebär det över den aktuella perioden att i genomsnitt mellan 2 000 och 3 000 elever får fel prov- betyg. För gymnasieskolans del är det svårare att översätta procent- andelarna till antal eftersom det inte finns statistik över hur många elever totalt som gjort respektive prov. 29 Även här är andelen uttryckt i konkreta elever hälften av andelen total avvikelse. Andel elever med fel provbetyg (%) -0,15 -0,23 -0,20 -0,20 -0,23 -0,23 Andel elever med fel provbetyg (%) -0,02 Av tabellen framgår att det främst är matematikproven i gymnasie- skolan som har stora totala avvikelser i relation till övriga prov, mellan knappt 5 till . För proven i svenska och engelska är de totala avvikelserna ungefär hälften så stora. Kolumnen längst till höger i tabellen, Trend, anger avvikel- sernas utveckling . Ett positiv värde t.ex. 0,11 (röd) anger att den absoluta avvikelsen i genomsnitt ökat , dvs. provbetygens stabilitet har minskat i denna utsträckning. Ett negativt värde (grönt) uttrycker omvänt att provbetygens stabilitet ökat. Av tabell 10 framgår således att stabiliteten i prov- betyg har ökat för sex av de sju gymnasieproven, det vill säga andelen elever som får fel provbetyg har i genomsnitt minskat med . Variationen mellan olika år är dock betyd- ande som diagrammen visar. Hur tillförlitliga är skattningarna av kravgränsfelen? Som tidigare nämnts har (och ) endast samlat in ett stickprov av provresultat från gymnasieskolan. Insamlingarna har gjorts för vårterminens prov och urvalet har gjorts så att alla skolor har blivit valda en gång . Det betyder att urvalet inte är obundet slumpmässigt utan att det kan finnas vissa klustereffekter. Från dessa bortses i det här sammanhanget. Eftersom studien bygger på stickprov finns urvalsfel i under- laget. Dessa kan tämligen enkelt skattas eftersom resultaten i är givna som proportioner.30 En annan begränsning ligger i att endast redovisar resultaten i hela procent vilket gör att det finns ett avrundningsfel på maximalt ±0,. Det felet kan också tämligen enkelt skattas.31 Några exempel på urvalsfelens (beroende av stickprovets stor- lek) och avrundningsfelens betydelse redovisas nedan. I diagrammen i figur 12 (nedan) anger de blå linjerna konfidens- intervallet () för trendlinjen. Staplarna representerar de värden anger med felmarginaler angivna (). Cumming (2012) anger att man som tumregel kan säga att om stapeln (med felmarginaler) överlappar de blå linjerna till mindre Det ger standardfelet = (1 )/ där p är proportionen (procentandelen) som har betyget och n är stickprovets storlek (anges i tabell 1 och motsvarande för övriga prov). Standardfelet för en uniform fördelning är =(( )^2/12) där a är felets undre gräns (-0,5 i det här fallet) och b dess övre (0,5) vilket ger standardfelet = vid avrundning till hela procent. än kan avvikelsen betraktas som statistisk signifikant ().32 Därmed kan avvikelserna för provbetyget IG anses statistisk signifikanta vårterminerna 2000, 2001, 2002, 2006, 2007, 2009 och 2010 medan avvikelserna återstående vårterminer är mer osäkra. Detta resultat stämmer väl med bilden av andelen elever med provbetyget IG i matematik A i figur 9. På motsvarande sätt kan bilderna för övriga provbetyg bedömas. Den sammanfattande bedömningen blir att de aktuella slumpfelen inte på något avgör- ande sätt ändrar den övergripande bilden. Sirisvärden och modellvärden med felmarginaler () för provbetyg IG, Ma A, vt 1999-2011 32 Förutsatt att felen är oberoende. Detta gäller inte fullt ut här eftersom konfidenslinjen för trendlinjen innefattar varje års värde (stapel) på andelen med betyget. Det är dock inte mödan värt att konstruera en särskild trendlinje (utan aktuellt stapelvärde), inklusive konfidenslinjer, för varje stapelvärde och därefter jämföra överlappning. Tumregeln betraktas som approximativt giltig. Sirisvärden och modellvärden med felmarginaler () för provbetyg G, ma A, vt 1999-2011 Sirisvärden och modellvärden med felmarginaler () för provbetyg VG, ma A, vt 1999-2011 Sirisvärden och modellvärden med felmarginaler () för provbetyg MVG, ma A, vt 1999-2011 Av de fyra diagrammen framgår att för olika provbetyg i ma A är avvikelserna signifikanta för mellan cirka hälften och tre fjärdedelar av åren. Det innebär rimligen att de avvikelser som redovisats i tidigare tabeller och som sammanfattas i tabell 10 kan ses som goda indikatorer på de avvikelser som beror på det vi kallat kravgränsfel. För svenska B och engelska A som redovisas i appendix 2 är signifikansnivån lägre i den meningen att avvikelsen mellan trend- linjen och Siris-värdet är signifikant () än vad som var fallet för ma A (för de som ingår i serien). Den lägre andelen signifikanta skillnader beror främst på att färre år ingår i tidsserien för sv B och eng A (samt för eng B). Även om signifikansnivån är lägre är dock den bästa skattning som kan göras den som utgår från medelvärdena och som ligger till grund för de redovisade resultaten. Indikationerna på avvikelse blir med andra ord något mindre tillförlitliga för dessa prov men är de bästa som ges av befintliga data. Syftet med detta avsnitt var att få ett mått på kravgränsfelets storlek uttryckt i andelen felklassificerade elever utifrån den lång- siktiga trenden. Vill man veta hur stor andel av eleverna som skulle behöva ändra provbetyg för att avvikelsen skulle närma sig noll får man ta felklassificerade betyg. Här har endast det sammanfattande provbetyget och dess variation studerats.