sou · H4B3252 · 2016-03-31 00:00:00 — Provbetyg och avvikelse (Diff_20) för ma 2b, vt 2014 Man kan notera att betygsnivån är låg. GBP ligger för provbetygen klart under 10, vilket är betygspoängen för betyget E. Samhällsvetenskapsprogrammet, som har flest elever, har den lägsta genomsnittliga betygspoängen (6) och också den största avvikelsen. Övriga program har mer likartade genomsnittliga betygspoäng. Betygsnivån är dock generellt mycket låg, vilket innebär en stor genomsnittlig avvikelse på 2,6 betygspoäng. Som tidigare nämnts är dock betygspoängen svår att tolka. Uttryckt på annat sätt innebär det för det aktuella provet en nettoavvikelse (Diff_1) på , dvs. hade ett högre lärarbetyg än provbetyg,53 och uttryckt i betygssteg (Diff_6) betyder det att i genomsnitt för varje elev är lärarbetyget nästan ett halvt betygssteg (0,46 steg) högre än provbetyget. Skill- naden mellan de olika program där provet görs är måttlig i den meningen att de olika programmen har ungefär samma genom- snittliga avvikelse på provet. redovisar nedanstående avvikelser för skolenheter vår- terminen 2014 i matematik 2b.54 Figur 42 illustrerar den stora avvikelsen. Medelvärdet av nettoavvik- elserna för skolenheterna ligger på och standardavvikelsen är . Här har en enhet i genomsnitt 47 elever som gjort provet i matematik 2b. Om vi också redovisar resultatet så att avvikelserna relateras till enheternas storlek får vi fram nedanstående bild (figur 43). 53För betygsstegen E till A motsvarar 2,6 betygspoäng mer än ett betygssteg. Om det gäller betygssteget F till E räcker det bara till drygt en fjärdedels betygssteg. 54Skolverket (2015b). Här kan man konstatera en stor spridning i avvikelsen mellan olika skolenheter (standardavvikelse 2,1 betygspoäng) samt en stor skillnad mellan medelvärdet för enheternas genomsnittliga lärarbetyg och medelvärdena av den genomsnittliga betygspoängen för motsvarande provbetyg. Skillnaden anges av den blå medelvärdeslinjen, dvs. den är cirka 3 betygspoäng.55 55 Observera att det här gäller medelvärdet av enheternas avvikelser, där varje enhet har samma vikt oberoende av hur många elever den har. När man beräknar avvikelsen på nationell nivå räknas varje individ lika. Det innebär att de stora enheterna väger tyngre än de små. Av figuren framgår att de stora enheterna i allmänhet har lägre värden än de små. Detta gör att den genomsnittliga avvikelsen blir mindre på nationell nivå (2,6 betygspoäng) än när den beräknas som medelvärdet av enheternas avvikelser (3,0 betygspoäng). Det här avsnittet innehåller inga jämförelser , vilket inte beror på att underlag saknas. har på sin webbplats publicerat ett antal årliga rapporter där avvikelser redovisas. Skälet är att bilden är densamma som den som har redovisats för , dvs. att mönstret är mycket likartat. Relationen mellan lärarbetyg och provbetyg (avvikelsen) är mycket olika mellan olika kurser, där den är minst i engelska och störst i vissa matematikkurser. Betygsnivån är högst i engelska och lägst i mate- matik. Även detta mönster känns igen från . Ett ytterligare mönster som känns igen är att spridningen i av- vikelse är avsevärd på alla nivåer: programnivå, skolenhetsnivå och gruppnivå. Ju färre elever som ingår i grupperna, desto större blir avvikelserna. Det finns alltså en tydlig statistisk effekt i mönstren. På samma sätt som för skulle man kunna sammanfatta analysen av relationen mellan provbetyg och lärarbetyg för gymnasie- skolan med att det finns ett stabilt mönster av instabilitet. Detta är dessutom förstärkt i relation till . I nästa avsnitt ska vi granska vissa av provresultaten och avvik- elserna ur ett mer statistiskt perspektiv. Slumpens roll för avvikelsen Vi tänker oss ett scenario där en lärare har genomfört ett prov och enligt bedömningsanvisningarna fått en viss fördelning av prov- betyg. Vidare har läraren utifrån sitt samlade betygsunderlag satt de betyg hon eller han anser att eleverna visat kunskaper för. Om nu läraren vill jämföra nivån på sina betyg med nivån på elevernas provbetyg är det förstås inte alldeles uppenbart hur detta kan eller bör göras. Som visats tidigare kan det ske via nettoavvikelser (Diff_1), via genomsnittlig avvikelse i betygssteg (Diff_6) eller via skillnad i genomsnittlig betygspoäng för klassens provbetyg och lärarbetyg (Diff_20). För den här redovisningen väljer vi Diff_1 för och Diff_6 eller Diff_20 för gymnasieskolan. Dock väljer vi att inte försöka undersöka skillnader på lärarnivå, eftersom det skulle inne- bära att granskningen görs på klassnivå (gruppnivå). Många grupper i framför allt gymnasieskolan är som vi sett små och av statistiken framgår inte i vilken utsträckning samma lärare har elever från olika program i samma klass. Vi nöjer oss därför med att jämföra resultat på skolenhetsnivå, oberoende av om en eller flera lärare på enheten haft grupper som genomfört det aktuella provet. Granskningen innebär att vi jämför provbetyg och lärarbetyg för att se om de skiljer sig åt på ett statistiskt signifikant sätt för de olika skolenheter som deltagit i provet och som har minst 15 elever.56 Det vill säga kan man eller kan man inte med viss statistisk säkerhet säga att provbetyg och kursbetyg för en skolenhet skiljer sig så mycket åt att man kan säga att lärarens eller lärarnas betyg för eleverna i den aktuella gruppen avviker signifikant från motsvarande elevers provbetyg. Som metod används s.k. parvisa t-test eftersom samma elever och elevgrupper har ett provbetyg och ett lärarbetyg. Signifikans- nivån är satt till . Svenska i årskurs 9 Figur 44 visar de skolenheter som genomfört provet i svenska i årskurs 9 . Observera att figuren visar genom- snittlig nettoavvikelse, dvs. den baseras på Diff_1. Den röda linjen markerar nettoavvikelsen noll och den svarta den genomsnittliga nettoavvikelsen för samtliga skolenheter (medelvärdet för avvikelsen är och standardavvikelsen ). För de rödmarkerade enheterna skiljer sig inte den genomsnittliga avvik- elsen signifikant från noll (95 procents nivå). De blåmarkerade enhet- erna har däremot en nettoavvikelse som är signifikant skild från noll. 56 Vi kunde ha valt mindre grupper, t.ex. minst tio elever. Spridningen skulle då ha blivit större eftersom ännu mindre grupper tillkommit. De värden på spridning som anges kan därför ses som underskattningar. Figuren visar att det finns en systematisk avvikelse som markerar skillnaden mellan lärarkollektivets samlade betygsbedömning och provbetygets genomsnittliga nivå, dvs. Figuren visar också att för små grupper kan avvikelserna vara större utan att för den skull vara signifikant skilda från noll.57 Engelska i årskurs 9 Figur 45 visar utfallet för engelska i årskurs 9 . 57 Man kan notera att gränsen mellan signifikant och icke signifikant avvikelse inte är skarp. Det beror på att t-testet utgår från varje stickprovs egna värden vid skattning av de parametrar som ingår i t-testet. Detta är den metod som får användas om populationsvärden inte finns till- gängliga, vilket skulle vara fallet betyg ska sättas. För engelska är som tidigare noterats avvikelsen negativ, dvs. lärar- betygen (den svarta linjen) är i genomsnitt lägre än provbetygen. Matematik i årskurs 9 Figur 46 visar att den genomsnittliga nettoavvikelsen för de skol- enheter som gjort proven är för matematik i års- kurs 9 (den svarta linjen). Variationen mellan enheter är också betydande (standardavvikelse ). Som synes finns det också några enstaka skolenheter som har signifikant lägre lärarbetyg än provbetyg. I ovanstående figurer har avvikelsen visats som nettoavvikelse (Diff_1), dvs. skillnaden mellan den andel elever (i procent) som har högre lärarbetyg än provbetyg och den andel som har lägre lärar- betyg än provbetyg. Det tas dock ingen hänsyn till om avvikelsen är ett eller flera betygssteg. Ett mer precist och i andra sammanhang mer använt mått är den genomsnittliga betygspoängen, även om den som tidigare nämnts har sina nackdelar genom den ojämna viktningen av olika betyg. Figur 47 visar avvikelsen för matematik i årskurs 9 , dvs. samma grupp som i föregående figur, men uttryckt som skillnad i genomsnittlig betygspoäng (Diff_20). Medelvärdet i betygsavvikelse för hela gruppen av enheter är 1,3 betygspoäng (enligt skalan 0–20) och standardavvikelsen 1,0 betygs- poäng. Man kan notera att den övergripande bilden av fördelningen är tämligen likartad i de båda figurerna, men figur 46 uppvisar det karaktäristiska mönster som syns för små grupper när det gäller nettoavvikelse. När avvikelsen som i figur 47 visas i betygspoäng suddas sådana mönster ut i varierande grad, eftersom avvikelser på olika betygsnivåer ger olika skillnader i betygspoäng (ett steg mellan F och E ger 10 betygspoäng, medan ett steg mellan exempelvis E och D ger 2,5 poäng). Även för gymnasieskolan visas skolenheters avvikelsemönster för några kurser. Här visas avvikelserna enligt skalan 0–20 betygs- poäng. Avvikelsen för svenska 1 visas i figur 48, Medel- värdet för enheterna är 0,35 betygspoäng och standardavvikelsen 0,97. Spridningen är ganska stor och vissa skolenheter visar betydande avvikelser, men den genomsnittliga skillnaden i betygspoäng avviker måttligt från nollinjen. Matematik 1a är en gymnasiegemensam kurs för yrkesprogram- men. Figur 49 visar mönstret för denna kurs. Den genomsnittliga avvikelsen för de ingående enheterna är 1,7 betygspoäng och standard- avvikelsen 1,4. Antalet skolenheter med resultat i matematik 1a är dock mindre än antalet enheter med resultat i svenska 1 och engelska 5, vilket alla elever läser. För engelska 5 är den genomsnittliga avvikelsen liten och negativ (- 0,09 betygspoäng). Standardavvikelsen (0,79 betygspoäng) är också mindre än för svenska 1 och i synnerhet mindre än för matematik 1a. Trots detta finns det vissa enheter som sticker ut med stora medelvärdeskillnader mellan provbetyg och lärarbetyg. Matematikämnet har många kurser och kursprov och vi visar därför också ett par prov med särskilt stora avvikelser. Medelvärdet av skolenheternas genomsnittliga betygsskillnad mellan lärarbetyg och provbetyg är 3,0 betygspoäng, och spridningen (standardavvikelsen) är 2,1 betygspoäng. Som framgår av figur 51 är fördelningen påtagligt sned. Man kan också notera att nästan alla skolenheter har avvikelser som är signifikant skilda från noll. Matematik 4 (figur 52 nedan) är en kurs med förhållandevis få skolenheter – endast 147 stycken har minst 15 elever. Även här är avvikelsen stor; medelvärdet för enheterna är 1,7 betygspoäng och standardavvikelsen mellan enheterna 1,7 betygspoäng. Trots att matematik 4 enbart gäller vissa elever på Naturveten- skaps- och Teknikprogrammet blir spridningen mellan olika enheter stor och fördelningen är påtagligt sned. I det här avsnittet understryks ytterligare den stora variationen mellan olika ämnen, kurser och program när det gäller betygsnivåer och avvikelser. Det pekar också på att de statistiska förutsätt- ningarna varierar och att variationer i avvikelser finns, oberoende av om stora elevgrupper som hela län eller små klasser undersöks. Den stora utmaningen med en så spretande problembild är att försöka finna en acceptabel modell för alla de olika nationella proven och hur dessa på ett tillförlitligt och likvärdigt sätt ska kunna stödja lärarnas betygssättning. I nästa avsnitt diskuteras några förutsättningar som gäller för nu- varande prov och betyg och hur dessa förutsättningar harmonierar eller står i strid med några tänkbara modeller för provens betygs- stödjande roll. Det finns många tänkbara modeller för att använda prov som underlag för stöd eller styrning av betyg. För svensk del har vi valt att de nationella proven ska ha en betygsstödjande roll, och denna roll föreslås nu av utredningen att renodlas. Innan vi går in på några idéer om en svensk modell ska vi kort titta på hur man gör i några andra länder. Modeller i några andra länder Det finns många olika betygssystem och provsystem i världen. Många länder har examensprov som är avgörande för betygen medan andra ger mer ansvar till de undervisande lärarna. Generellt kan man säga att examensproven har gamla anor medan de examinationer och godkän- nanden som mer bygger på undervisande lärares bedömningar, ofta i kombination med resultat på vissa nationella prov, är en mer sentida företeelse. var tidigt influerat av amerikanska strömningar och kan sägas ha varit en typisk representant för den senare kategorin till- sammans med främst vissa delstater i engelskspråkiga länder som , , , och . Dock har dessa länder ofta också olika former av test eller prov vars resultat kombineras med lärarbetyg och andra meriter vid t.ex. urval till högre utbildning. Mer traditionella examensländer är de nordiska länderna, för- utom , det kontinentala och flera ostasiatiska länder, t.ex. , och . Även har olika former av examinerande prov men har liksom hållit ett högt reformtempo och befinner sig i en omställningsfas när det gäller prov och betygssystem på främst gymnasienivå. Varje land har sin mer eller mindre specifika skolkultur. Därför är det svårt att implementera metoder och synsätt från ett land till ett annat. Åtgärder som varit framgångsrika i ett land behöver inte vara det i ett annat land med en annan skolkultur och andra tradit- ioner. Detta gäller läroplaner, kursplaner, undervisningsmetoder, ledarskap m.m. likväl som prov, betygssättning och examinations- system. När vi således tämligen översiktligt redovisar några drag från andra länders modeller för betygssättning och nationella prov (betygsstödjande eller examinerande) ska de inte ses som konkreta förslag utan mer som översiktliga inspel av idéer som kanske i modifierad form kan leda till förbättring också i en svensk kontext. Vi ska kortfattat beskriva prov- och betygssystemen i några länder och särskilt fokusera på relationen mellan provresultat och betyg. De länder som förefaller särskilt intressanta är , , och . När det gäller betygssättning och nationella prov ligger det för svensk del nära till hands att vända sig mot . I de direktiv som låg till grund för den nuvarande sexgradiga svenska betygs- skalan hänvisades till den betygsskala och det betygssystem som infördes i . Till grund för det nya danska systemet låg en expertutredning.58 Den nya danska skalan skulle ha färre betygssteg (sju) än den tidigare så kallade 13-skalan med tio steg. Samma skala skulle användas i hela utbildningssystemet, alltså även i högskolan. Skalan skulle också vara användbar i internationella sammanhang. Därmed låg det nära till hands att koppla den till den ECTS-skala59 som används inom högskolevärlden. Det som framför allt gör den danska skalan intressant är att den är relativ som betygs- systemet är mål- och kunskapsrelaterat (kriterierelaterat). Det inne- bär att på nationell nivå eftersträvas en bestämd procentuell fördel- ning av betygen medan provkonstruktörer och lärare ska utgå från betygskriterierna när de konstruerar prov och sätter betyg. Betygsskalan har bestämda kriterier för nivån godkänd. De elever som inte når den gränsen blir inte godkända. Betygen för de elever som når godkändnivån ska sedan på nationell nivå som norm ha nedanstående betygsfördelning.60 För de icke-godkända betygen F och Fx finns inga procentsatser utan de baseras enbart på kriterier. 58Undervisningsministeriet, Uddannelsestyrelsen. (2004). 60Denna har samma betygsfördelning som ECTS-skalan. Till skalan hör också en kortfattad beskrivning av vad som krävs för de olika betygen.61 Ovanstående bild redovisar de allmänna kriterierna för de olika be- tygen. Dessa kompletteras med de mål och innehållsbeskrivningar 61 (2013). som finns i läroplanerna62. I jämförelse med svenska kunskapskrav är dock de danska motsvarigheterna betydligt mindre omfattande. Det som gör den danska modellen intressant är att den har ambitionen att förena kriterierelaterade63 och grupprelaterade betyg, där det förstnämnda gäller lärare och provkonstruktörer medan det senare gäller den nationella nivån. Tanken i den danska modellen är vidare att systemet ska utvärderas cirka . Om det då visar sig att betygsfördelningen på nationell nivå avviker mer än vad som bedöms rimligt från den föreskrivna norm- fördelningen får betygskriterierna omformuleras så att betygsfördel- ningen blir mer i enlighet med den nationella . Den första utvärderingen gjordes 2013 av ()64. Utvärderingen visar nedanstående fördel- ning för provbetygen och lärarbetygen i årskurs 9.65 Proven är de examensprov som används i . Av figuren framgår att den avvikelse som finns främst gäller fördel- ningen mellan betygen 7 och 10 samt att andelen med det lägsta godkända provbetyget 2 var ett par procentenheter högre än . 62Se t.ex. laereplaner/Fag-paa-stx/Matematik-stx 63Motsvarar det svenska mål- och kunskapsrelaterade betygssystemet. 64Danmarks (2013). 65Figurer 54 och 55 är hämtade ur EVA:s rapport. För lärarbetygen (standpunktskarakterer) gäller den fördelning som visas i figur 55. Av figurerna framgår att överensstämmelsen får anses god. Andelen elever med medelbetyget 7 är något högre än i de två fallen. Däremot är andelen elever med de högsta betygen lägre än . Det är också svårt att se någon tendens till att lärarbetygen skulle ligga högre än provbetygen. Dessutom är det intressant att konstatera att de icke godkända betygen, vilka enbart bestäms enligt kriteriebaserade principer, endast utgör en liten andel av samtliga betyg. För såväl folkskolan som gymnasieskolan var av provbetygen icke godkända, medan av lärarnas slutbetyg var icke godkända. EVA:s sammanfattande slutsatser framgår av nedanstående ruta. Vid en första anblick kan den danska modellen förefalla märklig, men vid närmare eftertanke är det kanske inte så förvånande att modellen tycks fungera. Om man som i den svenska modellen enbart ska arbeta utifrån tolkning av texten i kunskapskraven är det svårt för den betygssättande läraren att veta om en tolkning är rimlig eller inte. De danska kunskapskraven är knappast formulerade på ett sådant sätt att de i sig är mer lättolkade och entydiga än svenska kunskapskrav. Det torde snarare vara det utrymme som finns för en relativ aspekt på tolkningen som, i varje fall med tiden, underlättar för danska lärare och provkonstruktörer att finna nivåer som är mer samstämmiga än vad fallet är i . Den nationella danska kan förstås av slumpmässiga skäl inte förväntas gälla annat än approximativt för enskilda klasser. Den ska således inte styra klassens betygssättning vare sig när det gäller genomsnitt eller spridning. Några jämförelser av lärarbetyg, provbetyg och avvikelser på olika nivåer av det slag vi gör i redovisas inte av . Det är därför svårt att dra några slutsatser om betygsavvikelser på skol- enhets-, klass- och lärarnivå. Betygsfördelningar på nationell nivå är det som kan utläsas. I förordas inte relativ betygssättning även om en sådan kan ha fördelar i jämförelse med kriterierelaterad bedömning och betygssättning. Det kan vara lättare för en lärare att rangordna sina elever efter de kunskaper de visar än att relatera de visade kun- skaperna till mer eller mindre abstrakta formuleringar i kunskapskrav och målbeskrivningar. En normfördelning kan i sådana fall tjäna som en återhållande kraft mot alltför yviga utsvävningar vid betygssätt- ningen. I praktiken finns det knappast några renodlade normrelaterade eller grupprelaterade betygssystem, i varje fall inte om praktiserande lärare är inblandade i betygssättningen. Har man ett norm- eller grupprela- terat system lär sig lärarna vad elever på olika betygs- nivåer kan, och därmed kan de också av elevernas visade kunskaper avgöra deras betygsnivå, dvs. de kan med tiden sätta rimligt till- förlitliga betyg på eleverna även utan direkt statistiskt stöd.66 Men 66 Oberoende av betygs- och provsystem kommer det dock alltid att råda osäkerhet vid betygs- gränser. är verkligheten föränderlig och om bedömningen ska förbli tillförlitlig torde fortlöpande betygsstöd i statistisk eller annan form vara behövligt. På liknande sätt kan ett normstöd av dansk modell tänkas bidra till att staga upp tolkningen av kunskapskraven så att de efterhand kan internaliseras i lärarnas kollektiva medvetande i form av konkreta före- ställningar om vad elever på olika betygsnivåer presterar i form av olika utsagor. Det utesluter naturligtvis inte att tolkningar av inne- hållsbeskrivningar, kunskapskrav och lärandemål behöver göras och diskuteras – men kanske inte främst för bedömningens och betygs- sättningens skull utan i lika hög grad för att främja undervisning och lärande. har något de kallar nasjonale prøver. Dessa är dock inte obligatoriska och betygsstödjande som de svenska nationella proven, utan de är en form av digitaliserade diagnostiska eller formativa prov. Däremot finns det obligatoriska examensprov.67 Examensproven konstrueras enligt traditionella metoder och betygssätts av särskilda censorer. Betygsskalan är sexgradig från 1 till 6, där 1 är icke godkänt och 6 högsta betyget. För censorerna gäller nedanstående anvisning68. 67Se för närmare information. 68http:///Vurdering/Eksamen-grunnskole/#Karakterer Här finns inga angivelser om relativ betygsfördelning utan systemet beskrivs som helt mål- och kunskapsrelaterat. Lärarens betyg (standpunktskarakteren) liknar den svenska lärarens och baseras på den samlade bedömningen av elevens kun- skaper relaterade till vägledande beskrivningar av s.k. kännetecken för olika betyg.69 Kännetecknen liknar de svenska kunskapskraven i det att det är några förmågor som rangordnas genom verbala beskrivningar.70 För gäller att avgångsbetyget innehåller såväl betyg på examensproven som lärarens betyg. Denna modell tillämpas även i Danmark.71 70Se t.ex. kjennetegn_nn.pdf 71Se t.ex. eksamen/Eksamensbeviser-paa-de-gymnasiale-uddannelser I finns inga nationella prov av svensk typ i . Inte heller finns examensprov av det slag som används i och utan betygssättningen görs av läraren med stöd av följande anvisning.72 Kriterierna beskriver kunskaperna som förutsätts för vitsordet åtta (8 = goda). En elev får vitsordet åtta, om han eller hon i genomsnitt uppvisar kunskaper som motsvarar kriterierna. Svagare kunskaper inom något delområde kan kompenseras med kunskaper som över- stiger kriterienivån inom andra delområden. Betygssättningen är liksom i och kompensatorisk, vilket den inte är i . Betygsskalan går från 4 till 10 där 4 är icke godkänt och 10 det högsta betyget. Det finns alltså bara kriterier för en sorts medelbetyg av de fem godkända betygen. De finländska lärarna i ska alltså sätta betyg med stöd av kriterier för ett av de sju betygen och utan stöd av nationella prov. Läraren har tillsammans med den lokala skolan ansvar för betygs- sättningen av de egna eleverna och tydligen anses det fungera till- fredsställande. Möjligen kan goda resultat i bidra. För gymnasieskolans del används i en relativ betygs- skala med gamla latinska benämningar där L är högsta betyg.73 Eximia cum laude approbatur 72http:///planera/grundlaggande_utbildning/elevbedomningen/slutbedomningen _av_elever 73https:///se/statistik/allmaent-om-examen Som synes är skalan relativ och sjugradig. Sammanfattningsvis gäller att för del används i en form av kriterierelaterad bedömning och betygssättning men inga nationella prov. För gymnasieskolan används i stället en traditionell studentexamen baserad på examensprov i varierande ämnen och med relativ betygssättning som grund. och har genomfört många förändringar i sina prov- och betygssystem. Kingdon (2009) skriver: The Scottish system of school leaving qualifications (in common with other UK countries) appeared to have been the subject of far more changes in recent decades that most other systems. (s. 34) Denna tendens har fortsatt även efter 2009. För mot- svarighet till gymnasieskolan pågår ett införande av en ny betygsskala . Den beskrivs kortfattat på nedanstående sätt (figur 56) av Ofqual.74 74 Office of Qualifications and Examinations Regulation. Det nya systemet innebär en förstärkning av examensprovens roll. Ofqual75 skriver bl.a.: