sou · H4B325d2 · 2016-03-31 00:00:00 — Här dyker återigen frågan upp om vems tolkning som ska gälla som empirisk bedömning: Ska det vara det samlade lärarkollektivets betygsfördelning? Ska det vara provbetygens fördelning? Ska det vara någon form av sammanvägd fördelning av lärarbetyg och provbetyg? Vi väljer att även här utgå från det samlade lärarkollektivets bedömning. För att få så tillförlitliga värden som möjligt vore det bästa att utgå från värden . Detta är dock inte möjligt i den här redovisningen. Det nuvarande sexgradiga betygssystemet är ganska nytt och de underlag som är tillgängliga för utredningen är data från och för gymnasieskolan från vår- terminen 2014. Därför används de som underlag för de exempel som visas. För en modell i bruk är dock tanken att de värden som ingår i modellen ska baseras på betygsunderlag från . För den andra förutsättningens del antas att betygsfördelningen kan bestämmas empiriskt genom att man utgår från lärarbetygens standardavvikelse under . Ett exempel baserat på empiriska data I det här avsnittet redovisas en tillämpning av samma modell som gällde för de tidigare centrala proven men med den skillnaden att vi nu använder empiriska värden för betygens medelvärden och sprid- ning i stället för stipulerade. De värden som används i exemplet är inte medelvärden , vilka är tänkta att gälla när modellen tas i praktiskt bruk. I stället används de data som utredningen har haft tillgång till, dvs. provresultat och betyg för årskurs 9 vårterminerna 2013 och 2014 samt motsvarande resultat för gymn- asieskolan . I tabellerna nedan listas betygsmedelvärden och standardavvik- elser för provbetyg och lärarbetyg för vårterminerna 2013 och 2014 samt för gymnasieskolans kursprov . Här används betygspoäng från 1 (betyget F) till 6 (betyget A) för att få en betygsskala som liknar den tidigare femgradiga skalan men med sex steg i stället för fem. Lbet_6 och Pbet_6 markerar lärarbetyg respektive provbetyg. Vi börjar med att undersöka avvik- elserna på gruppnivå och undersöker sedan avvikelserna på system- nivå (nationell nivå). Tabellerna visar antal elever, hela elevgruppens betygsmedelvärden och skillnader mellan betygsmedelvärdena (Diff_6), standardav- vikelse för lärarbetyg och provbetyg samt betygsmedelvärdenas standardfel för slumpmässigt valda grupper av 25 elever.90 90 Det sistnämnda värdet är beräknat på samma sätt som det tidigare värdet 0,2, dvs. standard- avvikelsen för den totala populationen dividerad med kvadratroten av antalet elever i stick- Std/rot(25) Ma_Lbet_6 Ma_Pbet_6 Sv_Lbet_6 Sv_Pbet_6 En_Lbet_6 En_Pbet_6 -0,11 Ma_Lbet_6 Ma_Pbet_6 Sv_Lbet_6 Sv_Pbet_6 En_Lbet_6 En_Pbet_6 -0,09 Av tabell 8 framgår att standardavvikelsen för betygsmedelvärdet91 för slumpmässigt valda stickprovsgrupper om 25 elever är mycket likartad för såväl provbetyg som lärarbetyg och kan på nationell nivå avrundat till en decimal sägas vara 0,3 betygssteg för grund- skolans del. Skillnaden mellan provbetyg och lärarbetyg kan ses som försumbar. För gymnasieskolans del är bilden något mer varierande, vilket är naturligt med tanke på att de olika proven där genomförs av selekterade och därigenom i allmänhet mer homogena grupper. Tabell 9 visar resultaten. provet (25). Skillnaden är att för 0,2 var det den föreskrivna standardavvikelsen 1 som gällde. Här är det den empiriskt funna standardavvikelsen för lärarbetygen som används. Man kan notera att skillnaderna i standardavvikelse för provbetyg och lärarbetyg är liten. 91 Detta kallas också medelvärdets standardfel, men avser då stickprovets medelvärde som skattning av populationsmedelvärdet. Std/(rot(22) Std/rot(25) Tabell 9 visar att stickprovens standardavvikelse är något lägre än för del, eller 0,26 om man räknar på samma klass- storlek (25 elever) som i . Klasserna är dock i allmän- het något mindre i gymnasieskolan och om man utgår från en grupp på 22 elever blir standardavvikelsen 0,28, dvs. i stort sett samma som i . Sammantaget kan man säga att det avrundade värdet blir 0,3 betygspoäng, vilket motsvarar 0,3 betygssteg i den skala som har samma avstånd mellan varje betygssteg. Om analogin med det värde (0,2) som gällde för det relativa betygssystemet är tillämplig skulle motsvarande värde i det nuvarande systemet utifrån de standardavvikelser som gäller för lärarbetygen på nationell nivå vara 0,3 betygspoäng för klassmedelvärdet utifrån den använda sexgradiga skalan. Detta leder till följande, för exemplet tentativa, anvisning. Accepterad avvikelse på gruppnivå: Skillnaden mellan medelvärdet för lärarbetygen och provbetygen ligger i intervallet - 0,3 till 0,3 betygspoäng räknat på en betygsskala med betygspoäng från 1 för F till 6 för A. Hur skulle då bilden se ut om en avvikelse mellan betygsmedel- värden för provbetyg och lärarbetyg på 0,3 betygspoäng skulle användas som norm i det nuvarande systemet (med användning av en sexgradig skala)? Nedan anges några exempel. Dessa gäller dock endast avvikelsernas spridning, dvs. den del av modellen som baseras på förutsättning 2. I nästa avsnitt tillkommer den eventuella korrigering av avvikelsens nivå som baseras på förutsättning 1. För visas diagram för provämnena svenska, engelska och matematik i årskurs 9. Prickarna i diagrammet representerar grupper (klasser). De röda prickarna representerar grupper inom det accepterade intervallet. Av grupperna i svenska ligger utanför gränsen 0,3 betygs- steg. Flertalet avvikelser gäller som synes högre lärarbetyg än prov- betyg. Avvikelse utanför gränsen 0,3 gäller för av grupperna i engelska. Här har förhållandevis fler grupper lägre lärarbetyg än provbetyg. Effekten skulle för engelskans del därmed bli ett visst tryck mot högre lärarbetyg. I matematik avviker av grupperna med mer än 0,3 betygs- steg. I stort sett alla avvikelser innebär högre lärarbetyg än prov- betyg; endast ett fåtal grupper har negativa avvikelser. För gymnasieskolan visas också tre exempel: engelska 5, matematik 1a och svenska 3. Som framgått tidigare är resultaten och avvikelserna i gymnasieskolan i allmänhet betydligt mer varierande än i . Engelska är som tidigare framgått det ämne som har den minsta genomsnittliga avvikelsen på nationell nivå och den jämnaste för- delningen mellan positiv och negativ avvikelse. För engelska 5 skulle en gräns på 0,3 betygssteg innebära att av grupperna ligger utanför den tillåtna avvikelsen (de blå grupperna). För grupperna med prov i matematik 1a har en genom- snittlig avvikelse som är större än 0,3 betygssteg. Samtliga avvikelser (utom en) gäller att lärarbetygen för gruppen i genomsnitt ligger mer än 0,3 betygssteg över provbetygen. Det kan sägas vara den gängse bilden för matematikämnet. För svenska 3 ligger av grupperna utanför den tillåtna avvikelsen på 0,3 betygssteg. Även här innebär avvikelserna huvudsak- ligen att lärarbetyget är högre än provbetyget. Modellen med tillåten avvikelse på 0,3 betygspoäng ger bilder som i huvudsak liknar de som visats tidigare i avsnittet Slumpens roll för avvikelsen. Att det finns likheter är inte förvånande, för i princip bygger de två modellerna på samma principer om statistiska skillnader mellan olika stickprov.92 Den modell som användes i de centrala proven är dock mer primitiv genom att den använder ett standardiserat värde baserat på en genomsnittlig klasstorlek (25 elever), medan de tidigare visade diagrammen anger avvikelsen med hänsyn tagen till gruppstorleken. Fördelen med den centralprovs- modell som använts ovan är att den är tydlig och lättanvänd för lärare och rektorer (förutsatt att den förenklade skalan 1–6 för betygspoäng används). Nackdelen är förstås att den är mindre precis. Små grupper har dessutom, som tidigare framgått, en större slump- variation. Figurerna i avsnittet visar att för engelskans del förefaller en modell som enbart gäller gruppmedelvärdenas avvikelser vara till- räcklig. Den systematiska skillnaden (medelvärdesskillnaden på nationell nivå) mellan provbetyg och lärarbetyg är i stort sett noll och behöver därmed inte korrigeras. Däremot kan spridningen mellan grupper anses vara för stor om 0,3 betygssteg bestäms som norm. För matematikens del är bilden en annan. Där finns det, för- utom skillnader mellan grupperna, också betydande skillnader mellan lärarbetygens och provbetygens nationella medelvärden, det vi kallar en systematisk skillnad. Den allmänna betygsnivån i mate- matik, i synnerhet när det gäller provbetygen, ligger dessutom på en så låg nivå att en betydande andel elever skulle bli underkända i många kurser om provbetygen skulle gälla. Utredningen anser att den låga generella betygsnivån på de nationella proven och de stora avvikelser lärarna anser nödvändiga för att elevernas betyg ska bli i enlighet med lärarnas bedömningar av elevernas kunskaper är olycklig. Därmed kan det för matematik- ämnet vara aktuellt med en systematisk korrigering av provbetygen så att man får en modell som fungerar mer i linje med lärarnas bedömningar av rimlig betygsnivå. Ambitionen med de kvalitets- höjande insatser vi föreslår för de nationella proven är bl.a. att de ska bidra till att skillnaderna mellan olika ämnen och mellan ämnes- eller kursbetyg och provbetyg minskar. I så fall kan den 92 Det gäller även om den tidigare använda modellen bygger på t-test där hänsyn tas till respektive grupps storlek och stickprovsvärden, medan den senare centralprovsmodellen bygger på populationsvärden (standardavvikelse) och antagande om normalfördelning. systematiska korrigeringen för avvikelse på systemnivå efterhand minskas. Engelskan behöver utifrån befintliga resultat ingen korrigering av den genomsnittliga betygsnivån på proven, i varje fall inte uppåt. För engelskans del gäller snarare att de stigande betygen kan behöva bromsas för att inte skillnaderna mellan ämnen ska bli större än vad de redan är. För svenskans del är underlaget alltför magert för att vi ska kunna bedöma hur stor korrigering som kan vara lämplig. I synnerhet svenska 3 hade en stor avvikelse medan övriga tre svenskkurser låg mellan 0,11 och 0,14 i avvikelse (tabell 8 och 9). Med det lilla underlaget väljer vi att utelämna proven i svenska. Mest akuta är proven i matematik. Om man ser på medelvärdes- skillnaderna (Diff_6) enligt tabell 8 och 9 ser man att värdena är förhållandevis höga, med betydande skillnad mellan minsta värdet 0,12 betygspoäng och största 0,42 betygspoäng. Räknar man ut medelvärdet för samtliga matematikkurser får man värdet 0,30 betygs- poäng. Om man ska ha en anvisning för systematisk korrigering av provbetygen är det en fördel, främst av praktiska skäl, om den kan vara enhetlig för hela ämnet. Vi väljer därför att utgå från medel- värdet av Diff_6 för de olika matematikkurserna, vilket avrundat blir 0,3 betygspoäng. Det innebär en korrigering av provbetygets medelvärde så att det hamnar på samma nivå som genomsnittet av matematikbetygen från olika år (vilka ersätts med olika matematik- kurser från utredningens underlag i exemplet) genom att addera korrektionen 0,3 betygspoäng till det observerade betygsmedel- värdet på provet. Detta är alltså en allmän korrektion som gäller alla som deltagit i provet. Syftet med korrektionen är att provbetygens medelvärde ska hamna på samma nivå som lärarbetygens medelvärde . Detta ger följande anvisning utifrån det i exemplet tillgängliga underlaget. Accepterad avvikelse på systemnivå: Medelvärdet för provbetygen ökas för ämnet matematik med 0,3 betygspoäng räknat på en betygsskala med betygspoäng från 1 för F till 6 för A. För engelska och svenska anges däremot ingen avvikelse på systemnivå. För engelska tyder resultaten på att någon korrigerande faktor inte är aktuell. För svenska är underlaget för begränsat. Det en ren tillfällighet att provbetygen i matematik ska höjas med just 0,3 betygspoäng (och att den systematiska avvikelsen därmed minskas med 0,3 betygspoäng), vilket är samma värde som interval- let för avvikelsen på gruppnivå. Om vi i stället valt ämnet svenska skulle korrektionen avrundad till en decimal ha blivit 0,1 betygs- poäng (medelvärdet av Diff_6 för de olika kurserna i svenska i tabell 8 och 9). I engelska skulle den systematiska korrektionen på motsvarande sätt bli ett värde någonstans mellan 0 och -0,1 betygs- poäng. Nedan ges exempel på hur modellen skulle kunna tillämpas. För att illustrera den modell utredningen anser möjlig väljs mate- matik i årskurs 9 som exempel. I figur 66 redo- visas fördelning av grupper inom och utanför accepterad avvikelse korrigerad på systemnivå, så att lärarbetyget i genomsnitt förväntas ligga 0,3 betygspoäng högre än provbetyget i enlighet med tidigare härlett genomsnitt för de matematikkurser som ingår i utredningens underlag. Det betyder att den anvisning som gäller för systematiskt okorrigerad avvikelse, dvs. (- 0,3 betygspoäng < avvikelsen < 0,3 betygspoäng) vid systematisk korrektion ersätts med intervallet (0.0 betygspoäng < avvikelsen < 0,6 betygspoäng), vilket innebär att avvikelsenivån flyttas upp 0,3 betygssteg. Figur 66 visar utfallet för matematik i årskurs 9, med systematisk korrektion och accepterad avvikelse. Av marginalfördelningarna framgår att den accepterade avvikelsen ligger på en nivå som är mer i överensstämmelse med lärarkårens genomsnittliga betygssättning. Dock är variationen mellan olika lärare (grupper) fortfarande betydligt större än de riktmärken för accepterad avvikelse (0,3 betygspoäng) som valts för exemplet. Liksom i tidigare figurer verkar det finnas betydande slumpeffekter inblandade. Hur kan modellen användas? För att modellen ska vara användbar och i praktiken stärka provens roll att fungera som betygsstöd måste den vara enkel att tillämpa för den som ska använda den, t.ex. lärare, rektorer, huvudmän och Skolinspektionen. Kravet på enkelhet vid tillämpningen gör att den officiella skalan med 0–20 betygspoäng inte är lämplig. fördelningen av betygspoäng gör beräkningar krångliga och svår- tolkade. Utredningen förordar därför att skalan 1–6 används tillsammans med modellen. Vi tänker oss i första hand att modellen bör användas som ett analysverktyg för lärare, rektorer, huvudmän och Skolinspektionen för att analysera provens betygsstödjande roll på skol-, huvud- manna- och nationell nivå. På nationell nivå kan modellen användas av Skolinspektionen, eftersom den blir ett verktyg för myndigheten att granska skillnader mellan provbetyg och ämnes- eller kursbetyg. Systematiska skill- nader på vissa skolor eller hos vissa huvudmän som avviker från vad som är accepterat enligt modellen kan göra att Skolinspektionen initierar en tillsyn. På huvudmannanivå ges ett instrument för att följa upp kom- munens eller den enskilda huvudmannens skolor. Modellen kan användas som en del i kvalitetsarbetet. På skolnivå får rektorn ett analysverktyg och ges möjlighet att säkerställa kvaliteten i betygssättningen. Dessutom utgör modellen ett bra underlag i diskussioner med lärarna om deras bedömning och betygssättning. Skolnivån innefattar även lärarna som kan använda modellen för att analysera sin bedömning och betygssättning i efterhand. En annan möjlighet som vi har undersökt är att en lärare vars prov- resultat och slutbetyg avviker mer än vad modellen medger ska motivera skillnaderna för rektorn. Detta förfarande skulle dock, enligt vår bedömning och i nuvarande läge, leda till att orimligt många lärare skulle behöva motivera sina avvikelser, vilket i sin tur skulle medföra en ökad administration för lärarna. Vi förordar därför att modellen åtminstone till att börja med används i efter- hand för analyser av betygsnivåer och avvikelser på olika nivåer. I stället för att använda modellen i efterhand för analys skulle den även kunna användas direkt och påverka elevernas betyg i likhet med hur modellen tillämpades i det relativa betygssystemet. Vi förordar dock inte en sådan användning i nuvarande läge. Det får bli en möjlighet som eventuellt kan undersökas vidare när det finns erfarenheter från den användning av modellen som utred- ningen förordar. En liten fördjupning av modellen Modellen som den beskrivits så här långt är förenklad genom att den utgår från en standardklass med 25 elever vid beräkningen av accepterad avvikelse (0,3 betygspoäng). Som framgått tidigare i bilagan är emellertid slumpeffekterna beroende av gruppens eller klassens storlek. I en lite mer genomarbetad modell kan man ta hänsyn till detta och därigenom få ett mer nyanserat resultat. Modellen som ligger till grund för de bilder som visas beräknar avvikelsen i relation till gruppstorleken genom att utgå från den genomsnittliga standardavvikelsen för lärarbetygen för samtliga kurser93 (jämför tabell 8 och 9). Denna standardavvikelse blir av- rundat till en decimal 1,3 betygspoäng. Avvikelsen (SE)94 kan då beräknas enligt följande: SE=1,3/√ , där n är antalet elever i gruppen eller skolan. Ritar man upp grafen till denna beräknade avvikelse (positiv och negativ) får man nedanstående figur. 93Samtliga kurser kan ingå eftersom standardavvikelserna ligger nära varandra. Om skillnad- erna var större skulle kanske endast standardavvikelser i samma ämnen vara lämpliga att använda. 94SE står för Standard , standardfelet eller stickprovsmedelvärdets standardavvikelse. Den vertikala linjen i figuren markerar de tidigare använda värdena 0,3 betygspoäng baserat på en standardklass med cirka 25 elever.95 Figuren visar också gränsen för accepterad avvikelse enligt den anvisning som valts (standardfelet för lärarbetygens medelvärde för stickprov av olika storlek, baserat på lärarbetygens totala standard- avvikelse). Av figur 67 framgår att för större grupper, exempelvis skolor med 150 elever, blir den accepterade medelvärdesskillnaden mellan lärarbetyg och provbetyg cirka 0,1 betygspoäng. Dessa värden kan användas för uppföljning av avvikelser på klassnivå, skolenhetsnivå, huvudmannanivå eller någon annan gruppnivå. Figur 68 och 69 visar ovanstående variabla avvikelser tillämpade på matematik för årskurs 9. Först görs en uppdelning på grupper (klasser) och sedan på skolenheter. 95 Värdena är avrundade och stämmer därför inte riktigt med diagrammet. Här framgår att avvikelsen för grupper (klasser) inom intervallet 10– 30 elever inte varierar särskilt mycket. Det är först när grupperna blir riktigt små som intervallet för accepterade avvikelser blir stora, dvs. slumpfelet får stor betydelse. Observera att figuren gäller matematik och därför visar värden som är systematiskt korrigerade med + 0,3 betygspoäng. Om jämförelserna mellan medelvärden för lärarbetyg och prov- betyg görs på skolenhetsnivå96 blir resultatet som figur 69 nedan visar. Av figuren framgår att statistiken innehåller ett antal mycket 96 Den tillgängliga statistiken använder uppdelning på skolenheter och grupper. Dessutom finns uppdelning på kommuner och huvudmän, men dessa grupperingar redovisas inte här. små skolenheter (om statistikredovisningen kan antas vara korrekt). Figuren visar dock tydligt hur den accepterade avvikelsen minskar med ökad gruppstorlek. I figuren är avvikelserna korrigerade med 0,3 betygspoäng som gäller för matematik i underlaget. Den röda horisontella linjen ligger vid värdet 0,3 (den systematiska korrigeringen) och av bilden framgår att den accepterade avvikelsen för stora skolenheter med fler än 150 elever ligger mellan 0,2 och 0,4 (dvs. 0,3 plus/minus 0,1). Observera också att skolenheter med avvikelsen noll (samma poängmedelvärde för provbetyg och lärar- betyg) kommer att ligga utanför (under) intervallet för accepterad avvikelse och systematisk korrigering om de är större än 25 elever. Det bör kanske påpekas att den valda gränsen för tillåten av- vikelse kan ses som tämligen sträng. Den bygger på att gränsen är vald som ett standardfel för en slumpmässigt vald grupp av viss storlek. För den enkla modellen baserad på en ”normalklass” med 25 elever gav detta en accepterad avvikelse på 0,3 betygspoäng. Ett standardfel innebär emellertid att av grupperna kan för- väntas ligga inom det accepterade intervallet. Resterande 32 pro- cent av grupperna kan därmed av slumpskäl förväntas ligga utanför intervallet. Det normala är att konfidensintervall väljs med två standardavvikelser, vilket ger av grupperna inom det accepterade intervallet. Då blir intervallet dubbelt så brett, dvs. 0,6 betygspoäng i vårt exempel. Detta illustrerar dilemmat med statistiskt baserade gränser – man vet att av de grupper som ligger utanför ett accepterat intervall ligger vissa där av slumpskäl (de kan sägas vara falskt negativa), men man inte vilka de är. På motsvarande sätt kommer några grupper att av tur hamna inom intervallet (falskt positiva), men inte heller de är identifierbara ur statistiken. I situationer när det nationella medelvärdet och standardavvik- elsen för provbetyget är kända, vilket kan vara fallet när modellen används för uppföljning och analys i efterhand, skulle det faktiskt konstaterade medelvärdet för provbetyget kunna användas. Detta skulle kunna leda till att precisionen i modellens resultat ökar, eftersom det finns en viss variation i provbetygens medelvärden mellan åren. Modellens styrkor och svagheter Den modell som har skissats här kräver bearbetning och utökat statistiskt underlag innan beslut eventuellt fattas om ett införande. Som avslutning vill utredningen peka på några styrkor och svag- heter som vi kan se i det här läget, vilka bör adresseras vid en för- djupad analys av modellen. Modellen baseras på lärarbetygens fördelning. Därigenom får den samlade lärarkårens tolkningsföreträde när det gäller kun- skapskravens innebörder, elevernas kunskaper och relationen Å andra sidan ligger lärarbetygens och prov- betygens standardavvikelser i allmänhet nära varandra, så om underlaget baseras på det ena eller andra betygets är i praktiken egalt. Det ligger dock ett symboliskt värde i att utgå från lärarbetygen. Provbetygen får en ökad roll vid den slutliga betygssättningen genom att en avvikelse utanför ett visst fastslaget intervall inne- bär att betygssättningen kan komma att granskas på skol-, huvudmanna- eller nationell nivå. Det här kan förväntas skapa ett visst tryck på lärarna att vid betygssättningen inte gå utanför accepterade gränser. Modellen kan med tiden förväntas innebära att gränserna för acceptabel avvikelse blir snävare eftersom tillkommande lärar- betyg när modellen är i drift kan komma att få en mindre standard- avvikelse, vilket minskar standardfelet och därmed intervallet för accepterad avvikelse. Om detta verkligen sker behöver dock prövas empiriskt. Modellen borde kunna tillhandahållas av med uppdaterade parametrar och sedan vara enkel att tillämpa för lärare, rektorer, huvudmän och Skolinspektionen för granskning på olika nivåer. Modellen borde inte innebära fördyring och extra insatser av de lärosäten som konstruerar proven. Modellen är oprövad. Den bygger på den statistiska parameter och på de data som är mest stabila vid analysen av tidigare prov- och betygsdata, nämligen lärarbetygens spridning (standard- avvikelse). Metoden blir därmed i huvudsak empirisk och utan stabil teoretisk grund. Det är oklart hur modellen kommer att bemötas. Kommer den att anses tillämplig i ett mål- och kunskapsrelaterat system? Olika principer gäller för lärares betygssättning (icke- kompensatorisk) och provbetyg (mer eller mindre kompensatorisk, varierar med olika ämnen). Det är oklart hur förslaget om systematisk korrektion för vissa ämnen och kurser kommer att tas emot. Det saknas vedertagna teorier om varför olika ämnen ligger på olika betygsnivåer. Beräkningarna baseras på att betygsskalan poängsätts från 1 till 6 med ett steg mellan varje betyg. Det medför avsteg från nu gällande skala, och det kan framstå som opraktiskt med två parallella skalor för olika ändamål. Det kan finnas en risk att den övre gränsen för avvikelse i prak- tiken ses som normalvärde för avvikelsen, vilket kan leda till betygsglidning uppåt. Betänkandet Tydliga mål och kunskapskrav i . Förslag till nytt mål- och uppföljningssystem (SOU 2007:28). (2013).