sou · H4B325 · 2016-10-18 00:00:00 — Framför allt är det svårt att skapa en enhetlig modell eftersom skillnaderna mellan provresultat och slutbetyg varierar stort mellan olika ämnen. I gymnasieskolan finns också variationer mellan olika program. De erfarenheter som finns från normeringen i det relativa betygssystemet är svåra att tillämpa i det nuvarande mål- och resultatstyrda betygssystemet, eftersom de två systemen skiljer sig åt markant16. Svårigheterna har fått oss att pröva en modell som tar hänsyn till skillnaderna mellan olika ämnen. Den tänkta modellen beskrivs utförligare i bilaga 2. Vi kan se att skillnaderna mellan provresultat och ämnes- eller kursbetyg är relativt stabila inom ett ämne. Det innebär t.ex. att slutbetygen i matematik ligger på en viss nivå över provbetygen. Därför prövar vi en modell som tar hänsyn till dessa skillnader och eliminerar dem på statistisk väg. Vi korrigerar alltså provbetygen uppåt i de ämnen där provbetygen är lägre än slutbetygen, vilket framför allt gäller i ämnet matematik. I engelska ligger skillnaden nära noll så där behövs ingen korrige- ring. Dessa korrigeringar ger förutsättningar för en enhetlig modell för hur mycket prov och betyg får avvika från varandra på grupp- nivå. Provbetygen och ämnes- eller kursbetygen som vi använder för modellen är omsatta till en sexgradig skala där betyget F ger 1 po- äng, betyget E ger 2 poäng osv. till betyget A som ger 6 poäng. I stället för att utgå från provbetygen skulle man kunna använda poäng på proven (provpoäng). Vi har sett vissa indikationer på att provbetygen ger mer bristfällig information än provpoängen. finns det inte provpoäng på alla nationella prov. För att kunna an- vända provpoäng i utformningen av en modell för relationen mellan prov och betyg bör provpoäng samlas in när sådana finns. Dess- utom bör överväga att få till en total provpoäng även för de ämnen där det inte finns . 16 Se bilaga 2 för en beskrivning av skillnaderna mellan det relativa systemet och det mål- och kunskapsrelaterade systemet. En tydligare relation mellan nationella prov och betyg 12.2.4Skolverket bör utarbeta en modell för hur mycket nationella prov och betyg får avvika från varandra på gruppnivå Utredningen har alltså prövat en modell som kan ligga till grund för hur mycket nationella prov och betyg får avvika från varandra på gruppnivå. Modellen är dock inte färdigarbetad utan den kräver ytterligare analys av statistik, bl.a. med prov- och betygsresultat över . Dessa ytterligare analyser har av tidsskäl inte varit möjliga att göra inom utredningstiden och vi har inte heller haft tillgång till statistik över . Av dessa skäl lämnar vi inget förslag om hur modellen ska se ut utan anser att bör utarbeta en modell för hur mycket provresultat och ämnes- eller kursbetyg får avvika från varandra på gruppnivå. Den modell som utarbetar bör bygga på det underlag som utredningen har tagit fram i detta avsnitt och i bilaga 2. Arbetet med modellen kan med fördel ingå i arbetet med att utforma ett gemensamt ram- verk för de nationella proven. Förslag om ramverket behandlas i avsnitt 13.1. I en redovisning av ett regeringsuppdrag 200917 angav att myndigheten kunde utreda konsekvenser av olika modeller för hur provbetygen skulle kunna användas inför betygs- sättningen och hur detta skulle kunna regleras. aktualiseras frågan igen genom att vi föreslår att myndigheten bör utarbeta en modell baserat på vårt underlag. När har utarbetat en modell kan den ligga till grund för granskning av hur väl de nationella proven stödjer betygssätt- ningen. Modellen kan användas för att analysera provens betygs- stödjande roll på skol- och huvudmannanivå samt utgöra ett underlag för Skolinspektionens tillsyn. Vi ser alltså i första hand att modellen bör användas som ett analysverktyg för lärare, rektorer, huvudmän och Skolinspektionen. En annan möjlighet som vi har undersökt är att lärare vars provre- sultat och slutbetyg avviker mer än vad modellen medger ska moti- vera skillnaderna för rektorn. Detta förfarande skulle dock, enligt vår bedömning, leda till att många lärare behöver motivera sina 17 (2009). Redovisning av regeringsuppdrag att ge förslag på hur det nationella provsystemet bör utvecklas och utformas. En tydligare relation mellan nationella prov och betyg avvikelser, vilket medför en ökad administration för lärarna. Om modellen i stället används för analys kan läraren själv få syn på när provresultaten och betygen avviker mer än vad modellen anger. Rektorn kan också uppmärksammas på om vissa lärare har väldigt stora eller i princip inga avvikelser, och huvudmannen får ett verk- tyg för att följa upp sina skolor. I skolor som har stora avvikelser kan Skolinspektionen granska bedömningen och betygssättningen. En del i arbete med att utforma en modell bör vara att överväga vad som ska hända när avvikelserna mellan provresultat och betyg är för stora. Också dessa frågor berörs i bilaga 2. Eventuellt kommer frågan om relationen mellan prov och betyg på gruppnivå att behöva regleras, dvs. att det i förordning eller föreskrift kan komma att behövas bestämmelser som anger hur mycket provresultat och slutbetyg får avvika från varandra på gruppnivå. Om ser behov av reglering som inte är lämp- lig att hantera i föreskriftsform kan myndigheten uppmärksamma regeringen på dessa behov så att en reglering kan komma till stånd. Eftersom vi inte lämnar förslag om hur modellen ska se ut, utan överlämnar det arbetet till , har vi inte heller lämnat för- fattningsförslag för hur modellen ska regleras. 12.3De nationella proven synliggör vissa problem med betygssystemet och betygsskalan Utredningens bedömning: Frågan om den icke-kompensato- riska betygssättningen, dvs. att en elev måste ha uppfyllt hela kunskapskravet för ett visst betygssteg för att få det betyget, bör utredas vidare. Om utvärdering av den nya betygsskalan inte behandlar frågan om att skalan har en ojämn fördelning när den översätts till betygspoäng bör denna fråga utredas vidare. Genom att utreda de nationella proven har utredningen stött på ett antal problem med betygssystemet och betygsskalan. Som vi har angett är bedömningen av elevlösningar av de nationella proven kompensatorisk, dvs. att alla kunskapskrav inte behöver vara upp- fyllda på en viss nivå för att en elev ska få det provbetyget. En elev som får t.ex. betyget F på ett delprov kan ändå få betyget E som En tydligare relation mellan nationella prov och betyg Betygssättningen i ett ämne eller en kurs är dock inte kompensatorisk.18 Vi ser inga möjligheter med att tillämpa en icke-kompensatorisk bedömning i proven. I ett prov går det inte att pröva alla förmågor i en sådan omfattning att resultaten på respektive förmåga blir till- förlitliga. Skillnaden i bedömningen mellan prov och betygssätt- ning skapar dock förvirring hos många lärare. Flera lärare riktar också kritik mot betygssystemet eftersom de anser att det betygs- sätter elever utifrån deras sämsta prestation. Den icke-kompensato- riska betygssättningen och skillnaden mellan bedömning i proven och för betygen är, enligt vår uppfattning, ett problem. Därför an- ser vi att frågan om den icke-kompensatoriska betygssättningen bör utredas vidare. Ett annat problem som vi har stött på gäller betygsskalan och den betygspoäng som varje betygssteg motsvarar. Här är fördel- ningen inte jämn. Betyget F ger betygspoängen 0 och betyget E ger 10. Därefter höjs betygspoängen med 2,5 för varje betygssteg, dvs. D=12,5; C=15; B=17,5 och A=20. Den sneda fördelningen i be- tygsskalan har betydelse när den används i beräkningar, t.ex. av genomsnittlig betygspoäng. Eftersom skalan är ojämnt fördelad påverkas bl.a. jämförelser mellan provbetyg och slutbetyg. Motivet för de olika betygspoängen var att betyget E, som anger ett god- känt resultat, skulle markeras särskilt tydligt. Vi vill dock peka på de problem som den snedfördelade betygsskalan medför. Av bilaga 2 och 5 framgår de problem som följer av att ha en skala som inte är jämnt fördelad när man genomför beräkningar. har fått i uppdrag att utvärdera den nya betygsska- lan.19 Utvärderingen ska redovisas . Om utvärdering inte behandlar frågan om att skalan har en ojämn fördelning när den översätts till betygspoäng anser vi, av ovanstående skäl, att denna fråga bör utredas vidare. 18Se även avsnitt 3.6.1. 19Utbildningsdepartementet (2015). Regleringsbrev för avseende . U2015/01954/GV. U2015/02780/GV. U2015/03628/S. 13En ökad kvalitet och stabilitet för nationella prov och bedömningsstöd I det här avsnittet lämnar utredningen förslag som kan öka de na- provens kvalitet och stabilitet . Förslagen innebär i korthet följande: Statens skolverk bör ansvara för att ett gemensamt ramverk utarbetas, dels för de nationella proven, dels för de nationella bedömningsstöden. Lärarinformationen och bedömningsanvisningarna till de na- proven bör omfattas av ramverket. Detsamma bör gälla för frågor om anpassningar av proven och tillgång till hjälp- medel i provsituationen. Skolverket bör se över sina rutiner för utskick av bedömnings- anvisningar. Skolverket bör, i samråd med Specialpedagogiska skolmyndig- heten, se över hur olika förmågor, t.ex. avkodning, prövas i de nationella proven och om sättet att pröva förmågorna står i konflikt med vad som är bäst för barnet och barnets rätt till skäliga anpassningar utifrån personliga behov. Skolverket bör tydliggöra när en elev kan befrias från ett prov eller delprov samt ange hur befrielsen kan påverka det samman- vägda provbetyget. Skolverket bör tillsätta en kvalitetsgrupp med svenska och ut- ländska experter som har en god vetenskaplig kompetens och beprövad erfarenhet inom provutvecklingsområdet. En ökad kvalitet och stabilitet för nationella prov … 13.1Ramverk för de nationella proven respektive de nationella bedömningsstöden Utredningens bedömning: För att nationella prov av hög kva- litet ska kunna konstrueras bör ansvara för att ett gemensamt ramverk utarbetas för utvecklingen av proven. I ramverket bör kvalitetskriterier för provverksamheten anges. bör användas såväl i interna arbete som i det arbete som bedrivs av de universitet och högskolor som har i uppdrag att utveckla proven. bör även ansvara för att ett gemensamt ramverk utarbetas för de nationella bedömningsstöden. För att undersöka frågan om de nationella provens stabilitet är en utgångspunkt att studera hur provbetygen skiljer sig åt . I figur 13.1 redovisas den genomsnittliga betygspo- ängen för provbetygen –2011 i i ämnena engelska, matematik och svenska.1 1 Uppgifterna har erhållits från och finns inte publicerade i den officiella statistiken eller i . Svenska som andraspråk ingår inte i redovisningen. En ökad kvalitet och stabilitet för nationella prov … En ökad kvalitet och stabilitet för nationella prov … I figur 13.2 redovisas motsvarande utfall för gymnasieskolan.2 Upp- gifterna avser den tidigare gymnasieskolan – 2011 och endast resultaten från vårterminerna redovisas. Vt Vt Vt Vt Vt Vt Vt 2005 2006 2007 2008 2009 2010 2011 2 Uppgifterna har erhållits från och finns inte publicerade i den officiella statistiken eller i . Svenska som andraspråk ingår inte i redovisningen. En ökad kvalitet och stabilitet för nationella prov … Av ovanstående figurer framgår att de genomsnittliga provbetygen skiljer sig åt i alla ämnen och kurser. I såväl grund- skolan som gymnasieskolan finns de minsta skillnaderna i genom- snittligt provbetyg i engelska och de största skillnaderna finns i matematik. Frågan om provens stabilitet har behandlats utförligare av som dels för räkning tagit fram en rapport om skillnader i provbetyg för grund- skolan3, dels som sekreterare i utredningen tagit fram en bilaga om samma frågor för gymnasieskolan (se bilaga 5). 13.1.2Möjliga förklaringar till varför provbetygen varierar I en rapport från SNS Utbildningskommission4 anges ett antal möjliga förklaringar till att provbetygen varierar . En sådan är att provens svårighetsgrad varierar. Svårighetsgraden tycks dock inte variera i så hög grad att detta framstår som en rimlig för- . En rimligare förklaring är förmodligen, enligt rapporten, att kravgränserna för de olika betygsstegen fastställs med bristande precision. Det drabbar särskilt prov med ett litet totalt poängantal, för när antalet provpoäng är litet får någon enstaka poängs för- skjutning av betygsgränserna stort genomslag i andelen elever som hamnar på de olika betygsstegen. Ytterligare en förklaring som lyfts fram i rapporten är att det saknas standardiserade specifikat- ioner för nationell provutveckling. Avsaknaden av specifikationer leder till en stor variation i provens utformning och i utveck- lingsprocesserna vid de olika universitet och högskolor som ansvarar för provkonstruktionen. Av figurerna ovan framgår att ämnet matematik har de största variationerna i provbetyg i både grund- och gymnasie- skolan. En förklaring till skillnaderna mellan ämnena kan ha med s.k. haloeffekter att göra. Haloeffekter innebär att en bedömare som känner den elev som har gjort ett prov tenderar att påverkas av denna kännedom. Uppgifterna i matematikproven erbjuder ofta inte så mycket tolkningsutrymme utan har en ganska strikt poäng- sättning. Svensk- och engelskproven innehåller längre skrivuppgif- 3Skolverket (2015). Om nationella prov – Åk 9 1998–2012. 4Gustafsson, J-E., , C. & , G. (2014). Likvärdig kunskapsbedömning i och av den svenska skolan – problem och möjligheter. En ökad kvalitet och stabilitet för nationella prov … ter med mer tolkningsutrymme. Där kan man tänka sig att en bedömande lärare med kännedom om eleven tenderar att tolka i linje med sin förförståelse av elevens kunskaper. 13.1.3Åtgärder har vidtagits för att öka provens stabilitet har vidtagit en del åtgärder för att öka de nationella provens stabilitet över tid.5 En av åtgärderna är att man har vidareutvecklat riktlinjerna för hur kravgränserna sätts för de nationella proven. Det är, enligt myndigheten, en viktig del i arbe- tet med att öka jämförbarheten av provresultaten . Ytterli- gare en åtgärd som har vidtagits är att man har utökat utpröv- ningsvolymerna för de olika proven, dvs. att proven prövas ut bland fler elever innan de genomförs. anger att utprövning- arnas volym och kvalitet spelar stor roll för stabiliteten i proven. Dessutom har undersökt möjligheterna att göra olika former av kopplingar mellan proven . Ett exempel på sådana kopplingar är att uppgifter till kommande års prov prövas ut i samband med att årets prov genomförs. och de universitet och högskolor som utvecklar pro- ven strävar också efter att använda fler ankaruppgifter i proven, dvs. uppgifter som återkommer . Dessutom har det totala antalet poäng på vissa prov ökat. Någon nämnvärd ökning av stabiliteten kan dock inte ses. 13.1.4Det finns omotiverade skillnader mellan de olika proven finns det skillnader mellan de olika proven när det gäller hur resultaten bedöms. Dessutom varierar principerna för sammanväg- ning av delprovsresultat till ett provbetyg mellan provämnena.6 Flera av de intressenter som utredningen har träffat anser att dessa skillnader är omotiverade. Till exempel har många av de lärare som deltagit i våra skol- och huvudmannabesök svårt att förstå att 5Skolverket (2014). Redovisning av uppdrag om kvalitetssäkring av nationella prov. 6Se även avsnitt 3.6.1. En ökad kvalitet och stabilitet för nationella prov … olika poäng- och betygsskalor används i de olika proven. Dessutom menar lärarna att det är motsägelsefullt att bedömningen görs på olika sätt i proven respektive i ämnena och kurserna. I proven gäller inte att alla kunskapskrav ska vara uppfyllda för att eleven ska få något av betygen E, C eller A, vilket är fallet vid betygssättningen. Sammanvägningen till ett provbetyg är alltså ofta kompensatorisk, men betygssättningen i ett ämne eller en kurs är det inte. 13.1.5Ett gemensamt ramverk bör utarbetas för de nationella proven Utredningen konstaterar att det finns brister i provens stabilitet , i såväl grund- som gymnasieskolan. Dessutom finns det skillnader mellan de olika proven när det gäller exempelvis hur re- sultaten bedöms och principerna för sammanvägning till ett prov- betyg. De åtgärder som har vidtagit med t.ex. krav- gränssättning, utprövning, ankaruppgifter och fler poäng i proven är bra men inte tillräckliga. Mot denna bakgrund anser vi att , för att kunna kon- struera nationella prov av hög kvalitet, bör ansvara för att ett ge- mensamt ramverk utarbetas för utvecklingen av proven. I ramver- ket bör kvalitetskriterier för provverksamheten anges. bör användas såväl i interna arbete som i det arbete som bedrivs av de universitet och högskolor som har i uppdrag att utveckla proven. Motsvarande ramverk finns i andra länder. Som exempel kan nämnas det amerikanska ramverket Standards for Educational and Psychological Testing.7 har i olika sammanhang8 pekat på behovet av ett ramverk för de nationella proven. påbörjade myndigheten också ett arbete med ett gemensamt ram- verk. Då tillsattes en extern arbetsgrupp som skulle utarbeta ramverket i samverkan med och olika referensgrupper. Arbetet är nu dock vilande i avvaktan på våra förslag. 7American (), (), in Education (NCME) (2014). Standards for Educational and Psychological Testing. 8Skolverket (2014). Redovisning av uppdrag om kvalitetssäkring av nationella prov. Dnr 2011:1242; (2004). Det nationella provsystemet i den målstyrda skolan. Omfatt- ning, användning och dilemman. En ökad kvalitet och stabilitet för nationella prov … det som ytterst viktigt att arbetet återupptas efter det att vi har lämnat vårt betänkande. I avsnitt 8 lämnar vi förslag om ett minskat antal nationella prov. Ett skäl för att vi föreslår färre prov är att kvaliteten på pro- ven delvis brister . Med våra förslag kan betoningen läggas på att utveckla prov av hög kvalitet, bl.a. med hjälp av det gemen- samma ramverket, i de tre etablerade provämnena eng- elska, matematik och svenska/svenska som andraspråk. När syste- met väl fungerar och kvaliteten är höjd kan nationella prov i fler ämnen vid behov återigen övervägas. Om de nationella proven blir stabilare och länkade till varandra med hjälp av uppgifter som återkommer samt delvis bedöms externt skapas i viss utsträckning förutsättningar för value added-mätningar, dvs. mätningar av skolors prestation. Våra förslag om en förbättrad kvalitet i proven skulle kunna ge bättre förutsätt- ningar för value added-mätningar, även om svårigheter fortfarande kvarstår. Det är t.ex. inte så lätt att avgöra vad skolan har bidragit med i en value added-mätning. En annan svårighet är att en treårs- cykel kan bli en att utföra mätningen på. Om proven ska användas på det här sättet är det viktigt att säkerställa att mätningen genererar värdefull information, t.ex. för skolvalsbeslut. Ansvaret för utformningen av det gemensamma ramverket och dess innehåll bör, som tidigare nämnts, ligga hos . Ut- redningen vill dock belysa några områden som bör behandlas i ramverket. bör vara gemensamt för alla skolformer, årskurser och provämnen bör vara gemensamt för alla skolformer och årskurser som omfattas av nationella prov samt gälla för samtliga provämnen. finns det, som tidigare nämnts, omotiverade skillnader fram- för allt mellan olika provämnen. Ett viktigt syfte med ramverket är att komma tillrätta med dessa skillnader. En ökad kvalitet och stabilitet för nationella prov … När ett gemensamt ramverk finns på plats bör de universitet och högskolor som utvecklar nationella prov få i uppdrag att utarbeta ämnesspecifika ramverk för de olika provämnena utifrån det ge- mensamma ramverket. En beskrivning av proven och deras konstruktion bör ingå i ramverket I det gemensamma ramverket bör det finnas en beskrivning av de nationella proven, vilka prov som finns, syftet med proven och provens roll i kunskapsbedömningssystemet. Det bör anges vilka krav som ställs i provkonstruktionen när det gäller t.ex. mättekniska egenskaper, validitet och reliabilitet. Dessutom bör relationen mellan proven och kurs- respektive ämnesplanerna kommenteras. Till exempel bör det framgå om proven ska pröva samma innehåll och kunskapskrav eller om proven ska för- söka täcka in allt innehåll i kurs- och ämnesplanerna (i ett enskilt prov är det inte möjligt att pröva hela innehållet). Tidsomfattningen av proven bör hanteras i ramverket Av avsnitt 8.1.13 framgår att utredningen anser att tidsomfatt- ningen av de nationella proven bör ses över för att minska elevernas totala provtid jämfört med . Vi ger några exempel på hur detta kan göras, t.ex. genom att man minskar antalet delprov eller tiden per delprov, eller att fördelningen mellan olika typer av uppgifter i proven ändras. bör behandla dessa frågor och frågan om det totala antalet poäng per prov. I ramverket bör anges hur olika uppgiftstyper och ankaruppgifter används samt hur utprövningar bör genomföras Utredningen anser (se avsnitt 8.1.13) att de nationella proven bör ha en rimlig balans mellan olika uppgiftstyper och att konstruktö- rerna i utvecklingen av proven bör överväga vilka förmågor som kan prövas med hjälp av någon typ av flervalsuppgift eller uppgift som endast kräver ett kort elevsvar. För att detta ska kunna ge- En ökad kvalitet och stabilitet för nationella prov … nomföras på lämpligt sätt bör relationen mellan olika uppgiftstyper tas upp i ramverket. Andra frågor som bör beröras i ramverket är bl.a. hur ankarupp- gifter kan användas i proven, hur provsekretessen kan hanteras för proven som helhet och för uppgifterna i dem, hur utprövningar kan gå till och hur omfattande utprövningarna bör vara. Modeller för kravgränssättning och bedömning bör i så stor utsträckning som möjligt vara gemensamma och framgå av ramverket Hur kravgränssättningen ska göras och vilka förutsättningar som ska gälla för bedömningen av proven bör tydligt framgå av ramver- ket. finns det, som tidigare nämnts, omotiverade skillnader i hur bedömningen av proven görs. Dessa bör hanteras så att be- dömningen i så stor utsträckning som möjligt görs på samma sätt i de olika provämnena. Frågor om provbetyg och sammanvägning av provresultat bör behandlas i ramverket Vi har ställt oss frågan om huruvida sammanvägda provbetyg ska finnas.9 Här för vi ett kort resonemang om de alternativ vi har prövat. Det första alternativet innebär att varje delprov i de nationella proven poängsätts men utan att några delprovsbetyg anges. Delprovspoängen vägs sedan samman till ett provbetyg. Det andra alternativet innebär att delprovsbetyg ges och att dessa sammanvägs till ett provbetyg. Det tredje alternativet innebär att delprovsbetyg eller delprovspoäng ges, men inga sammanvägda provbetyg. Det finns en del problem med dagens provbetyg. En del av de lärare vi har träffat vid våra skol- och huvudmannabesök anser att det är olyckligt att olika delprovsresultat vägs samman till ett sam- lat provbetyg. De menar att det vore att föredra om resultaten kommunicerades med eleverna på delprovsnivå och om inget prov- betyg gavs. Andra tycker att det är bra att kunna ge ett samlat provbetyg. Dessutom upplever flera lärare som vi har träffat att 9 Se även avsnitt 3.6.1. En ökad kvalitet och stabilitet för nationella prov … principerna för sammanvägning är svåra att förstå och som tidigare nämnts att det är oklart varför principerna är olika mellan olika ämnen. Vi lämnar inget förslag om sammanvägda provbetyg ska finnas kvar eller inte. I stället överlämnar vi frågan och ställningstagandet till ramverksarbetet. Om provbetygen ska finnas kvar bör ramver- ket hantera hur sammanvägningen ska gå till så att den blir möjlig att förstå och så enhetlig som det går för de olika provämnena. Några av de intressenter som vi har träffat, framför allt utvärdering (IFAU), har betonat vikten av att samla in statistisk om elevernas poängresultat på de nationella proven (i de fall poäng anges), inte bara om deras provbetyg.