sou · H4B3252 · 2016-03-31 00:00:00 — Assessment will be mainly by exam, with other types of assessment used only where they are needed to test essential skills. Nya kursplaner med innehållsbeskrivningar och bedömningsanvis- ningar infördes . Kursplanerna är tämligen kortfattade jämfört med svenska kursplaner när det gäller syften och kunskapskrav. Däremot är innehållsbeskrivningarna mer detaljerade76, antagligen som en följd av att lärarbedömningen har reducerats till förmån för examinerande prov och det av rättviseskäl är viktigt att alla elever ges samma möjligheter till lärande av för provet relevanta kunskaps- områden. 75https:///government/publications/get-the-facts-gcse-and-a-level-reform/get- the-facts-gcse-reform CSE_mathematics_subject_content_and_assessment_objectives.pdf Det sammanfattande intrycket av det nya engelska systemet på gymnasienivå är att betoningen av examensprov har ökat. När det gäller betygssättningen är strävan att försöka behålla ungefär samma betygsfördelning i den nya betygsskalan som i den tidigare, i varje fall , med det tidigare betyget C som riktmärke. En sammanfattande beskrivning av huvuddragen i det nya systemet ges av Ofqual.77 Det nya systemet är inte renodlat relativt eller normrelaterat. I samband med införandet genomförde Ofqual en omfattande enkätundersökning, som pekade på att få användare förordade ett normrelaterat system (figur 57).78 Däremot hade andra mindre styr- ande former av statistiskt stöd större uppslutning. Störst stöd hade dock kriterierelaterad betygssättning. Den lösning som beslutats tycks gälla en statistisk ansats. Tendensen är att kursplaner och de bedömningskriterier som ingår tonas ned medan provresultaten ges större vikt. 77https:///government/uploads/system/uploads/attachment_data/file/465873/ your_qualification_our_regulation.pdf 78Detta gällde främst övergången mellan nya och gamla systemet. 79Ur file/377771/2014-09-12-board-paper-for-new-gcses-in.pdf Det engelska systemet skiljer sig från det svenska eftersom lärarna inte är inblandade i provverksamheten utan den sköts av ett antal särskilda organisationer. Dessa bestämmer också betygs- gränser för proven, vilket innebär att de kursplaner som vänder sig till lärarna inte betonar bedömningskriterierna i någon högre grad. Däremot anges vikter för olika kunskapsområden inom olika ämnen, dvs. underlag för kvantitativ sammanvägning av olika prov- delar, ungefär på samma sätt som för svenska nationella prov i engelska och svenska. Även inom (motsvarande) sker förändringar. har antalet prov snarare minskat medan lärar- bedömningar (teacher assessment80) ökat i betydelse. För högstadiet (key stage 3) togs de nationella proven bort 2010. Det är svårt att se några direkta paralleller mellan det svenska och det engelska provsystemet . I har som tidigare nämnts antalet nationella prov minskat i medan lärar- bedömningens betydelse har ökat. I har det varit tvärtom. På gymnasial nivå ökar nu betoningen av examensproven i medan lärarbedömningens betydelse minskar. Sammanfattningsvis är det svårt att få grepp om det engelska systemet, framför allt för att det tycks vara under mer eller mindre kontinuerlig förändring. Där liksom på många andra ställen pendlar prov- och betygssystemet mellan grupprelaterade och kriterierelat- erade ansatser. (2009) redovisar samma erfarenhet från . ... norm and criteria referencing represent opposing ends of a continuum; norms are often defined in criteria terms and vice versa. Current SQA grading procedures are located in the middle range of the continuum and more towards the criteria referenced end. Its grade-related criteria are general definitions, which are complemented by marking guidelines for specific exam papers. In addition, the percentage of candidates to be awarded a grade on the basis of their scores and the quality of their work is compared with the percentage of candidates usually being awarded the grade. (s. 16). Motsvarande växlingar mellan relativa och kvalitativa bedömningar gör vi också i . har växlat mellan relativa och 80 Se arrangements-ara/teacher-assessment har i sin studentexamen också en svårgenomskådlig mix av relativa och mer kvalitativa bedömningar. Att den stora variationen mellan olika grupper inom det svenska systemet är problematisk ur ett likvärdighets- och rättviseperspektiv torde det inte råda någon tvekan om. Att förklara och förstå orsakerna är dock betydligt svårare. En del av förklaringen kan ligga i svårighet- erna att göra samstämmiga tolkningar av verbala kunskapskrav och betygskriterier. En av grundpelarna för ett provsystem består av de läroplaner, kursplaner, innehållsbeskrivningar och kunskapskrav som gäller för det utbildningssystem där proven ska användas. Ett provsystem är alltså oskiljaktigt förenat med det utbildningssystem det ingår i. För att provsystemet ska fungera måste därför också utbildningssystemet vara utformat så att båda dessa system är samstämmiga och kompatibla.81 En del i utredningens uppdrag gäller om kopplingen mellan prov- resultat och betygssättning bör tydliggöras eller förändras. Ett sätt att göra det är att ange en maximalt tillåten avvikelse mellan provresultat och betyg för en grupp, en skolenhet eller en huvudman, dvs. införa en normering på gruppnivå. En sådan normering kan förstås införas men svårigheten är att motivera valet av modell. Som framgått av redovisade resultat skulle en generell anvisning för tillåten avvikelse slå mycket olika mot olika ämnen och kurser. Å andra sidan behöver ett system med olika anvisningar för olika ämnen och kurser kunna motiveras tydligt för att få acceptans. Ambitionen bör därmed vara att finna en modell som är enkel och robust och som uppfattas som rättvis och rimlig för alla ämnen och kurser. Strävan i de förslag utredningen lägger fram är att höja de nationella provens kvalitet, vilket bör bidra till att skillnaderna mellan ämnen minskar. Då bör det också bli lättare att hitta en modell som är användbar för alla ämnen och kurser. Granskningen av några andra länders system pekar på vissa möjliga åtgärder. I flera fall används kombinationer av prov- och bedömnings- 81 Se t.ex. (2015c). stöd baserade på både statistiska och kriterierelaterade grunder. I såväl som är man inne på sådana tankegångar. Frågan för svensk del är i vilken utsträckning ett införande av vissa relativistiska eller statistiska tankegångar är gångbara och önskvärda. Den danska modellen är betydligt enklare i sin uppbyggnad än den svenska men den behöver granskas mer ingående innan en motsvarande svensk lösning eventuellt skulle kunna föreslås. En annan intressant del med den danska modellen är att den i lik- het med den norska innebär att såväl provbetyg som lärarbetyg redo- visas i examensbevisen. Betygens viktigaste användning är som grund för urval till gymnasieskolan och högre utbildning. I det avseendet finns det mängder av forskning som visar att betyg har bättre prog- nostisk förmåga för framgång i studier än varje annan urvalsgrund. Dessutom förefaller träffsäkerheten bli bättre ju fler underlag som finns. Därför fungerar också meritvärden baserade på betyg bättre ju fler betyg som ingår. Vilken prognostisk förmåga meritvärden och jämförelsetal baserade på både provbetyg och lärarbetyg skulle ha i en svensk kontext är dock oklart. Om båda typerna av betyg skulle redovisas i samma dokument (som i t.ex. ) skulle skillnaderna (avvik- elserna) mellan lärarbetyg och provbetyg bli tydliga på ett annat sätt än när de bara framträder vid statistiska undersökningar eller Skolinspektionens granskningar. Nedan visas ett exempel på ett danskt bevis för studentexamen.82 Årskarakterer är de betyg läraren satt och provekarakterer är prov- betygen. Man kan också notera att de olika ämnena ges olika vikt vid sammanräkning till meritvärden.83 En danskinspirerad modell skulle kunna vara möjlig i , även om utredningen har tagit ställning för att inte föreslå en sådan modell eftersom det finns en risk att de nationella proven i så fall skulle styra betygen i för stor utsträckning på individnivå. Dessutom torde en modell liknande den danska kunna möta motstånd eftersom den knappast kan sägas harmoniera med rådande svensk syn på bedömning och betygs- sättning. Innan vi lämnar jämförelsen med utländska modeller kan man undra hur en utländsk granskare skulle reagera inför det svenska systemet om de endast skulle utgå från vad som finns publicerat på olika webbplatser. Skulle de upptäcka de avvikelser och variationer som beskrivs i den här rapporten? Det är inte säkert. Kanske skulle de i stället få upp nedanstående bilder (se figur 58 och 59) över betygsmedelvärdenas utveckling i gymnasieskolan som helhet. Av figurerna framgår en liten förändring av kvartilvärdena i riktning mot medelvärdet 2014, vilket är det år då den nya sexgradiga betygsskalan får genomslag . Spridningen i genomsnittlig betygspoäng minskar alltså medan medelvärdet är i det närmaste sedan 2003.84 Figurerna avslöjar dock ingenting av de variationer och avvikelser som döljer sig under ytan. 83Används vid beräkning av de jämförelsetal som ligger till grund för antagning till universitet och högskolor. I viktas betygen efter hur många poäng kursen ger. 84Vi ser en förändring av kvartilerna mot medelvärdet 2014, det år då den nya sexgradiga betygsskalan får genomslag . Man kan notera att även med den fyrgradiga betygsskalan var spridningen mindre än vad den sedan var. Det är en vanlig iakttagelse vid byte av betygssystem att betygsspridningen är liten i början, när lärarna är osäkra, och sedan ökar när de tycker sig bättre förstå de olika betygens innebörder. Man kan därför förvänta sig att betygsspridningen kommer att öka något . Genomsnittlig betygspoäng (GBP) och kvartiler för samtliga gymnasieelever, slutbetyg vårtermin 1997 - 2015 För eleverna på Naturvetenskapsprogrammet är bilden likartad men betygsnivån högre. Genomsnittlig betygspoäng (GBP) och kvartiler för NA-programmet, slutbetyg vårtermin 1997 - 2015 Ett förslag till svensk modell I det föregående avsnittet diskuterades några olika förutsättningar och utgångspunkter för betygsstödjande prov och de konsekvenser som olika ansatser kan antas få för konstruktionen av en modell för relationen mellan provbetyg och lärarbetyg på gruppnivå. I det här avsnittet beskrivs en möjlig sådan modell. Ett sätt att försöka hantera frågan om hur en modell kan utformas är att granska tidigare tillvägagångssätt. Vi inleder därför med en kort beskrivning av de två prov- och betygssystem som har gällt i . De kan också i grova drag sägas vara repre- sentativa för vad som gäller och har gällt i andra länder, dock med olika nationella modifieringar. I ett första avsnitt granskas en modell som användes för prov i det relativa systemet. Under de relativa betygens tid i (1962–1994)85 fanns för gymnasieskolan en regel som angav att om betygsmedelvärdet för det nationella provet för en klass avvek mer än 0,2 betygssteg från medelvärdet av lärarens betyg var läraren skyldig att lämna en skrift- lig motivering. Det är en modell av det slaget som brukar före- språkas av dem som önskar en motsvarande anvisning för det nutida prov- och betygssystemet. Det finns emellertid ett antal skillnader mellan det dåtida relativa betygssystemet och dagens mål- och kun- skapsrelaterade system. I stora drag kan följande skillnader noteras.86 1.Det relativa systemet hade fem betygssteg där medelbetyget skulle vara 3 och skulle tilldelas av eleverna, övriga betyg (1, 2, 4 och 5) skulle tilldelas bestämda andelar av den population som gjorde provet. Normalfördelningen valdes som modell för att fördela betygen och procentandelarna valdes så att det skiljde en standardavvikelse mellan varje betyg. Det gav en betygsfördelning på 7, 24, 38, för betygen 1 till 5. 85Systemet började användas men föreskrevs i Lgr 62 när den femgradiga betygsskalan med sifferbetygen (1–5) infördes. 86Detta innebär att vissa komplikationer och problem inte tas upp. 2.Alla ämnen skulle ha samma betygsfördelning och betygsnivå.87 3.Betygen skulle ha samma nivå och fördelning olika år.88 Betygs- glidning var i princip inte möjlig oberoende av om de underlig- gande kunskaperna steg eller sjönk. 4.Den föreskrivna betygsfördelningen gällde på nationell nivå för den population som läste ämnet och deltog i provet. Däremot behövde den inte gälla mindre grupper (skolor, klasser etc.) där medelvärdet och betygsfördelningen kunde vara en annan bero- ende på hur gruppens resultat var fördelat i relation till betygs- gränserna på de nationella proven. 5.Betygsgränserna på proven fastställdes utifrån insamling av provresultat från ett representativt slumpmässigt urval av elever som genomfört provet. Poänggränserna för olika betyg bestämdes så att betygens fördelning för stickprovet så nära som möjligt överensstämde med den föreskrivna fördelningen. Sedan poäng- gränser för betygen bestämts skickades de ut till skolorna. Till- vägagångssättet krävde att proven gavs i så god tid att en preliminär bedömning och poängsättning kunde göras av lärarna, resultat skickas in till provkonstruktören och betygsgränser bestämmas för att sedan distribueras till skolorna. Därefter fastställde läraren de definitiva provbetygen och rapporterade dem till rektorn, var- efter provbetyg och slutliga ämnesbetyg föredrogs för rektorn och lärarna i kollegiet. 6.Om skillnaden mellan medelvärdet av lärarens betyg avvek mer än 0,2 betygssteg uppåt eller neråt från medelvärdet av prov- betygen kunde rektorn kräva en skriftlig motivering av läraren. 7.Systemet innebar att det fanns mål och föreskrifter som angav vad som ingick i kursen, men betygen baserades på att eleverna rang- ordnades efter sina visade kunskaper i relation till övriga elevers visade kunskaper och betygssattes utifrån sin position i denna rangordning. Systemet baserades vad avser nationella prov främst på kalibrerande mätning som angav klassens position i relation till den nationella betygsfördelningen. 87Detta gällde i princip. Efterhand infördes dock modifikationer för vissa ämnen. 88Så behöver det inte vara, men för det svenska systemet gällde detta. Ett sådant system kallas ibland kohortrelaterat eftersom varje årskull är sin egen norm. Det mål- och kunskapsrelaterade systemet Det mål- och kunskapsrelaterade systemet infördes och modi- fierades 2011. Betygskriterier blev kunskapskrav och den fyrgradiga betygsskalan ersattes av en sexgradig skala. Vidare infördes inne- hållsbeskrivningar i form av centralt innehåll. Någon mer grundlägg- ande förändring gjordes dock inte vad avser nationella prov och betyg utan systemet är av samma typ som det som infördes . 1.Systemet har sex betygssteg (F–A). Betygen fastställs utifrån lärarens bedömning av på vilken nivå eleven uppfyller ett kun- skapskrav i sin helhet (gäller lärarbetyg; för provbetyg gäller delvis andra bestämmelser). 2.Ingen nationell genomsnittlig betygsnivå eller nationell betygs- fördelning är föreskriven. I princip kan alla elever få betyget A i ett ämne eller en kurs. 3.Olika ämnen kan ligga på olika betygsnivåer och ha olika betygs- fördelningar. 4.Betygsnivåerna och betygsfördelningarna kan variera mellan olika år. 5.Betygsgränserna för provet fastställs före dess genomförande och tillhandahålls i anslutning till genomförandet, vilket innebär att provet kan läggas sent i kursen. 6.Det finns olika metoder och tillvägagångssätt för att fastställa betygsgränser eller kravgränser på prov. Dessa bygger främst på bedömning och tolkning av kunskapskraven, ibland med visst stöd av statistik från utprövningar. Förslag till betygsgränser tas fram i samverkan mellan de lärosäten som konstruerar proven och aktiva lärare. fattar sedan beslut och ger tryck- lov. 7.Systemet innebär att elever i första hand betygssätts utifrån lärarens sammanfattande bedömning av i vilken grad kunskaps- kraven är uppfyllda. De nationella proven ska vara betygsstöd- jande men vad detta innebär och vilken relationen ska vara mellan nationella prov och betygssättning är inte reglerad. De skillnader man kan utläsa ur ovanstående summariska beskrivning av de två systemen visar att förutsättningarna är olika i flera avseenden. Varför var en avvikelse på 0,2 betygssteg lämplig för centrala prov i det relativa systemet? Att provbetyg och lärarbetyg inte alltid överensstämmer är ingen ny företeelse. Även olika lärares betyg för samma prestationer varierar. I själva verket är denna variation i bedömning ett av huvudskälen till att införa betygsstyrande eller betygsstödjande prov. Provens syfte brukar anges vara att leda till en mer rättvis och likvärdig betygssättning. är prov inte några precisa mät- instrument. På individnivå har de betydande mätfel, men på grupp- nivå är felen mindre – och ju större grupp, desto mindre mätfel för gruppens medelvärde, vilket vi visat tidigare. Hur kommer man då fram till vilken skillnad mellan provbetyg och lärarbetyg som kan anses lämplig eller rimlig? Någon allmänt vedertagen eller vetenskapligt grundad anvisning finns inte utan den beslutas mer eller mindre godtyckligt av den som har auktorisation för detta. För de centrala prov som fanns för gymnasieskolan inom ramen för det relativa betygsystem som föregick det nuvarande mål- och kunskapsrelaterade systemet hade bestämt att om klassens medelvärde för lärarens betyg avvek mer än 0,2 betygssteg från klassens medelvärde för provbetygen skulle läraren lämna en skriftlig motivering till rektorn. Rektorn och kollegiet avgjorde sedan om motiveringen var acceptabel och då god- kändes lärarens betyg.89 Men varför sattes gränsen just vid 0,2 betygssteg? Någon dokumentation som beskriver motiven eller exakt när regeln inför- des har utredningen inte kunnat finna, utan detta var mest troligt ett internt beslut av . Man kan dock tänka sig att grunden ligger i det medelvärde och den standardavvikelse som var stipulerad för betygsfördelningen på nationell nivå, det vill säga en fördelning med medelbetyget 3,0 och standardavvikelsen 1,0. Beskrivningen är något teknisk och ges i nedanstående ruta. 89 Se appendix 4 till bilagan som är version av tidigare före- skrift. En lite mer teknisk beskrivning Om man i ett relativt system tänker sig att en genomsnittlig klass består av 25 elever betyder det att medelvärdet för slumpmässigt valda grupper med 25 elever fördelar sig med en standardavvikelse som är populationens standardavvikelse (1,0) dividerad med kvadratroten av antalet elever i stickprovet. Eller uttryckt som en formel Detta är då medelvärdets standardfel som skattning av populat- ionsmedelvärdet. Om man drar många stickprov kommer stick- provens medelvärden att fördela sig runt medelvärdet av stick- provens medelvärden (vilket blir den bästa skattningen av populationsmedelvärdet) med en standardavvikelse på 0,2. Om vi antar att ett stickprov på 25 elever har ett betygsmedelvärde på 3,25. Då kan vi vara till säkra (konfidenta) att populat- ionsmedelvärdet ligger i intervallet 3,25 - 1,96*0,2 till 3,25 + 1,96*0,2 eller uträknat i (konfidens)intervallet 2,86 till 3,64. I vårt fall handlar dock frågan inte om att skatta populations- medelvärdet ur ett stickprovsvärde utan om att jämföra två stick- prov – ett ur populationen provbetyg och ett ur populationen lärar- betyg för att se om de kan antas vara dragna från två kongruenta populationer, dvs. populationer med samma medelvärden och fördelningar (vilket var stipulerat för provbetyg och lärarbetyg i det relativa systemet). Om vi då utgår från att normvärdet är prov- betygens medelvärde skulle den stipulerade regeln innebära att om medelvärdet av lärarbetygen ligger inom intervallet medelvärdet för provbetyget 0,2 så är avvikelsen acceptabel. Detta är ett god- tyckligt val som innebär att man kan vara till (den andel som ligger inom 1 standardavvikelse) konfident att skillnaden mellan provbetyg och lärarbetyg inte skiljer från noll. En ganska låg grad av konfidens, vanligen brukar två standardavvikelser användas vilket ger konfidens till . Förutsättningar för användning inom ramen för dagens system Om man skulle försöka använda motsvarande regel som gällde för det relativa systemet i det nuvarande systemet saknas två grund- läggande förutsättningar. För det första finns inget stipulerat nat- ionellt betygsmedelvärde och för det andra finns ingen föreskriven standardavvikelse för betygen på nationell nivå. Avsaknaden av dessa förutsättningar skapar problem för både provkonstruktörer och betygssättande lärare. Provkonstruktörerna ska tolka kunskapskraven vid konstruktionen av prov och fastställ- ande av betygsgränser. Lärarna ska göra detsamma vid sina sam- manfattande bedömningar av elevernas kunskaper i relation till kunskapskraven. Det är då inte bara betygsmedelvärden som ska bestämmas utan också gränser för olika betyg utifrån vilka sedan ett betygsmedelvärde kan beräknas. Förutsättning 1: Bestämda betygsmedelvärden Det relativa betygssystemet hade ett bestämt betygsmedelvärde (3) och en bestämd betygsfördelning (standardavvikelsen 1) medan det mål- och kunskapsrelaterade systemet saknar bestämmelse om betygsmedelvärde och betygsfördelningen är implicit angiven i form av kunskapskrav som ska tolkas innan de kan generera betyg och därmed en betygsfördelning som ger underlag för att beräkna betygsmedelvärden på proven. Någon teoretisk grund för bestäm- ning av betygsmedelvärden och betygsfördelning finns inte i systemet. Därmed återstår endast möjligheten att bestämma värdena empiriskt om de inte helt enkelt stipuleras, något som utredningen inte förordar. Som vi sett råder det för vissa ämnen och kurser betydande diskrepans mellan betygsmedelvärden baserade på prov och lärar- bedömning. Den grundläggande frågan blir då vilka betyg som ska ligga till grund för det nationella medelvärdet: Ska det vara lärarnas betyg? Eller provkonstruktörernas betyg? Eller någon kombination av de två? Låt oss anta att den samlade lärarkårens betyg är den mest väl underbyggda tolkning som finns tillgänglig genom det stora antal lärare som medverkar i provbedömning och betygssättning och där- med också i tolkningen av kunskapskravens innebörder. därmed lärarnas betygmedelvärde och betygsfördelning som norm. För att underlätta jämförelsen mellan provbetyg och lärarbetyg bör då provbetygen justeras till samma nivå som lärarbetygen. En enkel modell är att undersöka hur stor avvikelsen mellan lärarbetyg och provbetyg tenderar att vara (medelvärdet av skillnaden mellan lärar- betyg och provbetyg enligt vald skala för betygspoäng under ett bestämt antal år, t.ex. de fem senaste) och sedan addera denna genomsnittliga differens till det aktuella provbetygets medelvärde. Denna tanke utvecklas närmare senare i den här bilagan. Därmed antas för den första förutsättningens del att det nation- ella (och därmed lokala) betygsmedelvärdet bestäms som prov- medelvärdet plus medelvärdet av tidigare års avvikelser på nationell nivå. Förutsättning 2: Bestämd betygsfördelning I det relativa betygssystemet var betygsfördelningen föreskriven utifrån en normalfördelad modell med standardavvikelsen 1. Någon motsvarande regel är inte bestämd för det mål- och kunskapsrelat- erade systemet. Betygen kommer givetvis att fördela sig ändå men utifrån betygssättarens tolkningar av kunskapskravens innebörder och elevens kunskaper så som de visar sig i olika utsagor, varav nationella prov är en. Någon teoretisk modell som kan användas som underlag för betygens fördelning är således inte bestämd. Den enda utgångs- punkten är kunskapskraven och de betyg som de genererar. Eftersom någon betygsfördelning inte är beslutad utgår vi från den betygsför- delningen som empiriskt visat sig vid tillämpningen av kunskaps- kraven. Här dyker återigen frågan upp om vems tolkning som ska gälla som empirisk bedömning: Ska det vara det samlade lärarkollektivets betygsfördelning? Ska det vara provbetygens fördelning? Ska det vara någon form av sammanvägd fördelning av lärarbetyg och provbetyg? Vi väljer att även här utgå från det samlade lärarkollektivets bedömning.