sou · H4B325d2 · 2016-03-31 00:00:00 — Det är en för unik beteckning och det är svårt att se på vilket sätt den preciserar vad det är som ska betygssättas eller hur det ska gå till. Det finns knappast något betygssystem som inte gäller mål och kunskaper. Någon tydlig hänvisning till den etablerade benäm- ningen kriterierelaterade betyg finns inte. Måhända var det kurs- planernas nydanande konstruktion med mål att uppnå (kriterier för betyget G i ) och mål att sträva mot som den valda benämningen syftade på. 15I praktiken innebär det dock ofta att den kvalitativa nivån definieras med en bestämd poänggräns. 16Med vissa undantag som gjordes för att exempelvis öka andelen elever på vissa linjer och med vissa avvikelser då flera olika system användes parallellt. Även kunskapsbegreppet fick en ny innebörd genom de resone- mang som fördes i utredningen för bildning17 som låg till grund reform. Den tidigare betoningen av kunskaps- stoff och färdigheter med rötter i främst behavioristiska18 och konstruktivistiska19 teorier tonades ner. I stället introducerades ett modernare kunskapsbegrepp som delvis baserades på konstrukt- ivistiska idétraditioner, men främst på sociokulturella teorier om kunskapens natur och lärandets villkor.20 Denna kunskapssyn kom att få benämningen ”de fyra f:en: fakta, förståelse, färdighet och förtrogenhet”. Dessa kunskapsformer stod inte i något hierarkiskt förhållande till varandra utan ... de kompletterar varandra och utgör varandras förutsättningar. Kortfattat kan de beskrivas som: Fakta är kunskap som information. Förståelse är kunskap som meningsskapande. Färdighet är kunskap som utförande. Förtrogenhet är kunskap som omdöme.(s. Det kriterierelaterade systemet, inte minst i sin svenska form, krävde delvis annorlunda prov och framför allt annorlunda bedömningsanvisningar för bedömning av proven och betygssätt- ning. Det handlade inte längre om att relatera resultaten till en skala med förutbestämda egenskaper (medelvärde och standard- avvikelse) och inte heller om att jämföra eleverna med varandra. I det nya systemet handlade det om att bedöma elevernas kunskaper i relation till i text framskrivna kriterier om vilka kunskaper som skulle visas för att berättiga till de olika betygen. För svensk del var tilltron till det nya systemet stor på den politiska nivån. Där uppfattades de nya textbaserade betygs- kriterierna i sig tillräckliga som underlag för lärarnas betygssättning och därmed skulle några nationella betygsstödjande prov egentligen 20Se kapitel 2 i SOU 1992:94. inte längre behövas. Det visade sig dock att så inte var fallet. Bestäm- ningen av kriteriegränser (betygsgränser) visade sig vara en betydligt besvärligare uppgift än den som gällt för de normrelaterade proven. Själva proven behöver inte se särskilt annorlunda ut. De ska liksom tidigare uppfylla krav på validitet och reliabilitet. Det som blev det stora problemet var (och är) fastställandet av kravgränser21 för olika provbetyg. Eftersom kriterierna är formulerade i text måste de tolkas och de flesta texter kan tolkas mer eller mindre olika. Detta fick redan den svenska nestorn – som utredde förutsätt- ningarna för ett svenskt provsystem – att utesluta ett kriterierelaterat alternativ (även om han inte använde den termen). Wigforss menade att så precisa formuleringar kunde inte formuleras att de skulle bli entydigt tolkningsbara för olika användare.22 Hans förslag blev därför ett provsystem baserat på relativa betyg, vilket också blev vad som infördes. Även mer sentida forskare har haft dubier i frågan. It is linguistically naïve to believe that criteria … can ever be made sufficiently precise for their use not to involve subjective judgements of the type which they are intended to avoid … It is technically naïve to expect the use of complex aggregation rules to enable detailed descriptions of candidates’ attainments to be inferred from summary measures like grades or that such rules, because they are explicit, necessarily operate in a way which is consistent with natural notions of fairness … It is philosophically naïve to assume that fair judgements can only be made if every candidate’s script is judged by precisely the same set of criteria … It is psychologically naïve to assume … that performance is not profoundly affected by the context of the task being carried out. Cresswell (2000)23 Trots de problem som många påtalat, eller möjligen på grund av dem, har en uppsjö av metoder för standard setting, dvs. kravgräns- sättning, lanserats och publicerats i olika handböcker.24 Alla intar inte en lika uppgiven hållning som Cresswell. Ziecki & Pieri skriver som följande: All procedures for setting cut scores require the application of judgment. For example, some types of cut score studies require judges 21Cut off-scores eller benchmarks på engelska. Själva processen brukar kallas standard setting. 22Då kan man betänka att Wigforss utredde prov för folkskolan. 23Cresswell (2000). 24Se t.ex. Zieky & Perie (2006). to estimate the probability that a hypothetical group of students would know the answer to a test question. Another type of study requires judges to examine a student’s performance and to decide whether the performance is good enough for some particular purpose. No purely objective methods exist. There are no ”true” cut scores that a group of perfectly selected, perfectly trained judges using a perfect method will find. The cut scores, rather, reflect the combined judgments of the people involved. (s. 7) De drar vidare följande slutsats som torde ha bred uppslutning inom professionen på området. It is impossible to prove that a cut score is correct. Therefore, it is crucial to follow a process that is appropriate and defensible. Ultimately, cut scores are based on the opinions of a group of people. The best we can do is choose the people wisely, train them well in an appropriate method, give them relevant data, evaluate the results, and be willing to start over if the expected benefits of using the cut scores are outweighed by the negative consequences. (s. 23) Det är uppenbart att bedömningen (judgement) har en mycket mer central roll i det kriterierelaterade systemet än i det normrelaterade. Detta innebär reliabilitetssvårigheter av ett annat slag än vad som gäller för normrelaterade prov vilka ofta konstrueras med hög reliabilitet som utgångspunkt. I ett kriterierelaterat system är oftast validitetsfrågor i centrum vilket innebär uppgifter med större tolk- ningsutrymme. Det gör att bedömarreliabiliteten på uppgiftsnivå blir lägre. I validitetshänseende kan man säga att medan innehålls- validitet och prognostisk validitet var särskilt viktiga för norm- relaterade prov, så är läroplansvaliditet25 utmärkande för de kriterie- relaterade proven. 25 Detta är en fri översättning av begreppet construct validity som inte har någon väletablerad svensk översättning. Begreppet innefattar de kunskaper i vid mening (jämför SOU 1992:94) som uttrycks i kursplaner och läroplan, dvs. det som konstruerar eller konstituerar målet för undervisningen i ämnet enligt styrdokumenten. Hårdrar man detta innebär det t.ex. att intresse för ämnet kan ingå i constuct validity om undervisningen har som mål att skapa intresse för ämnet hos eleven. Införandet av kursplaner innebar att de tidigare mer styr- ande läroplanerna Lgr 80 och Lgy 70 upphörde att gälla. Detta innebar tillsammans med övriga förändringar ett paradigmskifte. Den förhållandevis starka inramning och avgränsning av under- visningens innehåll som de tidigare läroplanerna angav fanns inte längre utan det blev de professionellas (lärarnas) uppgift att till- sammans med eleverna bestämma ämnets gränser och innehåll. En uppgift som de knappast var förberedda för. Detta bidrog till att försvåra lärarnas bedömning av elevernas kunskaper, i synnerhet om bedömningen skulle vara likvärdig med den som gjordes av andra lärare vid andra skolor. De nationella proven gav inte heller mycket vägledning inledningsvis eftersom även dessa var anpassade till de nya signalerna om lokalt val av stoff och val av tidpunkt då detta stoff skulle ingå i undervisningen. Situationen medförde att inte bara bedömningen av prov- resultaten utan även de beslut (decision) om betygen som skulle fattas blev skakiga. Lärarna skulle tolka kriterier för olika betyg – varav kriterier för det högsta betyget mycket väl godkänt (MVG) saknades – på egen hand eller tillsammans med sina kollegor, och utifrån detta fatta beslut om vilket betyg respektive elev skulle få. Den nya kunskapssynen, baserad på de fyra f:en, där de olika kunskapsformerna inte var rangordnade utan snarare växelverkade med och förutsatte varandra avvek påtagligt från tidigare sätt att betrakta kunskap och kognitiv utveckling. Dessa sätt var som nämnts mer hierarkiskt ordnade i form av taxonomier26, vilka i sin tur kunde bygga på idéer om de kognitiva förmågornas succesiva och åldersstyrda utveckling27. Den mer strikt deterministiska syn som dominerade 1960-talets läroplaner mjukades efterhand upp för mer konstruktivistiska idéer om att kunskapsutveckling och kognitiv utveckling inte enbart berodde på biologisk mognad utan även på växelverkan med omgivningen. Kunskap uppstod inte enbart genom att läraren lärde ut utan även genom att eleven själv konstruerade sin kunskap i samverkan med sin omgivning. 26Mest känd är Blooms taxonomi. 27Till exempel utifrån Piagets stadieindelning. Se t.ex. Piaget (2013), som skrevs . mer konstruktivistiska kunskapssyn kunde spåras i Lgr 80. Dock kvarstod idén om kunskapens hierarkiska ordning. Betygssättning är en rangordnande verksamhet. Den leder till en värdeskala28 som används för urval och får därmed rättsverkan i sammanhang som kan vara av stor betydelse för eleven. Det är även en myndighetsutövning av läraren och då bör den givetvis bygga på ett underlag som så långt möjligt underlättar rangordningen, dvs. den betygssättning som sker på beslutsnivån. Den nya kunskapssynen kan vara tilltalande ur kunskaps- teoretiska perspektiv, men den medförde problem för lärarnas bedöm- ning och betygssättning. Betygskriterierna var även de svårtolkade och gav inte uttryck för något systematiskt sätt att rangordna elevers kunskaper.29 Detta ledde till att kunskapsformerna i de fyra f:en i praktiken kom att rangordnas på olika sätt, ofta i form av en trappa där f:et ”fakta” ansågs representera betyget godkänt (G), varefter övriga trappsteg tilldelades övriga kunskapsformer. De nationella proven brottades delvis med samma problem och kunde inte ge lärarna särskilt tydlig vägledning. Det är knappast förvånande att de betygssättande lärarna låg lågt i osäkerhet om vilka kunskaper de olika betygen representerade. Någon föreskrift om förhållandet mellan prov- resultat och betyg, liknande de som gällde för det relativa systemet, fanns inte heller. Efterhand ökade förstås lärarnas förtrogenhet med systemet och när kriterier publicerades även för det högsta betyget MVG stabiliserades betygen i betydande grad på nationell nivå. På lokal nivå (skolor och klasser) har dock en avsevärd variation30 i relationen mellan provbetyg och ämnes- eller kursbetyg funnits under hela den tid de kriterierelaterade nationella proven använts. 28Värdeskala i kvantitativ mening genom att den utgörs av en enligt vissa regler fastlagd sammanräkning av betygspoäng för ingående betyg, t.ex. meritvärden för och jämförelsetal för gymnasieskolan. Respektive betygs betygspoäng är dessutom uttryck för en politiskt gjord värdering av betygets värde. 29Se t.ex. SOU 2007:28. 30Eftersom ingen annan föreskrift fanns än att de nationella proven skulle vara en del av lärarens betygsunderlag, var det svårt att värdera de skillnader som fanns mellan olika skolor eller klasser. Sammanfattningsvis kan man säga att konstruktionen av prov inte skiljer sig särskilt mycket i ett normrelaterat och kriterierelaterat system. Möjligen gäller att det kriterierelaterade systemet kräver något fler komplexa uppgifter för att stämma med kriterier på mer avancerad nivå. Klassisk testteori kan användas, men även den moderna testteorin (IRT)31 fungerar bra eftersom den ger möjlig- heter att välja uppgifter som differentierar väl vid betygsgränserna och eftersom den ger underlag för att bedöma vilka uppgifter som ligger på en specifik betygsnivå. Om uppgifterna publiceras ger de därmed god information om vilka kunskaper som krävs för olika betyg.32 Både bedömningen av och besluten om såväl provbetyg som betyg på enskilda elevers kunskaper bygger i ett kriterierelaterat system i hög grad på tolkning och bedömning. Den underliggande mätningen har inte samma starka roll som vid normrelaterade betyg där provstödet i form av poänggränser har stor betydelse. Däremot är kopplingen till kursplanernas skrivningar i allmänhet tydligare i ett kriterierelaterat prov och man kan säga att kravet på kursplane- validitet är större för kriterierelaterade prov än för normrelaterade. Men till priset av en lägre reliabilitet. Trots de uppenbara svårigheter som ansatsen ger när det gäller mätning och bedömning har de kriterierelaterade proven haft och har stor uppslutning. I innebar systemskiftet svårigheter och osäkerheten om tillämpningen har varit stor. 31Item Response Theory. 32Detta är egentligen mer en effekt av IRT än av att provet är kriterierelaterat. Till exempel används uppgifter för att illustrera olika nivåer i trots att det är en form av grupp- relaterat prov. Det senare beror på att i ett grupprelaterat prov rangordnas provdeltagarna först och därefter rangordnas uppgifterna baserat på den skala som gäller för provdeltagarna. I ett kriterierelaterat prov rangordnas uppgifterna först (utifrån de kriterier som är formulerade för olika nivåer) och därefter klassificeras eleverna efter hur väl deras resultat sammanfaller med uppgifternas placering. (Detta gäller i teorin. I praktiken är bilden mer komplicerad med ett otal metoder för standard setting.) Period 3 – standardsbaserade prov och betyg Någon klar avgränsning mellan period 2 och 3 är svår att definiera generellt. Det som är gemensamt är främst betoningen av inne- hållet i läro- och kursplaner vid bedömning och betygssättning. Synsättet började som beskrivits i förra avsnittet få genomslag och har därefter vuxit allt mer i styrka. Inne- hållet i ämnen och kurser har förstås alltid varit av intresse, men det som har ökat är betoningen på att kunna bestämma vilken kunskaps- nivå som ska uppnås för olika betyg och hur provdeltagaren kan eller ska visa att hon eller han har uppnått en viss nivå. I engelskspråkig litteratur talar man ofta om utvecklingen som the standards movement. Den innebär i korthet att när det gäller innehållet definieras det i en uppsättning content standards, närmast motsvarande det som kallas centralt innehåll i nuvarande svenska kurs- och ämnesplaner. När det gäller kunskapsnivåerna uttrycks dessa i performance standards, dvs. en uppsättning satser som anger vilka kunskaper som ska visas på olika betygsnivåer. I motsvaras performance standards av kunskapskrav för olika betyg. Detta synsätt är klart dominerande i flertalet med jämförbara länder och präglar de flesta länders läro- och kursplaner. De kunskapsnivåer som bestäms uttrycker någon vald form av kunskapsprogression i ämnet. Denna progression är mer eller mindre godtycklig och är beroende av ämnets karaktär. Vissa ämnen har i sig en tydlig hierarkisk ordning (kan t.ex. gälla vissa moment i matematik), medan andra ämnen har en progression som mer innebär en vidgning av kunskapsfältet (kan t.ex. gälla främ- mande språk). För samtliga ämnen gäller dock att progression är en kombination av fördjupning och breddning, men i olika proport- ioner. När de olika nivåerna bestämts är det nödvändigt att de uttrycks i ämnestermer och på ett så tydligt sätt som möjligt för att ge provkonstruktörer och betygsättare förutsättningar för en rättvis och likvärdig bedömning. Skillnaderna mellan kriterierelaterade prov och de nutida prov som baseras på standards är oklara och flytande, inte bara för svensk del utan över huvud taget. Definitioner av kriterierelaterade prov och för de prov som vuxit fram under – standards- relaterade, standardsbaserade, outcome-relaterade etc. – tenderar att flyta samman. Skillnaderna mellan dem är oklara och benämning- arna ofta mer beroende av vilka länder det gäller än av specifika skillnader i vad som avses. I och är exempel- vis benämningen outcome-based vanlig. I talar man oftare om standards-referenced och standards-based. Ett försök att åtskilja olika provtyper inom ramen för standardsbaserade prov görs nedan.33 Kriterierelaterade prov är utformade för att mäta elevens prov- resultat mot en förutbestämd uppsättning kriterier (standards). Om eleven visar kunskaper över en fastlagd gräns, exempelvis genom att uppnå en poängsumma högre än gränsen, bedöms eleven ha visat kunskaper på den nivå som ligger över gränsen. Var den fastlagda gränsen (kravgränsen) ska ligga är en bedömning som görs av en eller flera bedömare. Ansatsen är kompensatorisk efter- som någon åtskillnad inte görs mellan olika delar av kunskaps- kravet. Om tillräckligt många poäng uppnåtts anses kravet uppfyllt. Det innebär att någon tydlig bild av vad eleven kan och kan göra inte framgår av provbetyget. Om en annan person eller grupp med annan tolkning av kunskapskraven hade fastställt kravgränserna kunde de ha fått en annan placering. Fastställandet av kravgränser handlar om bedömning. Standardsrelaterade prov innebär att undervisning och prövning härleds från de mål som anges för kursen (learning standards).34 I standardsrelaterade system vägleds undervisning och prov av standards som formuleras som syften, mål eller kunskapskrav. Inne- hållet i provet är helt standardsrelaterat och styrt av de kursmål som anges och de kunskapskrav som ställs. En viss andel av kunskapskraven för ett visst betyg ska vara uppfyllda för att ge det betyg kunskapskravet gäller. Dock behöver inte läraren veta vilka 33Bygger på (2015). Abbot (2015). Kan jämföras med våra tidigare mål att sträva mot. specifika delar av kunskapskravet eleven inte uppfyllt utan det räcker med att ”medelvärdet” uppfyller kraven. Betygssättningen är oftast poängbaserad och liknar i hög grad det traditionella sättet att betygssätta prov och elever. Såväl provbetygen som elevgruppens betyg sätts som medelvärden av betygen på de olika delproven eller de ingående proven (vilket förutsätter att betygen tilldelas kvantitativa värden). Likheten med kriterierelaterade prov är påtaglig. Det som skiljer är kanske den mer uttalade kopplingen till syften, mål och kunskapskrav. Denna typ av prov har främst ett summativt syfte. Standardsbaserade prov (standards-based assessment35). Begreppet standardsbaserad refererar till en undervisning som strävar efter att säkerställa att eleven verkligen uppnår förväntade kunskaper, dvs. uppfyller de kunskapskrav som gäller.36 Det finns därmed en stark formativ innebörd i begreppet. I ett standardsbaserat system blir elever godkända på ett prov eller i en kurs endast om de visar att de till fullo uppfyller de specifika kunskaper och färdigheter som gäller för kunskapskravet. Eleven kan därför behöva göra ett prov eller behöva särskilt stöd för att visa att hon eller han har uppnått de kunskaper som krävs.37 Det innebär också att proven inte bör omfatta alltför stora delar av ämnet eller kursen utan att det sker en fortlöpande växelverkan mellan undervisning och prövning. I det standardsbaserade systemet kan provbetygen se annor- lunda ut än i de andra systemen där ett sammanfattande provbetyg i allmänhet rapporteras. Det är i det standardsbaserade systemet vanligare att prov ges oftare och att de innefattar specifika delar av kunskapskraven. För svensk del skulle det kunna innebära att läraren använder olika prov för olika förmågor. I undervisnings- sammanhang (där den här modellen har störst tillämpning) innebär det också att betyg eller andra former av systematiserad bedömning ges för varje enskild förmåga eller varje enskilt innehåll. Rap- porteringen av betyg sker således på förmågenivå (eller delprovs- nivå) och ofta är rekommendationen att inte konstruera ett sam- manfattande betyg eller provbetyg. 35Assessment är ett vidare begrepp än prov. Det innefattar prov, men även andra former av bedömning. 36Abbot (2015). 37Den här ansatsen har således mer relevans för lärarens egna prov eller för ett flexibelt nationellt bedömnings- och betygsstöd som läraren kan använda vid behov. Prov utformade och använda i enlighet med den standards- baserade modellen har ett utpräglat formativt syfte. Det är också ganska vanligt att underlag för succesiv betygssättning inte bara samlas in för traditionella kunskapsområden och färdigheter utan även för mer icke-kognitiva förmågor, metakognition, attityder och annat som är framskrivet i styrdokumenten. Sammanställningar av elevernas progression i olika avseenden rapporteras sedan som information till föräldrar och vårdnadshavare. Sammanfattningsvis kan man konstatera att det i vissa avseenden, t.ex. när det gäller typ av uppgifter och deras koppling till kurs- planer och andra styrdokument, är små skillnader mellan kriterie- relaterade och standardsrelaterade prov och betyg. Däremot är det större skillnader i betoningen av summativ respektive formativ roll. De kriterierelaterade proven är i allmänhet uttalat summativa med syfte att stödja beslut om sammanfattande betyg. De standardsbaserade proven (i sin renodlade form) är däremot mer uttalat formativa och begränsade till innehållet (men å andra sidan fler till antalet). De syftar huvudsakligen till att fatta beslut om undervisningsinsatser för att enskilda elever ska ges möjlighet att uppfylla alla standards. Därmed är det också mer tveksamt hur väl de lämpar sig som underlag för beslut om sammanfattande betyg. De förväntas ge bra underlag för successiv bedömning men är det inte ovanligt att de länder som har standardsbaserade system också har särskilda summativa prov för betygssättning eller urval till efterföljande utbildningar.38 Lpo 94 och Lpf 94 Det svenska systemet har gått under benämningen mål- och kunskapsrelaterat. Vid en jämförelse med de standardsbaserade provformerna kan man konstatera att kursplaner inte hade några uttalade content standards eftersom urvalet av innehåll (stoff) i undervisningen var en uppgift för läraren och eleverna. 38 Gäller exempelvis delar av och . det främst blev läromedlen eller tidigare erfarenheter som styrde så fanns det ingen gemensam styrning genom en läroplan. Detta var en viktig skillnad jämfört med det tidigare norm- eller grupp- relaterade systemet. Att inte ange något innehåll är inte heller i linje med någon av de beskrivna modellerna. När det gäller performance standards saknades också tydliga angivelser. Betygskriterierna upp- fattades ofta som oklara och svårtolkade och som tidigare nämnts saknades kriterier för det högsta betyget fram . Någon tydlig modell för kunskapsprogression fanns inte heller att luta sig mot. De fyra f:en skulle inte tolkas i någon hierarkisk ordning och det blev därför provkonstruktörernas och lärarnas uppgift att fastställa en progression som kunde harmonieras med betygskriterierna. Eftersom gemensamma nationella riktlinjer saknades innebar det att olika provkonstruktörer kunde ha olika sätt att se på frågan. Det beror förstås delvis på att olika ämnen har olika karaktär, men också på att en gemensam syn på kunskaps- progression generellt saknades. utvecklades en praxis där de nationella proven kan antas ha spelat en inte obetydlig roll. tenderar alla system att med tiden etablera mer eller mindre gemensamma praktiker om de har möjlighet att ta del av gemensam information och kommunicera på olika nivåer. Om man ska sammanfatta den första fasen med det mål- och kunskapsrelaterade systemet (1994–2000) kan man säga att varken prov- eller betygssystem kan ses som ett tydligt exempel på något av de sätt att konstruera och bedöma prov samt fatta beslut om betyg som beskrivits.