sou · GVB328 · 2008-01-01 00:00:00 — Vissa jämförelser kan också göras . Stöd för betygssättning? Då de första nationella ämnesproven efter Lpo 94:s införande i genomförts gjordes en djupare analys av prov- resultatenTPF11FPT, bland annat av hur resultatet förhöll sig till slutbetygen för olika grupper av elever och ämnen. Bortfallet i insamlingen var betydande vilket framhölls som ett problem utifrån elevens rättssäkerhet, att alla inte givits möjlighet att visa sina kunskaper i ett väl utprövat test. Av uppföljningen framgår att många undantagits från att göra prov då det inte bedömts som meningsfullt att pröva elevernaTPF12FPT och att många av dem sedan saknade betyg i ämnet i slutbetyget. I studien jämfördes elevers höstterminsbetyg i årskurs 1997 med provresultat och slutbetyg . Resultatet pe- kade på stora och oförklarade skillnader mellan bedömningarna, främst bland invandrade elever och barn till lågutbildade. Mönstret skilde sig åt mellan ämnen så att fler elever uppnådde målen enligt slutbetygen än enligt provbetygen i svenska och matematik, men denna skillnad fanns inte i engelska. angav några tänk- bara förklaringar till de redovisade avvikelserna, t.ex. att lärarna kan ha ansett att provet i engelska bättre överensstämde med deras egen tolkning av målen att uppnå än i de båda andra proven, och/eller att de kunskaper som inte testades i proven vägde tyngre än prov- resultaten i matematik och svenska när slutbetygen har satts så att provet endast utgjorde en del av lärarnas underlag för betyg- sättning. kvalitetsgranskning av en likvärdig betygssättning 2000TPF13FPT visade att många lärare använder sig av breda bedömnings- underlag men att prov kraftigt dominerar som underlag för kun- skapsbedömning. inspektörer drog slutsatsen att pro- ven verkar bidra till en samsyn mellan grundskollärare om betygs- nivåer, då samsynen framstod som större i ämnen med nationella 11TP PT (1999) Ämnesproven skolår 9 1998 Analys av resultaten, dnr 1997:475 12TP PT Ett exempel är nyinvandrade elever som utan kunskaper i svenska språket undantas från det nationella provet i svenska. 13TP PT (2000) Betygssättningen, Nationella kvalitetsgranskningar 2000, nr 190 SOU 2007:28 Ett stärkt uppföljningssystem Det fanns stora skillnader mellan ämnen, lärare och skolor. sänder i samband med proven ut en enkät till lärarna med frågor om hur man uppfattat provens funktion och stöd vid betygssättningen. Enligt resultatredovisningarTPF14FPT anser flertalet till- frågade lärare att proven utgjort en god konkretisering av kurs- planens kommunikativa och funktionella mål, och att proven ger ett gott stöd vid bedömningen av elevernas kunskaper. Provens bredd och variation framhålls som mycket positiv liksom deras bi- drag till en likvärdig bedömning. Mellan av tillfrågade årskurs 9-lärare uppger att proven gett dem stöd för betygssättningen. I enkäterna lyfter dock många lärare i svenska fram att det finns en risk att lärare gör olika bedömningar då det är svårt att skilja kvalitativt olika svar åt och att lärare inte ser kvalitet i svaren på riktigt samma sätt. Obe- roende bedömares granskning av ett 100-tal elevers svar på de na- proven 2004TPF15FPT (totalt ca 300 elevuppgifter) vi- sade att samstämmigheten i bedömningarna var relativt hög. Lärare bedömdes ha avvikit från bedömningsanvisningarna i drygt tio pro- cent av svaren där bedömningen i mer än hälften av fallen var strängare än vad anvisningarna avser. Stora avvikelser mellan provresultat och slutbetyg i årskurs 9 Det finns skolor där slutbetygen i genomsnitt är ett betygssteg över provresultaten men också skolor där det omvända gällerTPF16FPT. uppger den övervägande majoriteten tillfrågade lärare i svar på lärarenkäterTPF17FPT att proven betyder mycket vid betygs- sättningen av enskilda elever. Det finns också lärare som tycker att ett nationellt prov mer är ett underlag bland andra att ta hänsyn till. SkolverketTPF18FPT har konstaterat att resultat på nationella prov endast skall utgöra ett av flera underlag vid betygssättningen av enskilda elever, men att det är rimligt att det på nationell nivå finns en överensstämmelse i stort mellan resultat på nationella prov 14TP PT Enligt årliga redovisningar av resultat på ämnesprov i årskurs 9 åren 1998- 2004. Svarsalternativen skiljer sig dock något åt såväl mellan ämnena och . Uppgiften har inte redovisats i de senaste årens resultatredovisningar. PT (2005) Ämnesprovet i svenska och svenska som andraspråk i åk 9 och specialskolans åk 10, dnr 2003:1551 PT (2004) Det nationella provsystemet i den målstyrda skolan, best.nr 04:870 PT årliga redovisningar av resultat på ämnesprov i årskurs 9 åren 1998–2004 PT (2002) Lägesbedömning 2002, nr 225 och slutbetyg i ämnena. Att det ibland förekommer omfattande skillnader mellan elevers resultat på prov och erhållna slutbetyg i ämnet fick att ställa sig frågan i vilken grad proven fun- gerar betygsstödjande, särskilt vad gäller matematikämnet där avvi- kelserna är störst. återkom till frågan i sin handlingsplan för rättvis och likvärdig bedömning och betygssättning våren 2004TPF19FPT, där verket menade att det är oklart i vilken mån proven verkligen fungerar som ett stöd vid betygssättningen. Enligt handlingsplanen avsåg verket att förbättra de nationella provens betygsstödjande roll ge- nom att ta fram centrala anvisningar för samordning av delprovs- betyg till ett samlat provbetyg för alla elever som genomfört pro- ven. Genom detta skulle möjligheterna till jämförelser av prov- resultat mellan elever och skolor öka, och bidra till att provresultat på ett tydligare sätt skulle kunna diskuteras i relation till slut- betygen. återinförde regler för hur sam- manfattande provbetyg skall fastställas. framhåller att det gör att samordnade jämförelser med slutbetyg kan göras på så- väl lokal som och nationell nivå vilket bildar utgångs- punkt för en bättre underbyggd diskussion om betygssättnings- frågorTPF20FPT. Som framgått anser lärarna i årskurs 9 att de har stöd av de na- proven i betygssättningen. Enkätstudierna ger dock inte besked om på vilket sätt proven fungerat betygsstödjande eller om och hur provresultaten givit avtryck i slutbetygen. Erfarenheterna från mina skolbesök visar att det framför allt är de nationella pro- vens exemplifierande roll som har haft betydelse, och som sådana har de bildat underlag för gemensamma diskussioner om hur ele- vers kunskaper kan bedömas. Korrelationen mellan skolmedelvärdet för provbetyg och slut- betygTPF21FPT i årskurs 9 var 0,82 i matematik och 0,91 i svenska respek- tive engelska våren 2001TPF22FPT. Enligt preliminära uppgifter från Skol- verkets pågående utvärdering av relationen mellan provbetyg och slutbetygTPF23FPT är sambandet på elevnivå i genomsnitt för alla de tre ämnena svenska, engelska och matematik sammantaget åren 1998- 19TP PT (2004) Handlingsplan för en rättssäker och likvärdig betygssättning, dnr 2004:556 20TP PT (2007) Effektutvärdering av handlingsplan för en rättssäker och likvärdig betygssättning, dnr 2006:2781 21TP PT Beräknat som meritvärden där betyget Godkänd = 10 poäng, Väl godkänd 15 poäng och Mycket väl godkänd 20 poäng. 22TP PT (2004) Det nationella provsystemet i den målstyrda skolan 23TP PT Enligt , 2006 0,8. Att provbetyg och slutbetyg är detsamma för av eleverna motsvarar samma nivå som för de tidigare standard- proven. Detta kan tyckas vara en hög siffra och möjligtvis god- tagbar sett ur perspektivet att provet skall vara betygsstödjande, inte styrande. måste vi komma ihåg att det är resultatet på nationell nivå. Enligt rapportering är avvikelserna stora på skolnivå, se nedanstående figurer hämtade från en under- sökning av prov- och slutbetyg i årskurs 9 våren 2002TPF24FPT. Frågan är hur stora avvikelser mellan provbetyg och slutbetyg på enskilda skolor som är rimliga? Figur 7 Avvikelser mellan provresultat och slutbetyg i engelska och mate- matik i årskurs 9 2002, skolnivå Min tolkning av de redovisade avvikelserna mellan provresultat och slutbetyg är att proven uppenbarligen inte är betygsstyrande. Skol- verkets frågeställning om proven verkligen kan sägas vara betygs- stödjande är enligt min bedömning högst relevant. Nästa fråga blir då hur mycket betygen egentligen skall få avvika från prov- resultat. En annan fråga att överväga är hur bedömningen av nationella ämnesprov i årskurs 9 skall ske. På en del skolor jag besökt bedö- mer lärarna varandras prov på frivillig basis. Detta är också något provinstitutionerna och rekommenderarTPF25FPT. Kanske kan man tänka sig att andra lärare än den undervisande läraren bedömer 24TP PT (2004) Det nationella provsystemet i den målstyrda skolan, best.nr 04:870 25TP PT Se t.ex. häftet Bedömning och exempel, läraranvisning för bedömning av elevlösningar på det nationella ämnesprovet i engelska i årskurs 9 (det röda häftet). elevsvar efter bedömningsanvisningar eller att lärare gör det tillsammans? Sammanfattningsvis anser den stora majoriteten lärare som an- vänt nationella prov att proven ger ett bra stöd för betygs- sättningen av enskilda elever och att bedömningsanvisningarna konkretiserat kursplaner och betygskriterier. finns det ibland avsevärda skillnader mellan provresultat och betyg. I den jämförande analysen av provbetyg och slutbetyg i årskurs 1998 angavs att hade anledning att närmare studera dessa skillnader, men det finns inget underlag som visar att något har gjorts före rapporteringen av regeringsuppdraget att bedöma prov- systemets effektivitetTPF26FPT. 3.2.3Nationella prov i årskurs 5 Nationella ämnesprov i årskurs 5 har liksom årskurs 9-proven givits , men proven har olika utformning. Enligt är det primära syftet med årskurs 5-proven att pröva målupp- fyllelsen. Proven sägs också fylla en viktig funktion genom att konkretisera kursplanernas mål och att de i begränsad utsträckning – eftersom de ges i slutet av den aktuella utbildningsperioden – kan tjäna som diagnostiskt material.TPF27FPT En så kallad kunskapsprofil medföljer årskurs 5-proven, där lära- ren redovisar en bedömning av elevens kunskaper baserat på såväl provresultat som övrig information läraren har om eleven. Med hjälp av profilen kan läraren ange mer kvalitativ information, så ut- över en bedömning av hur väl eleven nått årskurs 5-målen i ämnet görs även en framåtsyftande bedömning som underlag för vilka in- satser som behöver sättas in för att eleven skall nå målenTPF28FPT. Årskurs 5-proven har en hög acceptans bland rektorer och lärare. I en en- kätundersökning 2003 höll två tredjedelar av rektorerna och nästan hälften av de tillfrågade lärarna i årskurs 5 med om påståendet att provresultaten är ett mycket viktigt underlag för bedömning av elevernas måluppfyllelseTPF29FPT. 26TP PT (2003) Det nationella provsystemet - vad, varför och varthän? Uppdrag avseende resultatinformation Del E: bedömning av dagens system med nationella prov med avseende på kvalitet och kostnadseffektivitet, , dnr 2003:2038 27TP PT (2005) Redovisning av uppdrag att redovisa behov av omedelbara förtydliganden i det nationella uppföljningssystemet m.m., dnr 2005:1268 28TP PT (2006) Resultat från insamling av ämnesproven i årskurs 5 2006, 29TP PT (2004) Prövostenar i praktiken. nationella provsystem i ljuset av användares synpunkter, En konsekvens av konstruktionen av årskurs 5-proven är att resul- tat inte kan samlas in på samma sätt som för årskurs 9-proven, och att utformningen därmed inte är lika lämplig för uppföljning på skol-, kommun- och nationell nivå. En annan skillnad är att medan årskurs 9-provet är obligatoriskt för skolorna att använda är det nationella provet i årskurs 5 frivilligt, ett faktum som även det har betydelse för hur resultat kan samlas in och användas. Även om proven i årskurs 5 formellt är frivilliga att genomföra används de i nästan alla skolor. En utvärderingsstudie 2003TPF30FPT visar att denna frivillighet framstod som skenbar för elever och lärare då av kommunerna infört lokala krav på att proven skall användas. Det framgår även att huvudmännen samlar in resultaten och att kommuner publicerar utfall på skolnivå. Enligt utvärderaren ger provresultaten insyn i enskilda skolors prestanda. De institutioner som konstruerar proven har samlat in exempel på elevlösningar från skolorna, främst som ett underlag för arbetet med att utveckla proven. Rapporteringen har främst riktats in på redovisningar av hur proven använts och uppfattats av lärare och eleverTPF31FPT. Information om resultat på ämnesproven har dock efterfrågats. genomfördes , på reger- ingens uppdrag (U2004/5293/S), en försöksvis stickprovsinsamling av resultaten från ämnesprovet i årskurs 5. gör reguljära insamlingar av resultaten för att få en bild av mål- uppfyllelsen på nationell nivåTPF32FPT. menar att insamlingen ger ett förbättrat underlag för det lokala förbättringsarbetetTPF33FPT. I november 2006TPF34FPT redovisade resultat på ämnesproven i årskurs 5 från ett urval av 200 skolor med 6 400 elever. Även om proven inte är obligatoriska att använda inkom resultat från samtliga skolor i urvalet utom en. 30TP PT (2004) Prövostenar i praktiken. nationella provsystem i ljuset av användares synpunkter, 31TP PT årliga redovisningar av resultat från enkäter och ämnesprov i årskurs 5 finns tillgängliga på . 32TP PT (2005) Redovisning av uppdrag att redovisa behov av omedelbara förtydliganden i det nationella uppföljningssystemet m.m., dnr 2005:1268 33TP PT (2004) Handlingsplan för en rättssäker och likvärdig betygssättning, dnr 2004:556 34TP PT (2006) Resultat från insamling av ämnesproven i årskurs 5 2006, redovisningen betonar att årskurs 5-proven av flera skäl inte kan användas på samma sätt som årskurs 9-proven: de är inte obligatoriska, de ges inte på fastställda provdatum utan kan genomföras när som helst och de omgärdas inte av samma sekretesskydd – bland annat används samma prov . Dessutom utformas proven för att mäta om eleven uppnått målen i årskurs 5 eller inte, medan årskurs 9-proven stöder en gra- derad bedömning av elevernas kunskaper enligt de betygssteg som finns utöver betyget Godkänd. Precis som för årskurs 9-proven finns det skillnader i resultatet i årskurs 5-proven mellan ämnen, skolor och elever. I engelska var det som inte nådde målen på respektive delprov, medan andelen varierade mellan i delproven i matematik och mellan i svenska respektive 16–i svenska som andraspråk. Enligt är det i viss utsträckning olika elever som inte når kravnivåerna för de olika del- proven, vilket måste tolkas som att eleverna har en taggig kun- skapsprofil med bättre kunskaper inom vissa områden och sämre i andra. Elever vars föräldrar har låg utbildningsnivå och elever med utländsk bakgrund är överrepresenterade bland dem som inte nått målen, och det finns även skillnader i resultat beroende av kön, of- tast till flickornas fördel. Med hänsyn tagen till ett stort bortfall på en uppgift som var gemensam i proven i matematik och svenska uppskattas av årskurs 5-eleverna som genomfört de olika delproven nå samtliga mål som prövats. är det en stor andel elever som inte når målen i slutet av . Detta resultat måste anses vara uppseendeväckande och en tydlig signal på att skolan inte förmått ge elever det stöd som behövs för att målen i skall kunna nås. Årskurs 5-proven bedöms inte vara tillräckligt breda för att till- låta en graderad bedömning. För det krävs fler uppgifter av olika svårighetsgrad. har dragit sig för att utveckla prov som även prövar för högre kunskapsnivåer för att inte riskera att bak- vägen öppna upp för betygssättning i de tidigare årenTPF35FPT. 35TP PT Minnesanteckningar från möte med tjänstemän i som arbetar med nationella prov och bedömningsmaterial Ämnesproven i årskurs 5 är främst utformade för att ge läraren stöd i att bedöma om eleverna nått tröskelnivån eller inte och för att få underlag till insatser som behöver göras för att målen skall nås. Enkätundersökningar visar att proven, även om de inte är obli- gatoriska, används i nästan samtliga skolor för uppföljning på såväl elevnivå som på skolnivå. Först i samband med nationella prov i årskurs 5 samlades elevresultat in för att ge en rikstäckande bild av måluppfyllelsen. För att kunna utforma nationella prov för en viss årskurs krävs att det finns nationella kunskapskrav för denna årskurs. I dagens system ger proven endast svar på om målen har uppnåtts av eleven – inte i vilken grad därutöver. Att uppskattningsvis en tredjedel av årskurs 5-eleverna enligt provresultaten inte når målen för årskursen visar på behovet av en tidigare och systematisk uppföljning av elevers kunskapsutveckling. Lärare jag träffat vid mina skolbesök uppger att man tidigt, redan i årskurs 1, kan se vilka elever som kommer att ha svårt att nå målen i årskurs 5 – ett förhållande jag menar stöder ett införande av tidi- gare nationella mål och kunskapskontroller. 3.2.4Användning av information från provsystemet I ovanstående genomgång av syftet och användningen av nationella prov utkristalliserar sig några förhållanden som behöver diskuteras. För det första behöver det bedömas i vilken utsträckning de natio- nella proven egentligen kan vara en del av ett uppföljningssystem. Vilka andra insatser behövs på nationell nivå för att kunna följa upp kunskapsutvecklingen i riket och hur den står i relation till andra länder? För det andra behöver det övervägas i vilken utsträckning de nationella proven kan och bör styra betygssättningen. För det tredje finns det skäl att bedöma hur många andra uppgifter de na- proven bör ha, dvs. hur många syften det nationella prov- systemet skall uppfylla. Nationell och lokal uppföljning har återkommande funnit att elevers resultat på natio- nella prov sällan diskuteras på skolorna eller ställs i relation till andra mått på elevers kunskapsutveckling. Något hårddraget verkar användningen på lärarnivå begränsa sig till att utgöra ett viktigt un- derlag vid betygssättningen, medan provresultat på skol- och hu- vudmannanivå i bästa fall rapporteras i olika resultat- och kvalitets- redovisningar, men oftast utan åtföljande analyser. Otydliga kursplaner sägs försvåra provkonstruktionen En förutsättning för att proven skall bli tillförlitliga är att de på ett kvalitativt bra sätt prövar innehållet i kursplanerna. Det kan dock vara svårt att konstruera prov som kan mäta resultatet av alla mål i en kursplan. Tjänstemän vid menar att nationella prov inte fungerar som underlag för uppföljning på vare sig skol-, hu- vudmanna- eller nationell nivå. I rapporten baserat system för kunskapsutvärdering av ämnenTPF36FPT redovisas ett antal svagheter i proven och i konstruktionen av dem, bland annat att det vid provkonstruktionen är svårt att avgöra in- nehållet i vissa av ämnen då kursplanetexterna ofta är så allmänt hållna. Enligt tvingas de som konstruerar proven till långtgående operationaliseringar som inte självklart eller nödvändigtvis svarar mot de operationaliseringar som görs lokalt av verksamma lärare. Med detta avses vad jag i kapitel 1 bedömt som en svårighet i uttolkningen av kursplanerna, dvs. att det inte är sä- kert att provkonstruktörerna väljer samma innehåll som läraren valt för sin undervisning mot ett visst mål. När kursplanen inte längre föreskriver ett konkret innehåll i un- dervisningen passar inte ett nationellt prov med samma innehåll in för alla. I stället är det lärarens egen kunskapsbedömning, anpassad till innehållet i den egna undervisningen, som är central. menar att ett nationellt provsystem endast kan ge exempel på hur kursplaner kan tillämpas på ett innehåll, där proven blir betygs- stödjande genom förebildlighetTPF37FPT. Skillnaderna i resultat på de nationella proven i årskurs 9 i förhållande till slutbetygen indikerar att proven förutsätter att skolorna behandlat ett visst innehåll. 36TP PT (2006) Rullande stickprovsbaserat system för kunskapsutvärdering av ämne, nr 286 37TP PT (2004) Det nationella provsystemet i den målstyrda skolan, best.nr 04:870 Det är också svårt att göra prov som inte förutsätter att under- visningen omfattat ett visst innehåll. Enligt uppgiftTPF38FPT är det prak- tiskt möjligt att konstruera sådana prov, men mycket tidskrävande då de förutsätter att ett instuderingsmaterial som eleverna kan till- godogöra sig inför provtillfället åtföljer proven. Provuppgifterna måste sedan uteslutande bygga på innehållet i instuderings- materialet. Nationella bedömningar av elevers kunskaper så som de kommer till uttryck i nationella prov förutsätter att det finns fastställda na- kunskapskrav för de årskurser ämnesprov ges i. Det måste av kursplanen framgå ämnets huvudsakliga innehåll så att prov- konstruktörerna kan ha med dem i proven. finns det före- skrifter under rubriken i kursplanerna, men det som anges under denna rubrik bedöms inte ha haft någon mer påtaglig betydelse för provkonstruktörerna. Skälet till detta är troligen att texten under Bedömningens inriktning har samma brist på tydlighet som målen i kursplanerna och betygskriterierna. Vad säger provresultat om måluppfyllelsen? menar att på skol- och huvudmannanivå är det inte re- sultaten på de nationella proven i sig som är det intressanta, utan hur de används vid betygssättningen av enskilda elever och hur lä- rarna resonerar när de sätter betygTPF39FPT. Ställningstagandet baseras på de stora skillnaderna mellan provresultat och slutbetyg på såväl skol-, kommun- och nationell nivå. En jämförelse visar att be- tygsmått (slutbetyg och genomsnittlig betygsvärde) är stabilare än provresultaten, som det finns skillnader mellan olika äm- nen. Denna variation i provresultat är, enligt , alltför stor för att vara trovärdig. Bedömningen är intressant, men frågan är om betygen mäter kunskaper bättre än proven och om betygen är bättre värdemätare bara för att de ger ett stabilare mått . har de in- ternationella studier deltar i en bättre longitudinell stabili- tet jämfört med ämnesproven. Det sägs bero på att de dels inte är betygsstödjande och därmed inte intressanta att träna inför, dels att 38TP PT , , 39TP PT (2006) Rullande stickprovsbaserat system för kunskapsutvärdering av ämne, nr 286 de inte återkommer och medför därför inte samma inlär- ningseffekt i undervisningen som de årliga nationella proven. Om ämnesproven skulle användas för samma syfte som de inter- nationella testerna skulle de behöva innehålla fler s.k. ankar- uppgifter som ges och där svarsresultatet kan följas . Det bedöms dock leda till att proven kommer att styra och snäva in undervisningen samt att det skulle behöva ställas större krav på sekretess av provuppgifter. Snarare går just nu utvecklingen mot andra hållet så att proven i flera ämnen endast är sekretessbelagda det år de ges. har därmed prioriterat provsystemets fö- rebildliga funktion, på bekostnad av syftet att tillhandahålla resul- tatinformation. Dessutom innebär det ökade kostnader för prov- konstruktion då man inte kan återanvända uppgifter på samma sätt som om proven var sekretessbelagda. Det är enligt min bedömning olyckligt om nationellt framtagna prov med höga utvecklingskostnader och som har en hög tilltro bland lärare inte kan användas i ett nationellt uppföljningssystem. I ett nytt målsystem med en förändrad kursplanestruktur med färre mål och ett huvudsakligt innehåll som tydligare anger vilka kun- skaper eleverna skall utveckla bedömer jag att de nationella proven bör kunna användas i uppföljningen av kunskaper – både på lokal och nationell nivå. Mitt förslag till ett förändrat och tydligare målsystem bygger på att det till kursplanerna tas fram ett omfattande kommentar- och referensmaterial med bland annat elevexempel. Den roll som prov- systemet ensamt burit när det gäller att vara förebildligt och stödja lärarna i deras tolkning av kursplan och kunskapskrav för olika be- tygssteg kan därmed överföras till målsystemet. Det är principiellt riktigt och minskar den sammanblandning mellan mål- och resul- tatstyrning som råder. Det vore värdefullt med en utökad insamling av uppgifter från det nationella provsystemet.