sou · H4B325 · 2016-10-18 00:00:00 — De hänvisar till ett tidigare förslag utarbetat av och tidigare förslaget bygger på rullande, stickprovsbaserade nationella kunskapsutvärderingar som omfattar såväl provdelar där resultaten uttrycks i poäng på skalor som provdelar vilka ger information av kvalitativ art. Ett sådant system för kunskapsutvärdering kan, enligt , fånga trendmässiga förändringar i elevers kunskapsnivå. Författarna föreslår att ett sådant system införs som en försöksverksamhet inom ett par av grund- och gymnasieskolans ämnen. Krav som bör uppfyllas av ett instrument för trendmätning Utredningen om förbättrade resultat i grundskolan8 anser inte heller att nationella prov med sin nuvarande utformning lämpar sig som underlag för trendmätning. I sitt betänkande9 anger utred- ningen ett antal krav som måste vara uppfyllda för att ett prov ska kunna utgöra grund för trendmätning. Dessa är att: proven är stabila och att de innehåller ett antal uppgifter som har ingått i tidigare prov, s.k. ankaruppgifter 7Skolverket (2006). Rullande stickprovsbaserat system för kunskapsutvärdering av grund- skolans ämnen. Rapport 286; , J-E. (2006). för ett system för upp- följning av kunskapsutvecklingen i . 8Kommittédirektivet Förbättrade resultat i (dir. 2012:53). 9Betänkandet Utvärdera för utveckling – om utvärdering av skolpolitiska reformer (SOU 2014:12). Utgångspunkter för nationell kunskapsutvärdering och … antalet uppgifter räcker för att täcka in tillräckligt mycket av ämnets eller kursens innehåll innehållet i kurs- och ämnesplaner och utformningen av betygs- systemet i huvudsak är stabila , så att det är samma kunskaper och kunskapsnivåer som jämförs. I betänkandet anges vidare att dagens nationella prov inte svarar mot samtliga dessa krav, eftersom proven i första hand inte är utformade för trendmätning. Dessutom står några av kraven ovan i konflikt med delar av provens andra syften. De nationella proven innehåller, enligt Utredningen om för- bättrade resultat i , för få uppgifter för att de ska kunna användas för trendmätning. Om proven ska fungera för detta syfte måste de innehålla många uppgifter som täcker in de väsentliga delarna av kurs- och ämnesplanerna. Så många uppgifter kan en och samma elev av tidsskäl inte besvara på ett prov. Därför behöver ett prov för trendmätning utformas så att olika elever löser olika uppgifter, som den samlade bilden blir tillförlitlig. Dessutom har såväl kurs- och ämnesplaner som betygsskalan förändrats vilket, enligt Utredningen om förbättrade resultat i , försvårar trendmätning med hjälp av nationella prov. Utredningen om förbättrade resultat i föreslår att ett system med stickprovsbaserade undersökningar för trendmät- ning införs som ett komplement till de internationella studierna. Ett sådant system skulle, enligt utredningen, förbättra möjlig- heterna att följa kunskapsutvecklingen i den svenska skolan. Utredningen om förbättrade resultat i föreslår att en annan utredning får i uppdrag att utforma systemet för trend- mätning och undersöka hur det passar in i ett framtida utvärderingssystem av kunskapsresultat i sin helhet. Utgångspunkter för nationell kunskapsutvärdering och … riktar kritik mot att förlitar sig helt på nationella prov och betyg OECD10 konstaterar att har en rad verktyg för att följa elevernas kunskapsutveckling på nationell nivå, t.ex. aggregerade resultat på nationella prov och betyg, kvalitetsgranskningar från samt uppföljningar och utvärderingar från . Dessa redovisningar av elevresultat grundar sig nästan uteslutande på prov bedömda av och betyg satta av enskilda lärare. hänvisar till studier där likvärdigheten i bedömningen och betygssättningen ifrågasätts. På grund av den bristande lik- värdigheten är de aggregerade resultaten på proven och betygen, enligt , inte lämpliga för att följa upp elevernas kunskaps- utveckling på olika nivåer. Dessutom menar forskare som har haft kontakt med att de nationella proven inte är framtagna för att följa kunskapsutvecklingen . Det finns för få ankar- uppgifter och provens svårighetsgrad varierar . I rapporten från föreslås ett antal alternativ för att till- handahålla ett mer tillförlitligt nationellt utvärderingssystem. Ett förslag är att någon typ av extern bedömning av nationella prov utvecklas. Ett annat att i mindre utsträckning använda öppna prov- uppgifter med omfattande elevsvar. Ytterligare ett förslag från är att införa ett särskilt nationellt utvärderingssystem i form av en stickprovsundersökning. Utredningens intressenter har olika uppfattningar om hur den nationella kunskapsutvecklingen kan följas över tid Några av de intressenter vi har träffat framför synpunkten att det behövs ett särskilt system för att följa den nationella kunskaps- utvecklingen . Några andra anser att de nationella proven ska ha detta syfte i stället för att fungera som ett stöd för betygs- sättningen. 10 (2011). Reviews of Evaluation and Assessment in Education. Utgångspunkter för nationell kunskapsutvärdering och … De internationella studierna är utformade för trendmätning En andra informationskälla om den nationella kunskapsutveck- lingen utgörs av de internationella studierna, t.ex. PIRLS11, PISA12, TIMSS och TIMSS Advanced13. Dessa är utformade för att möjlig- göra stabila och rättvisande jämförelser , dvs. de ger trend- beskrivningar. Dessutom ger de möjlighet att jämföra olika länders utbildningssystem och svenska elevers kunskapsnivå i förhållande till elever i andra länder. Däremot ger de inga underlag för mer lokala bedömningar. De internationella studierna utgör den säkraste informations- källa som finns när det gäller att följa kunskapsutvecklingen på nationell nivå . Det har sin grund i att studierna i många avseenden håller en hög kvalitet, bl.a. genom omsorgsfulla kvali- tetskontroller, representativa urval och instrument med goda mät- egenskaper. I de internationella studierna får varje elev endast lösa en mindre del (10–) av den totala mängd uppgifter som ingår i provet. Eftersom de olika provhäftena är länkade till varandra genom att vissa uppgifter är gemensamma, kan alla elevers resultat ändå överföras till en gemensam förmågeskala. Nackdelen med denna testmetodik är att resultatet för en enskild elev blir osäkrare. Resultaten på nationell nivå blir dock säkrare genom att provet kan täcka av en större del av de kunskaper som den internationella studien avser att mäta. 11I PIRLS (Progress in International Reading Literacy Study) undersöks läsförmågan hos elever i årskurs 4. 12I (Programme for International Student ) undersöks femtonåriga elevers förmågor inom tre kunskapsområden: matematik, naturvetenskap och läsförståelse. 13I TIMSS (Trends in International Mathematics and Science Study) undersöks kunskaper i matematik och naturvetenskap hos elever i årskurserna 4 och 8 i . I TIMSS Advanced undersöks kunskaper i avancerad matematik och fysik hos elever som går i gymnasieskolan. Utgångspunkter för nationell kunskapsutvärdering och … Kopplingen till de olika ländernas styrdokument är i vissa fall tveksam i de internationella studierna De internationella studierna är alltså främst skapade för att mäta förändring och deras mättekniska kvalitet är hög. Däremot kan provens innehållsliga relevans för de olika ländernas nationella kursplaner i vissa fall vara tveksam. Detta gäller i synnerhet proven i som inte är konstruerade med utgångspunkt i de deltagande ländernas läro- och kursplaner utan i kompetenser som antas vara viktiga i yrkes- och samhällslivet. har i en serie undersökningar analyserat hur väl de svenska kurs- och ämnesplanerna stämmer överens med de inter- nationella studiernas ramverk och prov. För läsning är det god överensstämmelse med PIRLS-undersökningen för de yngre eleverna i grundskolan14 och med PISA-undersökningen för de äldre eleverna. När det gäller matematik och naturvetenskap i slutet av grund- skolan är överensstämmelsen inte perfekt mellan de svenska kurs- planerna och innehållet i och TIMSS. Dessa två internationella studier kompletterar dock varandra. TIMSS överensstämmer väl med indelningen i ämnesstoff i de svenska styrdokumenten i matematik. i stämmer väl överens med de svenska kursplanerna i naturvetenskap genom att det betonar processer inom det naturvetenskapliga kunnandet. Sammantaget represen- terar TIMSS och därför väl de svenska styrdokumenten.15 För de tidiga åren i finns endast TIMSS i årskurs 4 att tillgå inom matematik och naturvetenskap, och Skolverket16 konstaterar att den kompletterande funktionen som finns hos därmed uteblir. En jämförelse med det tidigare ämnesprovet i årskurs 5 visade också en större ämnesmässig bredd i TIMSS, men konstaterade att denna bredd inte är oförenlig med de svenska styrdokumenten. 14Skolverket (2012). Med fokus på läsande: Analys av samstämmigheten mellan svenska styrdokument, ämnesprov i svenska och PIRLS 2011. aktuella analyser 2012. 15Skolverket (2006). Med fokus på matematik och naturvetenskap. En analys av skillnader och likheter mellan internationella studier och nationella kursplaner. aktuella analyser 2006. 16Skolverket (2008). Med fokus på matematik och naturvetenskap. En jämförelse mellan TIMSS 2007 för årskurs 4 och de nationella målen för årskurs 5. aktuella ana- lyser 2008. Utgångspunkter för nationell kunskapsutvärdering och … Skolverket17 drar slutsatsen att ramverket i matematik i huvudsakligen överensstämmer med de svenska styrdokumenten. Alla förmågor och aspekter av matematiken i de svenska styrdoku- menten prövas dock inte i . Jämfört med de nationella proven finns också relativt stora skillnader i hur proven och uppgifterna är utformade. Skolverket18 har även undersökt överensstämmelsen mellan TIMSS Advanced och svenska kursplaner och nationella prov i matematik och fysik för gymnasieskolan. Av undersökningen drar myndig- heten slutsatsen att överensstämmelsen är god. Elevernas motivation kan påverka resultaten från de internationella studierna Ett potentiellt problem i de internationella studierna är att eleverna kanske inte fullt ut är motiverade att göra sitt bästa eftersom resultaten från studierna inte påverkar deras betyg. Några belägg för att sjunkande motivation hos svenska elever till någon större del skulle förklara de försämrade PISA-resultaten finns dock inte enligt Skolverket.19 De internationella studierna ger en begränsad bild Även om de internationella studierna bidrar med mycket värdefull information om kunskapsutvecklingen i den svenska skolan är det viktigt att inse att de inte ger hela resultatbilden. Studierna behandlar endast ett begränsat antal ämnen och bara vissa områden inom dessa ämnen. Det är således enbart läsning, mate- matik och naturvetenskap som undersöks bland elever i vissa åldrar med kortare intervall . Inom de olika ämnes- områdena är det också endast vissa delområden som undersöks. 17Skolverket (2015). Med fokus på matematik. Analys av samstämmighet mellan svenska styrdokument och den internationella studien . aktuella analyser 2015. 18Skolverket (2009). Hur samstämmiga är svenska styrdokument och nationella prov med ramverk och uppgifter i TIMSS Advanced 2008? Fördjupningsstudie till rapport 336. 19Skolverket (2015). Att svara eller inte svara. Svenska elevers motivation att genomföra PISA-provet. aktuella analyser 2015. Utgångspunkter för nationell kunskapsutvärdering och … har genomfört ett antal nationella utvärderingar presenterade dåvarande på initiativ av regeringen ett förslag till en nationell utvärdering. Syftet var att ge generella och för hela landet giltiga beskrivningar och analyser såväl av utvecklingen av kunskaper och färdigheter , som av likvärdigheten i utbildningen. Den första undersök- ningen genomfördes (NU 89) i årskurserna 2 och 5. hade planerat att uppföljningar av utvärdering skulle ske med början 1992. fortsatte arbetet efter nedläggningen av 1990. gjorde en datainsamling inom ramen för den andra nationella utvärderingen (NU 92) men med en delvis förändrad inriktning. NU 92 var en bredare undersökning som skulle ge en samlad bild av skolans verksamhet och av elevernas kunskaper.20 Tyngdpunkten låg på årskurs 9, och av landets skolor med elever i årskurs 9 deltog. genomfördes därefter en tredje utvärderings- omgång (UG 95) och en fjärde (US 98). Den senare hade ett delvis annorlunda upplägg. I den undersöktes fem ämnes- övergripande läroplansmål eller kompetensområden med kvalitativ metodik vid ett mindre antal skolor. Varken undersökningens upplägg eller metodik var dock utformade för att medge trendmät- ning av elevernas kunskapsnivåer. genomförde en femte utvärderingsomgång (NU 03). Utvärderingens syften var att21: ge en helhetsbild av måluppfyllelsen i , ämnesvis och i ett övergripande perspektiv visa förändringar sedan den nationella utvärderingen peka på behov av insatser. gick därmed tillbaka till ursprungstanken med den nationella utvärderingen. Undersökningen 2003 lades upp för att i 20Skolverket (1992). Den nationella utvärderingen av 1992. 21Skolverket (2004). Nationella utvärderingen av 2003. Utgångspunkter för nationell kunskapsutvärdering och … så stor utsträckning som möjligt upprepa NU 92 för att man där- igenom skulle kunna göra jämförelser . Antalet uppgifter som tillät jämförelser var dock begränsat. För- och nackdelar med de tidigare nationella utvärderingarna De nationella utvärderingar som har genomförts har bidragit med mycket information bl.a. om undervisningen inom olika ämnen och dess förutsättningar och genomförande. Utform- ningen av kunskapsmätningarna har dock inte gjort det möjligt att studera utvecklingen av kunskaper . En anledning till detta är att kunskapsmätningarna har omfattat ett begränsat antal upp- gifter i varje ämne. En annan anledning är att uppläggningen av undersökningarna inte har styrts av ett gemensamt ramverk. Därför har det funnits skillnader både mellan de lärosäten som ansvarade för de olika ämnena och mellan de olika undersökningsomgångarna. Som Skolverket22 påpekat har det inte heller funnits någon lång- siktig plan för att genomföra denna typ av nationella studier med vissa intervall. genomför fortfarande vissa nationella ämnesutvärderingar arbete med nationella utvärderingar har delvis fortsatt. redovisade myndigheten resultat från en nationell ämnesutvärdering av bild, musik och slöjd i årskurs 6 och 9.23 Syftet med ämnesutvärderingen var att ge en nationell bild av under- visningens förutsättningar och genomförande samt av elevernas kunskaper och betygsresultat i dessa tre ämnen. Denna ämnesutvärdering ger intressant information om upp- läggningen av undervisningen i de tre ämnena. Dessutom redovisas utifrån enkätmaterial och bedömningar av en omfattande elev- uppgift slutsatser om förändringar sedan NU 03. Dessa slutsatser blir dock av naturliga skäl tämligen grova och osäkra. 22Skolverket (2006). Rullande stickprovsbaserat system för kunskapsutvärdering av grund- skolans ämnen. 23Skolverket (2015). Bild, musik och slöjd i . En sammanfattande analys av de nationella ämnesutvärderingarna. Utgångspunkter för nationell kunskapsutvärdering och … 5.3Internationella erfarenheter av stickprovsbaserade system för nationell kunskapsutvärdering Stickprovsundersökningar liknande de som har utvecklats inom de internationella studierna skulle kunna ge information om kun- skapsutvecklingen med en relativt begränsad resursinsats i form av elev- och lärartid. Därför ges nedan en översikt över inter- nationella exempel på system som bygger på stickprovsundersök- ningar. System som undersöker kunskapsutvecklingen för samtliga elever i ett land (totalundersökningar) ingår inte i över- sikten. Det första systemet för nationell kunskapsutvärdering infördes i . Systemet betecknas National Assessment of Educational Progress (NAEP)24. NAEP var på många sätt innovativt när det infördes. Ett tiotal brett definierade innehållsområden avgränsades. Dessa områden representerade hela skolans verksamhet men svarade inte direkt mot enskilda skolämnen. Medan de standardiserade testsystem som användes fokuserade på att ge säkra resultat för enskilda elever var huvud- syftet med NAEP att ge en bestämning av resultaten på nationell nivå. Eftersom elevresultaten i sig inte var intressanta kunde urval göras både av elever och av uppgifter (s.k. matrissampling), vilket innebar att olika elever besvarade delvis olika uppgifter. Härigenom kunde många uppgifter användas så att en god täckning gavs av de brett definierade innehållsområdena utan att den arbetsmässiga belastningen på enskilda elever blev alltför stor. 24 En mer omfattande beskrivning och diskussion av NAEP ges i , J-E. (2006). för ett system för uppföljning av kunskapsutvecklingen i . Bilaga till (2006). Rullande stickprovsbaserat system för kunskapsutvärdering av grund- skolans ämnen. Utgångspunkter för nationell kunskapsutvärdering och … Det faktum att urvalen av elever var relativt små gjorde det möjligt att inte endast använda flervalsuppgifter utan även upp- gifter med elevproducerade svar som krävde mer komplexa bedöm- ningar. Resultaten från NAEP redovisades för tre åldersdefinierade popu- lationer (9, 13 och ), för en population unga vuxna samt för olika demografiska grupper. Redovisningen gällde den nationella och regionala nivån, och det gick inte att få resultat på lägre nivåer som t.ex. delstat eller skola. Erfarenheterna av NAEP visade att systemet kunde ge nationellt och regionalt representativa data om det ameri- kanska utbildningssystemet. Men pekade erfarenheterna på att NAEP hade en undanskymd plats i den utbildningspolitiska diskussionen. En av anledningarna till det var att NAEP:s sätt att rapportera resultaten var mer lämpat för ämnesexperter än för beslutsfattare och allmänhet. Huvudfokus i rapporteringen låg på enskilda uppgifter. Detta var en enkel form av rapportering som inte krävde komplicerade analyser och där resultatpresentationerna var enkla att förstå på detaljnivå. Presentationerna gav dock inte en sammanfattande överblick över resultaten och det var svårt att göra jämförelser . Rapporteringen av resultat på uppgiftsnivå gjorde det också svårt att få överblick över skillnader i resultat för olika grupper av elever, t.ex. med olika etnisk, språkmässig eller socioekonomisk tillhörighet. kom NAEP att få en ny design som baserades på landvinningar inom den pedagogiska mätläran. Genom s.k. item response theory (IRT) blev det då möjligt att föra över resultat på en och samma mätskala även om eleverna delvis besvarat olika uppgifter. Detta gjorde det möjligt att dra nytta av matris- samplingsteknikens fördelar. Införandet av IRT hade dock ett pris i form av en betydligt ökad komplexitet i utvecklingen och genomförandet av proven och i Utgångspunkter för nationell kunskapsutvärdering och … analysen av data. För att kunna få ut den information som efter- frågades var det också nödvändigt att utveckla nya, mycket kom- plexa analystekniker. De nyutvecklade teknikerna visade sig vara mycket användbara för att skapa överblickbara resultat, och de gjorde det möjligt att undersöka förändringar i elevernas kunskaps- nivå . För att kunna göra en korrekt bestämning av föränd- ringarna ställdes höga krav på enhetlighet vid olika under- sökningstillfällen. Det enklaste och säkraste var att använda samma uppgifter vid de olika mättillfällena. Därför har man bevarat en del av de ursprungliga uppgifterna (s.k. long- term trend NAEP, LTT NAEP). har innehållsområdena i sig förändrats, vilket medför att det är nödvändigt att byta ut och förnya uppgifter. Erfarenheterna från NAEP visar att det går att få information om förändringar, åtminstone under avgränsade tidsperioder, även om de ingående uppgifterna inte fullt ut är desamma. Utvidgning av NAEP till delstatsnivå redovisades inom NAEP huvudsak- ligen resultat på nationell nivå och redovisning på delstatsnivå var en kontroversiell fråga. växte emellertid intresset för att följa upp och utvärdera delstatliga utbildningsreformer. infördes därför en frivillig utvidgning till delstatsnivån. Den omfattade ämnesområdena läsning, skrivning, matematik och natur- vetenskap för årskurserna 4 och 8. blev NAEP obligatoriskt på delstatsnivå i anslutning till lagstiftningen om No child left behind. Det innebar att NAEP skulle genomföras på delstatsnivå i läsning och matematik i årskurserna 4 och 8. inleddes också en försöksverksamhet där NAEP skulle genomföras i vissa av de amerikanska storstädernas skoldistrikt (den s.k. Trial , TUDA). är även den permanentad. Utgångspunkter för nationell kunskapsutvärdering och … NAEP har vuxit men behållit sin grundtanke att undersöka förändring över tid Som framgår av beskrivningen ovan har NAEP successivt utvidgats till att omfatta fler komponenter, redovisningsnivåer och syften. Utvidgningen gör att systemet har blivit mycket komplext och omfattande. har det bevarat en hel del av de ursprungliga idéerna, inte minst att huvudfrågan är att undersöka förändring och att användning av matrissampling gör det möjligt att täcka av breda innehållsområden. Som framgår av ovanstående beskrivning har NAEP en komplex struktur som successivt byggts ut . NAEP har två huvudkomponenter: NAEP och LTT NAEP. Den första bedrivs både på nationell nivå och på delstatsnivå. Ämnesområden inom NAEP på nationell nivå NAEP på nationell nivå omfattar tio ämnesområden: matematik; läsning; naturvetenskap; skrivning; dans, teater, musik och bild (arts); samhällskunskap (civics); ekonomi; geografi; amerikansk historia samt teknik (technology and literacy). Planer finns på att utvidga NAEP på nationell nivå till att även omfatta främmande språk och världshistoria. Av de olika ämnesområdena ägnas mest uppmärksamhet åt matematik och läsning. har läsning under- sökts 16 gånger och matematik 13 gånger, och då i allmänhet i års- kurserna 4, 8 och 12 . Skrivning och naturvetenskap har undersökts 6 respektive 8 gånger. Sam- hällskunskap, geografi och historia har undersökts 5–6 gånger vardera. , teater, musik och bild har undersökts två gånger vilket även gäller för ekonomi. De samhällsvetenskapliga ämnena har ofta varit begränsade till att omfatta årskurs 8, utom ekonomi som har avsett årskurs 12. Då NAEP introducerades var fördelningen av uppmärksamhet över olika ämnen jämnare, även om läsning och räkning initialt under- Utgångspunkter för nationell kunskapsutvärdering och … Tyngdpunkten på dessa ämnen har dock blivit än mer markerad efter 2001 då det bestämdes att dessa ämnen skulle undersökas . Ämnesområden inom NAEP på delstatsnivå Inom NAEP på delstatsnivå ligger tyngdpunkten i än högre grad på matematik och läsning. genomförs, som tidigare nämnts, undersökningar av dessa ämnen . Områdena skrivning och naturvetenskap ingår också men dessa undersöks mindre regelbundet. Inledningsvis omfattade NAEP på delstatsnivå endast års- kurserna 4 och 8 men har det utvidgats till att även inkludera årskurs 12. Som tidigare nämnts omfattar NAEP på delstatsnivå också på frivillig basis stora skoldistrikt. deltar 21 distrikt. Ämnesområden inom LTT NAEP LTT NAEP går tillbaka till 1970-talet. Inom LTT NAEP används inte matrissampling och länkade prov utan moderniserade versioner av de ursprungliga proven. Syftet är att studera utveckling . LTT NAEP genomförs i åldersgrupperna 9, 13 och . har undersökningen genomförts i läsning och matematik. Fram till dess undersöktes även andra ämnen, med tyngdpunkt på naturvetenskap och skrivning. Den senaste LTT NAEP-undersökningen genomfördes och omfattade läsning och matematik. Ett ramverk för varje ämnesområde Utformningen av NAEP-proven styrs av ett ramverk för varje ämnesområde. Ramverken utgår från aktuell forskning och praktik. I ramverken anges bl.a. hur uppgifterna designas och fördelas över olika innehållsområden, hur de fördelas på olika svarstyper samt hur undersökningen genomförs. Ungefär var tionde år revideras Utgångspunkter för nationell kunskapsutvärdering och … Om revideringen innebär en stor förändring för proven blir en konsekvens att en ny startpunkt för mätning av kunskaps- utvecklingen får sättas.