sou · H4B325 · 2016-10-18 00:00:00 — Deltagandet i NAEP är frivilligt för den enskilda eleven. Varje deltagare förväntas lägga ner på NAEP. I ingår dels att besvara provuppgifter (), dels att genomföra en enkät (). NAEP är huvudsakligen pappersbaserat. I under- sökningen ingår flervalsuppgifter, kortsvarsuppgifter och uppgifter som kräver mer omfattande svar. Av den totala testtiden ska exem- pelvis inom naturvetenskap cirka hälften av tiden ägnas åt uppgifter som kräver egenproducerade elevsvar. Uppgifter som kräver mycket omfattande elevsvar undviks, dels eftersom man har kon- staterat att sådana uppgifter i alltför stor utsträckning lämnas obesvarade i de frivilliga NAEP-proven, dels eftersom de kräver omfattande bedömningsinsatser. De uppgifter som kräver mer omfattande svar och som före- kommer i NAEP-proven är i allmänhet strukturerade med flera olika delfrågor. Skriftlig produktion prövas genom att eleverna får skriva en text i anslutning till en uppgift som representerar en viss genre. Texten bedöms sedan av särskilt utbildade bedömare, med kontinuerlig kontroll av bedömar- överensstämmelsen. planeras NAEP-proven i matematik, läsning och skrivning att genomföras med hjälp av surfplattor. kommer också prov inom ytterligare ämnesområden att datoriseras. Inför införandet av datorbaserade prov genomförs en försöksverksamhet. Den innebär att befintliga frågor förs över till digital form och besvaras av ett delurval av eleverna. Dessutom besvarar eleverna frågor om datorkunnande och erfarenheter av datoranvändning. I ett nästa steg är det tänkt att frågorna i större utsträckning ska dra nytta av teknikens fördelar, via t.ex. audio och video. Inom naturvetenskap kommer man också att utveckla datoriserade interaktiva och laborativa uppgifter. Utgångspunkter för nationell kunskapsutvärdering och … NAEP har byggts upp och har en stor mängd utvärderingar genomförts av systemet. Dessa är över lag mycket positiva, även om en återkommande kritik är att NAEP har vuxit till ett alltför komplext system och att det fått alltför många uppgifter. Andra kritiker har pekat på att utveck- lingen av NAEP inneburit att många av Tylers25 ursprungliga idéer om en nationell utvärdering av skolan har förfuskats genom en insnävning av uppgiftstyper, en stark fokusering på vissa ämnes- områden, en abstrakt rapportering och en ökad betoning av ansvars- utkrävande funktioner. Denna kritik till trots framstår NAEP som en utomordentligt framgångsrik NKU, vilket torde ha sin grund i att man bevarat kontinuitet som systemet successivt utvecklats och förnyats. påbörjades det nederländska nationella kunskapsutvärde- ringsprojektet (Periodieke Peiling van het Onderwijs Niveau). Det är ett ambitiöst europeiskt system för nationell kunskaps- utvärdering som baseras på stickprovsundersökningar. Systemet har genomgått flera förändringar och visar sett över sin långa historia på flera av de utmaningar som ligger i att långsiktigt och uthålligt kunna genomföra nationell kunskapsutvärdering. () svarar för konstruktionen av instrumentet för kunskapsutvärderingen samt för datainsamling och resultatrapportering. Värderingen av resultaten, policybetonade slutsatser och rekommendationer görs dock inte av CITO utan förutsätts i första hand ske på nationell politisk nivå. 25 var ordförande för den kommitté som utvecklade NAEP . Utgångspunkter för nationell kunskapsutvärdering och … PPON:s undersökningar har gjorts bland tolvåringar (årskurs 8) och i vissa fall bland nioåringar (årskurs 5) inom följande ämnen: Aritmetik, som är en del av matematikämnet, har undersökts i årskurserna 5 och 8. Undersökningarna har gjorts genom att aritmetiken har delats in i 22 olika komponenter i årskurs 8 och i 13 komponenter i årskurs 5. Andra matematiska områden, t.ex. algebra och geometri, ingår inte i primärutbildningen. Mät- ningarna har genomförts vid fem tillfällen: 1987, 1992, 1997, 2004 och 2010/11. Modersmål har studerats utifrån fyra aspekter: läsförståelse, hör- förståelse, skrivning och tal. Med start gjordes mätningar av dessa aspekter, vilka i sin tur delades in i olika komponenter, vid fyra tillfällen . Därefter har utvärderingar gjorts av läsning 2005 och 2011/12. Åren 2009–2012 undersöktes olika aspekter av skrivning, bl.a. handstil och grammatik. Engelska har undersökts : 1991, 1996 och 2006. Under- sökningarna omfattade bl.a. läsförståelse, ordförråd och uttal. Undersökningar har också gjorts av social and natural sciences. Social sciences består av historia (inklusive nutidshistoria, som är ungefär detsamma som samhällskunskap) och geografi. Natural sciences består av biologi, fysik och teknik. mättes historia, geografi, biologi och fysik samlat två gånger (1991 och 1995). Därefter har de undersökts separat (historia 2000, geografi 2001 och biologi 2002). Sedan har det skett en återgång till att återigen undersöka ämnena samlat. undersöktes historia och geografi, och 2010 biologi, fysik och teknik. Musik har undersökts en gång (1997). I musik ingick bl.a. sång (individuellt och i grupp), formella tester om instrument, länder, kulturer, olika typer av orkestrar och notering samt praktiska tester, som att repetera en rytm på ett träblock. Musik- utvärderingen var delvis influerad av uppgifter som utvecklades för den svenska nationella utvärderingen (NU 92). Utgångspunkter för nationell kunskapsutvärdering och … Idrott undersöktes och omfattade prestationer i cirka 25 traditionella gymnastik- och idrottsmoment som hoppa bock, springa , höjdhopp, kullerbytta och kast med liten boll. undersöktes idrott ytterligare en gång. Bild har ingått en gång (1996). Undersökningen omfattade såväl konstförståelse som tre praktiska teckningstester: avbildning av ett föremål, illustration av en uppläst berättelse och design av en hundraeurosedel. Social kompetens undersöktes , och 2011 undersöktes aktivt medborgarskap och social integration. PPON fungerar mindre bra för trendmätning I de mer regelbundet återkommande delarna av PPON, dvs. läsning och matematik, används matrissampling. Resultaten i dessa delar analyseras med IRT-baserad programvara som har utvecklats av CITO. PPON framstår dock inte som särskilt framgångsrikt i att beskriva de trendmässiga förändringarna i elevernas kunskaps- utveckling . En anledning till det är att systematiken brister i hur mätningarna upprepas . Det finns också brister i redovisningen av resultaten. När det gäller aritmetik är det t.ex. svårt att få en övergripande beskrivning av hur elevernas kunskaper har förändrats . Där redovisas andelen elever som uppnår olika nivåer för var och en av de ingående komponenterna. De grafiska kurvorna för de olika komponenterna ger ett mycket motsägelsefullt intryck och det är svårt att få klart för sig i vilken riktning som nederländska barns kunskaper i aritmetik har utvecklats. Under vissa perioder har det också funnits ett sviktande intresse för PPON. En förklaring kan vara att det saknas dels analyser av de resultat som framkommer i undersökningarna, dels diskussioner om möjliga handlingsalternativ. PPON har dock inte som huvud- syfte att ge underlag för fördjupade analyser av orsakerna till de resultat som kommer fram. Därför är resultaten svåra att tolka och använda för såväl politiker som lärare. Det leder i sin tur till metodproblem i form av bortfall, vilket ytterligare undergräver systemets funktionalitet och legitimitet. Utgångspunkter för nationell kunskapsutvärdering och … Ytterligare ett system för nationell kunskapsutvärdering i introducerades ytterligare ett system för nationell kunskaps- utvärdering i : the Annual Survey of Educational Levels (JPO). Även detta system drivs av CITO. I JPO mäts läsning och matematik i årskurserna 4 och 8. Syftet är att ge mer frekvent och precis information kring kunskapsutvecklingen inom avgränsade områden som varit i fokus för reformverksamheten . Tekniken är densamma som inom PPON, med matrissampling och länkning av prov med hjälp av IRT. Ännu finns ingen rapportering om JPO på engelska. nationella system för utvärdering av inlärningsresultat har som huvudsakligt syfte att stödja utvecklingen av kvaliteten inom den grundläggande utbildningen och jämlikheten i utbildningen. Enligt ett ramverk fastställt av Utbildningsstyrelsen26 bygger det på: ett system för uppföljning av inlärningsresultaten i form av nationella stickprovsbaserade undersökningar utvärderingsprojekt med varierande teman, som läges- eller tema- utvärderingar. Nedan beskrivs huvuddragen i det stickprovsbaserade systemet. Ämnen och ämnesövergripande områden I det finländska systemet för uppföljning av inlärningsresultaten ingår undersökningar som antingen är ämnesspecifika eller omfattar ämnesövergripande områden. De ämnesövergripande områdena kan gälla ett visst tema eller en viss färdighet, som att lära sig lära. 26 (1999). A framework for evaluating educational outcomes in . Evaluation 8/1999. Utgångspunkter för nationell kunskapsutvärdering och … Det är i första hand kommuner som ansvarar för att utvärdera sina skolor. Ofta betonas i lägre årskurser ämnes- övergripande områden. De flesta riksomfattande utvärderingarna har gällt årskurs 9 och såväl enskilda ämnen och ämnesgrupper som ämnesövergripande områden. undersöks i årskurs 9 modersmål och matematik. För andra ämnen och ämnes- områden har undersökningar genomförts med cirka tio års mellan- rum. De uppgifter som används i de finländska ämnesspecifika utvärde- ringarna baserar sig på beskrivningarna av mål, innehåll och kriterier i styrdokumenten. Som teoretisk grund för konstruktion- en av uppgifterna används också olika beskrivningar av kravnivåer för kompetens, framför allt Blooms taxonomi27 samt vidareutveckling av denna28. För främmande språk har man även använt den av utarbetade gemensamma europeiska skalan för bedömning av språkfärdigheter (Common European Framework of Reference for Languages, CEFR). Utvecklingen av uppgifterna och bedömningsanvisningarna görs av ämnesexperter och av lärare. I proven används såväl flervalsupp- gifter som uppgifter som kräver öppna svar. En strävan är att begränsa antalet uppgifter som kräver öppna svar, eftersom det är svårt att ge enhetliga anvisningar för hur dessa uppgifter ska utföras och poängsättas. Två parallella uppgiftsomgångar konstrueras och förhandstestas. Utifrån utprövningsinformationen skapas sedan en enda omgång uppgifter som uppfyller högt ställda kvalitetskrav enligt kriterier inom såväl klassisk som modern mätlära. 27Bloom, B.S. (red.) (1956). Taxonomy of educational objectives: The classification of educational goals. Handbook I: Cognitive Domain. 28Anderson, L. W. & Krathwohl, D. (red.) (2001). A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom’s Taxonomy of Educational Objectives. Utgångspunkter för nationell kunskapsutvärdering och … Urvalet av elever som deltar i utvärderingarna omfattar vanligtvis fem–av årskursen. Det görs så att det är representativt för landet. Skolor som inte kommer med i urvalet har möjlighet att mot en kostnad delta i undersökningen för att använda resultaten i sitt eget utvecklingsarbete. är det en kommun som bestäm- mer att köpa in utvärderingen till alla sina skolor. Resultaten för dessa skolor inkluderas dock inte i den allmänna redovisningen. Utvärderingarna genomförs i skolorna . I får ett prov med uppgifter som utförs individuellt normalt inte uppta mer än tre lektioner, dvs. Utöver själva proven får såväl elever som lärare och rektorer besvara enkäter. För elevernas del handlar det om attityderna till studierna och skolarbetet, vilket undersöks med hjälp av enkätpåståenden om hur nyttigt eleverna uppfattar att ämnet är, hur gärna de studerar ämnet och vad de anser om sin egen förmåga att lära sig ämnet. Lärarna besvarar enkätfrågor som rör undervisningen och läro- planerna medan rektorerna ger information om undervisningens utformning. Ofta är det de lärare som undervisar i ämnet som bedömer elevsvaren. En del av svaren ombedöms av censorer för att säkerställa att lärarna har förstått bedömningsanvisningarna på samma sätt. När det gäller analysen av materialet samarbetar en metodexpert och en ämnesexpert. Alla skolor som har deltagit i utvärderingen får en rapport med de egna elevernas resultat jämförda med de nationella medelvärdena. De nationella rapporterna skrivs så att de ska vara lätta att läsa för både lärare och beslutsfattare. Rapporterna innehåller information om de viktigaste resultaten i ämnet. Dessutom innehåller de data som ger information om jämlikheten inom utbildningen baserat på resultatjämförelser mellan regioner, kön och språkgrupper. Omfattningen av skolskillnader framgår också av resultaten. I de nationella rapporterna ingår även utvecklingsrekom- mendationer. Målgruppen för rekommendationerna är besluts- fattare på nationell nivå men de riktar sig också till utbildnings- anordnare och lärare. För att resultaten ska kunna användas av så Utgångspunkter för nationell kunskapsutvärdering och … många som möjligt läggs de nationella rapporterna ut på internet. Resultaten publiceras dock utan identifikationsinformation och det är inte möjligt att göra någon rangordning av skolorna. Rapporte- ringen av en undersökning sker normalt året efter dess genom- förande. Utöver dessa rapporter används också data som underlag för tematiska rapporter om exempelvis könsskillnader och utbild- ningsresultatens likvärdighet. Förteckning över genomförda undersökningar En mer konkret bild av det finländska nationella kunskapsutvärde- ringssystemet får man genom att betrakta aktiviteterna . Nedan förtecknas vilka områden som har undersökts : matematik i årskurs 6, 2008 det andra inhemska språket, B-svenska i årskurs 9, 2008 det andra inhemska språket, A-finska och modersmålsinriktad finska i årskurs 9, 2008 modersmål och litteratur i årskurs 9, 2009 konst- och färdighetsämnen, 2009 ämnesövergripande temaområden inom den grundläggande ut- bildningen, 2009 matematik och naturvetenskapliga ämnen, 2010 samhälleliga ämnen, 2010 främmande språk i årskurs 9, 2012 hälsokunskap i årskurs 9, 2012 huslig ekonomi i årskurs 9, 2013 modersmål och litteratur i årskurs 9, 2013 matematik i årskurs 9, 2014/15 finska som andraspråk, 2014/15 samiska, och teckenspråk som andraspråk, 2014/15. Utgångspunkter för nationell kunskapsutvärdering och … En framträdande del av det finländska systemet för uppföljning av inlärningsresultat är ämnesövergripande färdigheter. Dessa ut- värderades regelmässigt på riksomfattande nivå åren 1996–2003. Därefter har det bara gjorts en riksomfattande utvärdering – 2012 (nästa planeras till 2017). Några stora kommuner har dock gjort systematiska uppföljningar av ämnesövergripande färdigheter bland alla sina elever. Särskild vikt fästs vid tre sådana färdigheter: lära att lära: förmåga att tillägna sig och bearbeta information, problemlösningsförmåga samt tilltro till den egna förmågan kommunikationsförmåga: visuell, muntlig och skriftlig kom- munikationsförmåga, sociala färdigheter, förmåga att nyttja digital kommunikation samt kommunikation på främmande språk motivation för egen utveckling: vilja till livslångt lärande och egen utveckling. De ämnesövergripande färdigheterna undersöks med hjälp av kunskaps- och problemlösningsprov. Dessa prov mäter slutled- ningsförmåga med bl.a. verbala och geometriska analogier, läs- förståelse samt matematisk problemlösning. Enkäter används för kartläggning av bl.a. motivation, elevernas tilltro till sin egen för- måga, självkänsla, engagemang i skolarbetet och uppfattning om skolan (undervisningen, lärarna och klassen). Det finländska systemet fungerar mindre bra för trendmätning Det huvudsakliga syftet med de olika undersökningarna i det finländska systemet för uppföljning av inlärningsresultat är att studera i vilken utsträckning läroplanens mål uppnås. I den fin- ländska finns inte någon motsvarighet till de svenska nationella proven. Därför finns ingen annan informationskälla när det gäller graden av måluppfyllelse. I de studier som genomförs i mer än en årskurs undersöks utöver måluppfyllelsen också förändringen i kunskapsutveckling och mellan årskurser. Dessa studier baseras på uppgifter Utgångspunkter för nationell kunskapsutvärdering och … som delvis är gemensamma för alla prov och redovisningen sker på uppgiftsnivå. I de finländska undersökningarna används samma teknik som i de första faserna av NAEP (se ovan). Därmed begränsas möjligheterna att studera förändringen över längre tids- perioder och att göra sammanfattande bestämningar av utveck- lingen . De finländska proven bygger inte på matrissampling, utan alla elever gör samtliga uppgifter. Dock varieras i vissa fall antalet upp- gifter från olika delområden inom ett ämne från en provomgång till en annan. Båda dessa omständigheter begränsar ytterligare möjlig- heterna att använda resultaten för att undersöka förändring . har de finländska proven genomförts med papper och penna. Beslut har dock fattats om att proven ska datoriseras. Som ett led i övergången till datorbaserade prov genomfördes under- sökningen 2014/15 i matematik i årskurs 9 i två delar. Uppgifterna i den första delen besvarades digitalt medan uppgifterna i den andra delen var pappersbaserade. Alla elevers resultat poängsattes digitalt. Dessutom besvarade elever, lärare och rektorer bakgrundsenkäter digitalt. Organisatoriskt har ledningen av de nationella utvärderingarna legat under den finländska Utbildningsstyrelsen. flyttades ansvaret till det nybildade Nationella centret för utbildningsutvärdering. Det är oklart om detta kommer att inne- bära förändringar i verksamhetens upplägg och inriktning. Som en följd av de svaga tyska resultaten i den första PISA-under- sökningen 2000 vidtogs en rad åtgärder. En kategori av åtgärder avsåg att utveckla och säkerställa kvaliteten på undervisningen och skolan. Som ett led i arbetet antogs 2004 gemensamma standarder för vilka nivåer av kunskaper som skulle krävas i olika ämnen. För elever i årskurserna 4, 9 och 12 finns standarder i tyska och mate- matik. I årskurserna 9 och 12 finns det dessutom standarder för det Utgångspunkter för nationell kunskapsutvärdering och … första främmande språket, som kan vara engelska eller franska. För elever i årskurs 9 finns även standarder i naturvetenskap (biologi, fysik och kemi). fattades beslut om att införa ett nationellt system för kunskapsutvärdering för att regelbundet undersöka i vilken utsträck- ning dessa standarder uppnås inom de sexton delstaterna. Systemet är urvalsbaserat och administreras av () vid Humboldtuniversitetet i . Undersökningar på primärnivån (årskurs 4) omfattar matematik och tyska. På sekundärnivån (årskurs 9) genomförs undersökningar . Under- sökningarna alternerar mellan tyska och engelska eller franska samt mellan matematik och naturvetenskap. Den första studien genomfördes med elever i årskurs 9. I den ingick ämnena tyska, engelska och franska. Alla elever deltog i tyska och därutöver i antingen engelska eller franska. I tyska undersöktes läsförståelse, hörförståelse och stavning. Proven i engelska och franska undersökte läs- och hörförståelse. genomfördes den andra studien som omfattade tyska och matematik med elever i årskurs 4. I tyska undersöktes läs- och hörförståelse. Matematiken omfattade fem olika områden: tal och aritmetiska operationer, rymd och form, mönster och strukturer, storlek och mätning samt data, frekvens och sannolikhet. Den tredje studien avsåg matematik och naturvetenskap för elever i årskurs 9. I matematik undersöktes fem områden: tal, mätning, rymd och form, funktioner samt data och slump. Inom naturvetenskap anges standarder för fyra områden men under- sökningen fokuserade på två av dessa: innehållskunskap (content knowledge) och vetenskaplig undersökningsmetodik (scientific inquiry). Det framhålls dock att innehållskunskap inte avser minneskunskap utan snarare ett aktivt bruk av vetenskapliga begrepp för att lösa specifika vetenskapliga problem. Både innehållskunskap och undersökningsmetodik mättes inom biologi, fysik och kemi. Utgångspunkter för nationell kunskapsutvärdering och … genomfördes den andra språkstudien i årskurs 9. Den omfattade samma ämnen och samma områden som den tidi- gare studien . Detta var alltså det första tillfället när det var möjligt att undersöka förändring . För att kunna göra det återanvändes en del av de uppgifter som användes 2009 även prov. Dataunderlagen för de olika studierna har i allmänhet omfattat cirka 30 000–45 000 elever från cirka 1 300 skolor. Det relativt stora antalet deltagare motiveras av att det ska vara möjligt att göra separata skattningar av resultat för var och en av de sexton del- staterna. Urvalet görs som ett representativt skolurval, där en eller två slumpmässigt valda klasser från varje skola i landet deltar. Proven i det tyska systemet genomförs som papper-och–penna- prov. I språk används flervalsuppgifter och uppgifter som kräver korta svar i form av något eller några ord. Inom matematik och naturvetenskap används förutom dessa uppgiftstyper även upp- gifter med öppna svar, exempelvis i form av kortare texter, rit- ningar eller grafer. Proven är konstruerade med matrissampling med ett stort antal kombinationer av uppgifter som representerar olika ämnen och olika områden inom ämnena. För varje ämne finns ett stort antal uppgifter (cirka 300) med varierande svårighetsgrad. Utöver provuppgifterna besvarar eleverna, lärarna och rekto- rerna enkäter med frågor om bakgrund och kontextuella för- hållanden i skolan och klassen. I de resultatrapporter som har publicerats redovisas skill- nader mellan de sexton delstaterna när det gäller medelvärden och spridningar både totalt och för de olika delområdena. Utgångspunkter för nationell kunskapsutvärdering och … som avser betydelsen av familjens utbildningsnivå och migrations- bakgrund redovisas också. Dessutom presenteras samband mellan elevprestationer och olika variabler som t.ex. undervisningstid och lärarnas kvalifikationer. 5.3.5Diskussion utifrån de internationella erfarenheterna Den ovan redovisade översikten över ett urval stickprovsbaserade system för nationell kunskapsutvärdering visar en betydande variation när det gäller vilka ämnen som studeras, den frekvens med vilken undersökningarna genomförs och hur de läggs upp och genomförs i praktiken. kan utredningen konstatera att det finns gemensamma drag, inte minst i hur systemen har utvecklats . För exempelvis NAEP, som initialt hade ambitionen att relativt frekvent täcka av hela bredden av ämnen, har läsning och matematik alltmer kommit i fokus. Detsamma gäller och . Även det tyska systemet, som är det senast tillkomna, omfattar ett relativt begränsat antal ämnen. Betoningen på färdighetsämnen är sannolikt ett uttryck för den betydelse dessa ämnen har för kunskapsutvecklingen också inom skolans övriga ämnen. I jämförelse med ämnen som är mer innehållsberoende är det dessutom lättare att utforma pålitliga utvärderingssystem för läsförståelse och matematik – ett faktum som kan ha bidragit till denna utveckling. Ett annat gemensamt drag i de nationella kunskapsutvärde- ringssystem vi har studerat är att de befinner sig i en övergång mellan pappersbaserade och digitala prov. Denna övergång erbjuder stora utmaningar, inte minst för de etablerade systemen som har till uppgift att fortsätta skatta redan etablerade trendlinjer med hjälp av ny teknik. Den nya tekniken kan på ännu okända sätt påverka provens egenskaper. erbjuder digi- taliseringen en mängd intressanta möjligheter. Den kan bl.a. under- lätta hanteringen av provuppgifter och provresultat samt ge möjlig- heter till utveckling av nya uppgiftsformat och åtminstone delvis automatiserad bedömning av elevlösningar. Vid uppbyggnad av ett nytt nationellt system för kunskapsutvärdering framstår det därför som naturligt att redan initialt ta utgångspunkt i att systemet så långt det är möjligt ska vara digitalt. Det faktum att systemet är stick- Utgångspunkter för nationell kunskapsutvärdering och …