sou · H4B325 · 2016-10-18 00:00:00 — Detta påverkar i sin tur hur många elever som behöver ingå i urva- let. Som vi redan har nämnt krävs vanligtvis ett mycket stort antal uppgifter för att nå tillräcklig validitet och reliabilitet i mätningarna på nationell nivå. Det är rimligt att förvänta sig en omfattning på mellan 200 och 400 uppgifter per ämne och årskurs. har en mängd erfarenheter gjorts av olika försök att studera trender i resultatutvecklingen både inom de internationella studierna och inom stickprovsbaserade system för kunskapsutvärdering. Erfarenheterna visar att det är möjligt att göra säkra skattningar av resultatförändringar genom att återan- vända sekretesskyddade uppgifter från tidigare mätningar i den aktuella mätningen, om antalet uppgifter är stort och om de proce- durer som används vid genomförandet av proven inte förändras. 14.2I en första omgång ska ämnet engelska i årskurs 9 ingå i försöksverksamheten Utredningens förslag: I en första omgång ska ämnet engelska i årskurs 9 i ingå i försöksverksamheten med den nationella kunskapsutvärderingen. Den första försöksomgången ska genomföras . 14.2.1Utformningen av den första omgången av försöksverksamheten med nationell kunskapsutvärdering är främmande språk inte representerade i de internationella studierna. (2011) har dock engelska, franska, itali- enska, spanska och tyska prövats i den internationella studien on Language Competences (ESLC). Det finns inga planer på att upprepa den. När det gäller ämnet eng- elska ingår det alltså inte i någon nuvarande internationell studie. Däremot finns det flera internationella exempel att ta del av, ef- tersom ämnet engelska ingår i många andra länders nationella ut- Ett nytt system för nationell kunskapsutvärdering och … Det innebär att kan hämta erfarenheter från omkringliggande länder som , och . Av dessa skäl föreslår utredningen att ämnet engelska i en första omgång ska ingå i försöksverksamheten med den nationella kun- skapsutvärderingen. Vi bedömer att de erfarenheter som finns i och omkringliggande länder gör att just engelska är ett rimligt ämne att börja med. Inledningsvis i försöket kommer ett stort fokus att behöva ligga på utveckling av teknik och analys. Det är då en fördel om själva uppgiftskonstruktionen i så stor utsträck- ning som möjligt kan antas möta färre utmaningar. Som tidigare nämnts är styrdokumenten en viktig utgångspunkt i konstruktionen av NKU även om det är olämpligt att låta utvär- deringarna styras helt av kurs- och ämnesplanerna. För att få en koppling till styrdokumenten och kunna följa kunskapsutveckl- ingen för respektive stadium i är det lämpligt att NKU genomförs i en eller flera av årskurserna 3, 6 och 9. För gymnasieskolans del är det mest intressanta att följa kunskapsut- vecklingen i slutet av gymnasieskolan, dvs. i den avslutande årskur- sen, för att kunna undersöka förändringar efter genomförd gymnasieutbildning. När det gäller den första försöksomgången i engelska anser vi att den bara ska omfatta en skolform och en årskurs. Därigenom läggs fokus på genomförbarhet och på att bygga upp systemet suc- cessivt. Annars bedömer vi att det finns risk att införandet inte av. Mot denna bakgrund föreslår vi att den första försöksom- gången ska omfatta årskurs 9 i . , om den nat- ionella kunskapsutvärderingen permanentas, bör den utvidgas till att även omfatta ämnet engelska i årskurs 6 i och den avslutande årskursen i gymnasieskolan. Redan den första försöksomgången förutsätts vara digital med såväl automatisk rättning som extern central bedömning. Ett huvudsyfte med försöksomgången i engelska är att undersöka och utvärdera de praktiska förutsättningarna för att genomföra NKU digitalt. Såväl genomförandet av proven på dator som hur de tekniska lösningarna fungerar för NKU behöver prövas. En del av tekniken handlar om att undersöka vilket systemstöd som behövs för den externa centrala bedömningen av proven. Ett andra huvudsyfte med den första försöksomgången i eng- elska är att undersöka möjligheterna att uppnå tillräcklig validitet Ett nytt system för nationell kunskapsutvärdering och … och reliabilitet i NKU. Det gäller bl.a. avseende provens innehåll och utformning, genomförandet av undersökningen, elevernas motivation, bedömaröverensstämmelsen, de mätteoretiska modellernas använd- barhet samt den uppnådda statistiska säkerheten. Ytterligare ett huvudsyfte är att få en god grund för att kunna utveckla ett gemensamt ramverk och ämnesramverk samt för kost- nadsberäkningar inför en eventuell permanent verksamhet. För att såväl tekniska som innehållsliga förberedelser ska hinnas med föreslår vi att den första försöksomgången med NKU i eng- elska ska genomföras 2019. För att inte öka på provträngseln under vårterminerna, då de nationella proven huvudsakligen görs, föreslår vi att försöket ska genomföras . Utvecklingen av ett preliminärt ämnesramverk som styrdokument för konstruktionen av NKU-systemet i engelska är det första ste- get i arbetet med försöksverksamheten. De erfarenheter som kan dras från arbetet med att ta fram ett ramverk i engelska kan sedan ligga till grund för utvecklingen av ramverk för övriga ämnen. har en innehållslig och en uppgiftsrelaterad del. Inne- hållsdelen syftar till att precisera den kunskaps- och språksyn som präglar bedömningen i ämnet, medan uppgiftsdelen beskriver vilka uppgiftstyper som ska ingå, proportionen mellan dem och frågor om sekvensering, positionering och bedömning. Styrdokumenten i engelska utgör en väsentlig utgångspunkt för ramverksarbetet. Styrdokumenten anger en språksyn med kommu- nikation och funktionalitet i centrum, där elevernas användning av språket i vid bemärkelse betonas. Detta synsätt har sedan 1980- talet präglat svenska styrdokument i språk. Förändringarna i dessa har varit måttliga, vilket kan förväntas bestå även framöver. Tydliga kopplingar finns även till den gemensamma europeiska referensramen för språk (CEFR13), vilket bidrar till kontinuitet. Även i CEFR betonas från början att en handlingsorienterad grundsyn utgör fundamentet i synen på språk. 13 Common European Framework of Reference for Languages (CEFR). Ett nytt system för nationell kunskapsutvärdering och … bär detta att ramverket för engelska utan större svårighet bör kunna konstrueras så att stabilitet upprätthålls . När det gäller uppgiftstyper kan man konstatera att de nation- ella proven i engelska innehåller en blandning av enkelt bedömbara uppgifter och sådana som är mer komplexa att bedöma. Motsva- rande bör gälla i försöket med NKU, även om uppgiftstyper som kan automaträttas bör användas i så stor utsträckning som möjligt. Det preliminära kommer också att introducera vissa nyheter, inte minst aspekter av multimodalitet14, som ännu är i sin linda vad gäller de nationella proven. Detta kan t.ex. innebära helt eller delvis bildbaserade uppgifter där objekt kan modifieras och flyttas, muntlig input till skriftliga uppgifter samt muntliga uppgifter som görs via dator. Bedömningen i försöksverksamheten kan göras automatiskt för de enkelt bedömbara uppgifterna men måste göras manuellt för de mer komplexa. Den bedöm- ningen är tänkt att vara extern och central och belastar därmed inte de undervisande lärarna. En stickprovsbaserad nationell kunskapsutvärdering kräver, som tidigare nämnts, ett stort antal uppgifter (200–400 per ämne och års- kurs) för att tillräcklig validitet och reliabilitet ska kunna nås. Detta förutsätter följaktligen omfattande konstruktion och utprövning av uppgifter inom tämligen snäva tidsramar. Ett väl utvecklat ramverk med tydliga preciseringar av såväl produkt som process är i detta sammanhang av stor betydelse, liksom hög kvalitet i utveckling, utprövning och analys av uppgifter. Kompetenser som bör prövas Baserat på den grundläggande språksyn som präg- lat svenska kursplaner i språk kommer den nationella kunskaps- utvärderingen att fokusera på receptiva kompetenser (hör- och läs- förståelse), muntlig kompetens samt förmåga att skriva på engelska 14 Multimodalitet innebär att information uttrycks på olika sätt och i olika former, t.ex. i skrift, tal och med bilder, ljud eller film. Ett nytt system för nationell kunskapsutvärdering och … för olika syften och inom olika genrer. De aspekter av kultur som utgör en naturlig del av språklig kompetens och som nämns i styr- dokumenten prövas integrerat i ovan beskrivna uppgiftstyper, inte i separata delar. Språkliga delkompetenser som vokabulär, fraseologi och grammatik kan prövas dels integrerat i andra uppgifter, dels i separata uppgifter. Uppgifter där dessa delkompetenser prövas separat är ett exempel på sådant som lämpar sig väl för ett digitaliserat system, eftersom bedömningen till betydande del kan göras auto- matiskt. Uppgifter som prövar läs- och hörförståelse kommer till bety- dande del att behöva utformas antingen med flervalssvar eller mycket korta elevproducerade svar, dvs. som kan rättas automa- tiskt. Eventuellt skulle format kunna bilda bas för en indelning, inte modalitet som är det vanliga t.ex. i nationella prov. Detta skulle innebära en del med läs- och hörförståelseuppgifter samt en del med båda de receptiva kompetenserna inkluderade men med en blandning av slutna och öppna format, där vissa uppgifter kan be- höva bedömas manuellt. Muntlig språkfärdighet bör prövas dels direkt genom interakt- ion med ett delurval av elever, dels indirekt med datorbaserade uppgifter med samtliga elever. Det senare är en provform som är relativt vanlig internationellt men som till stora delar är oprövad i svensk skolkontext. Följaktligen behövs visst utvecklingsarbete med målet att kunna pröva samtliga elevers muntliga förmåga. De två muntliga komponenterna av den nationella kunskapsutvärder- ingen kommer med stor sannolikhet att inledningsvis kräva bedömning, men stora framsteg görs internationellt vad gäller automatisk bedömning även av denna kompetens. Det är därför rimligt att anta att andelen bedömning successivt kommer att minska. Slutligen kan konstateras att muntliga, interaktiva upp- gifter till viss del skulle kunna sägas beröra samarbets- och problem- lösningsförmåga, vilket är av intresse som exempel på de mera generella kompetenser som ingår i skolans läroplaner, och därför kan behöva fokuseras och följas i en nationell kunskaps- utvärdering. Även förmågan att skriva sammanhängande text på engelska kommer att kräva bedömning i ett inledande skede. Här görs dock framsteg när det gäller automaträttning. Ett nytt system för nationell kunskapsutvärdering och … förandet av skrivuppgifter kan ske på dator trots att bedömningen åtminstone till en början görs manuellt. 14.3Försöksverksamheten ska successivt utökas till ämnena matematik, svenska, NO och SO samt ämnesövergripande kompetenser Utredningens förslag: Försöksverksamheten med den nation- ella kunskapsutvärderingen ska successivt utökas till att omfatta ämnena matematik och svenska i årskurs 9 i och den avslutande årskursen i gymnasieskolan. De naturoriente- rande (NO) och samhällsorienterande (SO) ämnena i årskurs 9 i ska också ingå i försöket. Dessutom ska ämnes- övergripande kompetenser, t.ex. samarbetsförmåga, analysför- måga, kreativitet, motivation och digital kompetens, i årskurs 9 i och den avslutande årskursen i gymnasieskolan in- nefattas i försöksverksamheten. De ämnen och ämnesövergripande kompetenser som ingår i försöket ska grupperas i fyra block: engelska/matematik/svenska, NO-ämnen, SO-ämnen respektive ämnesövergripande kom- petenser. Det första blocket ska genomföras (engelska) och (matematik/svenska). Därefter följer ett block . Proven i försöksverksamheten ska åtföljas av enkäter till ele- ver, lärare och rektorer. ska ansvara för den närmare utformningen av för- söksverksamheten. När det gäller utvärderingen av försöket ska eller någon annan aktör få i uppdrag att ansvara för den. Utifrån resultaten av försöksverksamheten ska den aktör som utvärderar den också ta fram ett underlag så att regeringen kan ta ställning till om, och i så fall hur, den nationella kunskaps- utvärderingen ska permanentas. Ett nytt system för nationell kunskapsutvärdering och … 14.3.1Ämnena matematik, svenska, NO och SO samt ämnesövergripande kompetenser ska ingå i försöksverksamheten utöver ämnet engelska Utifrån erfarenheterna från den första försöksomgången av nation- ell kunskapsutvärdering i engelska, som beskrivits ovan, ska för- söksverksamheten vidareutvecklas. Som tidigare nämnts är två hu- vudtyper av kunskapsutvärdering av intresse: ämnesinriktad och ämnesövergripande. Utöver engelska är det angeläget att försöksverksamheten utveck- las i övriga ämnen där nationella prov används, dvs. i matematik och svenska. Dessa är omfattande ämnen av stor betydelse både i sig själva och för elevernas kunskapsutveckling i andra ämnen. Därför är det viktigt att pröva ett system för trendmätning i engelska, matematik och svenska. Dessutom kan man i de tre prov- ämnena dra nytta av synergier mellan de nationella proven och NKU-systemet, vilket beskrivs i avsnitt 14.4.3 nedan. Vidare finns det anledning att låta försöksverksamheten omfatta NO- och SO- ämnena. Matematikämnet är förhållandevis väl representerat i de internat- ionella studierna, såväl genom TIMSS i årskurserna 4 och 8 i grund- skolan och TIMSS Advanced i den avslutande årskursen i gymna- sieskolan som genom för femtonåringar. Nästa omgång av TIMSS genomförs 2019. Det är ännu inte fastställt när nästa om- gång av TIMSS Advanced går av stapeln. Skolver- kets undersökningar15 visar en relativt god överensstämmelse mellan de svenska kurs- och ämnesplanerna och TIMSS och i kombination. Den relativt goda representationen gäller dock endast två sista årskurser medan täckningen av matema- tikämnet i tidigare årskurser inte är lika god. 15 Se avsnitt 5.2.2. Ett nytt system för nationell kunskapsutvärdering och … gare är den i gymnasieskolan på grund av de långa mellanrummen mellan undersökningarna i TIMSS Advanced. Dessa inkluderar dessutom endast elevgrupper som har specialiserat sig mot matematik och fysik, dvs. elever på Naturvetenskaps- och Teknikprogrammen. Det finns starka skäl att även fortsättningsvis delta i TIMSS, efter- som de etablerade trendlinjerna annars bryts. Undersökningens varierande täckning av åldersgrupper och matematikinnehåll gör det dock angeläget att NKU-systemet omfattar ämnet matematik. Möjligheten att utveckla samverkan och synergier mellan de na- proven i matematik och NKU-systemet talar också för detta. Mot denna bakgrund föreslår utredningen att försöksverksam- heten med den nationella kunskapsutvärderingen ska omfatta äm- net matematik. De årskurser som ska ingå i försöket är årskurs 9 i och den avslutande årskursen i gymnasieskolan. , om den nationella kunskapsutvärderingen permanentas, bör den utvidgas till att även omfatta ämnet matematik i årskurserna 3 och 6 i . Det är av stor vikt att också inkludera lägre årskurser i i en eventuell permanent NKU. Ett skäl är att tidigt i behöver information om föränd- ringar i skolsystemet och elevernas kunskapsnivåer så att relevanta insatser kan sättas in, t.ex. när det gäller revidering av kursplaner, kompetensutvecklingsinsatser, riktade granskningar och stöd. Ge- nom de lärdomar som dras av försöksverksamheten i årskurs 9 i och den avslutande årskursen i gymnasieskolan kan en eventuell permanent NKU utan nämnvärda problem utvidgas till fler årskurser i samma ämne. Ett alternativt upplägg, vars för- och nackdelar närmare skulle kunna undersökas, är att koppla matematikdelen av NKU till de internationella studierna TIMSS och/eller i linje med ett för- slag som tidigare presenterats av Skolverket16. Detta skulle innebära att de internationella studierna kompletteras med tilläggsunder- sökningar som avser de delar av matematikämnet som enligt äm- nesramverket har en svag representation i de internationella studierna. Vi förespråkar dock inte det alternativa upplägget, vilket diskuteras utförligare i avsnitt 14.3.6. 16 (2006). Rullande stickprovsbaserat system för kunskapsutvärdering av grund- skolans ämnen. Ett nytt system för nationell kunskapsutvärdering och … För svenska ger de internationella studierna information om ut- vecklingen av elevernas läsförståelse, dels genom PIRLS i årskurs 4, dels genom för femtonåringar. PIRLS genomförs och nästa omgång av görs, som tidigare nämnts, 2018. Det är angeläget att även fortsättningsvis deltar i dessa studier. Andra delar av svenskämnet utöver läsförståelse, t.ex. skrivför- måga, hörförståelse, vokabulär och litteraturkunskap, undersöks dock inte i de internationella studierna. Därför föreslår vi att ämnet svenska ska ingå i försöksverksamheten. Samma årskurser som i ämnet matematik, dvs. årskurs 9 i och den avslutande årskursen i gymnasieskolan, ska omfattas av försöket. Om NKU permanentas bör den även omfatta ämnet svenska i årskur- serna 3 och 6 i . Ämnena matematik och svenska i gymnasieskolan När det gäller ämnena matematik och svenska anser utredningen att försöksverksamheten med NKU ska omfatta såväl grund- som gymnasieskolan. I gymnasieskolan finns en särskild problematik eftersom elever på olika program läser olika många kurser i dessa ämnen. De flesta eleverna på yrkesprogram läser en kurs i matema- tik och svenska medan de flesta eleverna på högskoleförberedande program läser två, tre eller fyra kurser i matematik och tre i svenska. Under det tredje året kommer således olika elever att ligga på väldigt olika nivåer i dessa ämnen. Utredningen anser dock att det mest intressanta är att följa kunskapsutvecklingen för elever från både yrkes- och högskoleförberedande program. Det vi vill komma åt är vad elever kan när de lämnar gymnasieskolan och hur kunskaperna ser ut inför vidare studier eller arbetsliv. För att kunna åstadkomma detta måste olika elever få prov av varierande svårig- hetsgrad. Det kan t.ex. hanteras genom olika prov för olika program eller adaptiva prov, dvs. prov där eleverna får uppgifter med olika svårighetsgrad utifrån sin förmåga. Hur elevernas olika kunskaps- nivåer i gymnasieskolan kan hanteras bör undersökas vidare i för- söket. Ett nytt system för nationell kunskapsutvärdering och … Av de internationella studierna omfattar TIMSS de naturoriente- rande ämnena i årskurserna 4 och 8. TIMSS Advanced inkluderar av de naturvetenskapliga ämnena endast fysik. mäter naturve- tenskaplig allmänbildning (s.k. scientific literacy) för femtonåringar. I redovisas endast ett samlat resultat för naturvetenskap, medan TIMSS vid sidan av det samlade resultatet redovisar resultat för olika naturvetenskapliga ämnen och områden. Antalet uppgifter är dock alltför begränsat för att ge underlag för stabila trendlinjer för olika ämnen. Med utgångspunkt i de svenska styrdokumenten är det angeläget att kunna beskriva elevernas kunskapsutveckling inom vart och ett av ämnena biologi, fysik och kemi. Därför före- slår vi att försöksverksamheten med den nationella kunskapsutvär- deringen ska omfatta NO-ämnena. Den årskurs som ska ingå är årskurs 9 i . Vid ett eventuellt införande av en permanent NKU bör också NO-ämnena i årskurs 6 i ingå i utvärderingen. Även inom NO-området skulle för- och nackdelar med det al- ternativa upplägg med koppling till och/eller TIMSS som anges ovan för matematik kunna undersökas, även om vi inte före- språkar det (se vidare avsnitt 14.3.6). Civic and Citizenship Education Study (ICCS)18 genomfördes . genomförs en ny under- sökning. Inom ICCS prövas demokrati- och samhällsfrågor. Dess- förinnan hade IEA genomfört två undersökningar inom det samhällsvetenskapliga området. SO-ämnen är således mindre väl representerade i de internationella studierna. En förklaring till detta är att SO-ämnena uppvisar stora nationella skillnader i både ämnes- struktur och ämnesinnehåll och dessa skillnader är svåra att bemästra i internationella studier. De innehållsliga domänernas omfattning och oklara avgränsning medför utmaningar även när studierna om- 17IEA (The Achievement) är en internationell organisation som genomför studier för att jämföra länders skolsystem. 18ICCS är en internationell studie om demokrati- och samhällsfrågor som vänder sig till grundskoleelever i årskurs 8. Ett nytt system för nationell kunskapsutvärdering och … fattar endast ett land, men dessa kan där vara lättare att hantera. Möjligheten att med hjälp av matrissampling använda ett stort antal uppgifter inom varje ämne kan också göra det möjligt att få god täckning och stabilitet . Det är dock viktigt att inse att det innebär stora utmaningar att skapa ett system för NKU med ac- ceptabel validitet och reliabilitet för dessa ämnen. Därför föreslår vi att SO-ämnena i årskurs 9 i ska inkluderas i försöks- verksamheten. Därigenom ges möjlighet att pröva om det är möj- ligt att SO-ämnena ska ingå i en eventuell permanent nationell kun- skapsutvärdering. Om det bedöms möjligt bör SO-ämnena även utvärderas i årskurs 6 i . Syftet med NKU är att studera förändringar i kunskapsutveck- lingen . När det gäller praktisk-estetiska ämnen finns det egentligen inget annat land som har lyckats med en nationell utvär- dering med det syftet. Inom några av de länder vars system beskrivs i avsnitt 5.3 har praktiskt-estetiska ämnen funnits med i utvärde- ringarna. Då har dock syftet inte varit att följa kunskapsutveck- lingen eller så har ämnet eller ämnena bara ingått vid ett eller ett fåtal tillfällen. Den svenska utvärderingen av bild, musik och slöjd i årskurs 6 och 9 som genomfördes 201519 var en ämnesutvärdering som inte syftade till att undersöka förändringar i kunskapsutvecklingen . Enligt vår uppfattning är det mycket osäkert om ett svenskt digitalt NKU-system kan pröva kunskaper och förmågor inom de praktisk-estetiska ämnena med tillräcklig kvalitet. Därför avstår vi från att lämna förslag om att föra in dessa ämnen i försöksverk- samheten. Detsamma gäller för ämnet teknik i . Inom bl.a. det finländska nationella utvärderingssystemet har me- toder utvecklats för att mäta ämnesövergripande kompetenser som lära att lära, kommunikationsförmåga och motivation för egen ut- 19 Se avsnitt 5.2.3. Ett nytt system för nationell kunskapsutvärdering och … Kommuner och Landsting medverkar, tillsam- mans med och ett antal kommuner, i ett internationellt projekt: (). Syftet med projektet är att definiera och mäta generella kompetenser som behövs för framtiden, exempelvis samarbetsför- måga, analysförmåga, kreativitet och digital problemlösning. Bland de internationella studierna har framför allt fokuserat på ut- veckling av denna typ av kompetenser; i 2015 ingick t.ex. en mätning av samarbetsförmåga. Stickprovsbaserade system är väl lämpade att pröva ämnesöver- gripande kompetenser, eftersom fokus där inte ligger på enskilda elever. innebär det stora utmaningar att utveckla och reliabla mått på sådana kompetenser. För att undersöka om det är möjligt att pröva ämnesövergripande kompetenser i NKU före- slår utredningen att dessa ska ingå i försöksverksamheten. Exempel på sådana kompetenser är samarbetsförmåga, analysförmåga, krea- tivitet, motivation och digital kompetens. De ämnesövergripande kompetenserna uttrycks i läroplanerna som mål efter genomgången grundskola och avslutad gymnasieutbildning. Av denna anledning ska avslutande årskurser, dvs. årskurs 9 i och den av- slutande årskursen i gymnasieskolan omfattas av försöket. Den del av försöksverksamheten som rör ämnesövergripande kompetenser bör utformas dels utifrån erfarenheterna från det finländska syste- met, dels utifrån de övriga försök som pågår. Dessutom bör de svenska styrdokumenten utgöra en självklar utgångspunkt. 14.3.2Ämnena och de ämnesövergripande kompetenserna i försöksverksamheten ska grupperas i fyra block Utredningen föreslår att de ämnen och ämnesövergripande kom- petenser som ingår i försöksverksamheten med den nationella kun- skapsutvärderingen ska grupperas i fyra block.