sou · H2B312 · 2014-03-12 00:00:00 — Ämnesproven i årskurs 6 respektive i årskurs 9 ges i engelska, matematik, svenska och svenska som andraspråk samt i biologi, fysik eller kemi och geografi, historia, religionskunskap eller samhällskunskap. Vid samma provtillfälle genomför skolan ett av ämnesproven i NO-ämnena respektive ett av ämnesproven i SO-ämnena. I specialskolan genom- för eleverna motsvarande ämnesprov i årskurserna 4, 7 och 10. I sameskolan, som är en sexårig skolform, genomförs proven i års- kurs 3 och 6. Enligt de olika uppdrag3 utifrån vilket dagens nationella prov- system ursprungligen utformats har systemet flera olika syften. -bidra till ökad måluppfyllelse för eleverna, -förtydliga målen och visa på elevers starka och svaga sidor, -konkretisera kursmål och betygskriterier, -stödja en likvärdig och rättvis bedömning och betygssättning och -ge underlag för en analys av i vilken utsträckning kunskaps- målen nås på skolnivå, på huvudmannanivå och på nationell nivå. De nationella proven är inte examensprov, utan ska vara en del av lärarens samlade information om en elevs kunskaper. De har fram- för allt en summativ funktion, vilket betyder att de ska fungera som en avstämningspunkt i slutet av vårterminen i respektive årskurs/kurs och visa vilka kvaliteter eleven har i sina kunskaper i de ämnen där proven genomförs. De nationella proven kan emellertid även i viss utsträckning användas formativt, som en del i den bedömning för lärande som är en del av undervisningen. Provresultaten ger informa- tion om vilka kunskaper som utgör styrkor och vilka kunskaper som eleven genom undervisningen behöver utveckla mer. Proven ger även en bild av hur undervisningen har fungerat, vilket i sin tur kan signaler om hur undervisningen kan utvecklas. Som komplement till de nationella ämnesproven utvecklar kontinuerligt bedömningsstöd i form av kartläggnings- och diagnosmaterial, prov och enskilda uppgifter med tillhörande bedömningsanvisningar och diskussionsmaterial. konstaterar i en rapport4 till regeringen med förslag till hur systemet bör utvecklas att det är svårt att med ett enskilt instrument möta alla dessa syften och att provsystemet därför består av olika typer av material. Utredningen konstaterar att även om de olika syftena gäller för det nationella provsystemet som hel- het, dvs. inklusive de bedömningsstödjande insatserna, förväntas ändå de nationella proven ensamma svara upp mot merparten av syftena. Regeringen konstaterar i ett uppdrag5 till 3U2004/5293/S, U2005/8381/G, U2006/8951/S, U2008/1045/SV och U2008/2645/S. 4Skolverket (dnr. 2009:337) Redovisning av regeringsuppdrag att ge förslag på hur det nationella provsystemet bör utvecklas och utformas. 5Skolverket (dnr. 2011/6543/S) Uppdrag om nationella prov. att de nationella proven inte är utformade för att mäta kunskapsutvecklingen . Det framgår av uppdraget att det förväntas att detta ska vara möjligt. Vi återkommer i kapitel 9 till frågan om förutsättningarna att knyta så många olika förvänt- ningar till ett och samma instrument som det görs vad gäller de nationella proven. För att hålla för trendanalys krävs i de flesta fall att statistik eller studier utformas med detta syfte för ögonen. De enda studier som deltar i med någon regelbundenhet, och som svarar mot de krav som kan ställas på trendanalyser, är de inter- nationella kunskapsmätningarna PIRLS6, TIMSS7 och PISA8. För- utom kunskapsprov innehåller studierna enkäter till elever och rektorer samt – vad gäller PIRLS och TIMSS – även till lärare och ibland till föräldrar. Detta gör det möjligt att också följa de olika gruppernas attityder och inställning till skolan och skolarbetet. är strategin att ska delta i samtliga tre undersökningar och att detta ska ske för både yngre och äldre elever i . Bakåt i tiden har dock deltagandet varierat något. har deltagit i samtliga IEA9:s PIRLS-undersökningar av läsförmågan för elever i årkurs 4, dvs. Undersök- ningen genomförs . deltog även 1971 och 1991 i IEA:s tidigare undersökningar om läsning. har även deltagit i samtliga PISA-undersök- ningar av 15-åringars kunskaper i matematik, naturvetenskap och läsförståelse, varav den första genomfördes . Studien genom- förs med olika huvudområden vid de olika undersök- ningstillfällena. Den trendutveckling som kan identifieras mäts i 6PIRLS (Progress in Reading Literacy Study) är en internationell studie som undersöker elevers läsförmåga i årskurs 4. Studien organiseras av The Achievement (IEA). 7TIMSS (Trends in International Mathematics and Science Study) undersöker kunskaper i matematik och NO hos elever i årskurs 4 och årskurs 8. Studien organiseras av The Inter- national () och genomförs . 8PISA (Programme for International Student ) är ett OECD-projekt som syftar till att undersöka i vilken grad respektive lands utbildningssystem bidrar till att femtonåriga elever, som snart kommer att ha avslutat den obligatoriska skolan, är rustade att möta fram- tiden. Studien genomförs för kunskapsområdena matematik, naturvetenskap och läsför- ståelse. första hand i förhållande till det år när området i fråga senast var huvudområde. Första gången deltog i en IEA-studie om matematik var 1964 och om de naturvetenskapliga ämnena 1970. Därefter har elevers kunskaper i matematik och/eller de naturvetenskapliga ämnena undersökts i och 1983. då TIMSS introducerades har ambitionen varit att mäta förändring i resultat , dvs. att mäta trend. Detta har skett genom att delar av uppgifterna i tidigare undersökningar, så kallade ankaruppgifter, återanvänds. Undersökningen 1995 var den första där kunskaps- testen i matematik och de naturvetenskapliga ämnena samordnades. deltagande i TIMSS har varierat något . Den första undersökningen 1995 genomfördes för ett stort antal ålders- grupper. valde att för delta med elever som var , dvs. elever i årskurs 6 eller 7. Följande undersökning 1999 riktades endast till elever i årskurs 8. valde dock att inte delta. deltog i undersökningen med elever från års- kurs 8, men inte med elever från årskurs 4, vilket var ett erbjudande. I undersökningarna 2007 respektive 2011 har deltagit med elever från både årskurs 4 och årskurs 8. TIMSS Advanced10 undersöker kunskaper i avancerad mate- matik och fysik hos elever som går på gymnasiet. Studien har genomförts , 1995 och 2008. har deltagit vid båda tillfällena. Nästa gång studien genomförs blir 2015. deltar dessutom i flera andra internationella studier, som än så länge inte kan ligga till grund för trendanalyser, helt enkelt för att de inte har återupprepats med given design tillräckligt . genomförde IEA en studie om medborgar- och sam- hällsfrågor benämnd ICCS11. Syftet med ICCS är att undersöka hur unga människor i olika länder förbereds för att axla sin roll som medborgare. Studien bygger på tidigare internationella undersök- ningar om samhällsfrågor men är anpassad till de nya utmaningar som finns när det gäller att utbilda unga människor till medborgare. Tidigare studier är den så kallade sexämnesstudien och CIVED12 som i genomfördes bland 14- och 15- 10TIMSS Advanced (Trends in International Mathematics and Science Study (advanced)). Studien organiseras av The Achievement (IEA). 11International Civic and Citizenship Education Study (ICCS). 12Civic Education Study (CIVED). Även om ICCS 2009 till stor del bygger på CIVED, som inte kommer att upprepas, är det för tidigt att tala om trendmät- ning. planeras ICCS 2016 för årskurs 8 i grund- skolan. Internationella språkstudien är ett projekt som är initi- erat av . Syftet med studien var att ge EU:s medlemsländer jäm- förande data om elevers kunskaper i främmande språk och att ge insikter om hur språkundervisningen kan leda till förbättrade kun- skaper i främmande språk. I den studie som genomförts prövades de fem största språken som lärs ut inom EU, dvs. engelska, tyska, franska, spanska och italienska. Varje land som var med i studien deltog med sina två största främmande språk av dessa fem språk. I studien prövades de tre förmågorna läsa, lyssna och skriva. Diskus- sioner förs om hur man ska gå vidare. Inriktningen är troligen att man nu vill begränsa sig till att testa kunskaperna i engelska. Dessutom övervägs om detta ska genomföras i form av en återupprepning av ESLC eller om man i stället ska ansluta till en av IEA planerad studie ETLS (English Teaching and Learning Study) som planeras . TALIS14 slutligen är en studie som fokuserar på lärares yrkesvar- dag. Syftet med studien är att den ska fylla de kunskapsluckor som finns inom internationella jämförelser om utbildningssystem, om undervisning och om lärares och rektorers arbetsvillkor, dvs. aspekter som har betydelse för elevers lärande och för lärares och rektorers tillfredsställelse i sitt arbete. I studien frågar man bland annat efter vilka möjligheter lärare och rektorer har till kompetens- utveckling, hur de fördelar arbetstiden mellan olika sysslor och vilken skolledarstil rektorn har. Man frågar också om trivsel, klass- rums- och skolklimat och om lärarna anser att de har tillräcklig kunskap för den undervisning som de bedriver. omfattar i första hand lärare och rektorer i årskurs 7–9. är initierad av och är ett samarbetsprojekt mellan och deltagarländernas myndigheter med ansvar för utbild- ning. Projektet stöds av fackliga rådgivarkommitté15 och . genomfördes första gången och upprepades 2013. Det finns ambitioner att studien ska upprepas framöver. 13European Survey of Language Competences (ESLC). 14The Teaching and Survey (). De internationella studierna är tänkta för jämförelser mellan olika länder och baseras på små urval av elever i varje land. Det går därför inte att med försvarbar statistisk säkerhet bryta ner under- laget för att analysera skillnader t.ex. mellan olika typer av kommu- ner eller mellan skolor med olika socioekonomisk sammansättning etc. De internationella studierna kan därför endast spela en begrän- sad roll vid nationell reformutvärdering, om man inte väljer att nationellt utöka urvalet av elever för att möjliggöra en sådan analys. Nationella utvärderingsstudier genomförs som nämnts ovan av olika myndigheter och andra aktörer. I många fall kan regeringens val av myndighet för ett uppdrag förklaras av myndigheternas skilda uppdrag. genomför utvärderingar både på regeringens uppdrag och på eget initiativ. Utrymmet för egeninitierade studier har dock minskat och är nu starkt begränsat på grund av att verkets resurser i hög grad upptas av uppdrag givna av regeringen. utvärderingsstudier varierar till sin karaktär. Fler- talet genomförs på uppdrag av regeringen och kan handla om att utvärdera satsningar av olika slag, t.ex. kompetensutvecklings- eller skolutvecklingssatsningar. utvärdering bidrar till en gener- aliserbar bild av läget i den svenska skolan, exempelvis genom register- studier. genomför emellertid även kvalitativa utvärderings- studier med små urval av skolor, som kan bidra med fördjupad kunskap om exempelvis skolans arbetssätt och processer. Liksom för Skolinspektionens kvalitetsgranskningar (se nedan) är då generaliser- barheten mer begränsad. Över tid finns också exempel på nationella utvärderingsstudier inriktade på att mäta kunskaperna i den svenska skolan, i vissa fall med ambitionen att det ska vara möjligt att följa trender, och/eller att bidra med systemkunskap. Senaste exemplet på en mer omfatt- ande sådan satsning gäller den nationella utvärderingen av grund- skolan (NU 03). Denna typ av utvärderingar har genomförts inom ramen för myndighetens uppdrag som det är formulerat i instruktion16 och inte till följd av särskilda uppdrag från regeringen. Dessa utvärderingar bör karaktäriseras som utvärdering av skolsystemets funktionssätt (systemutvärdering), snarare än som reformutvärdering. upphandlar både hela utvärderingar och mer avgränsade insatser av externa utvärderare, främst universitet och högskolor. Det kan ske på initiativ av regeringen eller på eget initiativ. Orsaken kan vara att kompetensen inte finns inom verket. I många fall handlar det dock om att utvärderingarna eller uppföljningarna avser verkets egna insatser, t.ex. i samband med implementeringen av en reform. Implementeringen av mål och nationella prov i årskurs 3 samt implementeringen av Lgr11 är sådana exempel. Myndigheten bör inte utvärdera den egna verksamheten varför det i sådana samman- hang är lämpligt med extern utvärdering. IFAU:s utvärdering av skolan utvärdering (IFAU) har enligt sin instruktion17 i uppdrag att bland annat utvärdera effekter av olika reformer och åtgärder inom utbildningsväsendet. Med utvärdering avses enligt instruk- tionen både effektutvärdering och processutvärdering. var verksamheten mer renodlat fokuserad på arbetsmarknadspo- litiska frågor och kopplingen till utbildningsväsendet handlade om utvärdering av effekterna på arbetsmarknaden av åtgärder inom utbildningsväsendet. IFAU:s analyser kännetecknas av en hög metod- kompetens inom det kvantitativa området. Sedan IFAU:s uppdrag utvidgats till att också omfatta effekter av reformer och åtgärder inom utbildningsväsendet har institutet fått ett särskilt uppdrag18 av regeringen att utvärdera de senaste årens stora reformer på skolområdet, mer specifikt för och gymnasieskolan. Det framgår av direktiven att uppdraget avser de reformer som genomfördes . Där framgår att det finns anledning att utvärdera vilka effekter de stora refor- merna, som genomfördes , fick för skolväsendets utveckling. slår regeringen fast att genom detta uppdrag har tillkännagivande till regeringen om att 16Förordning (2011:555) med instruktion för . 17Förordning (2012:16) med instruktion för politisk utvärdering. 18U2012/7283/S, U2011/2269/S. tillsätta en utredning med uppdrag att analysera de senaste årens skolreformer – kommunaliseringen, det fria skolvalet och friståen- de skolors etablering – slutligen omhändertagits. De stora reformer som genomförts , t.ex. Lgr11 och betyg från årskurs 6, omfattas dock inte av detta särskilda uppdrag. Myndigheten kan naturligtvis i mån av resurser själv ta initiativ till sådana utvärde- ringar inom ramen för sin instruktion. publicerade IFAU rapporten av skolvalsreform. En fördjupning av denna analys pågår inom projektet och likvärdigheten. Andra exempel på pågående projekt är Reformer, resurser och resultat i den svenska skolan: Om decentralisering, skolval och fri- skolor samt projektet fördelar kommuner resurser till skolan? pågår, enligt uppgift, ett fyrtiotal projekt som berör skolan. Statskontorets utvärdering av skolan Statskontoret ska t.ex. enligt sin instruktion19 på regeringens upp- drag bistå med utredningar, utvärderingar och uppföljningar av statlig och statligt finansierad verksamhet samt av övergripande frågor om den offentliga förvaltningens funktionssätt. I detta ingår att analysera verksamheter och myndigheter ur ett effektivitets- perspektiv, redovisa effekter av statliga åtgärder samt ge underlag för omprövning och effektivisering. Myndighetens verksamhet styrs av de uppdrag som regeringen lägger på Statskontoret. Departementen och kommittéerna kan också efter överenskommelse anlita Statskontoret för utrednings- insatser. Bredden på de olika utredningar som Statskontoret genomför är stor. Antalet uppdrag från regeringen till Statskontoret att utvärdera frågor som berör eller motsvarande skolformer är begränsat. handlar det om en handfull uppdrag. I de flesta fall kan Statskontorets roll motiveras med att utvärderingarna avser insatser där haft en roll vid genomförandet, och således inte kan anses vara oberoende som utvärderare. Det gäller t.ex. uppdraget att utvärdera Lärarlyftet och ett uppdrag att utvärdera jämställdhetsinsatser inom skolväsendet. genomförde Statskontoret ett uppdrag från regeringen att 19 Förordning (2007:827) med instruktion för Statskontoret. utreda frågor om ersättning för elever i specialskolan och gym- nasieskolan för elever med funktionsnedsättning. Även gavs myndigheten uppdrag som mer utgick från dess kompetensprofil, t.ex. att utvärdera försöksverksamheten med lokala styrelser eller satsningen på IT i skolan. Längre tillbaka har Statskontoret t.ex. biträtt med analys av styrningsfrågor inom skol- området. I ett historiskt perspektiv har mycket av utvärdering/motsvarande skett inom ramen för det offentliga utredningsväsendet. Det finns fortfarande exempel där en offentlig utredning genomför egna utvärderingar eller lägger ut uppdrag på andra aktörer, t.ex. fors- kare, myndigheter, konsulter, etc. Som olika källor20 visar har det dock blivit successivt allt mer ovanligt att offentliga utredningar ges uppdrag som förutsätter att utvärdering genomförs. Uppdragen är ofta avgränsade och förhållandevis styrda. Ofta saknas också tid och resurser att genomföra mer omfattande utvärdering. Det internationella utvärderingsbegrepp (evaluation) som använder är som tidigare nämnts brett och omfattar även inspek- tion och revision. Det är emellertid inte självklart att räkna in inspektion och revision i ett nationellt uppföljnings- och utvärderings- system. Vi har tagit med detta i vår modell, men menar att långt ifrån all nationell inspektion och revision hör hemma inom uppfölj- nings- och utvärderingssystemet. Det kan dock ha ett värde att här redovisa hur inspektion och granskning förhåller sig till uppfölj- nings- och utvärderingssystemet. Inte minst gäller detta för den del av inspektionsverksamheten som gränsar till utvärdering. 20 Se t.ex. Statskontoret (2000) Redovisning av uppdrag att genomföra en kartläggning av det samlade utvärderingsarbetet inom de olika utgiftsområdena och Amnå, (2013) Speak Truth to Statsvetarna och kommittéväsendet. Statsvetenskaplig 112 (5). Statens skolinspektions ansvar för tillsyn och kvalitetsgranskning är reglerat i skollagen21. Med tillsyn avses enligt denna bestämmelse en självständig granskning som har till syfte att kontrollera om den verksamhet som granskas uppfyller de krav som följer av lagar och andra föreskrifter. I tillsynen ingår att fatta de beslut om åtgärder som kan behövas för att den huvudman som bedriver verksamheten ska rätta fel som upptäckts vid granskningen. Skolinspektionen ska även genom kvalitetsgranskning granska kvaliteten i sådan utbildning och annan verksamhet som står under dess tillsyn eller under tillsyn av en kommun. Granskningen ska avse den granskade utbildningens eller verksamhetens kvalitet i för- hållande till mål och andra riktlinjer. Skolinspektionen har således inte i uppdrag att följa upp och utvärdera utan att, genom tillsyn och kvalitetsgranskning, granska de verksamheter som står under myndighetens tillsyn. Som under- lag för den regelbundna tillsynen genomför dock inspektionen en enkätundersökning som riktar sig till elever, föräldrar och pedagogisk personal på de skolor som ska inspekteras. Myndigheten ska också sammanfatta och publicera resultaten av sitt arbete med tillsyn och kvalitetsgranskning. Det sker dels i en årlig rapport till regeringen samt i övergripande rapporter från t.ex. genomförda kvalitetsgranskningar. Analysen av Skolinspektionens tillsynsbeslut resulterar i statis- tik över vanliga bristområden, uppgifter som kan betraktas som en form av uppföljningsdata. Det bör dock uppmärksammas att det inte handlar om statistiskt säkerställda urval, utan om sammanställ- ningar av de tillsyner som genomförts ett visst år. Eftersom det handlar om tillsyn av cirka tjugo procent av alla skolor bör dock underlagen kunna tillskrivas viss trovärdighet vad gäller de frågor tillsynen inriktats mot. Det bör dock noteras att tillsynen aldrig kan vara fullständig, utan att den endast tar upp områden som Skolinspektionen granskat. När det gäller kvalitetsgranskningarna är gränsdragningen till bland annat utvärdering inte helt tydlig. Utvärdering kan användas som metod för att genomföra kvalitetsgranskning. Litteraturstudier ingår alltid som utgångspunkt för granskningarna. Syftet skiljer sig dock åt. Skolinspektionens kvalitetsgranskning syftar i första hand till att genom återföring påverka verksamheten 21 26 kap. skollagen (2010:800). vid de skolor som granskas. De sammanfattande rapporterna bidrar till bilden av läget i den svenska skolan, utan att de för den skull har kravet på sig att vara generaliserbara. Skolinspektionen har inte något explicit uppdrag i instruktionen att granska reformer på skolans område. Myndigheten har inte heller getts några sådana uppdrag av regeringen i samband med de reformer som genomförts , varken i regleringsbrev eller som särskilda uppdrag. I vissa fall inriktas dock tillsynen särskilt mot att kontrollera att nya eller ändrade bestämmelser följs. Det är dock inte samma sak som att exempelvis granska hur skolhuvud- männen tar ansvar för genomförandet av en större reform eller hur inslagen i reformen påverkat undervisningen. har ett kraftfullt granskningsmandat som möjliggör en sammanhållen och heltäckande granskning av den statliga verk- samheten. kan som enda myndighet granska hela den statliga beslutskedjan – riksdag, regering och myndigheter. Effektivitetsrevisionen är den av verksamheter som metodmässigt ligger närmast utvärdering. Den innebär en gransk- ning av hur effektiv den statliga verksamheten är. beslutar självständigt vad som ska granskas genom effektivitets- revision och hur granskningen ska genomföras. Granskningarna utgår från beslut och omfattar regeringens genom- förande, styrning, uppföljning och rapportering till samt myndigheternas genomförande och rapportering till regeringen. När det gäller reformer på skolområdet kan revisionen, med sitt fokus på statens agerande, i första hand granska hur effektiva regeringens och skolmyndigheternas insatser är för att genomföra förändringarna. Inom utbildningsområdet har sedan sin tillkomst 2003 lagt tyngdpunkten i sina granskningar på styrningen av den högre utbildningen. Endast ett fåtal granskningar inom effektivi- tetsrevisionen har genomförts med inriktning på statens styrning av skolan. Statens styrning av betyg och betygssättning har dock granskats . har även Skol- inspektionens verksamhet satts i fokus, med två granskningar. publicerades dessutom en granskning av statens främjande av kunskapsspridning inom skolan. verksamhet har, genom sin uppgift och sitt obe- roende från regeringen, inte någon roll i det som vi valt att kalla uppföljnings- och utvärderingssystemet. Det hindrar inte att revisionens rapporter kan bidra med kunskap som i sin tur påverkar beslutsfattandet genom att peka på behov av förändring. Utöver ovan nämnda myndigheter kan även forskare vid universitet och högskolor genomföra vad vi i kapitel 3 benämnt forsknings- baserade utvärderingar av olika reformer och satsningar inom skol- området. Detta kan ske på uppdrag av regeringen. På skolans område sker det dock i de flesta fall på uppdrag av en myndighet, i första hand , eller en offentlig utredning som i sin tur har fått uppdraget från regeringen. Till skillnad från den oberoende forskningen genomför forskarna i detta fall uppdrag där beställaren styr vad forskaren ska utvärdera. I vilken utsträckning beställningen också styr hur utvärderingen ska genomföras varierar, men det är inte ovanligt att metodval ingår i de avtal som upprättas mellan bestäl- lare och utförare. Det finns exempel på uppdrag till forskare inom universitet eller högskolor att utvärdera åtgärder eller insatser som regeringen har initierat. Flertalet har som beställare och ingår som del av större uppdrag från regeringen till att svara för insat- ser och utvärdera dem. Att utvärderingen inte genomförs av kan, som nämnts ovan, bero på att i så fall skulle komma att utvärdera sina egna insatser. Det kan dock även vara en resurs- eller kompetensfråga. Uppdragen kan exempelvis handla om att utvärdera insatser för att stödja imple- menteringen av en viss reform eller att utvärdera ett program för att stödja utvecklingen av undervisningen i ett visst ämne och där har en roll.