sou · H2B312 · 2014-03-12 00:00:00 — Om vi med reformutvärdering menar utvärdering i anslutning till, eller av, större reformer går det snabbt att sammanfatta de initiativ som tagits från central politisk nivå för att utvärdera reformer på skolans område: Tills har de varit helt obefintliga. Med reform avser vi här förändring av bär- ande delar av skolsystemet som är reglerade i lag eller förordning. Den nationella utvärderingen av (NU 03), som Skol- verket genomförde på eget initiativ, fick funktionen av en reform- utvärdering av bl.a. införandet av Lpo 94, trots att den i grunden när en systemutvärdering. Till skillnad från vad som gällde har större reformer som t.ex. kommunaliseringen av skolan respektive införandet av mål- och resultatstyrning av skolan genomförts utan föregående utredning eller försök. Införande av nya läroplaner har föregåtts av utredningar, däremot inte av några försök. Försöks- verksamheter har dock genomförts inom vissa andra mer avgrän- sade områden (se vidare kapitel 8). Några politiskt initierade beslut att utvärdera 1990-talets refor- mer togs inte inför eller i samband med att de genomfördes. har regeringen, som nämnts i föregående kapitel, gett ningspolitisk utvärdering (IFAU) som en instruktionsenlig uppgift att bl.a. utvärdera effekter av olika reformer och åtgärder inom utbildningsväsendet11. Efter tillkännagivande 2011 om att tillsätta en utredning med uppdrag att analysera de senaste årens skolreformer12 – kommunaliseringen, det fria skolvalet och fristå- 11Förordning (2012:16) med instruktion för politisk utvärdering. 12Observera att med de senaste årens skolreformer avses här de stora reformer som genom- fördes , inte de reformer som genomförts . Reformutvärdering – historik och nuläge ende skolors etablering – har regeringen dessutom tagit initiativ till två utredningar avseende dessa 1990-talsreformer: tillkallade regeringen en särskild utredare med uppdrag13 att utvärdera eventuella kausala effekter av kommuna- liseringen på elevernas studieresultat, läraryrkets status, lärarnas och rektorernas arbetsuppgifter, samt likvärdigheten i skolvä- sendet. Utredningen redovisade sina resultat i början av februari 201414. fick IFAU ett särskilt uppdrag15 av regeringen att utvärdera de stora reformer på skolområdet som genomför- des . Uppdraget är begränsat till och gymnasieskolan. IFAU ska särskilt beakta aspekter som betygsresultat och fullföljande av utbildning, liksom kön, utländsk bakgrund och tid i . Uppdraget ska redovisas . Än så länge finns inga beslut om utvärdering av de reformer som genomförts . Det handlar om så viktiga reformer som t.ex. införandet av Lgr11 med nya kursplaner komp- letterade med kunskapskrav, införandet av skriftliga omdömen som får vara betygsliknande från årskurs 1, betyg från årskurs 6 samt nationella prov i fler ämnen. Däremot har regeringen initierat mer avgränsade utvärderingar (se nedan). Som redovisats ovan har som ett centralt uppdrag att följa upp och utvärdera skolan. Detta sker genom den fortlöpande uppföljningen och utvärderingen samt genom särskilda regerings- uppdrag. Den fortlöpande uppföljningen och utvärderingen som har redo- visats i föregående kapitel utgör en viktig grund för möjligheterna att utvärdera reformer. Det bygger på det system som initierades när bildades och består av bl.a. statistik och de internationella kunskapsmätningarna. Systemet har natur- ligtvis utvecklats och anpassats . 14SOU 2014:5 Staten får inte abdikera – om kommunaliseringen av den svenska skolan. 15U2012/7283/S, U2011/2269/S. Reformutvärdering – historik och nuläge Utredningen har valt att gå igenom regeringens särskilda utvär- deringsuppdrag till och återrapporteringar av dessa för perioden –201316. Vi har fokuserat bl.a. på vilken typ av utvärderingsuppdrag har fått av regeringen. Vi har vidare bedömt om uppdragen avsett utvärdering av reformer och hur vanligt det är med sådana särskilda utvärderingsuppdrag. Vi har granskat uppdrag givna såväl i regleringsbrev som i särskild ordning samt i viss mån även krav på utvärdering som formuleras i förordningar. Vi bedömer att granskningen om- fattar merparten av de uppdrag som innehållit krav på utvärdering, eller något som motsvarar utvärdering. Samman- taget rör det sig om drygt 25 uppdrag. Uppdragen handlar inte om reformutvärdering Det enkla svaret på frågan om vilken typ av utvärderingsuppdrag får är att regeringens uppdrag inte avser utvärdering av reformer. De avser i stället ofta mer avgränsade frågeställningar eller är kopplade till olika satsningar, t.ex. statsbidrag. Exempel på uppdrag om utvärdering av särskilda satsningar är statsbidrag för åtgärder som syftar till att stärka arbetet med basfärdigheterna läsa, skriva och räkna (2009), utbildningsinsatser för lärare, utvecklingsinsatser inom områdena naturvetenskap och teknik (2012) samt statsbidrag till personalförstärkningar i skola och fritidshem (2003). I dessa uppdrag anger regeringen ofta att man vill att verket ska visa effekter av åtgärderna. Av redovisningen av uppdraget om personalförstärkningar framgår att låtit forskare vid göra en kvantitativ effekt- studie. Denna visar inga signifikanta effekter av lärartäthet på den genomsnittliga elevens studieresultat, men ökade resurser har för- bättrat studieresultaten för elever med lågutbildade föräldrar. I de båda övriga utvärderingarna diskuteras effekter mer kvalitativt med utgångspunkt i lärares bedömningar i enkätsvar. Regeringens uppdrag om utvärdering kopplas även till pågående försöksverksamheter, t.ex. försöksverksamhet med riksrekryterande gymnasial spetsutbildning (2013), försöksverksamhet med ökad undervisningstid i svenska eller svenska som andraspråk för nyan- lända elever i (2013). Om de utvärderingar som rege- 16 Ett urval av dessa ingår i bilaga 3 Exempel på uppföljningar och utvärderingar genomförda av på regeringens uppdrag åren 2002 – 2013. Reformutvärdering – historik och nuläge ringen efterfrågat i anknytning till dessa båda försöksverksamheter läggs till grund för beslut om det fortsatta reformarbetet kan dessa processer sägas utgöra exempel på ett evidensinformerat arbetssätt. De uppdrag om utvärdering som berör reformer begränsar sig till utvärdering av insatser och handlar inte om refor- merna i sig. har t.ex. haft i uppdrag17 att initiera extern utvärdering av verkets insatser i samband med implementeringen av Lgr11. Ett annat exempel på detta är uppdraget18 att stödja infö- randet av en förändrad individuell utvecklingsplan med skriftliga omdömen. Här efterfrågade regeringen en redogörelse för genom- förda åtgärder och kostnader samt en utvärdering av insatserna, däremot inte av själva reformen. Oklara uppdrag påverkar genomförande och rapportering Utöver att visa att de särskilda uppföljnings- och utvärderingsupp- dragen inte avser reformutvärdering visar utredningens genomgång även att det finns ett behov att utveckla det sätt på vilket uppdrag till formuleras. Oklar begreppsanvändning i uppdragen Utredningen har kunnat konstatera att det inte är alldeles oproble- matiskt att avgöra när regeringen förväntar sig en utvärdering och när den inte gör det. En enkel utgångspunkt är att alltid förutsätta att regeringen beställer en utvärdering när den explicit begagnar sig av detta begrepp – annars inte. Det är dock inte självklart att så är fallet. Förutom uttrycken utvärdering och utvärdera använder regeringen en rad andra uttryckssätt19. 17U2010/259/S Uppdrag till om implementering av skolreformer. 182008/4180/S Uppdrag om implementeringsinsatser rörande en förändrad individuell utveck- lingsplan med skriftliga omdömen. 19Bedömningen ska innehålla en fördjupad analys; Genomföra en fördjupad studie; Pe- ka på utvecklingsområden; Följa upp; Av redovisningen av verksamheten ska framgå resultatet, samt hur (xxx) bidragit till uppföljningen och utvecklingen av kvaliteten i; Lö- pande följa upp och analysera; Undersöka hur; Av redovisningen ska bland annat fram- gå hur arbetet med satsningen fortskrider; Kartlägga omfattningen av problemet samt föreslå; Erfarenheterna av genomförandet av uppdraget ska redovisas; Återrapportera utvecklingen av; Informera RK () om uppdragets genom- förande; Redovisa och analysera utvecklingen av verksamheten; Göra en register- studie; Kartlägga och analysera; Genom fältstudier undersöka hur; Utvärderingen ska ske i formen av en uppföljande analys Reformutvärdering – historik och nuläge Om det endast står att verket ska redovisa något, följa upp något eller genomföra en kartläggning bör man kunna utgå från att det inte förväntas en utvärdering genomförd med utvärderingsmetodik. När ska följa upp och analysera eller kartlägga och analysera är detta mer oklart, liksom när verket ska genomföra en fördjupad studie eller undersöka hur, eller slutligen när verket ska genomföra en utvärdering i formen av en uppföljande analys. Varken uppdrag givna i regleringsbrev eller uppdrag givna genom separata regerings- beslut är således alltid tydliga med vad regeringen förväntar sig. Handlar det om en utvärdering som kräver en utvecklad metod och som förväntas utmynna i en värdering av utvärderingsobjektet och kanske även innehålla en rekommendation? Eller handlar det om en enklare kartläggning utan förväntan på analys och bedömning? bidrar till svag styrning av genomförande och rapportering Enligt vår bedömning har det sätt som uppdragen formulerats fått återverkningar på det sätt som redovisar upp- dragen – mer eller mindre likartat oavsett hur beställningen formul- eras. Redovisningarna bygger oftast på kvantitativa data hämtade ur uppföljningssystemet och kvalitativa data från enkäter, intervjuer och fallstudier. Redovisningarna kan även innehålla olika former av slutsatser, bedömningar, rekommendationer eller åtgärdsförslag. Det gäller oavsett om beställningen formulerats som en uppfölj- ning, en utvärdering, en kartläggning eller en fördjupad studie. I flera fall benämner myndigheten sin återrapportering för ut- värdering trots att regeringen i sitt uppdrag inte uttryckligen efter- frågat en sådan. Detta kan tolkas som att inom ramen för sitt instruktionsenliga uppdrag valt en ambitiösare ansats än vad det aktuella uppdraget kräver, som ett led i behovet att bygga upp kunskap om den aktuella frågeställningen för egna och omgiv- ningens behov (för normering, tillsyn och utvecklingsinsatser). Det kan emellertid även vara uttryck för en osäkerhet om vad regeringen egentligen efterfrågat. I vissa fall kan det även ha förekommit en uppdragsdialog mellan och departementet som klargjort detta. Det är även möjligt att uppdrag där regeringen efterfrågat en utvärdering visat sig ha en sådan begränsad karaktär att det fram- stått som oförsvarligt att genomföra en resurskrävande och meto- disk avancerad utvärdering, och att myndigheten därför inte Reformutvärdering – historik och nuläge redovisat en sådan. Vidare kan det finnas exempel där frågan varit av den arten att den inte låtit sig utvärderas med en acceptabel metod. Även i dessa fall kan det ha förekommit en uppdragsdialog. Att metodval är så likartat oberoende av hur upp- draget har formulerats kan således, enligt vår uppfattning, i viss mån härledas till att uppdragen är otydligt formulerade. Bland annat därför skapas också en osäkerhet om huruvida beställaren faktiskt använder ett begrepp i den betydelse det ges inom utvär- deringsteorin eller om begreppet används i en allmännare mening. Bland annat begreppet effekter kan ibland användas på ett sätt så att det är oklart om det används i en mer vardaglig mening eller om det är en effektstudie som avses. Vi har dessutom kunnat konstatera att de utvärderingar vi gått igenom inte innehåller någon egentlig diskussion om utvärderings- design och möjliga utvärderingsmetoder. Det man oftast avser när man talar om metod är i själva verket olika tekniker för datainsam- ling (enkät, data från uppföljningssystemet, dokumentstudie, observa- tion, fallstudie, etc.), dvs. myndigheten redovisar/förklarar det sätt som den aktuella studien faktiskt genomförts på. Enligt utesluter inte detta att t.ex. översikter har gjorts och att program- teoretiska resonemang eller genomgångar av verksamhetslogiker har genomförts och att dessa redovisats i projektens arbetsplaner. Att de inte redovisas i verkets externa rapporter beror, enligt ver- ket, på att dessa ska vara målgruppsanpassade. Utredningen har inte, bland de utvärderingar genom- fört eller låtit genomföra på regeringens uppdrag, funnit något exempel där en effektstudie med randomiserad kontrollgrupp genomförts, eller någon studie med en programteoretisk ansats. I ett fall, där ett konsultföretag genomfört en utvärdering på uppdrag, förs ett inledande resonemang med programteoretiska utgångspunkter. I några fall har myndigheten låtit forskare ta fram underlag för sin rapportering. Dessa har huvudsakligen haft en nationalekonomisk utgångspunkt för metodval och val av fråge- ställningar. I flera av rapporterna återkommer verket till svårig- heterna med att mäta effekter. Reformutvärdering – historik och nuläge Utredningen har studerat ett antal arbete med reformer och framför allt utvärdering. Genomgången visar att länderna har delvis olika strategier för utvärderingar av reformer, delvis som en konsekvens av att länderna har olika reformstrate- gier. I flera länder har t.ex. fokus flyttat från utvärdering av reformer i form av särskilda forskningsbaserade studier till att i högre grad söka utveckla utvärderingssystem som löpande tillhandahåller data som grund för bedömningar av hur skolan utvecklas. Denna för- skjutning har i vissa fall varit kopplad till att man har lämnat strategin att genomföra stora strukturreformer till förmån för mer partiella reformer och satsningar på att förstärka den lokala för- mågan till skolutveckling (capacity ). Detta innebär dock inte att länderna helt har slutat att vid behov genomföra utvär- deringar av skolpolitiska reformer. Det finns också exempel på länder som har genomfört större skolreformer och där särskilda forskningsbaserade studier har getts en mer framskjuten roll vid utvärderingen av dessa. Vi har även funnit att de system för kunskapsförsörjning som byggs upp i andra länder oftast sätter utvecklingsperspektivet främst. System för utvärdering och andra former av kunskaps- inhämtande syftar främst till att stödja den lokala utvecklingen. Det innebär att även de beslut som fattas på nationell politisk nivå har denna inriktning, dvs. utvecklingen förefaller gå mot en utveck- lingsstrategi som lägger störst vikt vid att bygga upp den lokala kapaciteten att själv ta ansvar för sin utveckling och sina prestationer. Centralt planerade reformer utformas med detta för ögonen. Denna trend är inte rätlinjig och tar sig inte samma väg i alla länder, men vi anser ändå att en sådan trend kan urskiljas. En sådan trend kan även avläsas i , dvs. ett av de län- der som tidigare haft det tydligaste kontroll- och styrningspers- pektivet i synen på utvärderingens roll och syfte inom utbildnings- systemet. har till exempel skolornas förmåga till egen utveckling betonats allt kraftigare i de engelska regeringarnas policydokument.20 20 Se till exempel dokumenten A new Relationship with Schools. and skills tillsammans med Office for standards in education (2004) och The Importance of Teaching. The schools 2010. (2010). Reformutvärdering – historik och nuläge Det engelska utvärderingar är av olika om- fattning och inriktning – särskilda satsningar och utbildningspro- gram hör till det som utvärderas oftast – och genomförs av olika forskargrupper eller av enskilda konsultföretag21. Man har även avtal med olika forskningsinstitutioner som bidrar med veten- skapliga underlag inom sina respektive kunskapsområden22. För att utvärdera nationella reformer och strategier beställer i oberoende utvärderingar från externa akademiker och forskare och/eller samlar information från ett stort antal källor (t.ex. granskningen och utvärderingen av den nationella standarden). Sådana utvärderingar används både för sum- mativa syften (bedömningar av effektiviteten och värdet av policies och program) och för formativa syften (för anpassning, modifie- ring och förbättring av pågående reformer och program). Ett exempel på detta slags utvärderingar är den utvärdering av den nya zeeländska läroplanen och de nationella standarderna (ungefär motsvarande de svenska kunskapskraven) som pågår inom : School Sample Monitoring and . Projektet genomförs av ett kontrakterat utvärderingsteam och samlar in data från ett urval av skolor . har arbetat intensivt med att stärka utvärderingskulturen i skolan. Ett viktigt inslag i detta arbete har varit beslutet om att införa ett nationellt provsystem i folkesko- len24. I samband med detta beslutades även om att det nya systemet skulle utvärderas. Det nationella provsystemet började tillämpas i full skala 2010 och en första utvärdering av systemet genomfördes av det fristående konsultföretaget novem- ber 2012 till . I har under stora forsknings- baserade utvärderingsstudier genomförts i samband med att de stora skolreformerna Reform 94, Reform 97 och (2006) genomförts. Utvärderingen av var omfattan- de. Enligt uppgift satsades totalt . mottog Utdanningsdirektoratet, utöver ett stort antal delrap- 22Centre for Analysis of Youth Transitions, och . Se DfE:s hemsida. 23Uppgifterna om är hämtade från det underlag som lämnats av i Country Background Report (2010) Denna rapport utgör ett av underlagen för in education. (2012). 24En mer utförlig redovisning av de initiativ som tagits i finns i bilaga 5. 25Ramböll (2013) Evaluering af de nationella test i folkeskolen. Reformutvärdering – historik och nuläge porter, femton slutrapporter från olika forsknings- och utvärderings- projekt. Projektet resulterade i en nära koppling mellan forskning och policyutformning. Forskningen har haft betydelse dels för att stärka styrningen av skolsektorn (och den har påverkat dess struktur och kultur), dels för att stärka lärarnas och elevernas arbete och lärande, dvs. Det senare har dock skett i mindre utsträckning än det förra.26 Karaktäristiskt för reformarbetet i var på skolans område att större reformer förbereddes genom omfat- tande utredningar. Reformer som genomförts under har ofta föregåtts av utredningar med ett mer begrän- sat utrymme för att på ett mer djuplodande sätt utreda den aktuella frågeställningen, t.ex. genom att initiera utvärdering och forskning eller genom att i förväg pröva tänkta lösningar genom försök eller stegvis införande. Detta innebär inte att det helt saknats utred- ningsinsatser inför reformer eller att det inte genomförts några försöksverksamheter alls. Det finns emellertid också exempel på större reformer som genomfördes utan föregående utredning (se bilaga 3). Under har det offentliga utrednings- väsendet generellt sett getts en delvis annan roll än det hade tidigare. Utredningstiderna har förkortats och ger inte i samma utsträckning som förr utrymme för att initiera egna utvärderingar eller separata studier av t.ex. forskare. Det är vanligt med direktiv som tydligt anger inriktningen av arbetet. Dessa för- hållanden får ses som en konsekvens av en allt snabbare föränd- ringstakt och krav på snabbare beredningsprocesser27. har ambitionen om att de politiska besluten ska vara evidensinformerade förstärkts. Utredningen menar att skolpoli- tiska reformer har mycket att vinna på att utformas i processer där evidens och utvärdering ges en mer central roll än under . För att en sådan ambition ska kunna infrias behöver förutsättningarna för att ta tillvara systematiskt uppbyggd kunskap 26En mer utförlig redovisning av de initiativ som tagits i finns i bilaga 5. 27Se t.ex. Amnå, (2013) Speak truth to . Statsvetarna och kommittéväsendet. Stats- vetenskaplig 112 (5). Reformutvärdering – historik och nuläge i beslutsprocesserna förbättras. Det kan innebära att dessa behöver ges mer tid än . Det är dock knappast realistiskt, eller ens önskvärt, att åter- vända till situationen där beredningsproces- serna kunde sträcka sig över mer än . Större krav måste därför också ställas på den kunskap som kan fås ur såväl det löpande uppföljnings- och utvärderingssystemet som från annan utvärdering, t.ex. av redan genomförda reformer. Frågan om hur politikens behov av evidens kan matchas med produktionen av forsknings- och utvärderingsresultat har blivit kritisk. Kunskapen måste i hög utsträckning redan finnas på plats när de politiska besluten ska fattas. Det är mot denna bakgrund slående hur litet som hänt när det gäller utvärdering av reformer på skolans område i . I hög grad gäller fortfarande konstaterande , att det saknas systematiska undersökningar som syftar till att följa upp och utvärdera skolreformer. Förutom de båda utredningar som tillsatts, och som avser att utvärdera förändringar som skedde , har regering och riksdag inte tagit initiativ till någon systematisk utvärdering av de reformer som genomförts . Stora reformer i har således genomförts, och genomförs fortfarande, utan att bli föremål för en från början planerad utvärdering, utöver den som sker av informationsinsatserna i implementeringens första fas. Behovet av ett väl fungerande uppföljnings- och utvärderings- system har diskuterats återkommande och framåt, av både forskare och av regeringen. Frågor som aktualiserats handlar om vad systemet ska kunna ge svar på, balansen mellan kvantitativt och kvalitativt inriktad utvärdering, olika nivåers behov av utvärderingsinformation, etc. Det nationella uppföljningssystem som svarar för innebär mot denna bakgrund en viktig utveckling jämfört med tidigare, även om det fortfarande finns utrymme för att förstärka systemet, något vi återkommer till i flera av de följande kapitlen. Det uppdrag som IFAU fick 2012 att utvärdera effekter av olika reformer och åtgärder inom utbildningsväsendet innebär att det tillkommit en aktör med en specialiserad kompetens för just denna typ av utvärdering. Det är värdefullt, men innebär enligt vår bedömning inte att behovet av reformutvärdering är täckt. För utvärdering av reformer behövs enligt vår uppfattning en bredd Reformutvärdering – historik och nuläge både vad gäller utvärderingsdesign och vad gäller de forsknings- discipliner som företräds. Det handlar om både kvantitativt och kvalitativt inriktad utvärdering. När det gäller utvärderingen av skolan och av reformer på sko- lans område finns således, enligt vår uppfattning, fortfarande ett stort utrymme för utveckling som främst har att göra med vilken typ av utvärdering som efterfrågas, men också på hur beställning- arna av utvärdering utformas. Genomgången av regeringens utvärderingsuppdrag till visar både på en frånvaro av mer omfattande utvärderingsuppdrag från regeringens sida och på att verket i begränsad omfattning har förutsättningar att ta egna initiativ till större utvärderingar, t.ex. utvärderingar av reformer28. Genomgången visar även att det finns ett behov av ökad tydlighet från regeringens sida när uppdrag ges. Formuleringarna bör vara mer konsistenta och metodiskt med- vetna, så att utföraren inte behöver tveka om huruvida det är en utvärdering som efterfrågas, med de krav det ställer på metod, eller om det är en enklare kartläggning. Att formulera beställningar kräver således en grundläggande metodisk medvetenhet. Det gäller bland annat att formulera utvärderingsbara frågeställningar, utan att för den skull detaljstyra genomförandet. I en internationell belysning kan vi konstatera att i flera avseenden befinner sig väl framme. Vi har till exempel länge haft ett omfattande uppföljningssystem som försett såväl den centrala nivån som skolhuvudmännen med grundläggande data om kun- skapsresultat och andra prestationer, kostnader samt socioekono- miska bakgrundsdata. I andra avseenden riskerar dock att hamna på efter- kälken, till exempel vad gäller i vilken utsträckning som olika refor- mer och andra insatser utvärderas och i vilken utsträckning evidens läggs till grund för beslut om reformer och andra förändringar.