sou · H2B312 · 2014-03-12 00:00:00 — Medan utvecklingen i många länder har gått mot att sätta utveck- lingsperspektivet främst har tendensen i varit att i allt högre utsträckning stärka kontroll- och styrnings- perspektivet. 28 Ett undantag från detta gäller utvärderingen av förskolereformen som genom- fördes på initiativ. Utvärderingen redovisades i två rapporter: Rapport 239 (2004) Förskola i brytningstid. Nationell utvärdering av förskolan och 318 (2008) efter förskolereformen. Nationell utvärdering av förskolan. 6Reformutvärdering – strategi för framtiden I detta kapitel diskuteras mer ingående en av de centrala frågorna i utredningens uppdrag, dvs. den om hur reformer på skolområdet bör genomföras för att underlätta utvärdering. En utgångspunkt är iakttagelserna från föregående kapitel, dels att det ofta ges ett begränsat utrymme för ett evidensinformerat beslutsfattande inför att beslut om reformer fattas, dels att det, med några få undantag, inte getts några uppdrag att utvärdera de reformer som beslutats. En annan utgångspunkt är att förutsätt- ningarna för, och genomförandet av, reformutvärdering behöver förbättras. Utredningen konstaterade i kapitel 3 att utvärdering är ett mång- facetterat begrepp. Om man dessutom kopplar utvärdering till reformer, på det sätt som görs i vårt uppdrag, finns anledning att betrakta utvärderingen i relation till implementeringen av reformer. I vårt föregående betänkande1 presenterades en modell för imple- mentering av reformer, som i sin tur bygger på en rad forskares olika modeller. Modellen består sammanfattningsvis av följande faser: (1) Poli- tikformuleringsfasen som bl.a. omfattar problemformulering och beslut om reform-, implementerings- och utvärderingsstrategi, (2) Processimplementeringsfasen som bl.a. omfattar initiala implemente- ringsinsatser och formativ utvärdering, och (3) Institutionaliserings- fasen, dvs. den fas då reformen implementerats fullständigt och kommer att utgöra en integrerad del i verksamheterna. 1 SOU 2013:30 Det tar tid – om effekter av skolpolitiska reformer. Reformutvärdering – strategi för framtiden Med detta synsätt inleds således implementeringen av reformer redan när problem identifieras och politiken utformas. Implemen- teringen fortgår sedan under hela processimplementeringsfasen och fullföljs när reformerna institutionaliseras. Sammantaget handlar detta om en långvarig process2. När det gäller större skolreformer som till exempel införandet av en ny läroplan kan det handla om från fem till innan en reform kan sägas vara insti- tutionaliserad3. Detta sätt att beskriva en implementering i olika faser kan upp- fattas som självklar när det handlar om politiska reformer beslutade på nationell nivå. Det är dock lätt att förledas att tro att reformer som beslutas i ett top-down-perspektiv enkelt kan hällas genom systemet och kommer att genomföras i verksamheten på det sätt som det var avsett. Detta är naturligtvis inte fallet. avdrift är ett välkänt fenomen, dvs. varje realiserad reform kom- mer att avvika från intentionerna i större eller mindre utsträckning. Denna avdrift är i själva verket ofta betydande. Att genomföra politiskt beslutade intentioner i en mångfacetterad och komplex verksamhet, som står under korstryck från flera olika håll, är således inte någon enkel och fullt rationell process. Den stora utmaningen för politiska beslutsfattare ligger därför i att försöka påverka det man ytterst vill påverka. Reformutvärdering – före, under och efter Reformutvärdering kan ses i såväl ett före-, under- som efterpers- pektiv. Inför beslut om genomförande av en reform krävs en ordentlig problemanalys och en kvalificerad analys av hur de olika åtgärderna kan förväntas påverka de problem som ska lösas, dvs. en policy- analys eller programteoretisk analys. Det är genom en sådan analys som beslutet om en reform kan sägas bli evidensinformerat. Före ett reformbeslut handlar det således om att utgå från utvär- deringar som gjorts av tidigare genomförda reformer, från forsk- ning och särskilda utvärderingsstudier samt från den kunskap som hämtas ur det befintliga utvärderingssystemet. Dessa olika underlag kan ge utgångspunkter för att formulera målsättningar för refor- men samt vägledning om vilka åtgärder som kan förväntas fungera eller inte, vilka oavsedda effekter som kan förväntas uppkomma 2Se vidare SOU 2013:30. 3Åsén, 2 till SOU 2013:30 Det tar tid – om effekter av skolpolitiska reformer. Reformutvärdering – strategi för framtiden Tillsammans med andra underlag kan de bidra till ett evidens- informerat beslutsfattande. Till detta kan även analyser som bygger på olika metoder för att i förväg göra prognoser om kommande utfall bidra, liksom att reformer och reformstrategier testas i förväg genom försöksverksamheter. Utredningen återkommer till frågan om försöksverksamheter i kapitel 8. Under implementeringsprocessen kan olika former av formativ utvärdering genomföras. Resultatet av denna utvärdering kan användas för att vid behov genomföra justeringar i reformen eller för att påverka processer som inte fungerar som det varit tänkt. Beroende på reformstrategi kan det under denna fas också vara aktuellt att, på lokal verksamhetsnivå, arbeta med utvecklings- stödjande utvärdering. Under implementeringsprocessen kan också datainsamling genomföras för olika former av summativ utvärde- ring. Efter det att en reform implementerats, dvs. när reformen slut- ligen har institutionaliserats, kan en summativ utvärdering ge svar på om reformen gett de resultat som den förväntades att ge. Den kan även bidra med kunskaper om hur verksamheten påverkats, varför det uppstått variationer och avvikelser etc. Detta är kunskaper som behövs inför utformningen av en eventuell ny reform. Summativ utvärdering är med andra ord på nationell nivå ett betydelsefullt sätt att få underlag eller ingångsvärden inför framtida reformer. Vid stora reformer som tar att institutionalisera, t.ex. läroplansreformer, kan det vara svårt att genom en summativ utvärdering isolera effekterna av reformen från andra förändringar som skett . Ju längre effektkedjan, eller mål- medelkedjan är, desto svårare är det att fastställa en slutlig effekt eller att mer precist svara på varför vissa effekter har uppstått. Utvärderingen bör planeras i tid Oavsett vilken form av utvärdering det handlar om bör utvärde- ringsinsatserna planeras för att kunna genomföras med god kvalitet för att ge den information som efterfrågas. Enligt betänk- andet Att nå ut och nå ända fram (SOU 2009:94) är en helt avgör- ande förutsättning för effektmätning att det finns en planering redan när en reform sjösätts. Utredningen delar i princip denna uppfattning även om det numera finns avancerade metoder som i vissa fall kan göra det möjligt att initiera en utvärdering i efterhand. Reformutvärdering – strategi för framtiden Att avstå från att från början planera för utvärderingen är dock inte att rekommendera. Dessutom har det sätt på vilket en reform genomförs stor betydelse för hur den kan utvärderas, vilket vi återkommer till längre fram. Det finns dessutom andra typer av utvärderingar som definitivt inte kan initieras i efterhand. Det gäller exempelvis formativ utvär- dering som ska genomföras under implementeringen. Vill man basera utvärdering på t.ex. observationer av hur arbetet i klassrum- met påverkas av en reform kan detta inte heller göras i efterhand. Det kan behövas observationer såväl inför, under som efter refor- men. För att veta hur en viss praxis påverkats av en reform behöver man veta hur denna praxis såg ut innan reformen trädde i kraft. Det behövs ett systemperspektiv I kapitel 3 bedömde utredningen att skolans utvärderingssystem behöver kunna hantera komplexitet och därför bör utvärderas med en mångfald av metoder. Utredningen konstaterar att utvärdering av reformer även förutsätter ett systemperspektiv, dvs. en helhets- syn på systemets olika delar och hur de samverkar. I en amerikansk rapport konstateras att politiska interventioner äger rum i stora, komplexa, dynamiska sociala system. Ett system- perspektiv hjälper beslutsfattare och forskare att tänka brett kring de många effekter som en policy kan skapa och om de sätt som en planerad social intervention interagerar med andra redan existe- rande interventioner och institutionella praktiker. Det är sällan, menar forskarna, som studiet av enskilda komponenter i ett system kan leda till en fullständig förståelse av systemet.4 är inne på likartade tankar och menar i sitt slutbetänkande5 att det krävs en systemansats för att hantera komp- lexa samhällsproblem. En sådan ansats kännetecknas enligt rådet av följande: Kontinuerligt lärande av vad som fungerar (snarare än att ange mål för vad som ska uppnås) 4Prewitt, , . Schwandt and . Straf. (2012) Using Science as Evidence i Public Policy. Science Knowledge in Public Policy. 5SOU 2013:40 Att tänka nytt för att göra nytta. Reformutvärdering – strategi för framtiden Förbättra hela systemets resultat utifrån vad slutanvändarna av systemet anser om utfallet (inte bara vad uppdragsgivare och de som arbetar i systemet anser om resultatet) En politisk beslutsprocess som fokuserar på att förbättra själva systemet och dess verksamhetsprocess (snarare än kontroll av enskilda myndigheter och funktioner) Ett lyssnande förhållningssätt och involvering av brukare och andra intressenter (i stället för att instruera) Att hitta innovativa lösningar för att lösa grundproblemen (snarare än att agera på symptomen) Utredningen menar mot denna bakgrund att ett utvärderings- program som utformas ur ett brett systemperspektiv kan bidra till att begränsa det slags stuprörsseende som gärna blir följden när endast en fråga eller delkomponent belyses i taget. En systemansats ökar möjligheterna att belysa relationerna mellan de olika kompo- nenterna, identifiera motsägelsefullheter och konflikter, förklara hur olika aktörers ageranden samspelar och vilka konsekvenser det kan få, samt bidrar till förståelse för varför beslut som kan förefalla rimliga i stället kan motverka syftet. Detta synsätt ligger nära den breda utvärdering av skolan som m.fl. förespråkade och som utred- ningen redovisat i kapitel 5. Han pekade bl.a. på att en alltför ensidigt inriktad resultatutvärdering innebär att alltför många vik- tiga frågor kommer att falla utanför det som studeras och värderas. menade att det inte räcker med att studera resultaten (elevernas kunskaper) eller det som äger rum i undervisningen (den svarta lådan) var för sig. Utvärderingen behöver också inrik- tas på att granska relationerna mellan det som händer i klassrum- met och de olika slags ramar som finns för verksamheten. Genom att utvärdera reformer i ett sådant systemperspektiv kan en sådan kunskap om systemet och dess funktionssätt uppnås som gör att de ansvariga på olika nivåer med ökad säkerhet kan avgöra vilka för- ändringar som bör göras i vilken situation och vilka avsedda och oavsedda effekter som kan förväntas av den ena eller andra åtgärden. Reformutvärdering – strategi för framtiden Vid reformering bör således utvärderingen av en reform designas redan när strategin för själva reformen utformas. I kapitel 2 kons- tateras att evidensinformerad politik kan bedrivas ur såväl ett styr- ningsperspektiv som ett utvecklingsperspektiv. I kapitel 3 har redo- gjorts för olika utvärderingsansatser. Här söker vi knyta ihop detta och närma oss frågan om sambandet mellan reformstrategi och utvärderingsansats. En reformstrategi handlar om vilka slags åtgärder man tror kom- mer att påverka en verksamhet i önskad riktning och om de mekanismer man tror kommer att vara verksamma för att åstad- komma denna påverkan. Sådana strategier växer fram utifrån olika föreställningar om vad som gynnar förändring och utveckling och om vilka metoder för statlig styrning som är effektiva. En typ av reformstrategi utgår från uppfattningen att staten genom reformer direkt kan påverka den lokala verksamheten. En förändring ses då som något som sker rationellt, närmast med auto- matik, som en följd av att ett beslut har fattats. Detta är – eller har åtminstone varit – en vanlig utgångspunkt vid statlig styrning. Denna strategi sammanfaller i hög grad med klassisk top-down-inriktad implementering, där utvärderingens roll i första hand blir att bekräfta eller motsäga att den förväntade effekten uppstått samt eventuellt också förklara varför detta skett, så att justeringar av reformen kan genomföras. Utvärderingen förväntas däremot inte ha någon direkt utvecklingsstödjande funktion. Ett stort antal forsk- ningsstudier och utvärderingar runt om i världen har funnit att reformstrategier som vilar på sådana rationella föreställningar har haft begränsade framgångar, särskilt inom komplexa verksamheter som t.ex. utbildning. En annan typ av reformstrategi utgår från uppfattningen att det är svårt att påverka den operativa verksamheten enbart genom t.ex. förändrade styrdokument, dvs. med lagar, förordningar m.m. För- ändring ses här som något som präglas av irrationalitet, intresse- motsättningar, framsteg och misslyckanden i en mer eller mindre oförutsägbar blandning. Staten bör i denna situation inrikta sina initiativ och insatser på åtgärder som har potential att stödja lokala Reformutvärdering – strategi för framtiden Styrningen blir då mer indirekt och inriktad på att försöka påverka de grundförutsättningar och villkor som gäller där verksamheten faktiskt bedrivs. Med denna reformstrategi kommer utvärderingens formativa funktion att betonas och, åtmin- stone på verksamhetsnivå, utvärderingen också ges en mer utveck- lingsstödjande funktion. Olika reformstrategier – i och i omvärlden olika granskningar och översikter6 visar att regeringarna i flera länder – däribland och – mer och mer övergivit strategin att försöka påver- ka skolans inre arbete med storskaliga, nationella reformer. I stället arbetar man allt mer med att försöka förstärka den lokala nivåns förmåga att själv ta ansvar för sin egen utveckling och prestations- förbättring. Detta byte av reformstrategi kan ses som ett led i övergången från government till governance, en övergång som innebär att poli- tikutvecklingen inte längre enbart utformas av regeringen och riks- dagen – även om det givetvis är där som de nationella politiska besluten fattas. Enligt teorin om governance utformas den faktiska politiken i stället i olika nätverk, dvs. av fler aktörer (före- tagare, konsumenter, brukare, verksamhetsföreträdare, etc.). Inslaget av governance anses vara särskilt framträdande i de lokala besluts- processerna. Även Innovationsrådet7 konstaterar att mycket tyder på att en hierarkisk och auktoritativ styrning håller på att ersättas av hori- sontella, nätverksliknande och mer egalitära styrmekanismer. Det tycks råda enighet om att samhällsstyrningen har blivit allt mer komplicerad, vilket borde medföra ändrade förutsättningar för, och krav på politikens roll i styrningen.8 Utredningen kan konstatera att den statliga styrningen av den svenska skolan har förändrats drastiskt . Från att ha haft ett centraliserat skolväsende med ett starkt inslag av regelstyrning övergick staten till en decent- raliserad styrning som skulle bygga på en mål- och resultatstyrning. 6Se t.ex. (2013) a.a. 7SOU 2013:40 Att tänka nytt för att göra nytta – om perspektivskiften i offentlig verksamhet. Reformutvärdering – strategi för framtiden Man kan i efterhand konstatera att denna mål- och resultatstyrning inledningsvis handlade mest om målstyrning för att få ett ökat fokus på resultatstyrning. Det senare har skapat ten- denser till en recentralisering som skett parallellt med en viss åter- reglering av skolan. har konkurrens mellan skolor införts vilket skapat inslag av en marknadsstyrning. De yrkesverksammas friutrymme genom professionsstyrning har enligt många bedömare minskat. Förändrade styrningsstrategier får givetvis följder för vil- ken slags utvärderingsinsatser som behövs. Utvecklingen har lett till att styrningen av skolan karak- täriseras av att många av dessa styrningslogiker lever ett parallellt och i vissa fall kanske ett konfliktfyllt liv. Det ligger dock inte inom vårt uppdrag att utreda konsekvenserna av denna situation annat än utifrån vilka konsekvenser detta har för utvärderingen av skolan. Olika slags reformstrategier samverkar med olika slags reformutvärdering och utvärderingssystem Vilken slags utvärdering som framstår som meningsfull att genom- föra beror givetvis på det konkreta innehållet i den reform som genomförs. Den valda reformstrategin har konsekvenser för vad man behöver få veta om de förändringar som genomförs, vilka data och processer man behöver ha kännedom om, vilka utvärderings- metoder som bör väljas osv. Reformstrategin har även betydelse för valet av implementeringsstrategi. Det är till exempel stor skillnad på implementeringen av en strukturreform och implementeringen av en insats för att stödja lokal skolutveckling. Valet av reformstrategi har dessutom betydelse för vilka slags frågor som kommer att ställas till uppföljnings- och utvärderings- systemet och som detta kommer att förväntas kunna besvara. Utvär- deringssystemet bör därför å ena sidan vara anpassat till aktuella styrningsmodeller och rådande övergripande nationella reformstra- tegier, å andra sidan bör det inte vara konserverande utan kunna följa, och till och med bidra till, utvecklingen av dessa modeller och strategier. Utvärderingssystemets utformning är också beroende av antalet nivåer och aktörer som finns inom skolsystemet. Sammantaget kännetecknas det svenska skolsystemet av många olika typer av aktörer på olika nivåer – offentliga och privata Reformutvärdering – strategi för framtiden – och av att det förekommer sinsemellan olika och delvis mot- stridiga styrningslogiker (se ovan). Detta förhållande har betydelse både för vilken slags utvärderingssystem som behöver utvecklas och för vilket slags frågor som utvärderingarna bör kunna besvara. Utvärderingssystemet måste t.ex. ha kapacitet att samla in data, granska, analysera och värdera/bedöma den variation som ett sådant decentraliserat och pluralistiskt system skapar vad gäller eko- nomiska och rättsliga förutsättningar, olikheter i ansvarsförhål- landen och samverkansformer etc. De huvudinriktningar inom utvärdering som redovisats i kapitel 3, dvs. effektutvärdering och teoribaserad utvärdering, men även de ansatser som utvecklats särskilt för utvärdering av komplexa system, lämpar sig olika väl för att ge svar på olika slags frågor. För att förstå vad som händer i en komplex situation behöver, som tidigare understrukits, utvärderingssystemet ge utrymme för en mång- fald av perspektiv och utvärderingsmetoder. Inte minst bör så kallade mixed methods, där både kvantitativa och kvalitativa metoder utnyttjas, komma till användning. Utvärdering kan främja utveckling Utvärdering kan även användas för att mer explicit främja imple- mentering. Genomförande av en reform gynnas av att det finns en genomtänkt och långsiktig implementeringsstrategi som sträcker sig längre än till den centrala skolmyndighetens initiala imple- menteringsinsatser och som kännetecknas av dialog med den lokala nivån. Ett sätt att skapa dialog är att besluta om en tidig utvärde- ringsinsats som utformas så att den pågår parallellt med den initiala implementeringen och ger de operativt verksamma en möjlighet att bidra med sina erfarenheter dels med avseende på vad som bör beaktas vid utvärderingen, dels i samband med den empiri som samlas in. Ett annat sätt att stärka utvärdering och användning av utvärde- ringsresultat är att utforma en implementeringsstrategi som är inriktad på kapacitetsbyggande insatser såväl på huvudmannanivå som på verksamhetsnivå (skolan) vad gäller att följa, dokumentera och utvärdera sitt eget arbete med implementeringen av reformen. En sådan strategi kan bidra till att öka huvudmännens och de ope- rativt ansvarigas intresse för den nationella utvärderingen. Detta ökar i sin tur förutsättningarna för att resultaten av utvärderingen Reformutvärdering – strategi för framtiden ska tas om hand lokalt. , ledande forskare vid vid , menar t.ex. att det behövs fler efterfrågestyrda utvärderingar, dvs. utvärderingar som svarar mot verksamhetens behov, för att öka sannolikheten för att utvärde- ringarna ska komma till användning. Ytterligare sätt att stödja utveckling genom utvärdering är att initiera utvärderingar som är utformade som följeutvärdering eller aktionsforskning. För att stärka ett evidensinformerat arbetssätt i politikutvecklingen och i styrningen av hur reformer utvärderas behöver arbetsformer- na inom utvecklas. Regeringen har det yttersta ansvaret för att efterfråga såväl evidens inför beslut om reformer som utvärdering av genomförda reformer. Regeringen har även ansvaret för att arbetsformer etableras inom som bidrar till ett sådant evidensinformerat beslutsfattande och till att uppdrag om kvalificerad utvärdering kommer till stånd. 6.3.1OECD om det centrala regeringsarbetet i har inom ramen för projektet in Govern- ment genomfört en studie av det centrala regeringsarbetet i Sverige10. Rapporten innehåller bland annat en analys av den roll som utvär- dering spelar i det svenska regeringsarbetet. Det finns enligt en generell tendens att man på tjänste- mannanivå försvarar existerande program, varför det är viktigt att ministrar själva använder sig av möjligheten att genomföra kritiska utvärderingar. Det primära ansvaret för politiska reformer och pro- gram bör ligga på ansvarig minister snarare än på de verkställande myndigheterna, även om dessa bör vara delaktiga under hela pro- cessen. noterar vidare att har många utvärderings- myndigheter. konstaterar att såväl som infört utvärdering som en central aktivitet för hela det departementala 9Gough, (2007) Artikeln The Evidence for Policy and Practice Information and Coordination (EPPI) Centre, i & (2007) Knowledge Manage- ment. Evidence in Education: . 10OECD (2013 Value for Money in Government. Reformutvärdering – strategi för framtiden regeringsarbetet i syfte att stärka kvaliteten i besluten och att skapa incitament till att genomföra policyutvärdering som är relevant och rigorös. rekommenderar att låter sig inspireras av dessa båda länder. Bland annat bör en utvärderingsmetodologisk standard etableras. För svenskt vidkommande har gjort iakttagelsen att det svenska kapacitet vad gäller policyutveckling är svagare än i flera andra länder. Som en följd av den svenska ansvars- fördelningen mellan departement och myndigheter har det departe- mentala arbetet i enligt kommit att fokusera på styrningens juridiska och ekonomiska aspekter.11 6.3.2Kopplingen mellan reformstrategier och reformutvärdering i arbete De svenska fackdepartementen ingår i ett gemensamt regerings- kansli som förbereder regeringens beslut om såväl reformer som om utvärdering av desamma. Många skäl talar för att arbetsformer och rutiner i stor utsträckning ska vara gemensamma inom . Regeringens och arbetsformer måste också ses ur ett övergripande demokratiskt perspektiv. Bered- ningen av en enskild reform eller åtgärd kan kompli- ceras av olika faktorer, som t.ex. pressade tidsplaner, kopplingar till andra beslut, finansiering, meningsskiljaktigheter av mer politisk karaktär, etc. Att ytterligare komplicera beredningen genom att tydligare föra in frågan om reformutvärdering kan uppfattas som försvårande. Enligt vår uppfattning är det ändå nödvändigt, inte minst mot bak- grund av den frågeställning som direktiven lyfter om hur reformer bör genomföras för att bättre kunna utvärderas. (Utbildningsdepartement) kan genom sina arbetsformer och beslut bidra till att underlätta utvärdering av reformer. Det handlar bland annat om hur utvärderingsfrågorna prioriteras i det departementala arbetet och om hur inslagen av evidensinformerad politikutveckling – som ju hör nära samman med utvärdering – kan förstärkas i de interna arbetsprocesserna. 11 (2013) Value for Money in Government: . Reformutvärdering – strategi för framtiden