sou · H2B312 · 2014-03-12 00:00:00 — Internationella erfarenheter visar att inslaget av evidens i politikutvecklingen kan stärkas Utredningen konstaterar att intresset för evidensinformerad policy ökat inom många OECD-länder.12 hör, som nämnts ovan, till de länder som arbetat mest intensivt med detta. Man har t.ex. infört en utvärderingsstandard för hela det centrala, departe- mentala regeringsarbetet i syfte att stärka kvaliteten och att skapa incitament för att genomföra policyutvärdering. utgavs en s.k. grönbok om hur utvärdering kan användas inom den centrala styrningen.13 Syftet med grönboken är att säkra att ingen policy, inget program eller projekt ska antas utan att frågor ställs om huruvida det finns ett bättre sätt att nå ett utpekat mål eller om det finns en bättre användning av dessa resurser. Men syftet är inte enbart fiskalt. Det handlar också om att bedöma den strategiska påverkan som beslutet (om en intervention eller ett stöd eller något annat dylikt) kan antas få och om realismen i beslutet, dvs. möjlig- heterna att uppnå målen. Vidare har en omfattande vägledning eller handbok tagits fram, , som på ett både brett och fördjupat sätt redo- gör för vilken slags utvärdering som bör genomföras.14 Inom det brittiska (DfE) har också olika insatser gjorts för att stärka departementet som kunskaps- organisation. Det har bl.a. handlat om insatser för att förstärka departementets analytiska förmåga. Insatserna har gjorts med utgångspunkt i en övertygelse om att om kunskapsstyrning ska få genomslag på alla nivåer inom verksamhetsområdet så måste depar- tementet självt visa ledarskap och gå före och visa vägen.15 12OECD (2007) . Evidence in Education. Linking research and policy. 13HM Treasury (2011) . Appraisal and Evaluation in Central Government. 14HM Treasury (2011) . Guidance for evaluation. Utöver huvuddoku- mentet har ett antal bakgrundsdokument publicerats i : guidance notes for policy evaluation and analysis. Magenta Book Background Papers. HM Treasury (2003, updated 2007). Ytterligare två dokument har publicerats som behandlar olika sidor av kvantitativa och kvalitativa utvärderingsmetoder: Quality in policy impact evaluation: understanding the effects of policy from other influences (supplementary Magenta Book guidance). HM Treasury (2012) samt Quality in qualitative evaluation: a framework for assessing research evidence (supplementary Magenta Book guidance). HM Treasury (2012). 15Department for Education (2013) . The Department (). Reformutvärdering – strategi för framtiden Ett annat exempel gäller där intresset för evidens- informerade arbetssätt varit växande under de senaste regerings- konstellationerna.16 Frågan om hur reformer bör genomföras för att underlätta utvärde- ring handlar i stor utsträckning om att utvärderingsfrågorna behö- ver få en mer framskjuten roll i det departementala arbetet. Det handlar t.ex. om att öka användningen av utvärderingar av tidigare reformer, att klargöra vilken programteori som reformer och åtgär- der bygger på, dvs. att explicit beskriva hur en viss åtgärd förväntas bidra till måluppfyllelsen och vilka mekanismer som är tänkta att verka för att de avsedda resultaten ska uppstå. Förbättrade förutsättningar för utvärdering av reformer handlar inte minst om att faktiskt prioritera utvärderingsfrågorna i sam- band med planeringen av reformer och andra mer genomgripande åtgärder. Som vi visat i föregående kapitel ingår det inte i den svenska traditionen att på skolans område planera för utvärdering inför att reformer beslutas. Strategiska frågor som regeringen har att ta ställning till Vi har redan understrukit betydelsen av att reformutvärdering planeras parallellt med att reformstrategin formas. Detta har dock inte endast att göra med det tämligen självklara att förutsätt- ningarna för att genomföra vissa typer av utvärdering, t.ex. effekt- studier, är bättre om de planeras från början. Framför allt finns ett starkt samband mellan reformstrategi och utvärderingsstrategi. Valet av reformstrategi styr valet av utvärderingsansats. Omvänt kan utvärdering bidra till genomförandet av en reformstrategi dels genom att fungera formativt i förhållande till den nationella besluts- nivån, dels genom att fungera utvecklingsstödjande på den lokala nivån, i verksamheten. Att utforma reformstrategin och utvärderingsstrategin så att de samverkar på detta sätt måste, som vi ser det, vara ett ansvar för regeringen och . Detta är emellertid inte någon 16 Uppgifterna har lämnats av företrädare för Kunskapsdepartementet som utredningen varit i kontakt med och bedömningen gäller för tiden fram till och med . Reformutvärdering – strategi för framtiden enkel uppgift, varför utformning och utvärdering av reformer kan vinna på att planeras efter samråd med forskare eller andra utvärd- erare. Detta bör i så fall ske i ett tidigt stadium av en berednings- process. Forskare kan t.ex. bidra med synpunkter på hur en reform eller annan åtgärd bör utformas och implementeras för att den ska vara möjlig att utvärdera med en forskningsbaserad design. Utveck- lade och tillitsfulla relationer mellan och de institutioner som äger utvärderingskompetens, dvs. myndigheter, universitet, högskolor, särskilda statliga eller privata institut, under- lättar givetvis ett sådant samrådsförfarande. Vi återkommer till hur en samverkan kring utvärderingsfrågorna kan organiseras i kapitel 11. En form av reformstrategi som måste beslutas initialt och som skapar sina speciella förutsättningar för utvärdering är att genom- föra försöksverksamheter eller använda sig av stegvis införande. I t.ex. ingår pilotstudier och försöksverksamheter som ett led i de initiativ som tagits för att stärka inslaget av evidens- informerad politikutveckling. Man menar där att inga reformer bör införas i full skala innan man på olika sätt övertygat sig om att reformen fungerar så som det varit tänkt.17 Även om det ur ett utvärderingsperspektiv är fördelaktigt om det går att genomföra en försöksverksamhet eller att stegvist införa en reform, finns det också situationer där detta inte låter sig göras. Vi återkommer till detta i kapitel 8. Ytterligare en aspekt av planering handlar om antalet reformer som genomförs . Självfallet beror den slutliga utform- ningen av ett reformpaket på en kombination av olika sakför- hållanden och politiska bedömningar. Det måste dock framhållas att antalet reformer som implementeras påverkar förut- sättningarna för utvärdering. Ju fler reformer som genomförs sam, desto svårare är det att fastställa vilka åtgärder som bidragit till vilka förändringar och med vilken styrka. Detta konstaterades även i samband med , dvs. det senaste stora skolpolitiska reformpaketet i . Att efterhand göra successiva förändringar i beslutade reformer, t.ex. i syfte att förbättra reformens funktionssätt, är en vanlig imple- menteringsstrategi. För en utvärdering som nära följer genom- förandet av en reform är det därför ofta ett huvudsyfte att tidigt identifiera sådana delar av en reform som kan behöva justeras (real- 17 Se t.ex. Cabinet Office (2003) Trying It Out. Report of a Review of Government Pilots. Government Chief Social Researcher´s Office. Reformutvärdering – strategi för framtiden time evaluation). kan sådana förändringar bli ett problem för en mer summativt inriktad utvärdering. Det kan t.ex. bli svårt att uppskatta vilken av förändringarna som bidragit till vilken av de olika effekter som uppstått och med vilken styrka de gjort detta. Detta innebär inte att den centrala nivån bör avstå från att besluta om förändringar som man anser är nödvändiga. Ett sådant reformstopp i syfte att förbättra utvärderingsbarheten vore orimligt. Man måste dock vara medveten om att möjligheterna att utvärdera försvåras om reformer förändras med korta intervall. Möjligen är det också ett argument till varför reformer bör stå på en god empirisk grund och vara väl genomtänkta innan de beslutas. 6.4Reformutvärderingens roll bör stärkas Utredningens bedömning: Utformningen av reformer och utvärderingen av dessa står i ett ömsesidigt förhållande till var- andra. Beslut om reformstrategi påverkar förutsättningarna för utvärdering. kan beslut om utvärdering, om det fattas tidigt inför genomförandet av en reform, påverka såväl utform- ningen som implementeringen av denna. Frågan om reform- utvärdering bör därför prioriteras redan i samband med plane- ringen av reformer och andra mer genomgripande åtgärder. Utvärderingen kan bidra till genomförandet av reformstrate- gin genom att fungera formativt i förhållande till den nationella beslutsnivån och utvecklingsstödjande på verksamhetsnivån. En planerad och systematisk utvärdering av reformer är enligt utredningens uppfattning nödvändig för att säkerställa en både bred och djup systemkunskap om skolan. Inte minst är det viktigt för det politiska ansvarsutkrävandet att det går att få veta om den förda politiken har avsedda effekter och om de allmänna medlen allokeras på ett effektivt sätt. Utvärdering av reformer ger också kunskap som kan bidra till att öka genomslaget för reformen respektive signalera om något håller på att gå fel. Slutligen kan reformutvärdering bidra med kunskap inför kommande reformer. Reformutvärdering har en nära relation till implementeringen av reformer, och dess olika faser. Till att börja med bör resultat från forskning och utvärdering av rådande förhållanden utgöra underlag Reformutvärdering – strategi för framtiden för att beslutet om att genomföra en reform ska kunna sägas vara evidensinformerat. Under processimplementeringen av reformen kan utvärdering fylla en funktion genom att fungera formativt och utvecklingsstödjande. När reformen slutligen institutionaliserats kan resultat från den summativa utvärderingen ge kunskap om hur verksamheten påverkats, varför det uppstått variationer etc. På nationell nivå kan sedan denna summativa utvärdering utgöra ingångsvärden inför eventuella framtida reformer. Reformutvärdering har således centrala och viktiga roller vid reformering av offentlig verksamhet, i det här fallet av skolan. har vi i föregående kapitel visat att det är, och har varit, ovanligt med nationellt initierad reformutvärdering på skolans område. har dock vissa initiativ tagits till att utvärdera de reformer som genomfördes . Dessa initiativ har dock tagits först . För att reformutvärderingen ska kunna ges den centrala roll den enligt vår uppfattning bör ha, behöver frågan prioriteras på ett helt annat sätt än redan i samband med planeringen av reformer och andra mer genomgripande åtgärder. Det är först när plane- ringen av reformer, reformimplementeringen och reformutvär- deringen sker integrerat som utvärderingens fulla potential kan tas till vara. De beslut om utvärdering som fattas tidigt, inför genom- förandet av en reform, kan komma att påverka både utformning och genomförande av reformen. Arbetet med detta betänkande och utredningens delbetänkande18 har stärkt oss i uppfattningen att det är långt ifrån enkelt att för- ändra skolan genom strukturella reformer. Det tar tid innan effekter uppstår så att de kan bli mätbara på nationell nivå. Dess- utom är de effekter man kan förvänta sig ofta inte så stora som man kanske önskat. Detta innebär inte att man kan avstå från att för- söka att förbättra förutsättningarna för skolan. Det understryker dock behovet av att beslut om reformer vilar på en ordentlig kun- skapsgrund. Det bör för varje åtgärd som vidtas framgå tydligt på vilket sätt åtgärden är tänkt att påverka skolan, och vad som styrker denna slutsats. Forskning och utvärdering har här en central roll både inför att reformer ska utformas och vid utvärderingen av dem. Utvärdering av reformer kan i sin tur resultera i kunskap som kan 18 SOU 2013:30 Det tar tid – om effekter av skolpolitiska reformer. Reformutvärdering – strategi för framtiden ligga till grund för evidensinformerade beslut inför eventuella fram- tida reformer. Enligt vår uppfattning finns följaktligen starka argument för att tydligare föra in frågan om reformutvärdering i regeringens och arbete med att utforma reformer och andra mer genomgripande förändringar. Vi har i det ovanstående pekat på några frågor som är viktiga att ta ställning till i detta sam- manhang samt på behovet av att i högre grad använda kvalificerad utvärderingskompetens vid utformningen av utvärderingsstrategier i samband med beslut om reformer. Med denna utgångspunkt kommer vi i det följande fördjupa oss i vissa för utvärderingen av reformer viktiga frågor. -hur en överblick över utvärderingslandskapet kan förbättra för- utsättningarna för att styra utvärderingen av skolan (kapitel 7), -möjligheterna med att använda försöksverksamhet och stegvis införande vid reformeringen av skolan (kapitel 8), -behovet av bättre underlag för att följa kunskapsresultaten (kapitel 9), -behovet av data för att utvärdera reformer (kapitel 10), samt -hur utvärdering av skolan kan organiseras på ett mer ändamåls- enligt sätt än (kapitel 11). 7Ramverk för utvärdering av skolan – för bättre överblick och styrning Av kapitel 4 framgår att det svenska uppföljnings- och utvärde- ringssystemet består av ett stort antal komponenter och många olika aktörer är involverade. I detta kapitel närmar vi oss därför den fråga om ett nationellt ramverk för utvärdering som aktualiserats av . 7.1OECD om behovet av ramverk för utvärdering av utbildningen I en OECD-rapport1 om utvärdering och bedömning av utbildning konstateras att många länder nu tar initiativ till att utveckla och stärka kapaciteten för att utvärdera sina utbildningssystem. Utvär- dering och uppföljning av elevresultat ses i många länder som en motor för den framtida reformagendan. Den fulla potentialen av detta kommer dock, enligt , inte att förverkligas om inte ländernas ramverk för utvärdering av utbildningen utvecklas till fullt sammanhängande helheter. Synergier mellan olika delkom- ponenter i systemet bör tas till vara, dubblering av procedurer bör undvikas och motsägelser mellan olika målsättningar förhindras. pläderar starkt för att det arbete som inletts i många länder med att utveckla sådana ramverk bör fortsätta. 1 (2013) Synergies for Better Learning: International Perspective on Evaluation and Assessment. Reviews of Evaluation and Assessment in Education. för utvärdering av skolan – för bättre överblick och styrning Vad menar med ramverk? Att utarbeta ett strategiskt dokument som beskriver ett ramverk för utvärdering kan enligt vara en god idé. Ett sådant dokument ska tydliggöra syftet med ett utvärderingssystem samt hur det är länkat till utbildningssystemet som helhet, till andra förändringar och till förbättrade elevresultat. Dokumentet bör även ange hur informationen i systemet ska rapporteras och beskriva hur olika komponenter i systemet kan producera resultat som är använd- bara för klassrumspraktiken och för olika skolutvecklings- aktiviteter. Uppföljning och utvärdering har enligt inget värde om det inte leder till förbättringar i klassrumspraktiken. lägger därför stor vikt vid att utvärderingssystemet på ett tillförlitligt och relevant sätt fångar upp målen för utbildningen på skol- och elev- nivå. Annars förfelas hela idén med systemet, menar man. Inte minst undergrävs dess legitimitet bland de professionella. Särskild uppmärksamhet bör därför riktas mot att identifiera oavsedda effekter eftersom uppföljning och utvärdering har en betydande potential att påverka beteendet hos skolans aktörer. bör även bidra till att klargöra ansvarsfördelningen mellan olika aktörer vad gäller de olika delarna i systemet och främja nätverkande och samverkan mellan de personer som arbetar med olika utvärderings- och uppföljningsaktiviteter. baseras på granskningsrapporter från ett stort antal länder2. I Sverigerapporten3 konstateras att utvärdering och bedömning har stor betydelse i vårt land på grund av att vi har ett starkt decentraliserat utbildningssystem. De yrkesverksamma behöver få information och feedback i syfte att utveckla kvaliteten på sitt arbete som regeringen behöver kunna följa upp om nationella mål för kvalitet och likvärdighet i utbildningen uppnås. Det svenska förhållningssättet kombinerar enligt nationellt uppsatta mål och standarder samt central provutveckling med en hög 2De länder som ingått i studien är , (den flamländska delen), , , , , , , , , , , och (). 3OECD (2011) Reviews of Evaluation and Assessment in Education. för utvärdering av skolan – för bättre överblick och styrning grad av förtroende för skolans personal att själva utföra utvärdering och bedömning. Enligt har många delar i ett uppföljningssystem på plats. De olika delarna är väl utformade, men man menar att det saknas en strategisk plan eller ett nationellt ramverk för utvärdering och bedömning. En sådan plan eller ett sådant ramverk skulle enligt kunna säkerställa konsekvens och helhetssyn samt bidra till att optimera anpassningen mellan de olika komponenterna, ge en överblickbarhet och utgöra en referens för aktörer som arbetar med utvärdering och bedömning inom utbildningssektorn, reda ut kraven på och villkoren för utvärdering och bedömning på olika nivåer i systemet, förtydliga ansvarsfördelningen och kartlägga utbudet av de verktyg som finns för att årstadkomma optimal praxis. bör enligt bland annat kompletteras med beskrivningar av den kompetens som de som ansvarar för utvär- dering bör ha. pekar vidare på olika möjligheter för att få fram mer pålitliga verktyg för systemuppföljning. Frågor som enligt rappor- ten bör utredas gäller bland annat de nationella proven, stickprovs- baserad kartläggning av studieresultat samt användningen av de internationella studierna. Utredningen återkommer till dessa frågor i det följande. Enligt bör dessutom främja en ökad användning av de data och den information som redan finns. Man menar vidare att tillförlitligheten vid rättningen av nationella prov behöver förbättras samt att den externa utvärderingen i större utsträckning bör grundas på intern självutvärdering. Hur ser det ut i andra länder? I de flesta länderrapporter som ingår i studie återkommer man till behovet av att utveckla utvärderingssystemen och stärka de enskilda delarna i dessa samt till behovet av att skapa ett tydligare ramverk för utvärdering och/eller att tydliggöra kopplingen mellan olika komponenter i systemet. Det gäller även för länder som, liksom , anses ha kommit en god bit på väg i att etablera ett fungerande utvärderingssystem. menat t.ex. att har vidtagit flera åtgärder för att stärka utvärderingskulturen, men förordar ändå att landet ska ta fram en strategisk utvecklingsplan för att slutföra arbetet med att skapa ett utvärderingsramverk. för utvärdering av skolan – för bättre överblick och styrning SOU 2014:12 enligt kompletteras och kopplingen mellan de olika komponenterna behöver förstärkas. Genom kompletterande litteraturstudier av bland annat forsk- ningslitteratur, och i några fall genom besök i länderna, har utred- ningen sökt fördjupa bilden av uppföljnings- och utvärderings- systemen i några länder och systemens roll i samband med genom- förandet av reformer4. Det närmaste vi kommit ett dokumenterat ramverk för utvärdering är i , dvs. ett land som inte deltog i studie. beslutade det dåvarande Utbild- nings- och kulturministeriet om en nationell utvärderingsplan för 2012-20155. Denna innehåller vissa utgångspunkter för utvärde- ringen, organiseringen av utvärderingsverksamheten, riktlinjer för inriktningen av utvärderingen, finansieringen av utvärderingen samt för hur utvärderingsplanen ska följas upp. Även om planen har en övergripande karaktär närmar den sig vad som skulle kunna kallas för ett ramverk. Det är slående att de rekommendationer som lämnar är så pass lika mellan länder som i övrigt är förhållandevis olika. Obero- ende av var länderna står i utvecklingen av sina uppföljnings- och utvärderingssystem är huvudrekommendationen att de bör ta fram eller utveckla ett ramverk för utvärdering. anser uppenbar- ligen att ett sådant dokumenterat ramverk saknas i de flesta länder och att det på ett kraftfullt sätt skulle kunna bidra till utveckling av uppföljningen och utvärderingen av skolans prestationer och ytterst av klassrumspraktiken. Utredningen finner att ambitioner när det gäller ram- verk för utvärdering på många sätt är vällovliga. Vi menar dock att det finns en tendens att utvärdering i tappning ges en så central roll i styrningen av skolan att den nästan av egen kraft för- väntas driva utvecklingen av skolverksamheten. begränsas därmed inte till att utgöra underlag för politiska beslut och till att fungera som utgångspunkt för professionens utveckling av verk- samheten, utan blir ett kraftfullt nationellt styrinstrument i sig. Vi noterar också att utvärderingsbegrepp är smalare än det 4Vi har besökt , , och . Därutöver har vi genom dokument- studier tittat särskilt på även , , , och . 5Undervisnings- och kulturministeriet (2012:15) Utvärderingsplan för utbildningen 2012- 2015. för utvärdering av skolan – för bättre överblick och styrning uppföljning- och utvärderingsbegrepp vi använder i detta betänk- ande, genom att mer avgränsat avse kunskapsresultat. 7.2Förslag om ett nationellt ramverk för utvärdering av skolan Utredningens förslag: Ett nationellt ramverk för utvärdering av skolan fastställs av regeringen, t.ex. i form av en skrivelse till , och kompletteras med regelbundna planer för utvär- dering av skolan. Av dessa planer bör framgå regeringens över- gripande prioritering för utvärderingen av skolan för en överblick- bar period, t.ex. . Förslaget avser skolväsendet i sin helhet, dvs. även förskola och fritidshem. Utredningens bedömning: Ett nationellt ramverk för utvärdering av den svenska skolan bör tydliggöra det övergripande syftet med uppföljningen och utvärderingen av skolan samt -vilka delar systemet består av för att följa upp, utvärdera, grans- ka och beforska skolan, -vilka syften systemets olika delar har och vad de förväntas ge svar på, -hur dessa olika delar förhåller sig till varandra, samt -vilka aktörer som har ansvar för de olika delarna och hur dessa förväntas samverka. Av ramverket bör också framgå vilken roll utvärderingen har i sam- band med större reformer. Ett sådant nationellt ramverk bör beslutas av regeringen och utgöra en stabil grund utifrån vilken den svenska skolan långsiktigt kan utvärderas. Utredningen konstaterar, liksom , att har ett väl utvecklat system för uppföljning och utvärdering av den svenska skolan, om man med det menar att vi har ett väl utbyggt upp- följningsystem. Vi delar bedömningen att det behövs ett tydligare nationellt ramverk för utvärdering av skolan, även om vi inte lägger riktigt samma innebörd i detta begrepp som . Vi föreslår att ett sådant ramverk tas fram. Ett sådant ramverk bör, som vi ser det, tydliggöra det över- gripande syftet med uppföljningen och utvärderingen av skolan. Vidare skulle det tydliggöra dels vilka delar systemet består av för för utvärdering av skolan – för bättre överblick och styrning att följa upp och utvärdera, granska och beforska6 skolan, dels vilka syften dessa olika delar av systemet har och vad de förväntas ge svar på och dels hur de förhåller sig till varandra. Utredningens uppdrag avser utvärderingen av och motsvarande skolformer. Vi anser dock att ett förslag som detta måste avse skolväsendet i sin helhet. Det innebär att t.ex. även förskolan ska ingå. Ett nationellt ramverk för utvärdering ska enligt vår uppfattning beskriva förhållanden på nationell nivå. Det ska omfatta den nationellt insamlade statistiken, annan information från myndig- heter etc. Det finns dock i många fall en relation mellan den nationella nivån och verksamhetsnivån som bör framgå. Ett sådant exempel är de nationella proven som har syften som verkar på olika nivåer i systemet. bör därför även belysa relationen mellan å ena sidan det nationella systemet för uppföljning och utvärdering och å andra sidan den lokala nivån respektive verk- samhetsnivån