sou · H2B312 · 2014-03-12 00:00:00 — Gray5 menar emellertid att evidens kommer att få ökad betydelse i politikutvecklingsprocessen och att beslutsfattande baserat enbart på åsikter och värderingar kommer att minska i betydelse. studier6 av olika länders arbete med att utveckla mer evidensbaserade arbetsformer utgår från synsättet att evidens bör ges en ökad betydelse vid det politiska beslutsfattandet. Resultaten av studier pekar också på att många länder strävar efter att öka evidensens betydelse vid utformningen av sin politik. Detta innebär naturligtvis inte att politiska värderingar kommer att sakna betydelse. Det handlar här mer om en förskjut- ning där politiker i ett allt mer komplicerat och komplext samhälle kommer att behöva utgå mer från evidens vid formandet av sin politik. I en amerikansk studie om användningen av vetenskap i politis- ka sammanhang konstaterar man att det ligger i sakens natur att politikutformning innehåller värderingar och andra närbesläktade överväganden som ligger utanför den vetenskapliga expertisens domän. Även när det handlar om värderingar, är det rimligt, menar man, att förorda användningen av kunskap som beskriver det pro- blem som ska lösas på ett så exakt sätt som möjligt eller som förut- säger sannolika konsekvenser av föreslagna handlingar. Om besluts- fattare beaktar relevant forskning, så kommer de att förbättra chanserna att förverkliga de avsedda följderna av den politik de för fram.7 Användningen av vetenskap i politiska sammanhang kan enligt de amerikanska forskarna inte att skapa bättre politik. Det handlar i stället om vägledning för att förstå ett problem, de förhållanden som ger upphov till dessa problem, och de resultat som sannolikt kan uppkomma när en viss policy riktar sig mot dessa problem. I denna mycket specifika bemärkelse kan, menar de, samhälls- och naturveten- skaperna ge en mer tillförlitlig (bättre) vägledning än vad som i övrigt är tillgängligt för beslutsfattare när de funderar över olika frågeställningar. 5Gray, J. (1977) Evidence-based Healthcare: How to Make and manage- ment Decisions. Här återgiven efter , P. (2004) a.a. 6Här avses de länderstudier som genomfört inom ramen för projektet of Evaluation and Assessment in Education. 7Prewitt, , . Schwandt and (2012) Using Science as Evidence in Public Policy. Science Knowledge in Public Policy. Om evidensinformerad politik och praktik 2.2.2Evidensinformerad snarare än evidensbaserad Överväganden av det slag som redovisats ovan har lett till diskus- sioner om vilka krav som ska ställas för att något ska anses vara evi- densbaserat. Inom vissa delar av evidensrörelsen ställs kraven högt. I princip är det endast (kvantitativa) forskningsresultat grundade på RCT-design (randomised controlled trials) som anses kunna komma i fråga, eftersom det är den enda forskningsdesign utifrån vilken en exakt beräkning anses kunna göras av sannolikheten för att det finns ett kausalt samband mellan den insats som studeras och den effekt som observeras. Andra aktörer har en vidare syn på evidens. Såväl OECD8 som Europeiska kommissionen9 menar att man kan utgå från både experimentell design och från andra metoder. Utredningen ansluter till detta synsätt. Inte heller den centrala administrationen inom den brittiska regeringen, som får anses ligga i frontlinjen inom detta område, gör en så snäv avgräns- ning att endast RCT-design räknas.10 Diskussionen om vad som kan anses vara evidensbaserat har också lett till att vissa uttolkare hellre talar om en evidensinfor- merad än en evidensbaserad politik eller verksamhet. Med evidensinformerad politik avses enligt Gough m.fl.11 ett för- hållningssätt som hjälper människor att fatta välinformerade beslut om politik, åtgärder och projekt genom att sätta bästa tillgängliga kun- skap i centrum för politikutvecklingen och implementeringen. Det finns dock ingen konsensus bland forskarna om vad begreppet evidensinformerad politik innebär i praktiken. En grundläggande skillnad mellan evidensbaserad och evidensinformerad politik är dock vad som kan betraktas som belägg eller bevis (evidens). Vad som kan utgöra belägg vid utformningen av evidensinfor- merad politik kan utöver forskningsresultat även röra sig om expert- 8Se t.ex. (2007) Evidence in Education. Linking research and policy och (2013) Synergies for Better learning. An international perspective on evaluation and assessment. 9Se t.ex. /europeaid/evaluation/methodology/methods/mth_att_en.htm 10Se till exempel The of Evaluation, s. 170 samt Cabinet Office : guidance notes for policy evaluation and analysis. HM Treasury, 2003, updated 2007, och , m.fl. Quality i Qualitative Evaluation: A framwork for assessing research evidence. Cabinet Office, Strategy unit, 2003. 11Gough, m.fl. (2011) Evidence Informed Policymaking in Education in Europe. Rapporten hänvisar i sin tur till ., (1999) What is evidence-based education? 47(2): 108–121. Om evidensinformerad politik och praktik kunskap, statistik, särskilda utredningar, systematiskt genomförda enkäter eller intervjuer med företrädare för berörda organisationer eller verksamheter, utvärderingar av tidigare politiska insatser, resultat från internetsökningar, indikatorer och data från uppföljningssys- temet, kostnadsberäkningar och/eller output från ekonomiska eller statistiska modelleringar, dokumentanalyser, observationsanalyser (platsbesök) och analyser av adminstrativa data och enkätdata12. Med en så vid tolkning av vad som kan utgöra belägg vid ett evi- densinformerat beslutsfattande skulle i princip allt svenskt natio- nellt politiskt beslutsfattande kunna sägas vara evidensinformerat redan genom det beredningskrav som finns inskrivet i regeringsfor- men. Den ambitionsnivå, som begreppet signalerar, ställer dock högre krav på evidens än vad som, enligt vår bedömning, i praktiken är fallet vid nationellt politiskt beslutsfattande i . När behandlar frågor om evidensbaserad/-informerad politikutveckling är det främst ländernas olika system för uppfölj- ning och utvärdering man uppehåller sig vid. Viktiga delar i dessa system är olika former av nationella standards (kunskapskrav), prov för att mäta i vad mån eleverna uppnår dessa standards samt upprättande av indikatorer på måluppfyllelse, t.ex. andelen elever som fullföljt en utbildning.13 fokus ligger således på att länderna i första hand ska bygga upp sina uppföljningssystem, i mindre utsträckning på utvärdering. Systematiska kunskapsöversikter (systematic reviews) och meta- analyser utgör hörnstenar i en evidensbaserad praktik. Känneteck- nande för den klassiska formen av metaanalys är att endast en forsk- ningsdesign som bygger på experimentella, kontrafaktiskt inriktade studier med kontrollgrupp (randomiserade kontrollerade studier) anses motsvara kraven på evidens14. Denna forskningsdesign har fungerat väl inom delar av det medicinska området – som också var det område där formatet med systematic reviews först tillämp- 12Se t.ex. , (2004) Is evidence-Based Government Possibly? samt , , and (2006) Government as structural context for evaluation i , , . and . (Ed.) The of Evaluation. Policies, programs and Practicies. 13OECD (2007) Evidence in Education: . 14Om begreppens närmare betydelse se vidare kapitel 3. Om evidensinformerad politik och praktik ades – men är inte alltid lika tillämpbar för verksamheter som karaktäriseras av att de är komplexa15. Utbildningsområdet karakt- äriseras av en sådan komplexitet liksom, för den delen, delar av hälso- och sjukvården och . Begreppet evidensinformerad är därför relevant även för verksamhetsnivån. Hur begreppet avgränsas från begreppet evidensbaserad skiljer sig dock – som vanligt i dessa sammanhang – åt mellan olika forskare och brukare av dessa begrepp. I en nyligen framlagd avhandling av Levinsson16 beskrivs t.ex. begreppet evidensinformerad som ett försök att anpassa princi- perna för evidensbaserad praktik så att de passar bättre till utbild- nings- och skolsammanhanget. En påtaglig skillnad i förhållande till den klassiska modellen är att betydelsen av lärares professionella omdöme och praktiska kunnande betonas mer bland dem som föredrar begreppet evidensinformerad praktik. Avhandlingen hän- visar till en forskare17 som menar att om resultaten från syste- matiska översikter ska göra skillnad måste de på något vis ramas in av lärares professionella omdöme och införlivas i deras befintliga verksamhet i klassrummet. Enligt menar representanter för evidensinformerad praktik att det finns ett behov av att vidga evidensbegreppet och att systematiska översikter inte enbart bör fokusera på skolans effek- tivitet, utan även på andra frågor som är av relevans för yrkesverk- samma. Det kan i detta sammanhang vara värt att notera att bland annat två tunga aktörer på området, EPPI-center18 och , arbetar med att utveckla metoder för att göra syste- matiska kunskapssammanställningar grundade på kvalitativt inrik- tad forskning. Utredningen förordar begreppet evidensinformerad Utredningen har valt att, där vi inte hänvisar till forskare eller andra författare, använda begreppet evidensinformerad framför evidens- baserad. Vi vill genom detta göra tydligt att vi menar att inte endast 15Se kapitel 3 om utvärdering för en diskussion om vad som avses med komplexa verk- samheter och om följderna av detta för utvärderingsmetodik m.m. 16Levinsson, (2013) Evidens och existens. Evidensbaserad undervisning i ljuset av lärares erfarenheter. Studies in Educational Sciencies. 17Cordingley, (2004) Teachers using evidence: Using what we know about teaching and learning to reconceptualize evidence-based practice. I G. . Pring (red.) practice in education. 18The Evidence for Policy and Practice Information and () at , . Om evidensinformerad politik och praktik forskning, utan även andra källor, kan utgöra underlag för ett besluts- fattande som utgår från evidens. Vi har också övervägt begreppet kunskapsbaserat, men avstått från att använda detta begrepp då det lätt likställs med evidensbaserat. Frågan om evidens i politiken kan ses från två perspektiv – ett styr- ningsperspektiv och ett utvecklingsperspektiv. Vilket perspektiv som dominerar i en nation har betydelse för det syfte och den roll som utvärderingen primärt kommer att ha, och får därmed avgörande betydelse för vilket slags utvärderingssystem som kom- mer att byggas upp. Oavsett vilket av perspektiven som dominerar det politiska beslutsfattandet kommer det att ställa den som från nationell nivå vill stärka inslagen av evidens i beslutsfattandet inför betydande utmaningar. Det handlar för det första om hur man ska få olika parter – på nationell nivå, på lokal nivå och på verksamhetsnivå – att engagera sig i utvärderingsaktiviteter och att använda sig av resultaten från dessa aktiviteter. För det andra handlar det om ett förändringsarbete som berör den nationella nivåns egna arbetssätt, dvs. hur arbetet inom depar- tement och myndigheter organiseras och utförs. Inte minst ställs krav på en genomgripande analys av vilka roller som politiker och andra aktörer ska ha samt vilken ansvarsfördelning som ska råda mellan olika instanser. Att övergå till arbetssätt som innebär en för- stärkning av evidensinformerade arbetsformer ställer därför även krav på både organisationsutveckling och kompetensuppbyggnad på olika nivåer i systemet. Utvärderingssystemets utformning och innehåll m.m. påverkas av vilket perspektiv som dominerar. En aspekt på evidens i ett styrningsperspektiv är när en nations utvärderingsaktiviteter ingår i ett system för styrning av den aktu- ella verksamheten. Dokumenterade prestationer, som mått på sko- lans kunskapsresultat, kan t.ex. användas för att bedöma i vilken mån mål som fastställts för verksamheten har uppnåtts. Om evidensinformerad politik och praktik följning och utvärdering kan med andra ord betraktas som en förutsättning för ett mål- och resultatstyrt styrsystem. De ope- rativt ansvariga förutsätts tolka resultaten och omsätta dessa till förändringar i verksamheten, i syfte att förbättra måluppfyllelsen. Utvärdering kan i detta sammanhang ses som ett sätt att utkräva ansvar från den lokala nivån för de nationellt fastställda målen. Detta sätt att se på utvärdering står nära det synsätt som presenterat i syntesrapporten learning.19 En annan aspekt på evidens i ett styrningsprespektiv gäller i vad mån själva utformningen av nya politiska initiativ bygger på utvär- deringsresultat eller annan evidens. Själva politikformuleringen för- väntas med andra ord i ökad utsträckning utgå från evidens. Under en följd av år har i ett antal länder strävan varit att på central nivå skapa arbetsformer där forsknings- och utvärderingsdata i större utsträckning utgör utgångspunkt för framtida politikutveckling. Exempel på länder i som arbetar med evidensbaserad politik är enligt OECD20 , , och . Dessutom finns liknande exempel från t.ex. och . Intresset för ett beslutsfattande med utgångspunkt i evidens har enligt OECD21 ökat på skolans område, både bland politiskt ansvariga och bland yrkesverksamma. Enligt samma källa är bland annat skälen för detta en ökad oro för utvecklingen av skolornas kunskapsresultat, en ökad tillgång på information och en ökad betoning på prov och utvärdering samt förändringar i det sätt på vilket politiska beslut fattas. Det växande finansdepartementala intresset för utbildningssystemets kostnader och prestationer, insikten om utbildningens roll som drivkraft för innovation och ekonomisk tillväxt samt den uppmärksamhet som riktats mot de svaga kopplingarna mellan forskning, policy och innovation har också, enligt , bidragit till att stärka intresset för evidens i utformningen av politik och praktik.22 19OECD (2013) Syneriges for better learning: An international perspective on evaluation and assessment. An international perspective on evaluation and assessment. reviews of Evaluation and Assessment in Education. 20Se (2013) a.a. 21OECD (2007) Evidence in Education: . 22OECD (2007) a. a. Om evidensinformerad politik och praktik Ur ett utvecklingsperspektiv bör den evidens som genereras genom olika utvärderingsaktiviteter främst användas för att utveckla och förbättra skolans prestationer. Det gäller inte endast lokal utvär- dering utan även nationell utvärdering. Utvärderingsaktiviteterna kan ingå i ett genomtänkt och sammanhållet ramverk, men utgör inte delar i ett styrsystem eller i en top-downorienterad styrkedja. Utvärderingen är i stället tänkt att fungera som utgångspunkt för en lokalt utformad skolutvecklingsstrategi där de yrkesmässigt verksamma anförtros ett stort ansvar för åtgärder som leder till resultatförbättring. Av de länder utredningen har studerat närmare har vi funnit flera utvärderingssystem vilkas huvudsyfte vi bedömer är att leverera empiri som är användbar lokalt och kan ligga till grund för det lokala utvecklingsarbetet. I länder där utvecklingsperspektivet dominerar, som till exempel och , har därför rapportering och återkoppling till de operativt verksamma en viktig funktion. Detta gäller även om det förekommer ytterligare syften, som att informera föräldrar och allmänhet samt i viss mån försörja den nationella nivån med underlag. I länder där utvecklingsperspektivet dominerar är det även van- ligt med satsningar på att bygga upp den lokala kapaciteten att han- tera och utnyttja uppföljnings- och utvärderingsdata samt annan empiri. Vid utredningens besök i underströks att man är mycket försiktig med att införa inslag i utvärderingssys- temet som man uppfattar skulle störa den lokala nivåns upplevelse av tillit och utrymme för eget ansvarstagande. Ett utvärderingssystem som är utformat i ett utvecklingsperspektiv skiljer sig med andra ord på flera sätt från ett system där ut- värderingsaktiviterna främst är kopplade till ansvarsutkrävande (accountability) från lokalt skolansvariga, dvs. skolpolitiker, skol- ledare och lärare. Detta hindrar dock inte att drag från båda pers- pektiven kan förekomma parallellt i olika länder. Enligt utredningen handlar det om att finna en rimlig avvägning mellan de båda perspektiven som man är medveten om vilka inslag som faktiskt inte är förenliga med varandra eller som kan motverka vad man totalt sett vill uppnå. Vi återkommer till dessa frågor i kapitel 6. Om evidensinformerad politik och praktik 2.3Forskning och politik – en problematisk relation Evidensbaserad politik handlar ytterst om relationen mellan politik och vetenskap – en i grunden problematisk relation. Forskning och politik styrs av olika logiker. Forskningen är till sitt innersta väsen analytisk och kritiskt granskande, dess objekt är något som funnits eller fortfarande pågår och den leder sällan till konkreta rekom- mendationer om vilken åtgärd som bör vidtas. Politiken är däremot till sitt väsen framtids-, lösnings- och handlingsinriktad. Den vill veta vad som kan och bör göras. Det finns även en beroende-oberoende-dimension. Forskning kräver oberoende från olika parters intressen. Politiken är aldrig oberoende i detta avseende. En politiker har alltid sina ideologiska utgångspunkter och dessutom många grupper att ta hänsyn till: partimedlemmar, opinionsläget i väljarkåren, majoritetsställningen i etc. Det är därför inte sannolikt att forskningsresultat – även om de i sig är entydiga och pekar mot en tydlig handlingslinje – rakt av läggs till grund för politiskt handlande. Problemet med vilka frågor som är möjliga att beforska, och vilka frågor som inte är det, lägger också hinder i vägen för forskningens användbarhet i politiska sammanhang. Ju bättre avgränsad en forsk- ningsfråga är, desto högre validitet och reliabilitet kan en studie för- väntas ha. Dess intresse för politiken blir dock sannolikt låg. Begräns- ade frågeställningar kan inte ge svar på hur man ska lösa stora och komplexa samhällsfrågor. Sådana stora och komplexa frågor är svåra att beforska med vetenskapligt acceptabla metoder. Hur relevant forskningen kan vara för politiken är en svårlöst fråga. Det finns en uppenbar risk för politisering av forskningen om den låter sig styras. För att öka relevansen i forskningen kan poli- tiken gå för långt i en önskan om att styra forskningsfrågan. Utred- ningen har dock funnit exempel på länder som lyckats skapa olika institutionella arrangemang som kunnat utgöra grund för samver- kan mellan forskare, politiker och myndigheter. Även frågan om timing är svårhanterlig. Forskning tar tid medan politiken kräver snabbt handlande. Forskningsresultat (eller resul- tat från utvärderingar) måste komma vid exakt rätt tidpunkt i för- hållande till en berednings- och beslutsprocess för att bli en del av denna. För tidigt kan innebära att de kommer för tätt inpå en förändring som redan genomförts. Någon ny förändring är då på kort sikt inte tänkbar även om resultaten skulle indikera att det finns ett sådant behov. För sent kan innebära att resultaten inte Om evidensinformerad politik och praktik kan påverka beslutets utformning, eftersom beredningen redan avslutats. En särskild aspekt av timing rör hastigheten i det politiska reform- arbetet. Hanberger23 menar att utvärderingsobjektet vid utvärdering av politiska reformer är ett rörligt mål eftersom förändringar numera sker oupphörligt. blir utvärdering i realtid allt vanligare, dvs. utvärderingar görs under fortlöpande reformering och följer och granskar pågående processer. Detta leder till att frågan om hur sådana förändringar i politiken ska hanteras i varje enskilt fall måste diskuteras noga i samband med att utvärderings- designen utformas. Frågan har stor betydelse för vilka utvärderingsmetoder som kan användas. Vissa mer summativt inriktade modeller utgår från att inga förändringar görs av reformen under implementeringen, dvs. förändringar betraktas som avvikelser från den ursprungliga programteorin24. Andra mer formativt inriktade modeller ger utrymme för att hantera förändringar som ett "naturligt" led i imple- mentering och utvärdering. Ett ökat fokus på evidensinformerade arbetsformer ligger väl i linje med behovet av att stärka utvärderingens roll vid nationell politikutveckling och styrning, liksom vid lokal skolutveckling. Utredningen menar att det är viktigt att försöka finna former för samverkan mellan forskare och politiker. Genom en utökad sam- verkan får politiker bättre underlag för sina beslut och forskare får ett ökat intresse för sina resultat. Utredningen återkommer till denna fråga i kapitel 11. 23Hanberger, (2001) What is the Policy Problem? in Policy Evaluation. 7, No. 24Med programteori avses de föreställningar om orsak och verkan samt om de verkans- mekanismer som finns bakom en åtgärd eller reform. Se vidare i kapitel 3. När evidens blir allt viktigare såväl i samband med politiskt besluts- fattande som vid utformningen av verksamheten, blir också utvär- dering allt viktigare. Utvärdering ingår dessutom som ett naturligt inslag i ett system som, liksom det svenska, bygger på mål- och resultatstyrningens principer. När offentliga verksamheter inte längre, som förr, styrs av precisa regler, utan av ramlagar med generella mål, är utvärdering helt grundläggande för att politikerna ska kunna ta ansvar för den förda politiken. Detta kan förefalla självklart. Över tid och i olika sammanhang har dock begreppet utvärdering getts olika betydelser och tilldelats olika roller. En utgångspunkt för nedanstående genomgång av olika uppfattningar om utvärdering är utredningens övertygelse om att arbetet med att utvärdera skolpolitiska reformer och andra åtgärder kräver en mångfald av teoretiska utgångspunkter, perspektiv, fråge- ställningar och metoder. 3.1Vad menar vi med utvärdering? Utvärdering (evaluation) betecknas ofta som tillämpad samhälls- vetenskap och är ett förhållandevis ungt verksamhetsområde, åtmins- tone som vi tänker om det – som en systematisk undersökning och värdering av en verksamhet, bedriven på ett transparant och kontrollerbart sätt. Utvärdering är inte någon självständig akade- misk disciplin utan ett verksamhetsområde som lånar sina teorier och sin metodologi från olika vetenskapliga discipliner. Utvärdering utövas i en gränslinje mellan forskning och praktik. Det finns forskare som forskar om utvärdering och det finns fors- kare som arbetar med att genomföra utvärdering. Merparten av utvärderingar genomförs dock, helt eller delvis, utanför den strikt akademiska miljön. I olika länder finns institut som arbetar med mer eller mindre forskningsbaserade metoder (se vidare bilaga 5). Dessa institut kan vara helt fristående eller delvis sammanlänkade med en akademisk miljö. De kan också vara mer eller mindre nära kopplade till den nationella politiska nivån. De kan även vara helt fristående företag, t.ex. konsult- och revisionsföretag, som koncen- trerat sig på att utföra utvärderingar. 3.1.1Skilda tolkningar av begreppets innebörd Begreppet utvärdering används på en mängd olika sätt. I den omfattande internationella litteraturen inom utvärderingsområdet används t.ex. utvärdering som ett paraplybegrepp för ett antal sins- emellan olikartade aktiviteter. Gemensamt för dessa aktiviteter är att de på ett eller annat sätt kritiskt granskar en företeelse eller en verksamhet genom att systematiskt samla information om den och att granskningen utmynnar i någon form av jämförelse eller bedömning av värdet (nyttan) av denna1. Sedan skiljer sig uppfattningarna åt vad gäller de teoretiska utgångspunkterna, vilka metoder som kan användas (kvantitativa och kvalitativa), om vem som ska göra den slutliga bedömningen etc. Ett flertal olika indelningsgrunder har föreslagits i syfte att skapa en överblick över hur olika utvärderingsmodeller förhåller sig till varandra. Enligt en sådan indelning kan utvärdering ses som (1) en i huvudsak metodisk kompetens för att mäta, (2) en tolkande och kritiskt värderande verksamhet och (3) en verksamhet inriktad på förändring av både organisationers och individers sätt att fun- gera2.