sou · H2B312 · 2014-03-12 00:00:00 — Andra forskare konstaterar att de olika definitionerna hör sam- man med olika utvärderingstraditioner, t.ex. den amerikanska pro- gramutvärderingen respektive den utvärdering som vuxit fram parallellt med den skandinaviska välfärdsstaten och som inkluderar ett organisatoriskt perspektiv3. I många framställningar framstår utvärdering som något neutralt och värderingsfritt, en systematiserad metod för att få fram kun- 1Lindgren, (2008) Utvärderingsmonstret. Kvalitets- och resultatmätning i den offentliga sektorn. 2Karlsson, (1999) Utvärdering – mer än en metod. Tankar och synsätt i utvärderings- forskning. En serie kunskapsöversikter från . 3Foss , (2012) Systematic evaluation governance. New logics in the develope- ment of organisational fields. skap om något och sedan kunna göra kloka bedömningar om detta något. Andra forskare konstaterar att utvärdering alltid genomförs inom ramen för en styrningsstruktur eller styrningsmodell som både styr utvärderingen och begränsar den4. Detta spänningsförhållande mellan utvärdering som kunskap- ande och utvärdering som en del i ett styrsystem går som en under- ström i nästan allt som tänks och skrivs om utvärdering. Denna spänning kan ses som en återspegling av det spänningsförhållande mellan ett styrningsperspektiv och ett utvecklingsperspektiv som beskrevs i föregående kapitel om evidensbaserad politik och prak- tik. Från mätning till instrument för styrning Utvärderingens roll och funktion i samhället har utvecklats . Olika forskare beskriver och tolkar denna utveckling på olika sätt. Enligt en uttolkning präglades av mät- ning och kontroll, där fokus för utvärderingen inte var att värdera utfallet och där bedömningen överlämnades till beställaren. riktades intresset mer mot processer och mot hur resultatet kommit till. Utvärdering skulle inte enbart vara beskrivande utan förväntades också göra en kvalitativ bedömning av hur verksamheten fungerade. utvecklades sedan en interaktiv utvärdering som bland annat beto- nade deltagarmedverkan för att förbättra utvärderingens relevans för intressenterna.5 En annan historik6 talar om olika utvärderingsgenerationer. Den första generationen utvärderingar beskrivs som the Measurement generation, den andra som the Description generation, den tredje som the Judgement generation och den fjärde som Responsive Constructivist evaluation. I en tredje historik7 identifieras i stället fyra olika utvärderings- vågor : den vetenskapliga vågen, den dialog- orienterade vågen, den nyliberala vågen och den evidensbaserade vågen. 4Hanberger, (2012) Framework for exploring the interplay of governance and evalu- ation. 16(3): 9–27. 5Karlsson, (1999) Utvärdering – mer än en metod. Tankar och synsätt i utvärderings- forskning. En serie kunskapsöversikter från . Se t.ex. Gröjer a.a. 7Vedung och Krogstrup . Här citerade efter , (2012) a.a. I en fjärde historik8 urskiljs slutligen tre skikt som, enligt fors- karen, alla kan återfinnas inom dagens utvärderingspraxis. Det första skiktet, ursprungligen inspirerat från , fokuserar utvär- dering av specifika program, dvs. experiment och reformer inom den offentliga sektorn. Utvärdering inriktas mot implementering av olika politiska beslut och initiativ och organiseras ad hoc i köl- vattnet på dessa. Det andra skiktet är kopplat till system för att leda verksamhet och förbättra verksamhetens prestationer. Sådana system har utvecklats i en bred grupp anglo-amerikanska länder och fokuserar utvärdering av en viss aktör. Den bärande idén är att en organi- sation eller verksamhet måste granskas och utvärderas av sin huvud- man – i syfte att säkra kvalitet, ansvarsutkrävande och resultat. Denna form av utvärdering organiseras mer rutinmässigt, t.ex. i form av återkommande processer som definierar mål och bedömer i vilken grad målen uppfyllts. Det tredje skiktet fokuserar utvärdering av en mångfald av enhe- ter, organisationer och nationer. Den bärande idén är att jämförel- ser och transparens i en organisation främjar lärande samt skapar en stimulerande och problemlösande miljö där aktörerna strävar efter att förbättra sin konkurrenskraft. Utvärderingspraxisen organiseras som återkommande rutiner som omfattar flera organisationer. Det finns, enligt , i själva verket två sätt att styra organisationer genom utvärdering. Den första metoden är målstyr- ning (performance management eller management by objectives, ). Vid målstyrning handlar det om att utvärdera individuella organisationer i förhållande till kriterier som fastställts av huvud- mannen (jfr det andra skiktet). Till skillnad från detta syftar syste- matisk utvärderingsstyrning (SEG) till att jämföra och bedöma flera aktörer sinsemellan genom att använda en gemensam uppsättning av utvärderingskriterier (jfr det tredje skiktet). Det kan konstateras att SEG under de senare decennierna fått en allt större internationell utbredning och ett starkt institutionellt genomslag. 8Foss , (2012) a.a. 9Foss , (2012) a.a. En följd av att olika aktörer definierar begreppet utvärdering på olika sätt är att begreppets relation till vissa andra näraliggande begrepp behöver klargöras. I görs ofta en distinktion mellan uppföljning och utvärdering där uppföljning, något förenklat, svarar på frågan vad som skett medan utvärdering även svarar på frågan varför. Uppföljning beskrivs som en regelmässig och fortlöpande insamling av informa- tion för att kontrollera hur en verksamhet genomförs. Uppfölj- ningen är ofta en intern aktivitet som sker löpande enligt fastställda rutiner, medan utvärdering ofta genomförs av extern expertis på uppdrag av någon i den egna organisationen eller utanför denna.10 Uppföljning sker således kontinuerligt medan utvärdering sker vid särskilda tillfällen och innebär en djupare analys som avslutas med en värdering eller en bedömning. Uppföljningens mål är att genom systematiskt genomförda beskrivningar som bygger på sak- uppgifter, kontrollera vad som sker i verksamheten, vanligen genom nyckeltal, budgetutfall eller liknande, medan målet vid utvärdering i stället är att producera en bedömning av objektet för utvärd- eringen11. Det kan dock vara svårt att dra en tydlig skiljelinje mellan upp- följning och utvärdering eftersom uppföljningsinformation också kräver någon form av analys och värdering för att kunna använ- das12. Det kan tilläggas att utvärdering på motsvarande sätt är beroende av uppföljning och ofta bygger på data som samlats in inom ramen för ett uppföljningssystem. Den distinktion som ofta görs i mellan uppföljning och utvärdering görs inte på samma sätt i internationella sammanhang. När t.ex. talar om evaluation är det det vi i skulle kalla för uppföljning man avser. Det handlar med andra ord om att i olika sammanhang redovisa och använda statistik och andra uppföljningsdata. Det bör även noteras att follow up, dvs. den ordagranna översättningen till engelska av den svenska 10Se t.ex. a.a., (2008) a.a. och Statskontoret (2001) a.a. 11Karlsson, (1999) a.a. 12Lindgren, (2008) a.a. termen uppföljning, inte har någon självklar förankring i den angloamerikanska diskursen. Där talar man hellre om performance measures m.fl. liknande begrepp när man avser uppföljnings- data. I Reviews of Evaluation and Assessment in Education13 används termen evaluation när man relaterar till bedömningar av effektiviteten i skolor, skolsystem, policys och program, medan man använder assessment när man relaterar till bedömningar av individuella framsteg och prestationer i förhållande till lärandemål. Det gäller i det sammanhanget såväl klassrumsbaserad bedömning som storskaliga, externa bedömningar (motsvarande de nationella proven i ) och examinationer. Med evaluation and assessment framework avser ett sam- ordnat arrangemang för uppföljning och utvärdering (av skolor/skol- system/program) och bedömning (av elevers kunskapsprestatio- ner) som ytterst syftar till att förbättra elevernas resultat inom ett skolsystem. Detta betänkande ansluter till den svenska tradition där uppfölj- ning och utvärdering ges olika betydelse och där utvärdering inne- bär en djupare analys och bedömning som inte bara syftar till att fastställa ett förhållande, utan att också förklara det. Som motsva- righet till engelskans övergripande paraplybegrepp evaluation används antingen samlingsbegreppet uppföljning och utvärdering eller begreppet utvärderingssystem. Se vidare kapitel 7 om ram- verk för utvärdering. Även relationen mellan utvärdering och utvecklingsarbete kan vara otydlig, vilket bl.a. har att göra med att utvärdering både kan utgöras av en produkt (en utvärderingsrapport) och en process (under pågående utvärdering). I en övergripande mening kan man säga att merparten av all utvärdering har en relation till förändring eller utveckling. Även en utvärdering som är av mer summativ eller kontrollerande karaktär leder, om resultaten inte är de som för- väntats, ofta till beslut om förändringar. Det gäller på såväl nationell nivå som verksamhetsnivå. Dessutom sker det ofta en 13 (2013) Synergies for Better Learning. Perspective on Evaluation and Assessment. påverkan på verksamheten av en utvärdering, även i de fall detta inte varit syftet. På verksamhetsnivå kan utvärdering dessutom ha en mer nära relation till utveckling. Man kan å ena sidan tala om utvärdering av utvecklingsarbete, å andra sidan om utveckling genom utvärdering14. I det senare fallet handlar det om att utvärderingen syftar till att bidra till ett pågående förändringsarbete, dvs. att utvärderingen ges en utvecklingsdrivande funktion. Det är viktigt att se vad som skiljer dessa aktiviteter åt. Medan utvecklingsarbetets mål är att komma fram till en förändring som är positiv för verksamheten inklusive intressenterna/brukarna är utvärderingens mål alltid att göra en bedömning eller en jämförelse, t.ex. mellan olika utfall. I vissa forskningssammanhang talar man dessutom om exempel- vis aktionsforskning. Denna forskningsansats betonar kunskap som utvecklas genom handling och forskningen bedrivs i ett nära sam- arbete mellan forskaren och praktikern. Vad som utgör skillnaden mellan aktionsforskning och en utvecklingsinriktad utvärdering kan i praktiken vara svårt att avgöra. Tillsyn tillämpas företrädesvis i sammanhang där staten har gjort en utfästelse i relation till en enskild medborgare eller till en grupp av medborgare. Tillsyn har det gemensamt med utvärdering att verk- samheter granskas och bedöms. Enligt Statskontoret är en viktig skillnad mellan tillsyn och utvärdering att bedömningskriterierna är relaterade till den relevanta lagstiftningen, medan kriterierna vid utvärdering fritt kan väljas utifrån vad utvärderaren eller uppdragsgivaren är intresserad av15. Denna definition av tillsyn överensstämmer i princip med den som ges i regeringens tillsyns- skrivelse16 . Där framgår dock att det i vissa fall kan finnas skäl att göra avsteg från denna strama definition och användning av begreppet tillsyn, bl.a. mot bakgrund av hur detaljerad lagstift- ningen är och hur många tillsynsobjekt det finns. 14Karlsson, (1999) a.a. 15Statskontoret (2011) Fristående utvärderingsmyndigheter – en förvaltningspolitisk trend? 16Regeringens skrivelse 2009/10:79 En tydlig, rättssäker och effektiv tillsyn. Om utvärdering SOU 2014:12 Den kanske mest grundläggande skillnaden mellan forskning och utvärdering är att forskning inte är lika starkt knuten till externt givna ramar för sin undersökning som utvärdering. Utvärdering sker inom en mer begränsad uppdragsram som formulerats av beställaren17 medan forskningen sker med utgångspunkt i en inom- forskningsstyrd teoriram som formulerats av forskaren.18 Utvär- dering är dessutom mer tydligt inriktad på att göra en bedömning av en specifik verksamhet eller insats, som är relevant för beställaren, medan forskning oftare är inriktad mot kunskapsutveckling och kritisk granskning. Betecknande för forskning är vidare att det rör sig om en kumu- lativ process som bygger vidare på tidigare forskning och att nya resultat förväntas ge ett bidrag till en eller flera vetenskapliga diskurser (generaliserbarhet). Utvärdering syftar i stället primärt till att komma till praktisk användning. I har utvärdering inom skolområdet av tradition uppfattats som en form av vetenskap där det problem som ska studeras är bestämt av den som beställt utvärderingen, till skillnad från forskning där forskaren själv avgör vilket problem som ska beforskas. Utvärderarens frihet begränsas också, till skillnad från forskarens, genom syftet med utvärderingen – om det är formativt eller summativt. I likställdes tidigare utvärdering med utvärdering av elever, dvs. Denna starkt begränsade tolkning av vad utvär- dering är – eller kan vara – i skolsammanhang, utmanades dock av tillkomsten av så kallad formativ utvärdering, dvs. utvärdering som görs innan en aktivitet har avslutats i syfte att kunna bidra till att anpassa processen och därmed förbättra utfallet av denna. Vid sådan utvärdering läggs fokus lika mycket på hur utbildningspro- grammet fungerar i verksamheten, som på om det leder till de avsedda målen eller inte.21 18Även begreppet problemram förekommer. Med detta begrepp avses att man ringar in det som olika parter ser som gemensamma frågor att utvärdera. menar att man genom att använda problemram kan komma förbi den låsning som riskerar att uppstå i kampen mellan den forskningsinriktade utvärderarens ambition att kvalificera utvärderingen utifrån teoretiska krav och beställarens önskan att styra utvärderingen genom en preciserad upp- dragsbeskrivning. 19Statskontoret (2011) a.a. 20Harlen, (2009) Reflections on a personal journey in research. (/resources/scitutors/research/research-wynne-harlen/) 21Harlen, (2009) a.a. Forskningsbaserad utvärdering och utvärderingsforskning Att det finns en närhet mellan utvärdering och forskning framgår av att man i utvärderingssammanhang ibland talar om forsknings- baserad utvärdering, dvs. utvärdering som går på djupet vad gäller teoretiska utgångspunkter, begrepp, metodik m.m. och som oftast genomförs av utvärderare med forskarkompetens. Begreppet bör inte sammanblandas med begreppet utvärderings- forskning. Detta begrepp kan visserligen ges samma innebörd som forskningsbaserad utvärdering, men avser oftast forskning om utvärdering. Fokus i detta avsnitt ligger på utvärdering som sker på nationell nivå. Utvärdering kan givetvis även ske på lokal nivå samt inom enskilda verksamheter och det finns särskilda utvärderingsdesigner som utvecklats för att passa olika sådana syften. Exempel på sådana former av utvärdering är bl.a. följeforskning och brukarutvärdering. Dessa med flera andra liknande ansatser kommer inte att tas upp här. Även när denna avgränsning gjorts kan det konstateras att anta- let teoretiska utgångspunkter, modeller och metoder inom utvär- deringsområdet är mycket stort och att nya designer utvecklas ständigt. Området är alltså svåröverskådligt. kon- staterade forskare att det saknas en allmänt erkänd terminologi och typologi inom området22. Även en välkänd handbok23 inom området avstår från att försöka ge en samlad översikt över hur olika teorier och metoder förhåller sig till varandra. Snarare än att slå fast vilken/vilka metoder som är den/de enda rätta har handboken som utgångspunkt att diskutera vad som är god utvärdering. En annan utgångspunkt är att utvärderingsmetod bör väljas utifrån syftet med utvärderingen. Utredningen anser detta vara insiktsfulla utgångspunkter som det går att finna stöd för såväl inom forskningen som bland dem som praktiskt utför utvärderingar. 22Gough, , and (2012) Clarifying differences between review designs and methods. 23Ian F. , . and . (2006) The of Evaluation. , Thousand Oaks, . Den tydligaste skiljelinjen inom utvärderingsområdet när det gäller metodologi är, historiskt sett, den som handlar om kvantitativa och kvalitativa metoder. Denna och andra diskussioner är dock inte specifika för forskningen om utvärdering utan bör ses som åter- speglingar av centrala kunskaps- och vetenskapsteoretiska diskus- sioner som ständigt förs i vetenskapssamhället – diskussioner som både format den vetenskapliga utvecklingen och formats av denna. Effektutvärdering (effektmätning) uppfattas av många som starkt kopplad till kvantitativ analys och kvantitativ presentation av resultat. Effektutvärdering har också traditionellt sett varit så starkt förknippad med utvärdering att begreppen för vissa närmast fram- stått som synonyma24. Med effekt menas per definition alltid en jämförelse mellan en faktisk uppmätt (skattad) utveckling och den utveckling som skulle ha inträffat om den gjorda insatsen inte hade gjorts, dvs. den kontrafaktiska utvecklingen. Det randomiserade kontrollerade experimentet (randomized controlled trials, RCT) är en kraftfull teknik för effektmätning, som bygger på jämförelser mellan slumpmässigt konstruerade försöks- och kontrollgrupper. En RCT kan med hög validitet och reliabilitet ge svar på frågor om korrelation (samband) och kausalitet (orsak- verkan). Modellen omnämns därför ofta som en gyllene standard för utvärdering. När det inte finns förutsättningar för att konstruera ett experi- ment med en slumpmässigt konstruerad kontrollgrupp kan man använda en så kallad kvasiexperimentell design. Vid en sådan design åstadkoms en jämförelsegrupp, som i allt väsentligt antas motsvara experimentgruppen, men som inte är slumpmässigt konstruerad. Detta kan ske i efterhand. kan s.k. naturliga experiment uppstå, som gör att en viss population kan delas in i en experiment- respektive en jämförelsegrupp. 24 Den första generationen av utvärderare har t.ex. benämnts the measurement generation. Effektutvärderingens möjligheter och begränsningar som effektutvärdering i många sammanhang är en stark utvärderingsmetod står det klart att effektstudier – precis som varje annan form av utvärdering – också kan förknippas med olika svårig- heter och begränsningar. De kan vara tids- och resurskrävande och de kräver också att reform- och implementeringsstrategier utformas på ett sådant sätt att de blir möjliga att genomföra. Enligt betänkandet Att nå ut och nå ända fram (SOU 2009:94) är det ofta svårt att fastställa en sluteffekt om effektkedjan (eller mål- medelkedjan) är lång och sker i flera steg. Liknande problem upp- står om flera förändringar sker . Det blir då svårt att sär- skilja de olika effekterna från varandra. Utredningen konstaterar att skolan är ett område där svårigheter med långa effektkedjor och med att särskilja effekter från varandra är vanligt, något som pekar på behovet av kompletterande ansatser. Synsättet att så många olika slags fakta oftast är involverade i en förändring att det inte går, eller är mycket svårt, att hänföra en viss förändring till en specifik intervention är även företrätt inom forsk- ningen. konstaterar till exempel att mäta är inte att utvär- dera25. Han menar att det i många fall är rimligare att titta efter bidrag (contribution) än efter effekter (attribution). Det finns ofta fler än en händelse som påverkat en viss förändring och många resultat är inte heller dikotoma, dvs. det är inte fråga om antingen eller. Frågan är snarare hur stor andel av den samlade effekten som kan tillskrivas en viss intervention. En annan invändning som riktats mot effektutvärdering handlar om att denna metod anses utesluta olika former av kvalitativa data, till exempel i form av enkätsvar eller genom observationer. Det har hävdats att det finns angelägna varför-frågor som effektutvärdering kan ha svårt att besvara, dvs. en typ av frågor som politiker och beslutsfattare ofta vill ha svar på. Det finns forskare som menar att utvärdering av politiska inter- ventioner måste gå längre än vad som vanligen sker vid studier av hur politik och politiskt beslutsfattande bidrar till utveckling av demokrati och politisk legitimitet. 26 Frågor måste också ställas om huruvida politiken är väl utformad för den särskilda problemsitua- tionen och vilka värderingar och vilken ordning den främjar. 25White, (2010) A contribution to Current Debates in Impact Evaluation. Evaluation, No. 26Hanberger, (2001) What is the Policy Problem? in Policy Evalation. Evaluation, Vol. 7, No. av detta slag kan, menar man, inte besvaras inom ramen för en strikt RCT-studie. () är inne på liknande tanke- gångar. Vill man undersöka om insatsen har haft effekt eller inte bör man enligt undersöka möjligheterna att genomföra en effektutvärdering med en experimentell ansats. Vill man i stället förstå hur och på vilket sätt en insats påverkar eller inte påverkar ett visst resultat, därför att man kanske vill förbättra eller justera insatsen, bör man använda en processinriktad, dvs. en program- teoretisk, ansats. Detta behöver enligt inte uppfattas som att det finns en hierarki mellan olika metoder. De svarar helt enkelt mot olika frågeställningar och levererar olika slags kunskap. Den experimentella ansatsen kan t.ex. ge ett kvantitativt mått på styrkan i ett samband, medan den processinriktade ansatsen kan bidra till en förståelse och förklaring av ett sådant samband (eller till avsak- naden av ett sådant). Det kan därför finnas goda skäl att kombinera dessa båda ansatser i stället för att se dem som uteslutande varandra. Utredningen konstaterar att det pågår en utveckling av metoder för effektutvärdering, inte minst till följd av att den statistiska metodiken förfinas alltmer. Inte sällan handlar de metodo- logiska nyheterna om mer avancerade modeller för att hantera bias28 av olika slag. Den experimentella ansatsen utvecklas också på så sätt att man inte endast intresserar sig för effekter i form av resultat utan även för att undersöka processer och mekanismer.29 Teoribaserad eller teoridriven utvärdering kan vid sidan av effekt- utvärdering ses som en andra huvudinriktning inom utvärdering. De teoribaserade utvärderingsmodellerna utgår från en teoretisk referensram som beskriver utvärderingsobjektets tillkomst, organisa- tion, mål och verksamhet, samt kopplingar mellan dessa och mellan organisationen och omvärlden. 27Danmarks kan man evaluere effekt? (/udgivelser/2012/effektevaluering-notat) Allmänt: felaktigheter i vetenskapliga resultat p.g.a. något systematiskt fel i forskningsprocessen vad gäller t.ex. insamling av data, bearbetning eller analys av resultat. Källa: NE. 29Se t.ex. , . Kling and Sendhil Mullainathan (2011) Mechanism Experiments and Policy Evaluations. 25, Nr. EU-kommissionen30 anger att teoribaserad utvärdering fokuse- rar på de teorier som ligger inbäddade i en policy eller ett program, dvs. de antaganden som beslutsfattare och intressenter gör avse- ende de förutsättningar, mekanismer och ramar som krävs för att en intervention ska fungera. Teoribaserade effektutvärderingar testar dessa antaganden mot de resultat som observeras (empiri) i samband med de olika stegen i programteorin och undersöker även andra faktorer som kunnat påverka utfallet. Därigenom blir det möjligt att förklara varför och hur resultaten har inträffat och att bedöma i vilken mån det specifika programmet bidragit till resul- taten och i vad mån andra faktorer påverkat dessa. Kommissionen menar att det är av största betydelse för besluts- fattandet att förstå varför och under vilka förutsättningar en inter- vention av något slag påverkar och ger upphov till effekter. Teori- baserade utvärderingar gör det möjligt att bedöma om ett program fungerar, hur det fungerar och i vilket sammanhang. skapar de en ram för att bedöma effekten av komplexa program som integrerar olika interventioner och kan användas för verk- samhet som inte lämpar sig för utvärderingar av kontrafaktiska effekter. En utgångspunkt för teoribaserad utvärdering är att det går att bilda sig en uppfattning om vilka antaganden som beslutsfattaren gjort om hur reformen eller åtgärden är tänkt att verka för att upp- nå avsett syfte, en s.k. programteori. Programteori kan beskrivas som välgrundade och väl motiverade uppfattningar om hur och varför en intervention antas påverka något31.