urf · H5A5URF2d2 · 2018-02-15 00:00:00 — Institutions som en central förändringsagent i etablerandet av denna praktik.40 I kom detta till uttryck genom att gav ut hand- ledningar och genomförde utbildningar om just utvärdering. just denna roll särskilt accentuerad i genom att en särskild avdelning inom RRV svarade för de verksamheter som överfördes till Inom denna avdelning var just stöd till myndigheter genom utveckling av utvärderingsmetoder, information och utbildning viktiga 34 RRV 1970. 35 Chelimsky 1997, Team 2009, s.237. 36 Chelimsky/2009, s. 237. 37 Bemelmans-Videc m.fl. 1994, s. 162 – 165, Bemelmans-Videc 2002 samt egna samtal med 38 1993, s. 55. 39 1993, Vedung m.fl. 2000. 40 Derlien 1990, s.162. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET 3 Begränsad forskning om effektivitetsrevisionen På nationell nivå har, med undantag för , effektivitetsrevision, eller performance audit, etablerats i organisationer som i huvudsak ägnar sig åt traditionell revision. I vissa fall, till exempel , och sågs den som en utvidgning av den revision som traditionellt bedrivits i respektive organisation.41 I andra fall sågs den som en ny helt verksamhet – evaluering (utvärdering) – och inte som revision över huvud taget; detta var särskilt fallet i när den etablerades inom . var effektivitetsrevisionens egen relation till evaluering, eller utvärdering som man började säga i , oklar. Trots detta blev en viktig uppgift för performance audit, , att etablera utvärdering i olika länders förvaltningar. har också performance audit varit en viktig del i en moderniseringsvåg av som inte minst haft organisationer som och som entreprenörer. Effektivitetsrevision växer således fram i ett landskap av oklara gränser och influenser. Detta, liksom blandningen av människor från olika traditioner, i kombination med de många officiella uttalandena om vikten av effektivitetsrevision, gör att man möjligen skulle kunna förvänta sig en livlig debatt om hur denna verksamhet kan beskrivas, vad som är dess syften och de mekanismer genom vilka dessa syften kan nås. I verkligheten är det dock slående hur lite forskning som finns om effektivitetsrevision. Detta blir tydligt inte bara i jämförelse med till exempel ett område som utvärdering, utan också med ett fält som . Även om det är står klart att varje försök att mäta omfattningen av forskningen om effektivitetsrevision leder till frågor om avgränsningar och definitioner, kan det påstås att de artiklar och böcker som publicerats om effektivitetsrevision ryms i tämligen normalstora bokhyllor. De litteraturöversikter som publicerats motbevisar inte detta påstående.42 I de följande kapitlen kommer det att hänvisas till många bidrag till den existerande forskningen om effektivitetsrevision. I detta kapitel ska dock ges en mycket översiktlig bild av inriktningen på denna forskning. 3.1 Vad forskas det om? Den forskning som finns gäller oftast frågor som är principiellt betydelsefulla utifrån förhållanden i en eller några enstaka länder.43 I en artikel 1999, Appendix 3. 42Eurosai 2016, Tremblay och Malsch 2016. 43Till exempel 1999, 1999, Morin 2004, Put , Sharma 2007, Reichborn- Kjennerud 2014a, Reichborn-Kjennerud 2014b, Raudla m.fl. 2015, Jeppsen m.fl 2017. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET noteras mera allmänt att “up till now, the – very small – available empirical literature has focused om analyzing the effects of SAI:s within countries”.44 Den forskning som finns fokuserar ofta också på jämförelser – likheter och skillnader – mellan effektivitetsrevision och utvärdering. Detta har rimligen samband med att en stor del av debatten om effektivitetsrevision har initierats av personer som är verksamma inom utvärderingsområdet, och olika inlägg har publicerats i litteratur (tidskrifter och böcker) som i första hand vänder sig till praktiker och forskare inom utvärdering. Detta är till exempel fallet när New Directions for Evaluation gav ut ett särskilt nummer med titeln ”Evaluation and Auditing: for Convergence” eller Maynes artikel ”Audit and evaluation in public management: challenges, reforms and different roles” Exemplen illustrerar också ett allmänt förhållande. Den avsaknad som tidigare nämnts, av tidskrifter, forskningskonferenser och så vidare kring effektivitetsrevision gör att det inte finns till exempel forskningsmiljöer, tidskrifter som är särskilt inriktade på effektivitetsrevision. Artiklar och diskussioner om effektivitetsrevision förs därmed i tidskrifter och på konferenser inom andra forskningsområden. De två mest framträdande är inom utvärdering och public administration. Om man ser på referenserna i olika artiklar kring effektivitetsrevision avser huvuddelen bidrag av författare som också är verksamma inom dessa områden. Härutöver återfinns artiklar om effektivitetsrevision i tidskrifter som är inriktade på revision i allmänhet. Om beskrivningen av den befintliga litteraturen om effektivitetsrevision utvecklas något är det möjligt att skilja mellan fyra olika aspekter. •Grundläggande föreställningar; Effektivitetsrevisionens underliggande rational/logik, föreställningar om hur effektivitetsrevisionen kan påverka administrativa och politiska system. •Skillnader i institutionella och historiska förutsättningar för olika länders effektivitetsrevision (juridisk reglering, relation till parlamentet, tillgång på information och så vidare). •Praktiken i olika nationella revisionsorgan; Metoder och tekniker som används, vad som granskas, vilka frågor som ställs och vilka bedömningskriterier som tillämpas, hur rekommendationer och analyser används. •Hur skillnader mellan olika nationella revisionsorgans tillvägagångssätt kan förklaras. Den litteratur som finns fokuseras på de tre senare aspekterna, och möjligen mest den tredje. Det är emellertid få bidrag som ställer frågor kring grundläggande föreställningar om effektivitetsrevision och dess roll i ett vidare demokratiskt sammanhang. Det betyder inte att detta inte alls har tagits upp i diskussionen.46 Trots detta kan vi påstå att forskning, och mera allmän debatt, om 44Blume och 2010, s. 216. 45Wisler 1996 resp. 2006. 46I viss utsträckning diskuteras dessa frågor till exempel av Leeuw 1996, Barzalay 1996, 1999, 2006, Lonsdale och Bemelmans-Videc 2007, 2007, Furubo 2011, Leeuw 2011. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET effektivitetsrevision mest har gällt verksamheten i enskilda nationella revisionsorgan och ibland jämförelser mellan dem. Det är alltså inte så att vi kan gå till litteraturen och snabbt finna klara, och allmängiltiga, svar på frågan om vad effektivitetsrevisionen ”handlar om”. Däremot kan den litteratur som finns hjälpa oss att förstå olika synsätt och argument. 3.2 Hur kan detta förklaras? En möjlig förklaring till att forskningen om effektivitetsrevision är så begränsad är att den historiskt förknippas med den statliga revisionen, som vanligen utförs av endast en organisation i varje land. Performance audit har därmed helt enkelt blivit det som dessa organisationer valt att kalla effektivitetsrevision. Denna knytning till en organisation, en arbetsgivare, kan också ha bidragit till att det aldrig uppstått professionella organisationer eller andra fora för dem som bedrivit effektivitetsrevisionen. Det kan till exempel noteras att det inte finns någon tidskrift (journal) som ägnar sig åt effektivitetsrevision medan det finns ett stort antal utvärderingstidskrifter och tidskrifter för vanlig revision. En annan tänkbar förklaring är att effektivitetsrevisionens roll kan ha uppfattats som tämligen oproblematisk. Effektivitetsrevisionen var inte enbart en utvärderare bland många andra utan en dominerande aktör i det europeiska utvärderingslandskapet, något som bland annat framhållits av Derlien.47 De nationella revisionsorganens roll som entreprenör för utvärdering inom staten gjorde att det inte fanns någon anledning, vare sig för dessa organ själva eller för omvärlden, att särskilja det de propagerade för från det de själva gjorde. 3.3 Är detta ett problem? En berättigad fråga är dock om den bristande forskningen om effektivitetsrevision och de skiftande uppfattningarna om vad den handlar om har varit ett problem. Mycket tyder på att så inte har varit fallet. Tvärtom är det kanske till en del just det förhållandet att effektivitetsrevisionens närmare innebörd har kunnat uppfattas på olika sätt som förklarar dess internationella spridning. Och litteraturen indikerar inte heller att ledningarna för olika nationella revisionsorgan eller deras uppdragsgivare sett detta som ett problem. Under de senaste 15–20 åren har dock situationen förändrats i flera viktiga avseenden. Sammantaget har dessa förändringar gjort att oklarheten om vad effektivitetsrevisionen är kan ses som problematisk, både för uppdragsgivarna och för effektivitetsrevisionen själv. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET • En kraftfull ökning av utvärderingar. Några tillförlitliga siffor på hur mycket som utvärderas finns inte, resultatet av varje sådan beräkning beror på olika definitioner. För svenskt vidkommande har det dock antagits handla om ett antal miljarder.48 • En institutionalisering av utvärderingar. Detta kan beskrivas i termer av ”from studies to streams” och att det i ökande grad har skapats system för utvärdering.49 Denna institutionalisering har också starkt påverkats av de synsätt som sammanförts under etiketten (NPM). I detta sammanhang kan vi också notera, inte minst i , att antalet utvärderingsmyndigheter, med lite olika benämningar har ökat.50 • En växande diskussion och forskning om fenomen som utvärdering och Ofta hänvisas här till Powers diskussion om the audit society.51 Ett stort antal analyser har påvisat negativa sidoeffekter av utvärdering lik- som begränsningar i användbarheten av utvärderingarna.52 Den debatt som har förts under ungefär två decennier om negativa sidoeffekter både av olika performance measurement systems och utvärderingssystem träffar till en del också effektivitetsrevisionen, inte minst eftersom många nation- ella revisionsorgan uppfattats som entreprenörer för dessa idéer. • Ett ifrågasättande av många av de föreställningar om ”public administ- ration” som präglade forskning och diskussion under de år effektivitetsre- visionen växte fram, och som till en del kan ses som ”inbäddade” i effek- I detta sammanhang bör det påpekas att det finns ett komplext samband mellan effektivitetsrevision och de synsätt, nyss nämnda, som växte fram inom offentlig förvaltning under i synnerhet och som senare sammanfördes under etiketten New Public Ma- nagement (NPM). NPM påverkade effektivitetsrevisionen på flera sätt. Som framgått tidigare fick i flera länder, inklusive , de nationella revisionsorganen en roll i att genomföra de styrformer som växte fram un- Put har genom att analysera granskningar genomförda av de nationella revisionsorganen i och studerat hur de påverkats av olika karakteristika som associeras med NPM.53 De skillnader han kan konstatera kan förklaras av omfattningen av olika NPM- reformer i de olika länderna. Motsvarande studier av den svenska effekti- vitetsrevisionen finns inte. Det framstår emellertid inte som orimligt att 48 genomförde på uppdrag en studie i vilken kostnaderna för utvärdering inom staten skattades. Den avsåg utvärdering utförd inom myndigheter och och beräknade kostnaderna för denna till cirka 2 miljar- Här ingick dock inte all statlig utvärderingsverksamhet och utredningen konstaterade att en rimlig bedömning var att kostnaderna uppgick till mellan 2 och 3 miljarder (Styrutred- ningen 2007, s. 141). Stora delar av utvärderingsverksamhet ligger dock utanför också denna siffra. Även om exakta beräkningar av olika skäl är svåra att göra ligger kostna- derna för utvärdering i i vart fall på ett antal miljarder. 49 Rist och Stame 2006, Leeuw och Furubo 2008. 50 Statskontoret 2014, 2018. 51 1994, 1997 och 2000. 52 Se till exempel de Bruijin 2007, Leeuw 2011, Pollitt och Bouckaert. 2013 och 2014. 53 Studie av Put refererad i Put och Bouckaert 2013, s. 230. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET anta att NPM starkt påverkat uppfattningen om vad effektivitetsrevisionen ska ställa för frågor och valet av bedömningskriterier. •En debatt om sådana begrepp som accountability och ansvar. Inte minst gäller detta frågan om olika former av accountability och, vilket nämnts, vilka negativa effekter dessa kan ha men också mera teoretiska frågor.54 •Performance auditing görs i allt fler sammanhang. Detta är inte något helt nytt. Det kan dock hävdas att medvetenheten ökat om att effektivitetsrevision inte bara görs av de nationella revisionsorganen. Det finns flera studier som fokuserar på effektivitetsrevision i delstater, provinser, kommuner etc.55 Den omvärld i vilken effektivitetsrevisionen verkar har alltså förändrats i viktiga avseenden. Effektivitetsrevisionen har i allt högre grad blivit ett av många sätt att bedriva utvärdering, tillsyn, inspektion, granskning och så vidare. problematiseras mycket av det som tagits för givet kring både utvärdering och revision. Detta kan förväntas leda till ökade krav på att klargöra vad effektivitetsrevisionen är och hur den antas verka och bidra till statens verksamhet. Vad gäller effektivitetsrevision tillkommer också en särskild omständighet. Effektivitetsrevision har, jämfört med andra utvärderingssätt, getts en särskild organisatorisk exklusivitet. I innebär denna att ansvaret för effektivitetsrevision inom staten ligger på de tre riksrevisorerna. Deras position är reglerad i regeringsformen och ingen, inte heller , kan bestämma vilka frågor som effektivitetsrevisionen ska ställa. Och utöver detta finns särskilda procedurer som garanterar att rapporter hanteras av och att regeringen svarar på vad som framförs i olika granskningar. Det kan hävdas, och här förs en normativ ståndpunkt in, att just denna position gör att både och dess uppdragsgivare måste ha en klar bild av varför en effektivitetsrevision behövs och på vilket sätt den kan bidra till att förbättra den statliga verksamheten. 54Se till exempel Pollitt och Bouckaert 2011 och olika kapitel i och Bovens 2014. 2017/18:URF2 BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET 4 Analyser av statens verksamhet – olika syften med olika konsekvenser Det finns en fråga som ställs med samma frenesi både av de som är verksamma inom effektivitetsrevisionen och av de som forskat om effektivitetsrevision. Den gäller vad som skiljer effektivitetsrevision från andra verksamheter som, för att uttrycka det lite vagt, sysslar med ungefär samma saker. Frågan har dessutom blivit viktigare genom expansionen av verksamheter som benämns som utvärdering, granskning, tillsyn och så vidare. Forskare har gjort försök att besvara denna fråga genom att jämföra till exempel rapporter från organisationer som beskriver sin verksamhet som utvärdering respektive effektivitetsrevision. Detta har dock gjorts i begränsad utsträckning. Det går också att nalkas frågan genom att utifrån en definition av effektivitetsrevision diskutera vad som bör skilja denna från andra liknande verksamheter. Det problem som vi då ställs inför är att svaret på frågan kommer att bero på hur vi valt att definiera effektivitetsrevisionen. Mot varje svar som ges blir det möjligt att invända att ”jo, det kanske är riktigt om man definierar effektivitetsrevision som du gör, men eftersom jag inte har samma uppfattning om vad effektivitetsrevision är så håller jag inte alls med”. Och som framgått redan i föregående kapitel finns det olika uppfattningar om hur effektivitetsrevision definieras, och en analys om vad som särskiljer effektivitetsrevisionen leder därför lätt in i en återvändsgränd. För att undvika denna fälla kommer jag därför att i ett första steg diskutera vad som särskiljer eller utmärker effektivitetsrevision på ett mera öppet sätt. Detta innebär att jag i stället för att utgå från en bestämd definition av effektivitetsrevisionen utgår från att utvärderingar/analyser/undersökningar av statlig verksamhet kan ha olika syften oavsett hur de benämns. Med denna utgångspunkt kommer jag därefter att diskutera vilka konsekvenser olika syften får, till exempel i avseende på valet av vilka frågor som ställs, valet av metoder och – inte minst viktigt – synen på analytikerns oberoende. En fråga som inställer sig när diskussionen förs på detta sätt, blir vad vi ska använda för allmän beteckning på de utvärderingar/analyser/undersökningar som är inriktade på statlig verksamhet. En lösning är att använda utvärdering som en slags paraplyterm. Det är rimligt eftersom de konkreta produkterna som levereras av de organisationer som bedriver effektivitetsrevision, oavsett hur vi närmare definierar den, kan sorteras in under rubriken utvärdering. Det beror på att det gemensamma för de många definitionerna av utvärdering är att de är mycket breda. En av utvärderingsforskningens förgrundsgestalter svarar för den kanske bredaste definitionen, som också BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET återfinns i åtskilliga läroböcker: ”Evaluation refers to the process of determining merit, worth, or value of something, or the product of that process”.56 Utan att här diskutera den närmare innebörden av definition är det inte svårt att se att effektivitetsrevision täcks av denna. Detsamma gäller åtskilliga av de definitioner som andra utvärderingsteoretiker presenterat. , och många andra, har också valt att definiera utvärdering i förhållande till ett särskilt fenomen, nämligen ”programs and policies”. definierar utvärdering som the systematic assessment of the operation and/or outcomes of a program or a policy, compared to a set of explicit or implicit standards, as a means of contributing to the improvement of the program or policy (kursiveringar i orginalet).57 Vedungs definition är att utvärdering är en ”noggrann bedömning i efterhand av utfall, förvaltning och beslutsinnehåll samt organisering av offentlig verksamhet, vilken tänkes spela en roll i praktiska beslutssituationer.”58 De två senare definitionerna tar fasta på att utvärdering handlar om bedömning i efterhand. Även om detta inte är en oomtvistad uppfattning så torde det dock stämma väl med kravet i lagstiftningen att granskningen avser ”den verksamhet som bedrivs”.59 Andra definitioner än de som nämnts ovan betonar också aspekter som rör utvärderingens relation till forskning, och et al inför villkoret att det handlar om ”use of social research procedures”.60 Formulerat på detta sätt kan effektivitetsrevisionens rapporter fortfarande ses som utvärderingar. kommer därför i detta kapitel utvärdering att användas som en övergripande benämning. Utvärderingar inriktade på offentlig verksamhet har som ett överordnat mål att bidra till att förbättra statens verksamhet. Det är, som här getts exempel på, till och med en del i många definitioner av utvärdering. Förbättring kan dock ske på olika sätt och det är därför möjligt att ringa in olika syften eller funktioner som utvärdering mera precist kan ha. Dessa avspeglar olika uppfattningar om hur bättring kan komma till stånd på olika sätt och hur utvärderingar kan påverka människor och organisationer. Det är därför också möjligt att tala om olika förbättringsstrategier. Möjligen kan läsaren tycka att det är lite märkligt att i ett kapitel som är en del av diskussionen om effektivitetsrevisionens särart fortsättningsvis inte nämna ordet effektivitetsrevision. Förhoppningen är att detta ska underlätta den fortsatta diskussionen om vilka syften som effektivitetsrevisionen bör ha. 56Till exempel i , sid. 139. använder i andra sammanhang significance som synonym till value, se 2003, s. 15. 57Weiss 1972a, s. 4. 58Vedung 2009, s. 22. 592 §, lag om revision av statlig verksamhet m.m. 60Rossi m.fl. 1999, s. 4. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET I den diskussion som förs i utvärderingslitteraturen är frågan om utvärderingens olika syften och konsekvenserna av olika syften central.61 Det finns naturligtvis inte någon indelning som på ett självklart sätt är riktigare än någon annan. Vilken indelning som är fruktbar att använda beror på vad diskussionen handlar om. I den kommande diskussionen ska skiljas mellan fyra olika syften. Det ska dock här skjutas in, för undvikande av missuppfattningar, att syften inte behöver sammanfalla med användning. Frågan om den faktiska användningen av utvärdering, till exempel rituell sådan, tas inte upp i detta sammanhang. Ett syfte är att förbättra hur olika uppgifter utförs på en operativ nivå, det vill säga att bidra till att mera handfast förbättra eller utveckla verksamheten, syftet kan beskrivas som verksamhetsfrämjande. Det kan handla om hur ansökningar behandlas i en myndighet, genom vilka kanaler man når ut till olika grupper i en statlig informationsinsats, konstruktionen av tjänstgöringsscheman och så vidare. Det handlar om att identifiera styrkor och svagheter i syfte att visa på hur olika uppgifter kan utföras bättre. Ett annat syfte kan vara att förbättra statliga verksamhet på en mera övergripande nivå. Gränsen mellan dessa två kategorier är förstås inte alltid klar och i många fall kan denna finfördelning av syften te sig överflödig. Den framstår dock som praktisk i detta sammanhang. Ett exempel kan tydliggöra skillnaden. En analys som kan vara användbar i utformningen av en kampanj som syftar till att reducera rökning bland ungdomar (formulering av budskapet, valet av kanaler och så vidare) kan föras till den första kategorin. En analys som inriktas på relationen mellan information och andra styrmedel, som till exempel skatter och olika förbud skulle vi rimligen placera under den senare kategorin. Gränsen är därför åtminstone delvis korrelerad med beslutsnivåer. Mera policyorienterade frågor tänker vi oss vanligen också fattas på högre administrativa eller politiska nivåer än de som handlar om själva genomförandet. Utvärderingar kan därför också ha ett mera policyinriktat syfte och beskrivas som policyfrämjande. Men syftet med utvärderingar av statlig verksamhet kan också vara att informera överordnade nivåer – till exempel medborgarna, och regeringen – om hur väl olika verksamheter genomförs till exempel med avseende på hur väl resurser används och i vilken utsträckning det som görs uppfyller olika krav. Syftet är i detta fall att ge ett underlag för att bedöma hur organisationer och befattningshavare fullföljt sina skyldigheter. En viktig del av sådana utvärderingar är att knyta ansvaret för tillkortakommanden och misslyckanden till olika åtgärder som genomförts, eller kanske inte genomförts, av dessa organisationer eller befattningshavare. Det gäller då också att undersöka om dessa aktörer haft faktiska möjligheter att undvika dessa misslyckanden eller tillkortakommanden genom att agera på andra sätt. Och i motsatt fall handlar det om att ta reda på om en framgång kan länkas till hur en organisation eller person agerat. 61 Exempel på indelningar finns i Patton , m.fl. 2016, Stockmann 2016. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET Dessa tre syften har att göra med utvärderingar som är tänkta att användas av individer eller institutioner som på ett eller annat sätt är involverade i den statliga verksamheten. Det är dock även möjligt att tala om ett fjärde syfte som inte kan relateras till verksamhetens aktörer. Syftet är i stället att bidra till byggandet av kunskap om hur samhällsproblem kan lösas eller mildras genom olika statliga verksamheter. Utvärderingar kan, lite metaforiskt uttryckt, bidra till den bank av kunskap som kan hjälpa politiker och andra att ta ställning om och på vilket sätt staten kan påverka utvecklingen på olika områden.