urf · H5A5URF2d2 · 2018-02-15 00:00:00 — It is concerned with the relationship between resources employed and outputs delivered in terms of quantity, quality and timing”.202 Effectiveness skiljer sig från economy och efficiency i ett viktigt avseende. De två första E:na handlade om vad som hände inom ett visst produktionssystem. Det tredje E:et handlar däremot om vad som händer utanför förvaltningen till följd av det som kommer ut från till exempel en myndighet (outputs) och vilka effekter detta ger upphov till – ”ute i samhället”. Även här rör vi oss med en term som inte är alldeles självklar. beskriver effectiveness som något som handlar om huruvida ”outcomes conform to intentions, as defined in programmes”.203 med flera har samma syn då de anger att det handlar om ”i vilken utsträckning målen har uppnåtts med tillfredsställande kvalitet”.204 Intosai har dock inkluderat frågan om kausalitet i termen effectiveness då de slår fast att ”when auditing effectiveness, one should try to iden- 199Power 1997, s. 50. 200Barzelay 1997, s. 243. 201Grönlund 2008, s. 203Power 1997, s. 51. 204Grönund 2008, s. 27. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET tify the relationship between the achievement of objectives and the imple- mented programme”.205 Pollitt och Bouckaert är tydliga med att ”effectiveness is the degree to which the desired outcomes result from the outputs”.206 Bar- zelay talar om att effectiveness audit ”examines the causal impact of programs upon outcomes”.207 Effectiveness är alltså inte en oomstridd term. Det förefaller dock vara klart att nationella revisionsorgan, och också andra, tolkar effectiveness som något som också avser frågan om hur framgångsrikt den aktuella verksamheten bi- dragit till målens förverkligande och därmed till att svara på om statens pengar använts väl eller ej. Innan vi lämnar de tre E:na ska en viktig observation göras. Det är – förstås – inte så att en förbättring av ett E automatiskt leder till för- bättring i de två andra. Pollitt och Bouckaert påpekar att det är möjligt att ”for a given policy to increase efficiency while decreasing effectiveness or vice I den tidigare betänkande Uppföljningen av Riksrevisionsreformen görs en, vad som rimligen får ses, auktoritativ tolkning om vad de tre E:na innebär. Utredningen konstaterar att de granskningsaspekter som de tre E:na representerar är ”allmänt accepterade delar av effektivitetsrevision” och en konkret granskning kan undersöka en eller flera av dessa aspekter. Utredningen menar att ”de tre E:na utgör en konstruktion som fullbordas med effectiveness. Den senare ’innehåller’ de två andra E:na och förutsätter dem”.209 Som framskymtade i citatet från Pollitt och Bouckart ovan så är det dock inte självklart att sambanden kan ses så rätlinjigt. Utredningen diskuterar vad effectiveness är och menar att det i huvudsak är ett begrepp som hänförs till måluppfyllelse och i vilken grad de uppsatta målen uppnåtts. Har intentionerna (med till exempel reformen och verksamheten) infriats och är samhällsnyttan god, eller vad kan göras för att förbättra utfallet? Den här granskningen inriktar sig på att bedöma effekter och samhällsnytta utan hänsyn till resursåtgång. Det handlar om relationen mellan mål, output och effekter. Granskningen inom detta område tar sin utgångspunkt i följande frågor: Har de formulerade målen uppnåtts med de åtgärder som vidtagits, med de ”produkter” som producerats och de effekter som observerats? Är de effekter som observerats verkligen resultatet av den bedrivna verksamheten eller programmet, eller beror de på andra omständigheter? Frågan om effektivitet består av två delar: dels om målen uppnåtts, dels om detta kan hänföras till de åtgärder som vidtagits.210 205 Intosai 2016b. 206 Pollitt och Bouckaert 2011, s. 15. 207 Barzelay 1997, s. 243. 208 Pollitt och Bouckaert 2011, s. 15. 209 , s. 25. 210 , s. 24. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET Citatet innebär rimligen att utredningen ansåg att god måluppfyllelse är liktydigt med god samhällsnytta. I verkligheten går det att föreställa sig att just det förhållandet att målen på ett område inte nåtts kan bidra till ökad samhällsnytta. Frågan om huruvida utvecklingen på ett visst område orsakats av statlig verksamhet, till exempel i form av styrmedel, som satts in för att påverka utvecklingen på området och hur denna utveckling förhåller sig till uppställda mål är en fråga. En helt annan fråga, eller möjligen två frågor, gäller om utvecklingen som sådan innebär ökad samhällsnytta och om de resurser som satsats på att få till stånd denna utveckling skulle ha kunnat användas på något annat sätt som skulle lett till ökad samhällsnytta. En svårighet i tolkningen av det resonemang som förs är att utredningen säger att en granskning av effectiveness inriktar sig på att bedöma effekter och samhällsnytta utan hänsyn till resursåtgång. Det är svårt att förena denna syn med att utredningen talade om att effectiveness innehåller de ”två andra E:na och förutsätter dem”. Dessa två andra E:n handlar ju just om användning av resurser. Utredningens resonemang kring de tre E:na illustrerar därmed till en del svårigheterna med dessa begrepp och bekräftar svårigheterna att precisera deras innebörd. Trots dessa svårigheter, eller möjligen på grund av dem, visar framställningar om effektivitetsrevisionen i olika länder att de tre E:na är en del av effektivitetsrevisionen. Det kan förvisso ifrågasättas om de tre E:na kan beskrivas som liktydigt med traditionell effektivitetsrevision, vilket görs av såväl med flera som av , men de har utan tvekan haft stor betydelse för inriktningen av verksamheten i många nationella revisionsorgan. Som framgått av diskussion om the effectivness dilemma, som det refererades till i kapitel 5, så ställer dock bedömningar av effectiveness effektivitetsrevisionen inför särskilda svårigheter. Sådana bedömningar innebär att det blir svårt för effektivitetsrevisionen att undvika ställningstaganden som kanske oftast beskrivs som politiska. Att till exempel visa att ett politiskt mål ”bättre” skulle nås med andra medel skulle, även om det skulle kunna visas att påståendet var korrekt, vara problematiskt om den politiska diskussionen just handlat om detta medel. Sådana bedömningar blir rimligen också bedömningar av just beslut som fattats av snarare än om genomförandet av beslut som fattats av . 7.5.5 Andra värden än de tre E:na förs också en diskussion om det även finns andra värden som kan vara centrala när effektivitetsrevisionen bedömer olika förhållanden. Det finns flera skäl till att denna diskussion uppstått. Inom utvärdering, som i hög grad präglats av tanken på social betterment, har diskussionen om vilka värden som kan uppfattas som inbyggda i utvärdering intensifierats och en rad olika inlägg har gjorts kring detta. utkom till exempel boken BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET tion for an Equitable society med inlägg av flera ledande utvärderingsfors- kare.211 Andra kandidater till värden som ska ses som inbyggda i utvärdering har gällt etik och ekologi och andra hållbarhetsaspekter. I diskussionen om accountability ställs också i olika inlägg frågan om ”för vad?”. tar till exempel upp ”fairness” i sin bok ”We want government to be fair to all of the clients of various We want government to be fair when it provides services to the citizens, when it taxes citizens, when it accuses citizens of violating the law. We want government to be fair – exceptionally fair.”212 Ett annat viktigt värde är till exempel transparens. I viss utsträckning har denna diskussion också ta- gits upp vad gäller effektivitetsrevisionen, till exempel av Bringselius som dis- kuterar etik som en särskild dimension i effektivitetsrevision.213 Ett sätt att se på dessa andra värden kan beskrivas som ett slags bakväg. Om effektivitetsrevision utgår från beslut om statlig verksamhet kan till exempel etiskt grundade kriterier föras in i granskningsverksamheten i den mån politikerna uttryckt sådana genom till exempel mål eller allmänna krav för olika statliga verksamheter. En invändning mot detta kan vara att många värden, som många uppfattar som viktiga i demokratin, därmed blir så att säga beroende av hur de uttryckts till exempel i olika politiska beslut. Och det är detta som också kan ses som problemet. revisionen ställer frågan om vad som kommer ut till följd av tillförda resurser till exempel i form av prestationer eller påverkan på samhället så kan detta ses som något som de allra flesta är överens om. Oavsett vilka politiska värde- ringar som lett fram till en viss verksamhet kan det antas att det finns en allmän uppslutning kring att det är en fördel om denna är så effektiv som möjligt, eller enklare uttryckt: så mycket ”value” som möjligt för varje insatt krona – givet det menat med ”value”. Många andra värden, låt vara att de på ett mera principiellt plan bejakas av de flesta, kan det i praktiken råda mycket olika uppfattningar om. tagits upp av många utvärderingsforskare, leder ofrånkomligen till frågor som endast kan hanteras politiskt. Detsamma gäller rimligen olika etiska värden. Om sådana värden ses som inbyggda i revisionen, oavsett om de följer av de riksdagsbeslut som kan anses gällande i den särskilda situationen, innebär det att revisionen svårligen kan undvika utomordentligt grundläggande politiska Av en sådan syn följer att de konkreta bedömningskrite- rierna som används i olika granskningar skapas av riksrevisorerna på grundval av deras tolkning av dessa olika värden. Mot denna bakgrund framstår frågan om revisionens bedömningskriterier så långt ifrån slutdiskuterad. problem i denna diskussion gäller konsekvenserna av att den statliga effekti- vitetsrevisionen verkar i ett politiskt system som just har som sin centrala upp- gift att hantera att väga samman en rad olika värden och dimensioner i sam- 211 Donaldson och Picciotto 2016. 212 2001, s. 8 213 Bringselius 2018. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET 7.6 Vilka frågor kan ställas av effektivitetsrevisionen? En förväntan på effektivitetsrevisionen kan vara att den ska visa hur statliga verksamheter bidrar till att lösa de problem som velat lösa med de aktuella verksamheterna. Det är också möjligt att det finns en förväntan på att ska ”avslöja” när olika former av missbruk sker i olika verksamheter, sådant som kanske oftare avslöjas genom att enskilda medarbetare slår larm till massmedierna. Det finns antagligen förväntningar på att ska tala om hur saker och ting kan bli bättre. Förväntningarna på är stora och avspeglar att just den frihet effektivitetsrevisionen, eller snarare de tre riksrevisorerna, har kan leda till olikartade förväntningar. Det är uteslutet att kan infria alla dessa förväntningar. Ett enkelt skäl till detta är att förväntningarna kan ge upphov till många kategorier av granskningar. När detta paras med det faktum att statens verksamhet ”kan skäras” på många ledder och bredder är det inte svårt att föreställa sig tusentals, snarare än hundratals, möjliga granskningar . Mot denna bakgrund blir det viktigt att diskutera två viktiga begränsningar i valet av de frågor som effektivitetsrevisionen kan ställa. 7.6.1 Frågorna ska avse ”verksamhet” Regeringsformen klargör att uppdrag handlar om statens verksamhet. Visserligen utsägs i regeringsformen att också annan än den verksamhet som bedrivs av staten kan granskas. Att verksamhet är ett nyckelord i regeringsformens beskrivning av leder dock till två möjliga konsekvenser. En första konsekvens är att det inte handlar om att ställa frågor om allmänna förhållanden i samhället utan frågorna måste handla om verksamhet som bedrivs. Det som sägs i regeringsformen handlar rimligen därför inte om samhällsutvecklingen som sådan och inte heller om att jämföra denna med uppställda mål. En helt annan sak är att information om hur väl olika politiska mål uppfylls är viktigt både för och medborgarna och det därför är betydelsefullt att sådan information tas fram. Att se på måluppfyllelse säger dock ingenting om hur själva verksamheten sköts. Olika mål kan uppnås trots att den statliga verksamhet som satts in för att nå målen är bristfällig eller till och med helt felaktigt konstruerad. Och en verksamhet kan vara mycket effektiv trots att utvecklingen på området inte på något sätt närmar sig de mål som ställts upp. En helt annan sak är att en granskning av verksamheten inom ett område kan göras därför att den bristande måluppfyllelsen kan skapa ett intresse för att granska verksamheten. Det bör också sägas att själva framtagandet av information om utvecklingen på ett område kan granskas av effektivitetsrevisionen på samma sätt som andra verksamheter granskas. En andra konsekvens är att den information som tas fram av effektivitetsrevisionen alltid gäller något som ligger i förfluten tid. Det är en verksamhet BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET som vanligen fortfarande pågår, men det effektivitetsrevisionen granskat är något som ligger en bit bakåt i tiden. Det leder till frågor om möjligheterna att använda denna information för att uttala sig om hur saker kan göras an- norlunda och bättre. I vilken omfattning kan alltså effektivitetsrevisionen ut- tala sig om på vilket sätt olika förändringar i en verksamhet kan bidra till att komma till rätta med olika problem eller nå en högre måluppfyllelse? ska dock tas upp senare efter en diskussion om på vilket sätt kravet på tillför- litlighet påverkar vilka frågor effektivitetsrevisionen kan ställa. 7.6.2 Frågorna ska kunna besvaras med tillförlitlighet Ju starkare det som i denna promemoria kallats kontrollinjen betonas, desto viktigare är det att revisionens konklusioner ska ha en tämligen hög grad av tillförlitlighet. Studier om effekter av statlig verksamhet kan skilja sig åt i avseende på precision och tillförlitlighet. Ytterst har detta att göra med förhållandet att effekter inte är något som vi direkt kan observera eller mäta. Effekterna är ju i stället skillnaden mellan den faktiska utvecklingen och det som skulle ha inträffat utan den aktuella insatsen eller interventionen. Innebörden av detta är att ju längre vi förflyttar oss från den ursprungliga interventionen desto svårare är det att bedöma det kontrafaktiska alternativet. Detta illustrerades med en figur i kapitel tre. En gissning, som läsaren förhoppningsvis kan överse med, är att ledamöter gärna skulle vilja veta hur olika statliga satsningar och reformer påverkat de samhällsproblem man egentligen velat komma åt. Den fråga man vill ha svar på handlar förmodligen inte heller enbart om huruvida målen nåtts utan också om det är den statliga verksamheten som påverkat utvecklingen. Vad leder egentligen alla satsningar till? Gör pengarna, som det ju ofta handlar om, verkligen nytta? Problemet, som figur 1i kapitel 4 avsåg att illustrera, var att uttalandena om just effekterna i förhållande till de längre bort liggande mål som politiken egentligen handlat om är osäkra. I många former av kunskapsproduktion är detta inte ett problem. Utvärderaren – eller forskaren – kan ju vara helt nöjd med att ha ökat insikten bland olika aktörer om tänkbara kausala samband eller att ha avvisat en tidigare hypotes om hur sambanden ser ut utan att fördenskull ha kunnat verifiera en ny hypotes. Om syftet i stället är att uttala sig om huruvida de som haft ett ansvar har fullföljt detta och därmed kunna ge ett underlag för ansvarsutkrävande förutsätts att det som sägs är tillförlitligt (”sant”) i en mera grundläggande och trivial mening. Detta tillförlitlighetskriterium är viktigt för att skapa rimliga förväntningar på effektivitetsrevisionen. Kriteriet innebär att det inte är möjligt att förvänta sig att alla viktiga frågor kring statens verksamhet kan besvaras av effektivitetsrevisionen. Det är inte heller möjligt att förvänta sig svar på alla frågor som är centrala vid formandet av statens politik och vid bedömningar i efterhand om hur framgångsrik denna varit. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET 7.7 Bör bedömningar av det som gjorts leda till rekommendationer? När vi beskriver, förklarar och värderar något specifikt som gjorts så sträcker sig analysen från någon tidpunkt i det förflutna (en månad, eller ) till nu eller så nära nu vi kan komma.214 Den existerande eller möjligen avslutade interventionen kan vi skaffa oss information om, och vi kan bygga upp och pröva hypoteser om hur den fungerat, om den bidragit till förverkligandet av olika mål, vilka bieffekter den haft och så vidare. Detta gäller oavsett om det handlar om att regeringen ska ge klarare direktiv om samverkan mellan myndigheter eller ett helt studiesocialt system. När vi blickar framåt och funderar på vad som är det bästa sättet att nå ett framtida mål, och kanske till och med rekommenderar en viss handlingslinje är situationen en annan. Här gäller det inte att studera det specifika som faktiskt gjorts, som kan beskrivas och avgränsas, utan att studera och jämföra olika framtida handlingsmöjligheter. Det är förstås möjligt att tänka sig olika sätt att få till stånd samverkan, precis som vi kan tänka oss en rad olika sätt att minska de sociala faktorernas påverkan på utbildning. I den framåtriktade analysen måste olika hypoteser prövas kring hur olika handlingsalternativ påverkar olika aktörers benägenhet att handla på ett visst sätt och i vissa fall hur dessa handlingar påverkar till exempel biologiska, sociala eller ekonomiska förlopp. Det handlar därmed om att konstruera och troliggöra flera interventionsteorier. Den framåtriktade analysen förutsätter därför en rad andra analytiska insatser (forskningsgenomgångar, egna särskilda empiriska undersökningar med mera) än analysen av den bedrivna verksamheten. Detta är vad som ibland görs vid utredningar inom det offentliga utredningsväsendet eller inom enskilda myndigheter. Att ta fram förslag till rekommendationer är alltså ofta en minst lika omfattande uppgift som undersökningen av den verksamhet som pågår. Pressen att komma med användbara rekommendationer, vilket kan upplevas både i konsultföretag och i myndigheter, kan leda till att olika genvägar väljs. Även om utvärderingen i övrigt är välgjord kan utvärderaren välja att konstruera olika rekommendationer på mera intuitiva grunder och lämna förslag som kan ses som grundade i sunt förnuft. Ett annat sätt är att låta rekommendationerna vara, för att använda ett hemsnickrat uttryck, inverteringar av det som tagits upp som problem och kritik i den tidigare analysen. Exempel på sådana inverteringar kan vara: •Det brister i samverkan mellan myndigheter. Regeringen rekommenderas därför att styra tydligare. 214 Rent praktiskt kan vi ofta inte komma fram till . När vi samlar in material så avser detta ofta någon tidigare tidpunkt än ett bokstavligt . Många ansatser försöker dock korta denna sträcka så mycket som möjligt, till exempel genom RTE (Real Time Evaluation), som inte minst varit viktig i Världsbanksgruppen, se bland annat Taylor-Dormond och Tenev 2013). BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET •Problem förklaras av att statens kunskaper om en viss verksamhet är bristfälliga. Rekommendationen är att utreda (utvärdera, följa upp, forska) mera. •Vissa processer går långsamt. Regeringen rekommenderas att ställa tydligare krav på hur de får ta. •Bidragsmottagare som har ett behov av att utnyttja ett stimulansbidrag gör det otillräckligt. Rekommendationen är att förbättra informationen till dem. •Dialogen mellan en myndighet och regeringen är bristfällig och är orsaken till vissa problem. Rekommendationen är att dialogen ska förbättras. •Delegering till statliga lokala enheter har skapat brister. Rekommendationen är centralisering av beslut till den centrala myndighetsnivån. Rekommendationerna kan ofta framstå som förledande i sin självklarhet. Det beror på att rekommendationer kan sägas ligga på samma punkt i den kausala kedjan som den tidigare utvärderingen av den befintliga verksamheten. Den bakomliggande föreställningen i samordningsexemplet är att samordning leder till bättre verksamhet. Och eftersom detta anses självklart kan man nöja sig med att låta rekommendationerna blir en invertering av den tidigare analysen. Och på samma sätt; om dialogen är bristfällig räcker det med att rekommendera att dialogen bör förbättras. Kvaliteten i sådana rekommendationer kan ifrågasättas på två grunder. Den första är att även om det i granskningen konstaterats att ett visst problem föreligger och att dialogen är bristfällig följer därav inte att det är den bristande dialogen som orsakat problemet. Det kan alltså finnas andra åtgärder som är bättre ägnade att leda till en bättre verksamhet än en förbättrad dialog. Hur effektiva dessa skulle vara har helt enkelt inte analyserats. Det kan därför inte uteslutas att andra åtgärder än förbättrad dialog skulle vara bättre ägnade för att komma till rätta med de problem som konstaterats. Den andra grunden är att även om till exempel mera dialog eller samordning är lösningen på de problem som iakttagits analyseras inte hur denna dialog eller samordning ska komma till stånd. Det antas inte sällan, utan att detta tydliggörs, att mera dialog, samordning och liknande ting kan styras fram uppifrån. Just detta sätt att resonera leder ofrånkomligen till att ”mera styrning” blir en vanlig rekommendation utan att grunderna för de bakomliggande antagandena redovisas. Att inverterade rekommendationer leder till problem har sin grund i det enkla förhållandet att när vi falsifierar något innebär inte detta att vi med automatik har verifierat något annat. Vi ska illustrera detta genom att använda ett exempel hämtat från Bendor i en analys av innebörden av applied theory utifrån essä The science of ”muddling through”. Suppose a new fighter plane repeatedly crashes during test. Initially, it is believed that this is attributable to pilot error. However, an aerodynamics engineer, believing there is a design flaw, gives an alternative explanation: the plane’s shape causes a kind of instability that is difficult even for skilled pilots to control. , the plane frequently crashes. The engineer’s explanation rests on three elements: a detailed examination of the BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET plane’s design, simulations of that design, simulations of that design’s performance under a range of conditions and a theory of aerodynamics that helps explain the simulations, output as well as the engineer’s choices during her examination of the plane’s design.215 Exemplet visar dock att även om det är möjligt att med hjälp av dessa faktorer förstå varför planet kraschar leder inte detta till en rekommendation om vilken design som är att föredra. Det är möjligt att förstå ”why a certain class of design fails without knowing what works”. Ett annat problem med inverterade rekommendationer är att de också riskerar att få en konserverande karaktär och undviker mera grundläggande frågor i verksamheten. Detta leder rimligen till frågor som gäller hur man mera allmänt kan se på rekommendationer inom effektivitetsrevisionen och vad det innebär om effektivitetsrevisionens rekommendationer följs och att den därför kommer att tvingas granska verksamheter som bedrivs utifrån de rekommendationer som effektivitetsrevisionen tidigare lämnat. Ett särskilt problem är också om det är rimligt att effektivitetsrevisionen i förväg analyserar tänkbara effekter av en viss åtgärd, till exempel då den yttrar sig över utredningsförslag i olika statliga utredningar. Det kan dock noteras att det i flera länder förekommer olika former av ex ante-analyser. Synen på detta har samband med uppfattningen om varför effektivitetsrevisionen bör finnas. Ju starkare det som här beskrivits som kontrollinjen betonas, desto starkare betonas rimligen att det handlar om verksamhet som faktiskt bedrivs.