urf · H5A5URF2d2 · 2018-02-15 00:00:00 — I samma resonemang förs frågan om komplexiteten i verksamhetens genomförande in och det framhålls att det kan handla om att många aktörer är inblandade i implementeringen, eller privata etc. Båda dessa aspekter har förstås en principiell betydelse. Varför de kommer in för att därefter försvinna framgår inte. Det finns inte heller under de efterföljande åren några resonemang som mera indirekt kan användas för att förklara detta. I några granskningsplaner tas frågan upp om vad den ”typiska effektivitetsgranskningen” är. I granskningsplanen /12 framhålls att effektivitetsrevision kan sträcka sig från ”utvärderingar av politiska reformer till granskning av om myndigheterna följer lagar och regler”.152 Dessa ytterlighetsformer ska dock enligt riksrevisorerna utgöra undantag. Riksrevisorerna framhåller att den typiska effektivitetsgranskningen därför väl i linje med revisorslagen, det vill säga granskning av genomförande av statlig verksamhet i syfte att bedöma om mål och intentioner uppnås. De kriterier som granskningens slutsatser bedöms mot utgår ofta från effektivitetskrav i form av mål, syften och intentioner för den aktuella verksamheten som granskas. De kan dock även utgå från till exempel god praxis, rimlighetsbedömningar eller vad som kan bedömas som kunskapsfronten inom området.153 Resonemanget ger uttryck för den grundhållning som kan sägas ha präglat granskningsplanerna sedan tillblivelse. I grunden härleds olika bedömningskriterier från vad har sagt, men de kan också 151Granskningsplan för , 2011/12, s. 10. 152Granskningsplan för , 2011/12, s. 10. 153Granskningsplan för , 2011/12, s. 10. Se också 2012/13, s. 19, 2013/14, s. 19och 2014/15, s. 21 BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET bygga på det som i citatet beskrivs som kunskapsfronten eller rimlighetsbe- dömningar, som – får här skjutas in – det kan antas att också vill att verksamheten ska bygga på. Den närmare innebörden av dessa bedömnings- kriterier är dock inte självklara. Rimligen kan det sägas att de får bedömas utifrån en tolkning av det som görs i granskningsverksamheten. noteras att det ingenstans i granskningsplanerna finns resonemang om inne- börden av centrala nyckelbegrepp som till exempel effektivitet och målupp- Granskningsplanen är ett betydelsefullt dokument; det enda framåtsyftande dokument som enligt lag beslutas gemensamt av de tre riksrevisorerna. Detta har sin särskilda betydelse. I de flesta myndigheter finns det ett drag av förhandling och kompromiss när det gäller denna typ av dokument. Olika intressen, inte sällan sammanfallande med till exempel avdelnings- och enhetsgränser, ska samsas. Vanligen är dock slutresultatet fastställt av en högsta chef, meningsskiljaktigheter döms alltså av under processens gång. I beslutas granskningsplanen av tre personer som är, om uttrycket tillåts, tillsagda att komma överens om just detta dokument. Till en del torde detta förklara att dokumentet innehåller så lite av resonemang av karaktären ”vad betyder nu detta”, resonemang där kanske skillnader i ståndpunkter skulle framträda. Detta kan uppfattas som bekymmersamt. Givet den mycket speciella roll har, och inte minst att de tre riksrevisorerna genom val av har fått ett särskilt förtroende, är det av stor betydelse att de tre riksrevisorerna är tydliga med hur de avser att bruka detta förtroende. För att framföra en normativ ståndpunkt bör alltså ledamöter, men också intresserade medborgare, genom granskningsplanen kunna få en avsevärt tydligare bild av hur riksrevisorerna ser på sitt uppdrag än vad som hitintills varit möjligt. I synnerhet gäller detta om denna syn skiftar och mellan olika grupper av riksrevisorer. En genomgång av granskningsplanerna ger lätt intryck av att effektivitetsrevisionens verksamhet är resultatet av en mycket genomtänkt planeringsprocess och att valet av granskningar bygger på omfattande analyser. Det är också uppenbart att riksrevisorerna gärna själva vill förmedla en sådan bild. I flera granskningsplaner beskrivs med viss utförlighet själva planeringsprocessen. Detta kan möjligen skapa en överdriven bild av betydelsen av dessa processer eller, om man så vill, det rationella draget i beslut om vad som till exempel ska granskas och därigenom också skyla över betydelsen av riksrevisorernas egna personliga preferenser. Att riksrevisorernas personliga hållning och värderingar har en stark påverkan på effektivitetsrevisionen bör dock inte ses som ett problem. Tvärtom kan det anses vara en naturlig konsekvens av det särskilda förtroende gett riksrevisorerna. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET Det bör också slutligen återigen framhållas: Det som här beskrivits kan ses som den retoriska nivån – vad riksrevisorerna sagt om sitt uppdrag. Hur effektivitetsrevisionens praktik påverkats vet vi alltså mindre om. De kvalitetsbedömningar av effektivitetsrevisionens granskningsrapporter som genomförts av en forskargrupp i har inte haft i uppdrag att besvara denna fråga. Forskargruppen pekar dock på förändringar i granskningsrapporterna; 2015 konstaterar de att de funnit fler rapporter som håller högre kvalitet jämfört med tidigare men också att de funnit ”en större bredd i granskningarnas karaktär i form av inriktning och metodologiska ansatser”.154 Vi vet dock inte något om sambandet mellan dessa förändringar och förskjutningar på den retoriska nivån. Retoriska kast kan rimligen inte ha lett till lika tvära kast i verksamheten inom effektivitetsrevisionen. Även om detta inte kan ledas i bevis så tyder nog mycket på att effektivitetsrevisionens granskningar varit betydligt mer lika över åren än vad som kan förmodas efter en genomläsning av granskningsplanerna. 154 2015, s. 14. 2017/18:URF2 BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET 7 Avgörande frågor för effektivitetsrevisionen Riksrevisorerna har haft skiftande förväntningar på vad effektivitetsrevision kan åstadkomma. Detta har kommit till uttryck i de olika dokument riksrevisorerna beslutat rörande verksamhetens inriktning (kap. 6). Det är också tydligt att även utredningstexter och betänkanden i samband med tillkomsten av och senare beslut i präglas av skiftande förväntningar. Även de förväntningar som kom till uttryck i den offentliga debatten, i samband med och efter händelserna 2016, gick i olika riktningar. I de föregående kapitlen har också visats att de olika synsätten på effektivitetsrevisionen är en central fråga i den forskning som finns om effektivitetsrevision. i denna promemoria har jag försökt att tydliggöra olika uppfattningar om effektivitetsrevisionen och vilka konsekvenser de kan få för effektivitetsrevisionens praktik. Det är nu dags att på ett mera sammanfattande sätt diskutera ett antal frågor som är avgörande för vilka förväntningar det är rimligt att ha på effektivitetsrevisionen. Några av dessa kan vara av sådan betydelse att de kanske bör påverka de förväntningar har på den verksamhet de uppdragit åt att genomföra. Oavsett detta ligger det i sakens natur att riksrevisorernas befogenhetsområde är så stort att hållning kan skifta även när det gäller viktiga inriktningsfrågor. I dessa fall är det dock viktigt att riksrevisorerna klargör sin syn på sådana frågor. Det kan, för att föra in en normativ ståndpunkt, hävdas att just det förhållandet att riksrevisorerna har fått ett särskilt förtroende av , och en särskilt skyddad position, innebär att de med tydlighet bör kunna klargöra till vad de ska använda detta förtroende. Det som lyfts fram i det följande kan beskrivas som uppmärksamhetspunkter. Det är sådant som bör uppmärksammas just därför att en diskussion om dem kan leda fram till olika ställningstaganden och påverka förväntningarna på effektivitetsrevisionen. Uppdelningen i olika frågor gör att det är svårt att undvika vissa upprepningar. Förhoppningsvis kan läsaren överse med detta. 7.1 Vad är effektivitetsrevisionens särart? Det har tidigare visats att det finns olika synsätt på effektivitetsrevisionens roll och vad som skiljer effektivitetsrevision från andra liknande verksamheter. Det behöver dock inte självklart innebära att det är nödvändigt att ge ett synsätt på effektivitetsrevisionen företräde framför andra. Det kan invändas att det är fullt möjligt att bedriva effektivitetsrevisionen med olika syften och också låta revisionens syfte och roll förändras över tiden. En sådan tanke kan till och med hävdas ha stöd i regeringsformen som ju ger riksrevisorerna vidsträckta befogenheter. Behovet av att klargöra effektivitetsrevisionens särart, BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET i avseende på syfte och roll, skulle därmed falla bort. Invändningen är viktig och förtjänar en något utförligare diskussion. 7.1.1 Kan olika syften förenas? Att hävda att det allmänt sett inte går att i en och samma organisation förena olika synsätt på verksamhetens grundläggande syfte ter sig vanskligt. Det skulle förmodligen inte heller vara helt lätt att empiriskt leda detta i bevis. Alldeles uppenbart finns det utvärderande organisationer vars verksamhet kan falla under de olika syften som diskuterades i kapitel 4. Olika syften leder dock till olika förhållningssätt, teoretiskt och praktiskt, till verksamheten. I samband med den stora norska NAV-reformen, för vilken det norska forskningsrådet fick ett övergripande utvärderingsansvar, tillsattes en särskild expertgrupp för att genomföra en så kallad metaevaluering. Expertgruppen diskuterade spänningarna mellan olika syften, och särskilt då verksamhetsutveckling och kunskapsgenerering mot bakgrund av att det norska forskningsrådet ansågs ha betonat den långsiktiga kunskapsutvecklingen. Metautvärderingen antar att förmodligen har ”tenkt at man sikrer både evalueringens kvalitet og legitimitet ved at forskningen foregår i henhold til armlengdeprinsippet fra oppdragsgiver. Samtidig inngår det ogs […] at formålet med evalueringen er å bidra med å løpende gjøre evalueringens resultater anvendelige i forbindelse med implementeringen”.155 Metautvärderingen uppfattar detta som ett problem: Løpende anvendelse av evalueringsresultatene kan finne sted på flere nivåer, fra det å på et mer overordnet nivå til selve fordelingen av oppgaver og ansvar mellom ulike aktører, og til forandringer i de lokale kontorenes arbeidsmåte. De av evalueringen som gjennomføres med tanke på løpende tilbakemelding, må derfor målrettes mot disse ulike nivåene. En slik evaluering krever en tett relasjon mellom de som evaluerer og de forskjellige aktørene som skal gjøre bruk av evalueringsresultatene (, 2005), og dette kan være en utfordring i forhold til autonomi og armlengdeprinsippet […]. Vi mener derfor at det her er snakk om et paradoks, i betydningen tilsynelatende motsetning, når målsetningen både er løpende tilbakemelding og langsiktig kunnskapsutvikling. Det hersker delte meninger om hvorvidt det er snakk om en genuin konflikt mellom kravene til autonomi ved langsiktig kunnskapsutvikling og kravene til brukbar løpende tilbakemelding. Vi mener likevel at det finnes logistiske og praktiske problemer som kan gjøre det vanskelig å la en evaluering romme så forskjellige anvendelsesmålsetninger.156 Citatet belyser spänningen mellan skilda syften och också att den förhärskande uppfattningen i en organisation om varför en utvärdering ska göras sätter en prägel på både vad som ska göras och hur det görs. Grundläggande för detta är förstås också, som visats i kapitel 4, att olika syften har konsekvenser för synen på centrala frågor som påverkar metodval, relation till de som beslutar och deltar i den verksamhet som står i fokus och så vidare. 155Norges Forskningsråd 2014, s. 43–44. 156Norges Forskningsråd 2014, s. 44. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET Frågan om möjligheterna att låta effektivitetsrevisionens olika syften bli en lämplighetsfråga, som kan besvaras olika från fall till fall, handlar dock i grun- den inte om de praktiska möjligheterna att i samma organisation förena olika För även om detta skulle vara fullt möjligt kvarstår frågan om på vilket sätt olika syften förutsätter den typ av konstitutionella arrangemang som om- gärdar den statliga effektivitetsrevisionen. De många utvärderingar av statlig verksamhet som genomförs vid olika forskningsinstitutioner, myndigheter, konsultföretag, intresseorganisationer och så vidare har, som nämnts, olika Ett av dessa kan förvisso vara att ta fram underlag som kan användas även för att utkräva ansvar (eller kanske belöna). – till exempel i form av en forskare eller konsult – kan kallas in av en ledning för att granska underlydande organs eller befattningshavares verksamhet. Många utvärderingar görs alltså, som framhållits tidigare, i en kontext av an- svarsutkrävande och accountability. Oberoendet för den konsult eller annan som deltar i en sådan process kan vara betydande i utförandet av den enskilda granskningen, men det gäller just det tilldelade uppdraget. värderaren agerar inte utifrån en ”egen” institutionell plattform som gör det möjligt att till exempel själv välja vad som ska granskas samt när och hur. Den fråga som här diskuteras är en annan. Utgångspunkten är här att det inte handlar om ett tillfälligt arrangemang eller om något som är föremål för löpande förhandlingar mellan – i detta fall – och . Det är i stället en position, med särskilda friheter och rättigheter, som är regle- rad på den högsta lagnivån. Det måste vara utgångspunkten för diskussionen om vad som särskiljer effektivitetsrevision från annan utvär- dering eller, om man så vill, andra verksamheter som kan te sig likartade. Den avgörande frågan är alltså vilket syfte som motiverar en så speciell position och omvänt – till vad en sådan position kan förväntas användas. syftet är att ta reda på hur väl olika verksamheter sköts, vilka brister som finns, hur ansvarsförhållandena ser ut, hur ansvar för olika brister och tillkortakom- manden kan föras tillbaka på organisationer och befattningshavare och i vilken grad dessa haft möjlighet att agera annorlunda, är det svårt att se annat än att det krävs ett särskilt oberoende i förhållande till den organisation eller verk- samhet som är analysens objekt. Detta följer av att det kan antas att det åt- minstone ibland kan finnas en risk för att de som har ansvaret för en organi- sation eller en verksamhet har ett intresse av att vissa frågor inte ställs och att vissa förhållanden inte blottläggs. Insikten formuleras av då han sammanfattar den aktuella forskningen: ”Administrators’ interest in organiza- tional stability, budget maximization, and the promotion of a favourable image contribute to general to refrain from conducting evaluations which might show agency programmes in a bad light”.157 Om det finns ett demokra- tiskt intresse av att också sådana frågor ställs krävs det därför att granskaren har getts en starkt konstitutionell position. 157 1999, sid. 511. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET 7.1.2 Raison d´être och andra effekter – ett sätt att förena olika synsätt I kapitel 5 gjordes en viktig distinktion, nämligen mellan det som kan ses som motivet till att ha en effektivitetsrevision, som diskuterats ovan, och på vilket sätt en effektivitetsrevision på ett mera konkret plan kan bidra till att förbättra den statliga verksamheten. Åtskillnaden är viktig, och ska därför diskuteras något ytterligare. Diskussionen kan möjligen bidra till att överbrygga skillnaden mellan de olika synsätten som varit upphängda kring nyckelord som ansvar och ansvarsutkrävande å ena sidan och främjande och lärande å den andra. Distinktionen kan te sig trivial. I rader av sammanhang, från beslut i privatlivet till beslut om stora politiska reformer, bestäms saker därför att det antas att ett visst handlande, en viss aktion, leder fram till något man vill uppnå, aktionens mål eller syfte. I litteraturen framhålls emellertid att också en rad andra saker kan inträffa, och det finns till och med en rad kategoriseringar av dessa andra möjliga effekter. I ett vanligt språkbruk beskrivs dessa andra effekter ofta som negativa eller positiva sido- eller bieffekter. Uttryckssättet kan lätt leda till uppfattningen att det handlar om något vid sidan av och något som därför är mindre viktigt, eller mindre relevant, i en diskussion om effektivitetsrevision. Och ord som sido- eller bieffekter kan lätt uppfattas just så, som något mindre viktigt eller underordnat. I själva verket är det inte sällan så, som berörts tidigare, att de effekter som ligger vid sidan av de avsedda effekterna och som utgjorde själva grunden för till exempel en politisk reform kan vara minst lika betydelsefulla. Inget hindrar heller att sådana effekter ibland är förutsedda och har ”räknats in” när ett visst beslut fattats. Distinktionens betydelse i diskussionen om just effektivitetsrevisionen illustreras av Lonsdale och Bechberger i deras behandling av de olika syften och funktioner effektivitetsrevision kan ha: […] it is important to emphasise that the advice and guidance that the generates is a spin-off from its primary accountability role; without its stature audit functions it would not have the knowledge to share, gained from its access and accumulated work. This is a reminder that the learning role will always be secondary […] if the prime purpose of the evaluative work is learning, you would not choose the format of performance audit.158 Tanken att ingen skulle välja att inrätta en effektivitetsrevision om lärande och verksamhetsutveckling skulle vara det främsta syftet bygger på att verksamhetsutveckling leder till en kollision med synen på oberoende och den särskilda konstitutionella position som är central för statlig revision. I en diskussion som specifikt gäller effektivitetsrevision framhåller Barzelay: Suppose an audit body takes on the goal of performance improvement and believes that organizations need to “own” solutions in a psychological sense to implement them. This stance at a minimum would place a premium on consultation with auditees, perhaps even with those deeps inside bureaucratic structures. Consultation might concern terms of reference for 158 Lonsdale and Bechberger 2011, s. 285. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET the audit, validity of data and interference about performance, identification of root causes of performance problems, and the canvassing solutions. To pursue the goal of performance improvement thus seems to require a more intimate relationship between auditors and auditees than characterrizes the traditional pattern.159 Uppfattningen som Barzelay, och även Lonsdale och Bechberger, utgår från, nämligen den att relationen till det granskade måste vara präglad av närhet, och av beroende, om syftet är performance improvement delas av många forskare. Det kan dock finnas olika uppfattningar om detta. I en diskussion om synen på effektivitetsrevision är det dock inte avgörande vilken uppfattning som, empiriskt sett, är den riktigaste. Det centrala är i stället, att värdet av en effektivitetsrevision blir just en empirisk fråga om argumenten för att en sådan, är att den bidrar till lärande och bättre resultat. Om det kan visas att andra modeller är bättre för att få till stånd sådana resultat är det naturligtvis inte rimligt att satsa resurser på effektivitetsrevisionen. Flera forskare har explicit tagit upp detta problem. Om effektivitetsrevisionens värde bedöms utifrån dess omedelbara nytta hamnar den lätt i en situation där dess existens och de resurser som satsas på den kan sättas i fråga. Det är uppenbart att de nationella revisionsorganen pekar på att de gör nytta genom att visa på det omedelbara ekonomiska värdet av sin verksamhet. i framhåller i sin årsrapport: ”We have delivered a strong programme of work to support Parliament and achieved the highest level to date of financial savings for the tax payer, of £1.21 billion, equivalent to £19 saved for every pound spent, all while reducing our costs and achieving further efficiencies”.160 Detta sätt att argumentera för det omedelbara, mera instrumentella, värdet av sin verksamhet förefaller att ha blivit mera betydelsefullt för flera nationella revisionsorgan. Put och Bouckert pekar på att () har påverkat hur SAIarna motiverar sin existens: ”The degree to which SAIs have adopted performance measurement mirrors the extent to which the NPM reforms have been adopted in the country concerned”.161 Att detta i längden kan skapa problem påpekades av Pollitt och Summa i en artikel med den talande ? How Supreme audit institutions account for themselves? De menar att de nationella revisionsorganen (Supreame Audit Institutions, ) som har ”a strong need to justify by giving details of the results achieved and by the value-added for the public sphere”162 hamnar i en situation ”in which a had no distinctive raison d’être. Its continuing existence would depend on its measured performance, on whether the savings their improvements prompted among auditees exceeded its cost”.163 159Barzaly 1997, s. 253. 160NAO 2016, s. 8. 161Put och Bouckert 2013, s. 231. 162Pollitt och Summa 1997, s. 323. 163Pollitt och Summa 1997, s. 334. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET Diskussionen leder ofrånkomligen till ett tankeexperiment. Om nu inte effektivitetsrevision var en del av det nationella revisionsorganet, hur skulle de som ville skapa en sådan ordning argumentera? Det bör påpekas att även om detta är ett tankeexperiment så kan argumentation för inrättandet av en effektivitetsrevision också påverka uppfattningen om hur mycket resurser som bör läggas ned på effektivitetsrevision, när nu en sådan finns. Det framstår som osannolikt att de som skulle ställa sig bakom inrättandet av en effektivitetsrevision skulle göra det med argumentationen att detta vore en bra modell för att hjälpa myndigheter att utveckla sin verksamhet eller för regeringen att utveckla sin styrning av olika verksamheter. Troligen skulle väl detta argument te sig mindre användbart eftersom ett sådant syfte kan antas förutsätta, eller åtminstone underlättas, om de som ska ha hjälp har ett starkt inflytande över vad som ska analyseras, vilka frågor som ska ställas och så vidare. Det oberoende som effektivitetsrevisionen skulle åtnjuta som en del av ett nationellt revisionsorgan skulle därmed kunna ses som ett problem. Ett argument för att inrätta en effektivitetsrevision som möjligen skulle kunna framföras är att det behövs ett organ för att öka kunskapen om olika samhällsproblem, vad som är dess orsaker och hur dessa kan påverkas genom olika styrmedel. Ett led i argumentationen skulle då kunna vara att oberoendet, som effektivitetsrevisionen skulle ha som en del av ett nationellt revisionsorgan, är viktigt för att säkra objektivitet och en särskilt hög kvalitet. Olika forskare kommer ju också, skulle det kanske framhållas, till olika slutsatser. Det behövs därför någon som utan några egna intressen objektivt kan tala om hur det ligger till. Argumentet skulle rimligen möta invändningar. I grunden förutsätter dock detta argument att det empiriskt kan visas, eller åtminstone troliggöras, att en sådan effektivitetsrevision, i jämförelse med olika vetenskapliga organisationer, skulle producera rapporter av särskilt hög kvalitet, vara särskilt objektiv och med särskild skicklighet avgöra konflikter mellan olika synsätt. Om diskussionen i stället börjar med frågan hur till exempel kan säkra att den får information om hur de politiska besluten verkställs och om olika missförhållanden, blir situationen en annan. Det som då skulle framhållas är att den lösning som skapas måste minimera risken för att olika organs institutionella intressen kan snedvrida den information som tas fram. Detta förutsätter arrangemang som gör att granskaren har exklusiva möjligheter att inhämta information och att den granskade svarar på de iakttagelser som görs och att de rapporter som tas fram hanteras i en särskild ordning.