urf · H5A5URF2d2 · 2018-02-15 00:00:00 — Översyn av – slutbetänkande 978-91-88607-20-1 Riksdagstryckeriet, , 2017 Om effektivitetsrevisionens inriktning och kvalitet........... Effektivitetsrevision – förväntningar och identitet ........................................ Om effektivitetsrevisionens inriktning och kvalitet BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET Effektivitetsrevisionens inriktning och syften .......................................... Har effektivitetsrevisionens inriktning förändrats ? Otydlighetens pedagogiska och metodologiska konsekvenser ............ Granskning av ”förutsättningar för”.................................................... 3 Granskningsdesign och metod.................................................................. Analys, slutsatser och rekommendationer................................................. Utsagor om aktörers föreställningar om orsaker.................................. Integrerade rekommendationer och reflektion om styrkor och Om problemens orsaker och effektivitetsrevisionens dilemma(n)............ Försvårar uppdrag en god Försvårar organisation en god Försvårar kompetensbrist inom en god Bilaga 1 Granskade effektivitetsrevisioner................................................... Bilaga 2 Bedömningskriterier för Vetenskapliga rådets synpunkter på BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET Den här rapporten sammanfattar de kvalitetsbedömningar av effektivitetsrevision som forskare vid universitets samhällsvetenskapliga fakultet genomfört . I rapporten konstateras att forskargruppernas budskap i viss mån har varit tvetydigt. Å ena sidan har man bedömt rapporter som i stort sett trovärdiga. har man funnit starka skäl att betvivla de huvudsakliga slutsatserna i effektivitetsrevisionens rapporter. Å andra sidan har forskarna återkommit med kritik och invändningar på en rad centrala punkter, såsom undersökningsuppläggning, analys, belägg, slutsatser och rekommendationer. Forskargruppen har också konstaterat att kvaliteten på effektivitetsrevisioner varierat ganska betydligt. Forskarnas grundläggande kritik handlar om bristande tydlighet. slutsatser förefaller förvisso ofta rimliga och förnuftiga, men det är inte alltid uppenbart hur man kommit fram till dem. Enligt forskarna ter sig slutsatserna inte sällan mer intuitiva än välbelagda och mer ”common senseartade” än utmanande. Kort sagt har det inte funnits skäl att betvivla effektivitetsgranskningarnas budskap, men rapporterna har heller inte tillfört så mycket mer än vad vi redan visste. Det är viktigt att understryka att denna övergripande slutsats gäller oavsett om granskningarna haft en kvantitativ eller kvalitativ karaktär, samt att den har varit återkommande och oberoende av forskargruppens konkreta sammansättning. I rapporten sammanfattas och i viss mån utvecklas Uppsalaforskarnas analys och bedömning av effektivitetsrevisionens karaktär och kvalitet under följande rubriker: •effektivitetsrevisionens syfte och inriktning •effektivitetsrevisionens design och analys •effektivitetsrevisionens slutsatser och rekommendationer. I rapportens avslutande del diskuteras några möjliga förklaringar till effektivitetsrevisionens kvalitetsproblem och möjliga lösningar till dessa. BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET Att studera effektivitet i statlig verksamhet är en viktig uppgift. stämt är det viktigt utifrån åtminstone två perspektiv. Staten kan ses som ett sätt att organisera delar av samhället som bättre än alternativen producerar väl- färd och välmåga. Vi kan kalla det för ett välfärdsperspektiv på staten. legitimeras utifrån ett sådant perspektiv genom sin förmåga att svara mot med- borgarnas behov bättre än t.ex. marknaden eller familjen. vetaren kallar detta för ”output-legitimitet”. visions uppgift blir ur ett sådant perspektiv att undersöka om staten fungerar effektivt för att producera välfärd och samhällsnytta. Kanske kan man säga att detta är nationalekonomins syn på effektivitetsrevision. statlig verksamhet blir ett välfärdsproblem. Men statens verksamhet kan också betraktas ur ett demokratiperspektiv. Statens verksamhet betraktas då som en länk i den demokratiska styrningsked- jan och som ett instrument för att realisera folkviljan. logi följer statens legitimitet av den ”input” som medborgarna skickar i form av demokratiska val och valda representanter. ur ett sådant demokratiperspektiv om att undersöka om statens verksamheter är effektiva för att implementera det som de folkvalda representanterna beslu- tat om – må det röra sig om långsiktiga effekter ”ute i samhället” eller priori- teringar rörande verksamhetsformer och procedurer. Kanske kan man säga att detta är statsvetenskapens syn på effektivitetsrevision. staten blir ett demokratiproblem. Effektivitetsrevision är inte bara viktigt. Som denna rapport kommer att visa ställs effektivitetsrevisionen inför några av samhällsvetenskapens mest grundläggande utmaningar, men utan att ha forskarens möjligheter att helt anpassa frågeställningarna efter befintliga teorier, metoder och data. Det handlar om hur man undersöker effekter och orsakssamband, men också om hur man urskiljer och tillämpar normativa be- har forskare vid samhällsvetenskapliga fakulteten vid universitet genomfört kvalitetsbedömningar av effektivitets- Sammantaget har ett 50-tal rapporter , 2010, 2011, 2014 och 2015 granskats. Arbetet har i stort sett följt samma grundupplägg- En mångdisciplinär granskningsgrupp av forskare med omfattande erfa- renhet av forskning, handledning och examination har satts samman. åren har forskargruppens sammansättning varierat. har varit: ekonomisk historia, företagsekonomi, kulturgeografi, nationaleko- nomi och statsvetenskap.1 Gruppen har därefter läst ett urval om cirka tio av 1 Följande personer har medverkat: (nationalekonomi), (statsvetenskap), (statsvetenskap), (företagsekonomi), BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET omkring 30 effektivitetsgranskningar (se bilaga 1).Ur- valet av granskningar har gjorts genom ett slumpmässigt urval. Varje granskningsrapport har därefter lästs och bedömts av minst två forskare. Bedömningarna har gjorts utifrån de kvalitetskriterier som vetenskapliga råd tagit fram (se bilaga 2) och forskargruppens arbete har inletts med ett ”kalibrerande” seminarium där kriterierna diskuterats samt tidigare iakttagelser och bedömningar har gåtts igenom. effektivitetsrapporter har därefter analyserats och diskuterats vid minst fyra seminarieliknande sammankomster. Mot denna bakgrund har forskargruppen granskat kvaliteten i rapporterna och identifierat brister och förbättringsområden i granskningarnas upplägg, inriktning, metodval etc. samt eventuella förbättringsområden. har vi också försökt bedöma förändring i kvaliteten jämfört med tidigare kvalitetsbedömningar. I denna rapport sammanfattas universitets iakttagelser. Syftet är att summera och i viss mån utveckla forskargruppernas iakttagelser och resonemang om karaktären och kvaliteten på effektivitetsrevision, samt hur denna utvecklats . Forskargruppens iakttagelser kopplas här också till andra studier av effektivitetsrevision (eller ”performance audit”, som den engelska benämningen brukar vara) i andra länder.2 Iakttagelserna och resonemangen organiseras utifrån egna kvalitetskriterier och en tänkt undersökningslogik där effektivitetsrevisionens inriktning och syfte vägleder granskningsdesign och analys och där analysen ligger till grund för slutsatser och rekommendationer. I rapportens avslutande del förs en diskussion om potentiella förklaringar och lösningar på iakttagna problem som är återkommande. (ekonomisk historia), (ekonomisk historia), (företagsekonomi), (kulturgeografi), (nationalekonomi) och (kulturgeografi). Författaren till föreliggande rapport, , är den ende som medverkat samtliga år och har samordnat arbetet. 2 För rapportens innehåll ansvarar författaren. I den löpande texten markeras på olika sätt vad som är Uppsalaforskarnas iakttagelser och slutsatser och vad som är författarens egna analyser och resonemang. 2017/18:URF2 BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET 2 Effektivitetsrevisionens inriktning och syften Det går inte att hitta kurser i effektivitetsrevision vid svenska universitet, och den metodologiska litteratur som explicit handlar om effektivitetsrevision är mycket begränsad. Talande är att den lilla akademiska litteratur som faktiskt finns i hög grad handlar om att förstå vad effektivitetsrevision egentligen är, och vilka syften och roller som institutioner som säger sig ägna sig åt effektivitetsrevision ålagts eller tagit på sig.3 Redan detta förhållande antyder att det ingalunda är självklart vad effektivitetsrevisionen närmare bestämt handlar om. I den svenska debatten har buden om effektivitetsrevisionens inriktning också varit flera och varierat över tid.4 När riksrevisionsreformen följdes upp 2009 riktades kritik mot att effektivitetsrevisionen haft ett alltför legalistiskt fokus mot att kontrollera vad som kom att kallas ”regelefterlevnad”. Med hänvisning till en studie genomförd av en forskargrupp vid (jfr 2011) menade kritikerna att ägnade sig för lite åt att studera om den förda politiken faktiskt åstadkom de effekter som önskades och förväntades ”ute i samhället”. Vidare menade man att effektivitetsrevisionen bara i begränsad omfattning tog hänsyn till kostnaderna för de granskade verksamheterna och att den därtill hade för liten inriktning mot att främja förändringsarbete.5 Utredningen efterlyste ”breda granskningar i väsentliga samhällsfrågor”, och i en justerad formulering i lagen (2002:1022) om revision av statlig verksamhet m.m. heter det numer att effektivitetsrevisionens huvudinriktning ska vara ”granskning av hushållning, resursutnyttjande, måluppfyllelse och samhällsnytta”. I samma lag föreskrivs att granskningen främst ska ta sikte på ”förhållanden med anknytning till statens budget, genomförandet och resultatet av statlig verksamhet och åtaganden i övrigt men får också avse de statliga insatserna i allmänhet”. 2.1 Har effektivitetsrevisionens inriktning förändrats ? universitets granskningar har haft två typer av synpunkter när det gäller inriktningen på och syftena med effektivitetsrevisioner. Den första har gällt inriktningen och den andra tydligheten. I m.fl. studie på uppdrag av riksrevisionsutredning konstaterar man att en mycket stor andel av effektivitetsrevisionerna mellan 2003 3 Se t.ex. Kells 2011, Tillema & ter Bogt 2010, m.fl. 2011; se också Pollitt & Summa 1991. 4 Se t.ex. Bringselius 2015. 5 Slutbetänkande från (2008/09:URF3). BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET och 2007 hade ett starkt fokus på att studera ”regelefterlevnad” (eller ”compliance”) snarare än att granska ekonomi, produktivitet, måluppfyllelse eller effekter ur ett bredare samhällsekonomiskt perspektiv (m.fl. 2009). Iakttagelsen ligger i linje med vad tidigare internationell forskning har observerat: Although most SAIs now state formally that they are investigating the ”3Es”—economy, efficiency and effectiveness—our analysis of reports indicated that true effectiveness (outcome) studies were fairly rare (Pollitt 2003:160). universitets iakttagelser har visat på både likheter och olikheter (se tabell 1). Å ena sidan har vi i likhet med m.fl. noterat ett starkt fokus på att undersöka processer och verksamheter snarare än att analysera långsiktiga utfall som (kausala) effekter av statlig verksamhet ”ute i samhället” (minskad arbetslöshet, minskad klimatpåverkan, minskad social och etnisk segregation, återfall i brott etc.). Å andra sidan menar Uppsalaforskarna – till skillnad från m.fl. – att det också har varit relativt ovanligt med granskningar som studerat regelefterlevnad i strikt mening. Som jag återkommer till nedan har Uppsalaforskarna rest frågan om ett fokus på processer och verksamheter kan ha andra syften än att granska regelefterlevnad. En tolkning som lanserats är att processorienterade granskningar kan ses som försök att följa (den kausala) processen mellan en statlig verksamhet och styrstrategi å ena sidan och dess avsedda effekter å den andra. Tabell 1: Inriktningens utveckling över tid 2003–2008 (m.fl.) 2009–2015 (m.fl.) vanligt med fokus på regelefterlevande vanligt med ”administrativa granskningar” ovanligt med fokus på samhällseffekter fokus på kontroll och ansvarsutkrävande ovanligt med fokus på kostnadsaspekter ovanligt med fokus på regelefterlevande vanligt med processtudier (”förutsättningar för”) ovanligt med fokus på samhällseffekter ökat fokus på främjande vanligare att kostnadsaspekter berörs men fortfarande osystematiskt Två saker bör här påpekas. För det första har universitets studier inte primärt syftat till att kategorisera effektivitetsrevisionens typ av granskningar. Uppsalaforskarna har därför inte heller haft samma utvecklade begreppsapparat för att beskriva granskningarnas inriktning som m.fl. Detta innebär t.ex. att det är lite oklart hur det Uppsalaforskarna kallar ”processtudier” skiljer sig från det m.fl. kallar ”administrativa granskningar”. Även om slutsatserna om förekomsten av regelefterlevandestudier ter sig säker bör jämförelsen i tabell 1 därför läsas som en ganska grovskalig indikation på utvecklingen. För det andra bör det understrykas att det här inte ligger någon värdering av inriktningen på effektivitetsrevisionen. I Uppsalaforskarnas rapporter har både risker och möjligheter med att prioritera utfallsorienterade effektanalyser BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET Allt annat lika är det svårare att belägga orsakssamband ju längre och mer komplex kedjan mellan den statliga verksamheten och de intressanta effekterna antas vara. I synnerhet gäller detta om effektivitetsrevisionen ska göra ”breda granskningar i väsentliga samhällsfrågor”. Det är kort sagt inte någon enkel sak att kombinera ”bredd och djup” på det vis som Riksrevisions- utredningen efterlyser.6 Försiktighet med anspråk på att uttala sig om långsik- tiga samhällseffekter kan utifrån ett sådant resonemang förstås. Talande är också att de effektivitetsgranskningar som bäst lyckas belägga orsakssamband mellan statliga insatser och samhällseffekter rimligen kan be- skrivas som mer djupa än breda. Det handlar om effektstudier av enskilda styr- medel inom ramen för bredare reformer snarare än reformerna som sådana. Styrkan i denna typ av granskningar är att de möjliggör precisa skattningar av utfallseffekter; risken är att en sådan effektivitetsrevision ger en begränsad förståelse av politikens bredare sammanhang och orsakssamband i styrnings- kedjans initiala faser.7 Jag återkommer nedan till frågan om alternativa meto- der vid effektivitetsrevision. 2.2 Otydlighetens pedagogiska och metodologiska konsekvenser En tydlig problembeskrivning hjälper läsaren att förstå men är också en förutsättning för granskarens möjligheter att avgränsa en eller flera frågeställningar, välja granskningsdesign, genomföra analysen och dra slutsatser. Tydlighet är en pedagogisk såväl som metodologisk dygd. Många problem kan undvikas genom en väl genomtänkt problemställning och undersökningsfråga. Detta gäller inte minst när frågorna handlar om så komplexa processer som effektiviteten i offentlig politik. Poängen är att syfte och frågeställning är nära kopplade till frågor om metod, material, analys och slutsatser. I vetenskapliga råds kvalitetskriterier heter det sålunda att effektivitetsrevisionens frågor ska vara formulerade så att de kan ”besvaras med hög grad av tillförlitlighet och precision” (se bilaga 2). På denna punkt har Uppsalaforskarna återkommit med kritik. Forskarna menar att syften och revisionsfrågor ofta är för många eller för allmänna. Man har tolkat detta som uttryck för vilja att ta ett brett helhetsgrepp om de studerade styrsystemen och verksamheterna, men påpekat att det är en ambition som riskerar att skapa metodologiska och analytiska problem. Ofokuserade frågeställningar gagnar sällan analytisk systematik. Det innebär ofta omfattande material, många delstudier och höga krav på rapportförfattarnas förmåga att redogöra för hur delarna hänger ihop och informerar varandra. Uppsalaforskarna menar att denna systematik inte 6 I den internationella litteraturen har det hävdats att nationella effektivitetsrevisionsorgan prioriterar att ägna sig åt att studera regelefterlevnad (compliance) snarare än samhällseffekter därför att det senare uppfattas som för svårt (se Kells 2011). 7 Medan problemet med den senare typen av studier alltså är att de sällan på ett övertygande vis lyckas koppla dessa initiala steg i styrningskedjan (strategier, handläggning, myndighetsbeslut) till utfall i samhället (arbetslöshet, återfall i brott, klimatpåverkan etc.). BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET alltid är enkel att se. Som läsare måste man anstränga sig och vara ganska generös för att förstå hur syften, revisionsfrågor, undersökningar och slutsatser hänger ihop. Som en följd förloras inte bara pedagogik utan också metodologisk trovärdighet. 2.3 Granskning av ”förutsättningar för” I flera rapporter har Uppsalaforskarna uppmärksammat och återkommit till en typ av granskningar som syftar till att undersöka ”förutsättningarna för” att t.ex. bedriva ett effektivt eller ändamålsenligt arbete med en fråga. Forskargruppen har diskuterat den egentliga innebörden av denna typ av granskningar. I somliga fall har vi här tyckt oss ana en ganska rimlig och sofistikerad undersökningslogik. Utifrån en idé eller teori om förutsättningarna för en effektiv implementering av politikens mål undersöks om dessa förutsättningar skapats. Om beslut bygger på en föreställning om att ökad samverkan mellan stat och civilt samhälle är ett nödvändigt led för att förbättra integrationen av nyanlända kan man undersöka om berörda myndigheter har förmått skapa gynnsamma villkor för sådan samverkan. Är dessa ”processvillkor” inte uppfyllda kan man dra slutsatsen att den förda politiken rimligen inte heller kunnat leda till de eftersträvade samhällseffekterna – åtminstone inte på det sätt det var tänkt. Man skulle kunna kalla det för en granskning av ”förutsättningar för avsedda effekter”. I utvärderingslitteraturen finns liknande tankar under rubriker som ”teoribaserad utvärdering” eller utvärdering med hjälp av ”programteori” (Vedung 2009).8 En variant av denna typ av design skulle kunna beskrivas som granskning av ”förutsättningar för god statlig verksamhet”. I detta fall blir kopplingen till effekter i samhället än mer indirekt. Istället för att utgå från en teori om hur just den granskade insatsen eller verksamheten är tänkt att rendera tänkta effekter utgår man här ifrån en mer generell idé om vad som kännetecknar en välfungerande statlig verksamhet, t.ex. att statens styrning är tydlig, att handläggning av ärenden följer fastlagda regler eller att samverkan fungerar när det behövs. Forskargruppen vid menar att syfte här tycks vara något annat än att studera regelefterlevnad. Detta är viktigt. Ett fokus på processer utesluter inte en ambition om att uttala sig om effekter och är ingalunda per definition en fråga om ”compliance”. Som berörs ytterligare nedan är emellertid idén och tanken bakom granskningarna av ”förutsättningar 8 Med samhällsvetenskaplig metodvokabulär kan man också säga att denna typ av granskningar lägger fokus på att spåra de kausala mekanismerna mellan insatser och effekter i styrningskedjan. Sådana mekanismer finns av olika slag i olika skeden av interventionsprocessen. I tidiga skeden handlar de om styrstrategier i regering och centrala myndigheter, organisering och implementering. I senare skeden om reaktioner och beteendeförändringar hos politikens adressater (t.ex. minskad bilanvändning) och för vissa typer av politik också mer naturvetenskapliga processer (t.ex. betydelsen av minskade koloxidutsläpp för den globala uppvärmningen). ”Förutsättningarna för” i granskningar handlar oftast om relativt tidiga skeden i styrningsprocessen. BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET för” alltför ofta för outvecklad, och forskargruppen har efterlyst tydliggöran- den av tanken bakom denna typ av effektivitetsrevisioner. BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET 3 Granskningsdesign och metod Det finns inga perfekta metoder eller metodologiska uppläggningar för att studera statliga verksamheters effektivitet, och det finns inga enkla mallar som alltid går att ta till och tillämpa. Utgångspunkten kan tyckas resignerad, men den har sina poänger. Den understryker att valda uppläggningar av och metoder för effektivitetsrevision kräver eftertanke och argument. En effektivitetsgranskning måste designas utifrån omständigheterna i varje enskilt fall, och olika metoder har olika styrkor och svagheter. Avsaknaden av perfekta metoder och enkla mallar betyder förstås inte att vad som helst går an. Effektivitetsrevision är inte vilka bedömningar som helst. Det är bedömningar som gör anspråk på systematik. För systematikens skull är en medveten och tydlig granskningsdesign avgörande: Hur ska olika material och delstudier ge trovärdiga svar på granskningsfrågorna? Detta är, som forskargruppen tolkar det, också andemeningen i vetenskapliga råds kriterier om metoder för faktainsamling och bedömning: Metoderna ska vara lämpliga i förhållande till syftet och beskrivna på ett begripligt sätt (se bilaga 2). En återkommande iakttagelse i Uppsalaforskarnas rapporter har emellertid handlat om balansen mellan den vikt som läggs på insamling av data och den vikt som läggs på granskningarnas systematiska uppläggning och design. Man menar att metodbeskrivningarna sällan är tillräckliga för att man som läsare ska förstå varför just den eller de metoderna valts, varför ingen annan metod valts och på vilket sätt den valda metoden på ett bra sätt besvarar den eller de uppställda frågorna. Kort sagt menar forskargrupperna att steget till datainsamling (se nedan) ofta tycks gå väl fort. Frågor om granskningsdesign och metod är svåra – i synnerhet när komplexa fenomen som statliga verksamheter ska kopplas till samhällseffekter. I den enkätundersökning som forskargruppen genomförde 2012 var också design och analys de moment som medarbetare tyckte var svårast. Just därför bör de också ägnas och energi. Uppsalaforskarna har här tyckt sig se behov av en omprioritering. Mycket material och data är visserligen bra, men bara om det finns en tydlig struktur genom vilken dessa kan analyseras. Att en genomförandeprocess beskrivits eller en kausal effekt av en reform systematiskt belagts inom ramen för en väl vald granskningsdesign innebär i sig inte någon effektivitetsrevision. Det är en sak att studera konsekvenserna av ett riksdagsbeslut, en annan sak att värdera dessa konsekvenser. En effektivitetsrevision tarvar systematik i bägge avseenden. För bedömning behövs en norm och ett kriterium för vad som är att betrakta som ”bra”. BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET ”måttstockar”. Sådana måttstockar och kriterier är inte självklara utan måste väljas och specificeras. Utifrån en måttstock kan en statlig verksamhet vara framgångsrik, utifrån en annan vara gravt bristfällig. Otydlighet om vilka kri- terier som faktiskt har tillämpats underminerar därmed granskningarnas trans- parens och trovärdighet. Enligt vetenskapliga råds kriterier måste därför de grunder som den granskade verksamheten bedöms gentemot vara väl beskrivna (se bilaga 2). I universitets granskningar har forskarna funnit att kvaliteten i rapporter varierar i detta avseende. om bristande tydlighet och transparens. Inte sällan radas flera olika bedöm- ningsnormer upp, utan att man som läsare förstår hur de relateras och priorite- ras i förhållande till varandra. I något exempel finns åtminstone femton olika I sig är det inte felaktigt. Väl genomförda kan gransk- ningar utifrån många olika bedömningsgrunder ge mer nyanserade beslutsun-