urf · H5A5URF2d2 · 2018-02-15 00:00:00 — Det ställer emellertid höga krav på pedagogik och systematik – inte bara i inledningen av rapporten utan framförallt i slutet när processer, insatser och/eller effekter ska värderas. Det finns exempel på goda utredningar av vad som är en rimlig tolkning av vad måluppfyllelse av beslut skulle innebära, men där det inte är lika tydligt hur dessa kriterier sedan har tilläm- Inte sällan får läsaren själv försöka lista ut vilken bedömningsnorm som legat till grund för slutsatserna. Som en följd blir det svårt att se varifrån slut- Om kriterierna är för oklara kan i stort sett vad som helst betraktas som en framgång eller ett misslyckande. Man kan tycka att denna fråga inte bör vara problematisk i effektivitetsre- Effektivitetskriteriet ligger i själva benämningen på verksamheten. handlar om att bedöma om den statliga verksamheten bedrivs på ett effektivt Men effektivitetskriteriet kan ta sig många varianter och tillämpas i olika skeden av genomförandekedjan och på olika nivåer av den offentliga sektorn. Man kan t.ex. välja att bedöma effektiviteten i forskningspolitiken genom att bedöma om universitet och högskolor förmår omvandla sina anslag till forsk- ning och forskningsmånader (produktivitet). Man kan också bedöma effekti- viteten i termer av forskningens kvalitet eller för all del samhällsrelevans och Detta är tre olika sätt att se på effektivitet. Inget kan sägas vara mer rätt än något annat, och samma lärosäte kan mycket väl vara framgångsrikt utifrån en av bedömningsnormerna men prestera ganska dåligt utifrån en annan. är närmast självklart. Syftet här är bara att illustrera varför tillämpning av be- 9 Noga taget handlar frågan om bedömningskriterier om ställningstaganden i två frågor. mest grundläggande handlar om vilken måttstock som ska användas när politikens värde be- I utvärderingsläran finns många bud på vad som är lämpliga måttstockar (t.ex. målre- alisering, produktivitet, brukarnöjdhet). Den andra frågan handlar om vid vilket värde på den valda måttstocken något anses bra eller dåligt. Hur produktiv ska verksamheten vara för att den ska anses bra? Hur hög ska graden av målrealisering vara för att inte anses otillräcklig? För att en granskning ska anses vara systematisk och transparent måste den också ha ett gränsvärde för vad som ska anses vara tillräckligt högt för att anses ”bra”. BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET 4 Analys, slutsatser och rekommendationer Enligt vetenskapliga råd kännetecknas en bra effektivitetsrevision av att det finns ett ”gott faktaunderlag” som är ”relevant för att besvara revisionsfrågorna” och att detta faktaunderlag har analyserats på ett ”korrekt sätt”. Därtill ska slutsatserna vara ”väl underbyggda och följa av de uppgifter som framkommit i granskningen”, och rekommendationerna ska ”följa logiskt av empiri och slutsatser”. (Se bilaga 2.) En av de första iakttagelserna som gjordes i universitets granskningar av effektivitetsrevisionen var mängden information och data. Det rika källmaterialet är en av de största förtjänsterna med rapporter. konstitutionella position innebär att den har god access till data. talar data sällan för sig själv (och när de gör det är det sällan om något intressant). Som redan berörts måste data och material analyseras för att bli till svar på revisionsfrågor, och analyseras utifrån en tydlig design och struktur för att bli till transparenta analyser och trovärdiga svar. Också här har Uppsalaforskarna framfört invändningar. Inte minst och analys av intervju- och enkätdata har varit föremål för diskussion i forskargruppen. En återkommande iakttagelse har t.ex. varit att det ofta är oklart vilka tjänstemän på vilken typ av positioner inom en myndighet som har besvarat en enkät. Samma problematik gäller flera intervjuundersökningar. Vem informationen kommer från saknas i princip i samtliga rapporter som forskargruppen har bedömt. För källkritik men också tolkning av materialet är denna information avgörande. Det säger sig självt att personer på olika positioner kan ha olika bilder av myndighetens verksamhet, men också olika intressen i hur verksamheten framställs. Rapporternas trovärdighet, menar forskargruppen, vinner på att denna typ av frågor lyfts fram och problematiseras. Så är sällan fallet. På ett liknande vis har forskargruppen konstaterat att det är ovanligt att tar upp motsägelsefull information i ett material, eller att kopplingar mellan olika uppgifter från samma uppgiftslämnare synliggörs. Inte minst i ljuset av hur viktiga intervjuer och enkäter är för slutsatser är detta anmärkningsvärt. Uppsalaforskarnas slutsats är tudelad: Å ena sidan har man lyft fram källkritiska problem med de iakttagna intervju- och enkätmetoderna; å andra sidan ser man underutnyttjade möjligheter att stärka analys och slutsatser och att problematisera redan befintliga bilder av de studerade verksamheterna. 4.1 Utsagor om aktörers föreställningar om orsaker Det finns här skäl att särskilt lyfta fram en observation som forskargruppen återkommit till : utsagor om orsaker och utsagor om aktörers föreställningar om orsaker. En del rapporter från har karaktären BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET av ”ihopsamlade bilder av verksamheten”. Det kan handla om aktörers bilder av både processer, handlingar och effekter. Forskargruppen har här inte fram- fört någon kritik mot metoden som sådan. är detta kanske det bästa man I linje med kritiken överlag handlar det grundläggande problemet istället om hur metoden och analysen presenteras. Finns det någon mer utveck- lad tanke bakom denna analytiska praktik, och hur ser den i så fall ut? salaforskarna har föreslagit att man kan tänka sig denna typ av granskningar i åtminstone två varianter: I den enkla varianten samlar ihop olika bilder och redogör för dem utan att själva göra någon egentlig analys. Det viktiga är då att så väl som möjligt återge respektive aktörs bild av eller berättelse om den granskade verksamheten. I den andra varianten prövas de olika bilderna i syfte att självständigt ska kunna ta ställning. Problemet är, menar forskarna, att praktik tycks hamna nå- gonstans mittemellan dessa logiker och att det följaktligen blir svårt att följa analysen och se grunderna för slutsatserna. 4.2 Integrerade rekommendationer och reflektion om styrkor och svagheter Som en konsekvens av prioriteringen av bred datainsamling framför en tydlig granskningsdesign följer enligt forskargruppen inte sällan brist på precision och skärpa i slutsatserna. Slutsatserna blir ofta bekräftande och får karaktären av intuitivt sunt förnuft. De är sällan överraskande eller kontroversiella utan bekräftar snarare utgångspunkterna för granskningen, eller ett mer generellt förvaltningspolitiskt mantra (t.ex. att regeringens styrning bör tydliggöras). På så vis kan slutsatser också vara trovärdiga – eller åtminstone inte otrovärdiga – som metodologisk design och analys har brister. För att skärpa analysen och slutsatserna har Uppsalaforskarna diskuterat och föreslagit att tydligare integrerar sina rekommendationer i analysen och tydligare visar hur dessa svarar på de problem som identifierats i de granskade verksamheterna. Rekommendationerna, har man hävdat, skulle på så vis bli ett slags ”kontrafaktiskt check” av analysen: Är det verkligen så att den föreslagna åtgärden korresponderar med den analys som gjorts? Och varför har den i så fall inte vidtagits? Genom att på detta sätt avkräva tydligare argumentation om relationen mellan rekommendation och slutsats bör också analysen kunna fördjupas och en fördjupad förståelse av granskningsobjekten och deras sammanhang fås. Den primära poängen är med andra ord inte att formulera mer precisa rekommendationer utan att utveckla analysen och förfina slutsatserna. Slutligen har Uppsalaforskarna efterlyst en större reflektion kring vilka brister respektive styrkor som finns i de genomförda analyserna. Man menar att denna typ av diskussion i princip lyser helt med sin frånvaro. Alla granskningar eller analyser är emellertid inte lyckade. Det är inte heller konstigt, och – som närmare kommer att beröras nedan – ibland ligger orsakerna till detta utanför direkta kontroll. Det är då bättre att vara tydlig med BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET problem och förtjänster. Det skapar trovärdighet, och det möjliggör också mer nyanserade slutsatser och rekommendationer. 2017/18:URF2 BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET 5 Om problemens orsaker och effektivitetsrevisionens dilemma(n) Det är på många sätt en imponerande gärning att, såsom , år frivilligt utsätta sig för en extern och i viss mån oförstående kritik. I forskargruppens ”utifrånperspektiv” ligger både en styrka och en begränsning. Vi har i hög utsträckning granskat utifrån forskarsamhällets krav och normer. På flera sätt är detta orättvist. Medan forskaren har frihet att själv avgränsa och anpassa inriktningen på sina studier utifrån tillgängligt material, befintlig teoribildning etc. är uppdrag mindre fritt. När den universitetsverksamma forskaren kan och bör formulera sina frågor utifrån ambitionen att skapa bästa möjliga kvalitet måste välja frågor utifrån deras relevans för politiskt ansvarutkrävande eller främjande av granskade verksamheters utveckling (se ”Användbarhet” i vetenskapliga råds kriterier i bilaga 2). Detta skapar särskilda betingelser för metodutveckling och metodval inom ramen för en effektivitetsrevision. När det t.ex. för forskaren ofta är intressant att utveckla och tillämpa metoder för att kunna dra generella lärdomar är det – som Uppsalaforskarna förstått det – för det enskilda specifika fallet som står i centrum. Det intressanta är inte om styrmedel av typ x eller policyer av typ y generellt sett är effektiva. Det bör ge kunskap om är om de politiska insatserna och systemen i det enskilda fallet har fungerat effektivt. Här skulle man kunna hävda att fokus på det enskilda ligger närmare historikerns än samhällsvetarens. Med den reservationen och den bakgrunden avslutas denna promemoria med några tankar och idéer om varför effektivitetsrevisionen – trots interna ambitioner och yttre tryck – år tycks brottas med samma grundläggande problem. Frågan handlar om otydlighetens orsaker. Som framgått ovan har universitets forskargrupp pekat ut bristande tydlighet som ett grundproblem för effektivitetsrevisionen. Tydlighet och transparens är en förutsättning för ett grundläggande kvalitetskrav: intersubjektivitet. En undersökning måste genomföras så att den kan utsättas för andras kritiska granskning, och dess slutsatser måste hålla för andras granskning. Det måste därför finnas en granskarröst närvarande som klargör granskningens premisser och utgångspunkter. Uppsalaforskarna har ibland uppfattat att det finns en ängslighet inför detta i rapporter, möjligen driven av en tveksam tolkning av innebörden av objektivitet. Att klargöra antaganden och bakomliggande idéer är emellertid inte uttryck för subjektivitet utan en förutsättning för intersubjektivitet. BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET Ovan har vi pekat på otydlighet i syfteformuleringar, val och tillämpning av bedömningskriterier, granskningarnas design, analysens belägg och rekommendationernas förankring i analysen. På flera punkter har vi kunnat rekonstruera en potentiell undersökningslogik som förklarar granskningspraktiken, men detta är då produkten av ett ganska omfattande och kanske också väl generöst tolkningsarbete. Varför är det så svårt att få till den tydlighet som krävs för en bra rapport? Nedan diskuteras tre idéer: •Problemen är en följd av uppdrag i fråga om effektivitetsrevision. •Problemen är en följd av organisation. •Problemen är en följd av bristande kompetens hos effektivitetsrevisionens medarbetare. 5.2 Försvårar uppdrag en god effektivitetsrevision? Ligger grunden till effektivitetsrevisionens problem i själva uppdraget? Närmare bestämt kan frågan ges två inriktningar. Den ena handlar om uppdragets ambition: Är det verkligen rimligt att kräva bredd och djup i effektivitetsrevisionen ? När forskningsseminariets eviga uppmuntran är att respondenten bör spetsa till sin frågeställning är uppmaning till att göra det motsatta. Snarare än att granska enskilda styrmedel eller avgränsade projekt är det breda grepp på den förda politiken som uppmuntras. Och snarare än att fokusera på verksamheten, organisationen och procedurerna efterlyses ett fokus på långsiktiga effekter av statlig verksamhet. Man kan fråga sig om detta inte är att ge ett omöjligt uppdrag. Kort sagt: Finns det inte i uppdrag en förväntan på vad en effektivitetsrevision ska kunna åstadkomma som överstiger vad som är rimligt? Den andra frågan handlar om uppdragets mångtydighet snarare än ambitionen som sådan. Mångtydigheten märks redan i lagstiftningen. Här betonas det ansvarsutkrävande (kontrollerande) uppdraget och det verksamhetsutvecklande (främjande), som inriktningen formuleras i termer av hushållning, resursutnyttjande, målrealisering och/eller samhällsnytta. Distinktionerna är inte alldeles uppenbara10, och mening har uppenbarligen varit att uppdraget ska formuleras brett för att ge möjlighet att själv utveckla och tillämpa varianter av effektivitetsrevision. Risken med en sådan strategi är att mångtydigheten inte reds ut utan lever vidare i mer operativa delar av effektivitetsrevisionen. I en enkät till samtliga anställda som varit projektledare eller projektmedarbetare inom effektivitetsrevisionen ställde Uppsalaforskarna 2011 ett antal 10 I synnerhet relationen mellan målrealisering och samhällsnytta tycks genuint oklar. I vissa sammanhang betraktas det som samma sak; i andra sammanhang är det senare något vidare. Klart är att båda frågorna rimligen kan ställas om ett ”utfall ute i samhället”: Effekterna på arbetsmarknaden kan rimligen vara samhällsnyttiga i något avseende men inte ligga i linje med uppsatta mål. BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET frågor om välkända och omdebatterade aspekter av effektivitetsrevision, såsom regelefterlevnad, målrealisering, effektanalys etc.11 En slutsats var att många olika inriktningar av effektivitetsrevision tycktes vara mycket relevanta inom organisationen. Också på individnivå finns en mycket bred och mångfacetterad uppfattning om vad som ligger i effektivitetsrevisionens väsen. På många sätt kan denna breda förståelse av vad effektivitetsrevision är, och kan vara, vara en tillgång. Det ställer däremot höga krav på intern samordning och organisering för att verksamheten inte ska bli otydlig och ofokuserad. Mot bakgrund av ovanstående resonemang kan följande frågor resas: •Kan och bör innebörden av effektivitetsrevision tydliggöras ytterligare? Är det i så fall en fråga för , eller är det som bör göra det? •Bör ett sådant tydliggörande ligga till grund för en intern organisering utifrån typ av inriktning på effektivitetsrevision snarare än som sakpolitiskt område? 5.3 Försvårar organisation en god effektivitetsrevision? Ligger grunden till effektivitetsrevisionens problem i (dåvarande) organisation? När forskargruppen vid försökte följa granskningsprocessen ”från ax till limpa” genom att ta del av förstudier, granskningsbeslut och slutrapporter samt genom att göra intervjuer och genomföra en enkätundersökning om ”produktionsprocesserna” med samtliga projektmedarbetare inom effektivitetsrevisionen uppmärksammades särskilt organisatoriska problem kring effektivitetsrevisionen. I forskargruppens intervjuer och enkät hittades faktorer som rimligen kan hjälpa oss att förstå den ängslighet och försiktighet som går ut över rapporternas tydlighet och som motverkar tydliga avgränsningar och därmed försvårar möjligheterna att designa granskningarna väl. Vi gjorde en jämförelse med vår egen yrkesvardag. Universitet som kunskapsproducerande miljö kännetecknas inte bara av teoretiskt och metodologiskt kompetenta individer. I nog så hög utsträckning är det den akademiska kulturen med dess betoning av kollegial kritik som definierar ett universitet och denna typ av ”kunskapsproduktion”. En nyckel i detta sammanhang är samtalet där kolleger förklarar, försvarar och rannsakar sina metoder, analyser och slutsatser inför varandra i en organisatorisk kultur där det anses vara ett bra hantverk när osäkerheter och brister lyfts upp till diskussion och reflektion. 11 Populationen uppgick ursprungligen till 75 personer, och av dessa ströks åtta personer (sex var föräldralediga och två tjänstlediga). Av de återstående 67 uppgav 1 ”hög arbetsbelastning” och 11 avstod från att svara. Svarsfrekvensen uppgår sålunda till . Enkäten öppnades (”skickades ut”) och den tredje och sista påminnelsen skickades . BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET Forskargruppens intryck var att de kollegiala samtalen inom projektgrupper och mellan utredare inte sällan stördes av yttre händelser och ryckighet i organisationen. Snarare än professionell och kollegial dialog framskymtade förhandlingsspel och påtryckningar i granskningsprocesserna. Inte minst i inledande skeden och i slutet av granskningsprocesserna framstår det som att riksrevisorerna och andra centrala delar av organisationen är aktiva i formuleringen av slutsatser och rekommendationer. Det är ingalunda självklart att detta gynnar den metodologiska självtillit som förefaller nödvändig för att få större tydlighet och djärvhet i frågeformuleringar, avgränsningar, design och slutsatser. Man denna bakgrund kan följande fråga resas: •Bör man skilja på ansvar för analys och beslut om slutsatser och rekommendationer i syfte att åstadkomma ett tydligare ”ägarskap” för analyserna och därmed förhoppningsvis ökad analytisk skärpa i rapporterna? 5.4 Försvårar kompetensbrist inom en god effektivitetsrevision? Ligger förklaringarna till otydlighet i fråga om syfte, design, analys och slutsatser i bristande kompetens hos medarbetare? Vår studie visade att medarbetarna själva hade höga tankar om sina medarbetares kompetens. visade samma studie att frågor om design och analys uppfattades som granskningsprocessens kritiska moment – moment där just metodologisk kompetens och självtillit spelar stor roll. Mot denna bakgrund har också Uppsalaforskarna vid ett flertal tillfällen betonat vikten av kompetensutveckling för att komma till rätta med effektivitetsrevisionens brister. Med hänvisning till att vi tyckt oss se möjligheter till mer utvecklade analyser än vad som faktiskt tillämpats har vi dragit slutsatsen att investeringar i metodkompetens bör kunna förbättra kvaliteten på rapporterna. I sammanhanget har det särskilt betonats att detta gäller både kvantitativ och kvalitativ metod. Lite förenklat uttryckt kan man hävda att vi tyckt oss se möjligheter till mer kvantitativa analyser och sett många brister i hantverket när det gäller kvalitativ metod. Mot denna bakgrund har Uppsalaforskarna därför gjort gällande att behovet av utvecklad metodkompetens gäller kvalitativa metoder (för t.ex. processpårning och mekanismanalys) minst lika mycket som kvantitativa metoder och grundläggande statistik. Mot denna bakgrund kan följande fråga resas: •Bör mer regelbundet samarbeta med forskare som är specialister på den typen av metoder och metodproblem man har att göra med i en specifik effektivitetsrevision? Vad får det i så fall för konsekvenser för strategier för att säkerställa oberoende? OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET & Bringselius, L. (2015) ”Professionalism and organiza- tional performance in the wake of new managerialism”, European Political , 7(4), 499–523. , A., Svärdsten, F. & , P. (2011) ”Value for money and the rule of law: the (new) performance audit in ”, of , 24.2: 107–121. Kells, (2011) ”The seven deadly sins of performance auditing: Implica- tions for monitoring public audit institutions”, 21.4: 383–396. Kells, S. & Hodge, G. (2009) ”Performance auditing in the public sector: re- conceptualising the task”, in Business and Government ,15.2:33-60. Tillema, . ter Bogt (2010) ”Performance auditing: Improving the quality of political and democratic processes?”, Critical Perspectives on Accounting 21.8: 754–769. Pollitt, C. (2003) ”Performance audit in Western Europe: trends and choices”, Critical perspectives on accounting 14:1–2:157–170. Pollitt, C. & Summa, H. (1996) ”Performance audit and evaluation: Similar tools, different relationships?”, New Directions for Evaluation, 71:29–50. riksdag (2009) Uppföljning av riksrevisionsreformen II: Effektivitets- revisionen, den årliga revisionen och den internationella verksamheten. betänkande från (2008/09:URF3), , Riks- (2009) Utvärdering i politik och förvaltning. BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET Bilaga 1 Granskade effektivitetsrevisioner •Omställningskraven i sjukförsäkringen – att pröva sjukas förmåga i annat arbete (RiR 2009:1) •Försäkringskassans inköp av IT-lösningar (RiR 2009:2) Regeringens redovisning av bostadsuppskov och pensionsavdrag (RiR 2009:3) •Swedfund och samhällsuppdraget (RiR 2009:4) •En effektiv och transparent plan- och byggprocess? Exemplet buller (RiR 2009:5) •Energideklarationer – få råd för pengarna (RiR 2009:6) •Beslut om sjukpenning – Har tillräckliga underlag? (RiR 2009:7) •Regeringens försäljning av (RiR 2009:9) •Psykiatrin och effektiviteten i det statliga stödet (RiR 2009:10) •Försvarsmaktens personalförsörjning – med fokus på officersförsörjningen (RiR 2009:11) •Hanteringen av unga lagöverträdare – en utdragen process (RiR 2009:12) •Omställningskraven i arbetslöshetsförsäkringen (RiR 2009:13) •Tillämpningen av det finanspolitiska ramverket (RiR 2009:14) •Sidas stöd till utveckling av kapacitet i mottagarländernas statsförvaltning (RiR 2009:15) •Underhåll av belagda vägar (RiR 2009:16) •Regeringens redovisning i budgetpropositionen (RiR 2009:17) •Styrning inom arbetsmarknadspolitiken – mål, styrkort och modeller för resursfördelning (RiR 2010:1) •Från många till en – sammanslagningar av myndigheter (RiR 2010:3) •Klassificering av kurser vid universitet och högskolor – regeringens styrning och uppföljning (RiR 2010:4) •Arbetsförmedlingens arbete med arbetsgivarkontakter (RiR 2010:6) •En förändrad sjukskrivningsprocess (RiR 2010:9) •Hanteringen av mängdbrott – en kärnuppgift för polis och åklagare (2010:10) •Underhåll av järnväg (RiR 2010:16) •Statliga stöd i alkoholpolitiken – Påverkas ungas alkoholkonsumtion? (RiR 2010:21) •Polisens brottsförebyggande arbete – har ambitionerna uppnåtts? (RiR 2010:23) BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET • Informationsutbyte mellan myndigheter med ansvar för trygghetssystem – Har möjligheter till effektivisering utnyttjats? (RiR 2010:28) •Oförbrukade forskningsbidrag vid universitet och högskolor (RiR 2011:3) •Statliga IT-projekt som överskrider budget (RiR 2011:5) •Klimatinsatser utomlands – statens köp av utsläppsrätter (RiR 2011:8) •Svenska bidrag till internationella insatser (RiR 2011:14) •Samordning av stöd till funktionshindrade barn och ungdomar – Ett (o)lösligt problem? (RiR 2011:17) •Botniabanan – hur har det blivit och vad har det kostat? (RiR 2011:22) •Statens insatser för riskkapitalförsörjning – i senaste laget (RiR 2014:1) •Bostäder för äldre i avfolkningsorter (RiR 2014:2) •Staten och det civila samhället i integrationsarbetet (RiR 2014:3) •Ekonomiska förutsättningar för en fortsatt omställning av försvaret (RiR 2014:7) •Stödet till anhöriga omsorgsgivare (2014:9) •Att tillvarata och utveckla nyanländas kompetens – rätt insats i rätt tid? (RiR 2014:11) •Att gå i pension – varför så krångligt? (RiR 2014:13) •Swedfund – Är finansieringen av bolaget effektiv för staten? (RiR 2014:16) •Statens dimensionering av lärarutbildningen – utbildas rätt antal lärare? (RiR 2014:18) •Valuta för biståndspengarna? – Valutahantering i det internationella utvecklingssamarbetet (RiR 2014:19) •Patientsäkerhet – har staten gett tillräckliga förutsättningar för en hög patientsäkerhet? (RiR 2015:12)