urf · H5A5URF2d2 · 2018-02-15 00:00:00 — •Regeringens styrning av SOS Alarm – viktigt för människors trygghet (RiR 2015:11) •Aktivitetsersättning – en ersättning utan aktivitet? (RiR 2015:7) •Digitalradio – varför och för vem? (RiR 2015:5) •Återfall i brott – hur kan samhällets samlade resurser användas bättre? (RiR 2015:4) •Utbildningsstödet till varslade vid – omskolad till arbete? (RiR 2015:1) •Kontrollen av försvarsunderrättelseverksamheten (RiR 2015:2) BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET Bilaga 2 Bedömningskriterier för Vetenskapliga rådets synpunkter på effektivitetsrevisionens rapporter Granskningen bör ta sin utgångspunkt i ett förmodat problem. Finns det en beskrivning av detta problem? Granskningens syfte bör på en övergripande nivå beskriva granskningens inriktning och avgränsningar. Är så fallet? Uppfyller granskningen syftet? Revisionsfrågorna bör vara formulerade så att kopplingen till problembeskrivningen och bedömningsgrunderna framgår. Är så fallet? De bör också kunna härledas till syftet och täcka detta. Revisionsfrågorna ska alltså inte gå utöver syftet, men inte heller vara för snäva i förhållande till detta. Är så fallet? Re- visionsfrågorna ska kunna besvaras med hög grad av tillförlitlighet. Är de formulerade på ett sådant sätt? Den verksamhet som granskas måste kunna bedömas i förhållande till berättigade krav på verksamheten. Dessa krav måste följa antingen av direkta beslut av (eller regeringen när det gäller bedömningar av myndigheter under regeringen) eller genom att härledas från direkta eller indirekta ställningstaganden eller genom att de följer av normer som det kan förutsättas att utgår från ska prägla den granskade frågeställningen. Är bedömningsgrunderna väl beskrivna? Finns metoder för faktainsamling beskrivna på ett begripligt sätt? Är de lämpliga i förhållande till revisionsfrågorna? Har fakta samlats in på ett godtagbart sätt – t.ex. från flera oberoende källor? Kunde alternativa metoder ha förbättrat rapporten? BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET Finns det ett gott faktaunderlag till hjälp för att besvara revisionsfrågorna? Är fakta relevanta för granskningen? Kunde annan information ha samlats in i stället eller kompletterat den nu insamlade? Har faktaunderlaget analyserats på ett korrekt sätt för att göra det möjligt att besvara revisionsfrågorna? Är analysmetoderna lämpliga? Finns alternativa analysmetoder som kunde ha förbättrat rapporten? Revisionsfrågorna ska kunna besvaras med hög grad av tillförlitlighet och precision. Slutsatserna ska vara väl underbyggda och följa av de uppgifter som framkommit i granskningen. Går det att skilja slutsatserna från fakta/empiri? Följer slutsatserna logiskt av fakta/empiri? Kunde andra slutsatser ha dragits utifrån de presenterade iakttagelserna? Den kritik som revisionen framför i granskningsrapporterna måste vara tydlig med avseende på vem den riktar sig till. Ofta förekommer målkonflikter, dels inom sektorer, dels mellan sektorer. I sådana fall är det särskilt viktigt att revisionen är precis i frågan om var ansvar för brister/avvikelser ligger. Är rapporten tydlig i detta avseende? Rekommendationerna ska vara på en övergripande nivå och inte för detaljerade. De ska dock vara klara och det ska vara tydligt till vilka de riktar sig. Uppfyller rekommendationerna dessa krav? Följer rekommendationerna logiskt av empiri och slutsatser? Kunde andra rekommendationer ha lämnats på grundval av granskningens empiri och slutsatser? En rapport ska kunna begripas även av en person som inte tidigare varit insatt i ämnet. Finns en ”röd tråd” genom rapporten? Hur är rapportens omfång totalt sett? Är det en bra balans mellan avsnitten om bakgrund, iakttagelser, slutsatser och rekommendationer? En rapport ska kunna få genomslag hos såväl myndigheter som regeringen och i (via styrelsen). Av stor betydelse är ämnets relevans och tajmingen BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET Det finns dock en rad andra omständigheter som har betydelse för en rapports genomslag. Det kan t.ex. handla om att rapporten verkligen avser det den säger sig avse, att den presenterar ny kunskap, att den identifierar möjligheter till förbättringar och att den ger erfarenheter som kan användas inom andra områden än det granskade. En granskningsrapport vänder sig till flera olika mottagare. Det är viktigt att den språkliga utformningen är anpassad till dessa. Varje mottagargrupp har rätt att vänta sig att en rapport i olika avseenden är utformad för att tillgodose olika mottagares behov. Beslutsfattare på riksdags- och regeringsnivå bör få en sammanfattning som tillgodoser deras behov av information om vad rapporten handlar om och vilka slutsatser drar. Mer specifik information till mottagare på myndighetsnivå bör utformas på ett för dem lämpligt sätt liksom information till experter av olika slag. Är språket i rapporten ägnat att tillfredsställa de krav som olika mottagargrupper har rätt att ställa? Uppdraget och rapportens disposition ................................................. Intosai om uppföljning ........................................................................ Bakgrund till uppföljningsarbetet ............................................................. Uppföljning i reformen 2003............................................................... om uppföljning 2005–2006................................................ Utvecklingen av uppföljningsarbetet ........................................................ Trevande försök 2007 och 2008.......................................................... Administrativ information 2007–2012 ................................................ Uppföljningen finner sin form............................................................. Utveckling mot utökad djup uppföljning............................................. Genomförandet av uppföljningsarbetet..................................................... Organisering av uppföljningen............................................................ Sekretariatets arbete med urval, anvisningar med mera ...................... Urval för djup uppföljning ............................................................. Urval för basuppföljning................................................................ Uppföljarnas arbete och villkor........................................................... synpunkter på uppföljningsrapporten .................................... synpunkter på de publicerade samverkan med finansutskottet................................. Resultatet av granskningsrapporter som det framkommer i uppföljningsrapporterna........................................................ Metod för den här presenterade undersökningen (antal rapporter, urval med mera)......................................................................... Genomgång av uppföljning av 122 granskningsrapporter................... Genomgång av uppföljningen av ett urval om 38 Sammanfattning av genomgång av 38 uppföljningar.......................... 6.5 Kort om behandlingen av regeringens skrivelser.................................. Lång tid innan den fullständiga bilden föreligger................................ Styrkor och svagheter i uppföljningsarbetet utifrån ambitionen att redovisa och mäta resultatet av granskningsrapporterna............................... Bredare användning av uppföljningsrapporterna................................. Utskottens användning av uppföljningsresultaten.......................... Övrig användning av uppföljningsrapporterna............................... Kvalitativt kontra kvantitativt, olika mått på genomslag..................... Mål för genomslag?............................................................................. Resursåtgång för uppföljningen........................................................... Organisering av uppföljningsarbetet.................................................... Uppföljningen av den årliga revisionen............................................... Reglering av uppföljningsrapporten, ökad formalitet i När bör uppföljning ske?..................................................................... 1.1 Uppdraget och rapportens disposition Denna promemoria utgör ett av underlagen till den översyn som genomför av . Promemorian är i allt väsentligt disponerad i enlighet med de frågeställningar som beskrivs i uppdragsavtalet mellan och undertecknad. Syftet med promemorian är att beskriva tillkomsten, utvecklingen och nuvarande läge när det gäller arbetet med . Syftet är också att ge en översiktlig bild av resultatet av granskningsverksamhet som det framgår av uppföljningsrapporterna. För detta ändamål har information från dessa sammanställts för att ge en samlad bild av genomslaget för granskningsrapporter. Uppföljningsrapporten innehåller redovisning av såväl effektivitetsrevisionens som den årliga revisionens resultat. Promemorian avgränsas i enlighet med uppdraget till att omfatta endast effektivitetsrevisionen. Den beskrivning som i promemorian ges av uppföljningsarbetet utgår i första hand från de erfarenheter författaren har samlat arbete med uppföljningen 2006–2016. Uppgifter om senare omständigheter av betydelse för uppföljningen har inhämtats från . I allt väsentligt bedrivs uppföljningsarbetet utifrån samma uppföljningsmodell som tidigare 1.2 Intosai om uppföljning Uppföljning av effektivitetsrevisionens resultat utgör enligt Intosai () en integrerad del av revisionsprocessen. Uppföljning av revisionens iakttagelser och rekommendationer fyller enligt Intosai fyra huvudsakliga syften: •Identifierar i vilken grad reviderade organisationer har genomfört åtgärder med anledning av iakttagelser och rekommendationer. •Bedömer i vilken grad åtgärderna kan tillskrivas granskningarna. •Identifierar områden som kan vara aktuella för framtida revisionsinsatser. •Utgör underlag för att bedöma nyttan med revisionsmyndigheten och för internt förbättringsarbete inom revisionsmyndigheten. Den uppföljningsmodell som tagits fram och som tillämpas inom effektivitetsrevision ansluter väl till Intosais standarder och riktlinjer 2 Bakgrund till uppföljningsarbetet 2.1 Uppföljning i reformen 2003 Frågan om uppföljning av granskning var aktuell redan då Av betänkande 2000/01:KU8 med riktlinjer för fortsatt utredning om en ny revisionsmyndighet under riks- dagen framgick att ansåg det viktigt att den nya revisionsmyndig- heten genomgående och regelbundet följde upp granskningsrapporternas ge- Utredaren bedömde dock att det inte behövdes någon särskild före- skrift om detta i regleringen av Riksrevisionen.1 Motivet var att uppföljning är en naturlig handlingsregel som också följer av god revisionssed. 2.2 om uppföljning 2005–2006 Från starten förekom ingen uppföljning av genomslaget av effektivitets- (FiU) återkom dock regelbundet till frågan i olika sammanhang. I betänkandena /06:FiU2, 2005/06:FiU25 och 2006/07:FiU2 efterfrågades tydligare redovisning av revisionens effekter än dem som redovisade i årsredovisningen. sionens styrelse efterfrågade en sådan redovisning (bet. 2006/07:FiU2). 1 , SOU 2001:97. 3 Utvecklingen av uppföljningsarbetet 3.1 Trevande försök 2007 och 2008 fick granskningschefen i uppdrag av riksrevisorerna att sammanställa en uppföljningsrapport. I uppdraget ingick att hitta former för en kontinuerlig uppföljning av granskning bland annat mot bakgrund av finansutskottets önskemål om en mer utvecklad redovisning av vad granskningar leder till. Uppföljningsrapporten skulle publiceras som möjliggjorde en behandling i med årsredovisning. Uppdraget delegerades till enheten för planering och kvalitet (PKE) som påbörjade ett arbete för att skapa en modell för uppföljning och rapportering av revisionens resultat. Den första uppföljningsrapporten överlämnades till finansutskottet . Rapporten får ses som ett ”provskott” och var mer allmänt hållen än vad som senare blev fallet. Arbetet med att utveckla en uppföljningsmodell fortsatte och redovisade PKE ett förslag till modell för kontinuerlig uppföljning och rapportering. Denna modell antogs av riksrevisorerna och tillämpades . Ett centralt inslag i modellen var redovisningen av så kallad djup uppföljning respektive basuppföljning av granskningsrapporter. Den djupa uppföljningen avsåg granskningsrapporter som var och basuppföljningen rapporter som var (bas 1) till (bas 2) gamla. Den djupa uppföljningen tilldelades väsentligt mer resurser per granskningsrapport än basuppföljningen (respektive ). Antalsmässigt övervägde basuppföljningen starkt 2008 med 63 rapporter jämfört med fem djupt uppföljda. (finansutskottet) mottog de två första uppföljningsrapporterna tämligen väl och ansåg att steg hade tagits för att fokusera redovisningen mot effekterna i den granskade verksamheten.2 3.2 Administrativ information 2007–2012 Uppföljningsrapporterna –2012 innehöll viss samlad, vad som kan kallas administrativ information. Informationen avsåg den formella behandlingen av granskningsrapporterna som utfördes av , och regeringen. infördes ett nytt system för den formella behandlingen av effektivitetsrevisionens granskningsrapporter, och den administrativa informationen om det tidigare systemet slutredovisades i Uppföljningsrapport . Därefter har sådan information (dvs. regeringens skrivelse och behandling) presenterats i redovisningen av varje enskild granskningsrapport, och det har inte gjorts några sammanställningar. 2006/07:FiU18, bet. 2007/08:FiU28. 3.3 Uppföljningen finner sin form I Uppföljningsrapport utökades antalet djupt uppföljda granskningsrapporter till 10. Antalet behölls med små variationer . tog emot rapport mycket väl och ansåg den mycket värdefull. Uppföljningsrapport mottogs ännu mer välvilligt och utskottet ansåg att rapporten funnit sin form och att den väl svarade mot utskottets tidigare uttryckta önskemål.3 3.4 Utveckling mot utökad djup uppföljning Från och med Uppföljningsrapport utökades den djupa uppföljningen till att omfatta 15 granskningsrapporter. avvecklades den så kallade basuppföljning 1, dvs. uppföljningen av relativt publicerade granskningsrapporter. Skälet till förändringen var framför allt finansutskottets uttalade intresse för den djupa uppföljningen. I Uppföljningsrapport utökades den djupa uppföljningen ytterligare och omfattade 20 granskningsrapporter. 2008/09:FiU28, bet. 2009/10:FiU27. 4 Genomförandet av uppföljningsarbetet 4.1 Organisering av uppföljningen Uppföljningsarbetet leddes från starten av ett sekretariat inom enheten för planering och kvalitet. Enheten var placerad i granskningsorganisationen och fungerade som en stab för granskningschefen. Sekretariatet bestod mestadels av två medarbetare. ligger ansvaret för uppföljningsrapporten utanför granskningsorganisationen på stabsenheten för verksamhetsstöd (riksrevisorernas stab). Arbetet bedrivs dock som . För det faktiska uppföljningsarbetet mobiliseras ett relativt stort antal effektivitetsrevisorer, i bästa fall de som genomfört de uppföljda granskningarna. Beroende på hur många granskningar som har följts upp olika år har mellan 30 och 50 revisorer varit engagerade i uppföljningsarbetet. 4.2 Sekretariatets arbete med urval, anvisningar med mera Sekretariatets roll är att förbereda och underlätta det uppföljningsarbete som revisorerna genomför. Arbetet består i att ta fram ett urval av granskningsrapporter för uppföljning, anmoda enhetscheferna vid effektivitetsrevisionen att bemanna uppföljningsuppdragen, ta fram anvisningar för uppföljningen, distribuera underlagsmaterial till de utsedda uppföljarna, informera om den förestående uppföljningen och att producera uppföljningsrapporten. Vidare för sekretariatet en akt över uppföljningen. Sekretariatet ger också uppföljarna löpande stöd i uppföljningsarbetet genom att svara på frågor och ge råd med mera. 4.2.1 Urval för djup uppföljning Urvalet av granskningsrapporter för djup uppföljning, alltså rapporter som publicerats fyra till , har varierat antalsmässigt (se ovan). Ut- gångspunkten , med 15 djupt uppföljda granskningar, har varit att välja varannan publicerad granskningsrapport. Urvalsramen utgörs av årsproduktionen sedan föregående urvalsdragning. Principen bygger på förutsättningen att årsproduktionen av granskningsrapporter uppgår till cirka 30.4 En justering görs normalt för att säkerställa att så många riksdagsutskott som möjligt blir representerade i uppföljningen. Ytterligare justeringar kan därefter göras i syfte att undvika upprepningar (inte alltför många rapporter av samma 4 Enligt uppgift från behöver principen frångås i arbetet med Uppföljningsrapport . Eftersom årsproduktionen var relativt låg 2013–2015 kommer ett antal granskningar från senare år att ingå i urvalsramen i syfte att erhålla ett urval av önskvärd storlek. slag, till exempel sådana som återkommer med viss regelbundenhet). ionen är dock att restriktivitet ska iakttas i samband med eventuella justeringar. Även om justeringar görs är bedömning att det urval av upp- följda granskningsrapporter som publiceras i uppföljningsrapporterna över tid ger en god bild av genomslaget av granskningsrapporter. Urvalet av granskningsrapporter fastställs av riksrevisorerna efter att granskningschefen och enhetschefer vid effektivitetsrevisionen fått lämna syn- 4.2.2 Urval för basuppföljning Principen är att samtliga publicerade granskningsrapporter blir föremål för basuppföljning. Under de år när basuppföljningen genomfördes – basuppföljning 1 och basuppföljning 2, blev alltså samtliga publicerade granskningsrapporter föremål för översiktlig uppföljning och ett urval blev föremål för ytterligare en (djup) uppföljning. genomförs basuppföljning endast en gång per granskningsrapport. 4.3 Uppföljarnas arbete och villkor De utsedda uppföljarnas uppgift är att genomföra uppföljningen och redovisa resultatet för sekretariatet i en promemoria. Som stöd för arbetet förses uppföljarna med anvisningar som bl.a. anger metoder och källor för uppföljningsarbetet. När det gäller den djupa uppföljningen förses uppföljarna också med den eller de promemorior som utarbetades när den aktuella granskningen var föremål för basuppföljning. De huvudsakliga källorna i uppföljningsarbetet är offentliga dokument. Ba- suppföljningen omfattar endast dokumentstudier. Vid djup uppföljning är kontakter med de granskade organisationerna en central del av arbetet. Uppföljningen ska introduceras för den aktuella myndighetens ledning, och önskemål om kontaktperson ska framställas. Vid kontakterna ska kompletterande information till den befintliga skriftliga efterfrågas. Vidare ska frågor ställas som kan belysa den aktuella granskningens betydelse för relevanta vidtagna åtgärder. har kontakterna med de granskade organisationerna efter hand formaliserats. Utgångspunkten för har från början varit att störa så lite som möjligt och att vara tydlig med att den efterfrågade informationen ska användas för att för belysa nyttan med och inte för att utkräva ansvar av de granskade. Den ökade formaliseringen har från de granskade organisationernas sida ofta tagit sig uttryck i önskemål om att få faktagranska de uppföljningspromemorior som uppföljarna producerar. tillgodoser önskemålen och har också löpande förbättrat introduktionen av uppföljningen. Uppföljarna får normalt sina uppföljningsuppdrag med tillhörande underlagsmaterial (oktober månad). Deadline för inlämnande av uppföljningspromemoria är normalt . Vid behov är dock sekretariatet frikostigt med att ge dispens från denna deadline för att uppföljarna lättare ska kunna planera in uppföljningen bland andra uppdrag. har inte begäran om dispenser haft större omfattning än att de har kunnat tillgodoses. Den uppföljningspromemoria som uppföljarna levererar till uppföljningssekretariatet har en friare form än den text som sedermera publiceras i uppföljningsrapporten. Uppföljarna kan i promemorian redogöra fylligare för såväl regeringens skrivelse som för riksdagsbehandlingen av den. Vidare tas ofta upp att riksrevisor och projektgrupp bjudits in till olika typer av utfrågningar eller seminarier med anledning av granskningsrapporterna. Det kan handla om inbjudningar till berörda utskott, myndigheter, intresseorganisationer med mera där granskningen diskuterats. Genomslag i medierna tas ibland också upp i promemorian. Sammantaget innebär det att promemoriorna ger en bredare bild av genomslaget än det som framgår av uppföljningsrapporten. Promemoriorna sparas av uppföljningssekretariatet och efterfrågas inte sällan internt i processen med att ta fram nya granskningsidéer. Rättsenheten ansvarar för att i förväg bedöma behovet av särskild hantering av uppföljningen av de utvalda granskningsrapporterna till följd av sekretess i uppföljningsarbetet. Vidare ansvarar enheten för att läsa igenom uppföljningspromemorior och slutlig text i uppföljningsrapporten om de uppföljda granskningar där bedömningen har varit att sekretess kan föreligga. Uppföljningsrapporten beslutas av de tre riksrevisorerna gemensamt. Beslutsdatum är mestadels , men har beslut fattats . En utgångspunkt är att uppföljningsrapporten ska publiceras så att finansutskottet kan behandla den med årsredovisning. Uppföljningsrapporten ska ju ”formellt” (det finns ingen reglering av rapporten) ses som ett komplement till den resultatredovisning som ges i årsredovisningen. En av utgångspunkterna för utvecklingen och genomförandet av uppföljningen har varit att den ska störa den ordinarie granskningsverksamheten så lite som möjligt. Denna hållning har naturligtvis utgjort en begränsning när det gäller metodval med mera för uppföljningsarbetet. följning 1 och utvidgningen av den djupa uppföljningen har, förutom att tyd- ligare rikta fokus på det som är mest angeläget för , också inneburit en något mer begränsad resursåtgång. En djup uppföljning budgeteras och en basuppföljning till 16 Vid en situation med djup uppföljning av 15 stycken granskningsrap- porter och basuppföljning av 25 stycken är resursåtgången , eller ungefär en årsarbetskraft. Resursåtgången fördelar sig med cirka 700 tim- mar på sekretariatet (administration av uppföljning och skrivarbete) och med på granskningsverksamheten (den faktiska uppföljningen och författande av uppföljningspromemoria). budget och därefter stabsenhetens budget. 5 synpunkter på uppföljningsrapporten Uppföljning av effektivitetsrevisionens granskningsrapporter har behandlats i olika sammanhang alltsedan arbetet med att etablera en sammanhållen revisionsmyndighet under påbörjades. De starkaste uttrycken för intresse för uppföljning återfinns dock i finansutskottets betänkanden med anledning av behandlingen av årsredovisning, där också uppföljningsrapporten kommenterats. 5.1 synpunkter på de publicerade uppföljningsrapporterna har alltsedan den första uppföljningsrapporten publicerades behandlat och kommenterat uppföljningsrapporterna i samband med årsredovisning.5 I allmänhet har innehållet refererats och en bedömning gjorts av huruvida uppföljningsrapporten tillgodosett finansutskottets krav på den. har dock ingen sådan bedömning gjorts (uppföljningsrapporterna och 2013). När det gäller de två första rapporterna (2007 och 2008) uttryckte utskottet sin tillfredsställelse över dessa men ansåg att redovisningen av effekter i de granskade verksamheterna kunde utvecklas ytterligare. I kommentarerna till uppföljningsrapport uttryckte utskottet sitt gillande över den djupa uppföljningen av fem granskningsrapporter. Detta gillande skulle sedan bli mer eller mindre årligt återkommande. I kommentarerna till Uppföljningsrapport ansåg utskottet att den var ”mycket värdefull”. Året efter ansåg utskottet att uppföljningsrapporten funnit sina former och att den svarade väl mot tidigare uttryckta önskemål. Utskottet såg också med tillfredsställelse på att funnit sin roll i uppföljningssituationen och att granskningsobjekten var medvetna om att kommer att återkomma för att följa upp sina granskningar.6