sou · H6B379 · 2018-10-31 00:00:00 — Utredningen ska enligt regeringens direktiv göra en översyn av regeringens analys- och utvärderingsresurser och hur dessa är organiserade.1 Enligt direktiven ska översynen omfatta (Brå), utvärdering (IFAU), Inspektionen för socialförsäkringen (ISF), Myndigheten för kulturanalys (Kulturanalys), Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys), Myndigheten för vård- och omsorgsanalys (Vårdanalys), samt Trafikanalys. 1.1.1Vår tolkning av uppdraget Vi tolkar direktiven som att det handlar om två utredningsfrågor: •Vilka analyser och utvärderingar behöver regeringen i sin uppgift att styra riket, redovisa resultat till och bedöma effektivitet? •Hur ska regeringens analys- och utvärderingsresurser organiseras på ett ändamålsenligt sätt utifrån regeringens behov? Vår uppgift är att analysera regeringens samlade behov av analys- och utvärderingsresurser, bedöma om nuvarande organisering är ändamålsenlig och om det finns ett behov av att föreslå organisationsförändringar. I begreppet organisering lägger vi också in myndigheternas mandat och uppdrag samt regeringens styrning. I vårt uppdrag ingår vidare att analysera eventuella luckor och överlappningar mellan olika myndigheters uppdrag och eventuella rollkonflikter inom enskilda myndigheters uppdrag. Våra förslag bör enligt direktiven syfta till att säkerställa att organiseringen av regeringens analys- och utvärderingsresurser är ändamålsenlig och effektiv utifrån regeringens samlade behov. Detta innefattar att undersöka möjligheter till sammanslagningar av myndigheter och till samlokalisering eller andra samarbeten. Utredningen får enligt direktivet föreslå förändringar i den organisations- och myndighetsstruktur som finns för utvärderingsinsatser, dock inte beträffande och kommittéväsendet. Vi bedömer att utredningen utöver att ge organisatoriska förslag kan bidra med underlag som regeringen kan använda för att fastställa vägledande principer inför framtida ställningstaganden om förändringar av regeringens analys- och utvärderingsresurser. Analyser och utvärderingar görs av många aktörer och med många olika syften. Enligt regeringens direktiv har vi avgränsat utredningen till analyser och utvärderingar som avser regeringens behov, och den funktion som de sju utpekade analys- och utvärderingsmyndigheterna fyller åt regeringen för regeringens uppgifter: att styra, bedöma effektivitet och redovisa resultat. Regeringen har behov av uppföljningsinformation. Gränsdragningen mot utvärdering är dock inte alltid tydlig och vi beskriver den uppföljning av olika områden som analys- och utvärderingsmyndigheter gör. Andra närliggande funktioner såsom granskning, tillsyn, kontroll, inspektion, utredningar etc. berör vi endast översiktligt för att sätta in analys och utvärderingar i sitt sammanhang. Vi beaktar att de myndigheter vi studerar också har andra målgrupper än regeringen och beskriver översiktligt vilken roll de har i respektive sektor. Alla myndigheter har i uppgift att följa upp och utvärdera sin verksamhet. Det följer av förordning (2006:605) om årsredovisning och budgetunderlag. Myndigheternas egna utvärdering som syftar till verksamhetsutveckling analyserar vi inte, även om samspelet med utvärdering som utförs av analys- och utvärderingsmyndigheter berörs. Vi analyserar myndigheternas uppgifter, ändamålsenligheten i nuvarande organisering och vilken inriktning de sju analys- och utvärderingsmyndigheterna har på sin verksamhet, men vi har inte haft möjlighet att närmare studera kvaliteten eller utvärdera myndigheternas prestationer. Vi har som utgångspunkt för vårt arbete att regeringen behöver analyser och utvärderingar för att kunna utföra sina uppgifter att •säkerställa att statens verksamhet bedrivs effektivt Regeringens behov av analyser och utvärderingar grundas i regeringens konstitutionella uppgifter och skyldigheter. ”Regeringen styr riket. Den är ansvarig inför .” Så lyder regeringsformens 1 kap. 6 §. I sin uppgift att styra riket och ansvara inför behöver regeringen olika typer av information och kunskapsunderlag. Den behöver underlag för att ta ställning till om det behövs politik på ett område och också för att ta ställning till hur en insats kan se ut. Regeringen behöver analyser och utvärderingar för att kunna förbättra en insats eller en reform, se över hur statens verksamhet är organiserad och för att kunna prioritera mellan olika insatser. För sin styrning behöver regeringen också analyser och utvärderingar för att kunna bedöma hur myndigheter fullföljt sina åtaganden, utöva kontroll och utkräva ansvar. Regeringen behöver också veta om verksamheter är effektiva. I budgetlagen anges att i statlig verksamhet ska hög effektivitet och god hushållning iakttas (1 kap. 3 §). Regeringen har en skyldighet att redovisa resultat till . Enligt Budgetlagen ska regeringen redovisa de resultat som uppnåtts i verksamheten i förhållande till de av beslutade målen (10 kap. 4 §). Den information som behöver är också information om bland annat effekter av olika insatser och åtgärder som regeringen vidtagit. I analysen av hur regeringens analys- och utvärderingsresurser bör organiseras utgår vi från följande utgångspunkter, härledda från våra direktiv: •Regeringen behöver analyser och utvärderingar inriktade på reformer och mål. •Regeringen behöver analyser och utvärderingar med både sakområdesperspektiv och med helhets- och sektorsövergripandeperspektiv. •Regeringens behov varierar och ställer krav på flexibilitet. •Regeringen behöver analyser och utvärderingar utförda av aktörer som är oberoende i förhållande till politikens genomförande. •Regeringen behöver analyser och utvärderingar inriktade på organisering och effektivitet i genomförandet. 1.3Vår syn på analyser och utvärderingar Regeringen behöver säkerställa att den har tillgång till flera olika sorters kunskapsunderlag för att tillgodose sina behov. Analyser och utvärderingar är en del av denna information. Vi har valt att utgå från forskaren definition av utvärdering. Det innebär att vi definierar utvärdering som en systematisk bedömning av en pågående eller avslutad insats som förväntas bidra i beslutsfattandet. Utvärdering kan avse insatsens utfall, slutprestationer, förvaltning och beslutsinnehåll samt organisering.2 Med förvaltning avser vi genomförande. I den verksamhet vi kommer att studera är betydelsen av insatser centralt. Av särskilt intresse för en beslutsfattare kan exempelvis vara att analysera effekter i relation till en insats eller att ta reda på orsakerna till ett särskilt tillstånd.3 Vad är exempelvis effekten av en förändrad arbetsmarknadsinsats? En insats kan ha olika karaktär. Att utvärdera en insats 2Vår definition tar sin utgångspunkt och är en sammanfattning av definition (2009, s. 22). Enligt Vedung är utvärdering en bedömning i efterhand, inte i förhand. Vedung använder noggrann bedömning, med betydelsen systematisk eller grundlig. Vi har valt uttrycket systematisk bedömning. 3Rolf och (2016), Kausalitet. I filosofi, politik och utvärdering. innebär exempelvis att göra bedömningar av verksamheter, reformer, organisationer och regelverk.4 Vår definition stämmer väl överens med den som används av bl.a. : ”Evaluation is the systematic collection and analysis of information about programmes and projects, their purpose and delivery; it derives knowledge on their impact as a basis for judgement. Evaluations are used to improve effectiveness and inform decisions about current and future programming.”5 En annan och enklare definition av utvärdering som vi också använder oss av är att utvärdering är en systematisk undersökning av någontings värde.6 Den har vi använt oss av för att kartlägga de samlade utvärderingsresurserna i staten och för att kunna jämföra resultatet av kartläggningen med en motsvarande undersökning som har gjorts tidigare. Analys är ett allmänt och brett begrepp. Vi tolkar våra direktiv som att analys i detta sammanhang vid sidan av att vara ett moment i utvärderingen också är en egen aktivitet och att det i första hand är policyanalyser som regeringen avser i våra direktiv. Policyanalys definierar vi som analys som är framåtriktad och problemlösande och inriktad på olika åtgärder för att förverkliga politik. Policyanalys syftar bland annat till att bidra till lösningen av policyproblem genom att exempelvis formulera rekommendationer. En policyanalys i vårt sammanhang kan exempelvis handla om att visa på olika handlingslinjer.7 I policyanalysen bidrar olika typer av underlag, till exempel utvärderingar och forskningsöversikter. Underlag kan komma från många olika aktörer, inte minst akademin, även internationellt. 1.3.1Analyser och utvärderingar har forskning som grund Det som skiljer utvärdering från forskning, även om metoderna och tillvägagångssättet kan vara lika, är framför allt syftet och vem resultaten vänder sig till. Forskaren ställer frågor och är ofta fri att 4Definitionen tydliggör inte i förhållande till vad något ska utvärderas. I detta betänkande där vi studerar analys- och utvärderingsverksamhet för regeringens behov är det övergripande mål, eller regeringens politik och mål med en reform som ofta är i centrum. 5Europeiska kommissionen (2015), Guidance document on monitoring and evaluation, s. 19. 6Se , Hur mycket utvärderingar sker bland svenska myndigheter? bilaga till 2007:75. Se också (1991), Evaluation Thesaurus. 7Vi har tagit vår utgångspunkt i (1989), Policyanalys. Kunskap, praktik och etik i offentlig verksamhet, s. 5 ff. bestämma dessa medan utvärderaren söker bedömning.8 Forskning behöver inte leda till en slutsats om någontings värde. Väsentligt är också att en utvärdering är tänkt att användas i beslutsprocesser. Forskning syftar till att ta fram nya kunskaper och bidra till ett ökat vetande. Analyser och utvärderingar är en del av en kunskapskedja där forskning utgör grunden. Regeringen behöver tillgång till utvärderingar och policyanalyser som bygger på bästa möjliga kunskap och vetenskaplig grund. Utvärdering är en aktivitet som använder forskningsbaserade metoder. I policyanalysen, och när olika handlingsalternativ tas fram, kan flera olika typer av kunskapsunderlag bidra. I policyanalysen används forskning framåtriktat som grund för att utforma policyer. 1.3.2Analys- och utvärderingsresurser kan vara en brygga mellan politik och forskning Analys- och utvärderingsresurser kan vara en central brygga mellan politik och forskning. Mycket information och kunskap skapas oavsett statlig påverkan, och strukturer behövs för att hantera olika information. Den svenska förvaltningsmodellen med ett litet regeringskansli innebär att regeringen behöver funktioner som stödjer regeringen genom att överblicka, sammanställa, analysera och dra slutsatser från den information som tas fram i samhället.9 1.3.3Analyser och utvärderingar stärker regeringens legitimitet Att myndigheter genomför och publicerar analyser och utvärderingar som beskriver hur regeringens politik fungerar bidrar till transparens och till att upprätthålla regeringens legitimitet hos medborgarna. I en demokrati måste medborgarna ytterst ges möjlighet att hålla ett vakande öga på de som styr. 8Se bland annat och ”Evaluation: For Public Good or Professional ” s. 4, SOU 2009:94, Att nå ut och ända fram, s. 30. Prewitt, Schwandt och Straf (2012), Using Science as Evidence in Public Policy. 9Se , Hur får forskningsunderlag genomslag i politiken? Reflektioner utifrån egna erfarenheter i 2017:8, s. 44–45. skapa möjligheter för medborgare att hålla sig informerade om politiken och dess genomförande.10 Analyser och utvärderingar kan bidra till att skapa förutsättningar för att medborgare ytterst ska kunna ta ställning till politiken. Det finns inga formella begränsningar vad gäller regeringens möjligheter att analysera och utvärdera sin egen politik. Regeringens främsta uppgift är att styra och att genomföra sin politik. Vår tilltro till kritisk granskning måste därför ytterst sättas till som har uppgiften att granska rikets styrelse och förvaltning (regeringsformen 1 kapitel 4 §). 1.3.4Oberoende i relation till analyser och utvärderingar I vårt utredningsarbete är oberoende en fråga som handlar om analys- och utvärderingsmyndigheternas relation till utvärderingsobjektet och deras relation till regeringen. Mest central är frågan om relationen till det som ska utvärderas. Frågan om oberoende handlar också om vilka uppgifter som det är lämpligt att förena, exempelvis att genomföra verksamhet och att utvärdera verksamhet. De myndigheter vi studerar är regeringens resurser och är därmed inte oberoende av regeringen. Här kan det vara relevantare att tala om frihetsgrader, mandat och integritet när det gäller vad som ska utvärderas, vilka metoder som ska användas och vilka slutsatser som dras. Myndigheterna kan ha olika mandat och förutsättningar som en konsekvens av regeringens styrning. De kan därmed ha litet eller stort utrymme att själva formulera och avgränsa vad som ska analyseras och utvärderas och vilka metoder som ska användas. 1.3.5Analyser och utvärderingar är viktiga för att verksamheten ska bedrivas effektiv Analyser- och utvärderingar är viktiga verktyg för att säkerställa att verksamhet bedrivs effektivt. Detta handlar om att nå ökad måluppfyllelse eller att bibehålla en verksamhets kvalitet till en lägre kostnad. Analyserna och utvärderingarna kan inriktas på kostnader 10Shirin (1999), Att kontrollera staten. Den statliga revisionens roll i den parlamentariska demokratin, s. 15–16. Kostnadseffektivitet handlar om att givet ett mål inte använda mer resurser än vad som är nödvändigt för att nå ett mål.11 Analyser och utvärderingar kan ligga till grund för regeringens prioriteringar mellan olika verksamheter. Offentlig verksamhet behöver kontinuerligt prövas utifrån om den är samhällsekonomiskt effektiv. Analyser och utvärderingar kan bidra till att avgöra om samhällets resurser används optimalt eller inte. I den bedömningen är det nödvändigt att ha en bred ansats, dvs att bedöma den samhällsekonomiska effektiviteten. 1.3.6Regeringens inriktning för styrningen har betydelse för både behov och organisering Regeringens inriktning och principer för sin styrning, såsom principer för resultatstyrning, decentralisering, regelstyrning och tillitsbaserad styrning, påverkar analys- och utvärderingsverksamhetens inriktning, omfattning och organisering. En regering som väljer att styra genom att i detalj reglera vad förvaltningen ska göra kan behöva analys- och utvärderingsresurser inriktade på tillsyn och kontroll. Väljer regeringen i stället att styra förvaltningen genom att formulera uppgifter i kombination med att delegera ansvaret för genomförandet behöver den i högre grad analyser och utvärderingar inriktade på att bedöma resultat och effektivitet. En annan aspekt är hur regeringen ser på balansen mellan att utvärdera för att få underlag för ansvarsutkrävande respektive att utvärdera för att bidra till ett lärande i verksamheterna. Detta har betydelse för vem som ska utföra analys- och utvärderingsverksamheten. I vilken utsträckning behöver verksamheter analyseras och utvärderas av någon utifrån och när kan det göras av någon nära verksamheterna? Ytterst handlar det om en avvägning mellan olika typer av analyser och utvärderingar och hur resultaten ska användas. 11Lena (2012), ”Teori och forskningsläget” i Den effektiva staten, Statskontoret, s. 38. 1.4Analyser och utvärderingar behövs på två nivåer Analyser och utvärderingar bidrar till ökad kunskap som kan användas i beslutsfattande på olika nivåer. Regeringen behöver säkerställa att det finns analyser och utvärderingar på operativ nivå samt sektors- och sektorsövergripande nivå. På dessa nivåer, en operativ nivå och en mer övergripande nivå, bidrar analyserna och utvärderingarna till några grundläggande syften. De bidrar till att förbättra verksamheter och policyer och till kontroll och ansvarsutkrävande.12 På en operativ nivå baseras analysen och utvärderingarna ofta på kunskap som finns hos den operativa verksamheten. När en analys och utvärdering inte bara är inriktad på hur en verksamhet fungerar utan också försöker att koppla resultatet till en ansvarig och försöker att förklara i vilken utsträckning resultatet beror på utföraren, får den en ansvarsutkrävande funktion.13 Oavsett det närmare syftet med analyser och utvärderingar bidrar de ytterst till lärande. Vem som ska lära och vem som har kunskap och är mest lämpad att ta fram olika information är avgörande för vad som är en lämplig ansvarsfördelning mellan olika kunskapsproducenter. Detta återkommer vi till i kapitel 6. 1.4.1Uppföljning och utvärdering på operativ nivå Alla myndigheter bedriver någon form av kvalificerad uppföljning eller utvärdering av den egna verksamheten. Analyserna och utvärderingarna syftar till operativa förbättringar. Typiskt är att undersöka om en befintlig åtgärd kan bli effektivare inom befintliga ramar. Myndighetsledning eller operativt verksamhetsansvarig är den huvudsakliga målgruppen för den här typen av analyser. Analyserna och utvärderingarna krävs för att myndigheter ska kunna leva upp till krav om att fortlöpande utveckla sin verksamhet och se till att verksamheten bedrivs effektivt och enligt gällande rätt.14 Viss information är relevant för regeringen i syfte att kontrollera och följa upp hur statens verksamhet utvecklas och hur 12Dessa och fler syften tas upp av bl.a. (2011), Utvärderandets konst, s. 27 f, Vedung (2009), s. 165, ”Understanding the ” i Furubo och (2018) . A Critical View. 11–12. 13Furubo i Furubo och Stame, s. 11–12. 14Myndighetsförordning (2007:515). statens medel har använts. Regeringen använder sådan information för sin styrning av myndigheterna, men även som underlag för sin rapportering till . 1.4.2Analyser och utvärderingar på sektors- och sektorsövergripande nivå Analyser och utvärderingar på sektors- och sektorsövergripande nivå kan vara inriktade på att utvärdera effekter av genomförd politik eller på att beskriva om en verksamhet bidrar till mål som regeringen har formulerat för ett område eller om en verksamhet bedrivs effektivt. Analyser och utvärderingar kan också bidra till att utveckla eller förändra mål, regleringar eller en resursfördelning som riksdag och regering har beslutat. Sådana analyser och utvärderingar kan ge regeringen underlag för beslut om omprövning. Kännetecknade är att regeringen är den huvudsakliga målgruppen för dessa analyser och utvärderingar, även om resultaten ofta är relevanta även för den verksamhetsansvariga. Olika utförare kan användas för sektors- och sektorsövergripande analyser (analyser och utvärderingar som rör flera sektorer) och utvärderingar. Regeringen har behov av analyser och utvärderingar med ett helhetsperspektiv, dvs. att enskilda delar (insatser, verksamheter etcetera) sätts samman till en helhet inom en sektor och sektorsövergripande nivå. Sådana analyser kan också bidra till att peka ut angelägna frågor och områden där det saknas politik. I detta avsnitt beskriver vi utredningens disposition och hur vi går tillväga för att besvara våra utredningsfrågor. I utredningsarbetet har vi i enlighet med våra direktiv samrått med analys- och utvärderingsmyndigheterna, (), Statskontoret och . Vi har haft ett rundabordssamtal med forskare från olika discipliner och experter för att i inledningen av vårt utredningsarbete föra samtal om bland annat problemställningar kopplade till våra direktiv.15 Vi inleder med historik, internationell utblick och nulägesbeskrivning I kapitel 2 beskriver vi övergripande framväxten av analys- och utvärderingsresurser i statsförvaltningen och fram till . Beskrivningen bygger på en genomgång som vi har gjort av forskning, utredningar och propositioner. För att sätta den svenska utvecklingen i ett internationellt perspektiv har vi låtit Ramboll göra en internationell utblick. Vi har också besökt för att ta del av aktuella internationella erfarenheter. Vi redovisar våra iakttagelser av vad det är som varit styrande för framväxten av regeringens analys- och utvärderingsresurser uppdelat på följande teman: synen på mål- och resultatstyrningens möjligheter och begränsningar, behovet av att hushålla med statens resurser och av att statlig verksamhet bedrivs effektivt, idéer om värdet av att renodla uppgiften att genomföra respektive utvärdera verksamhet samt krav på att politik bör bedrivas kunskapsbaserat. Därefter redovisar vi i kapitel 3 en övergripande nulägesbild av hur mycket resurser som staten totalt lägger på analys- och utvärderingsverksamhet och hur mycket resurser som regeringen lägger på analyser och utvärderingar som utförs fristående från de myndigheter som genomför verksamhet. I kapitlet beskriver vi de sju myndigheter som omfattas av vårt uppdrag. Kapitlet baseras huvudsakligen på en kartläggning av myndigheternas instruktioner, regleringsbrev, årsredovisningar.16 Det baseras också på en genomgång av myndigheternas publikationer samt på de intervjuer som vi har genomfört. Vi har intervjuat myndighetsföreträdare, statssekreterare i den nuvarande och den tidigare regeringen och tjänstemän i för att undersöka hur regeringen använder sina analys- och utvärderingsmyndigheter. 15I samtalet deltog (), (), (), (), (), (), (), (TCO) och (Expertgruppen för studier i offentlig ekonomi). 16Ramboll, Analys- och utvärderingsmyndigheterna (2018). Analys av regeringens behov i flera steg I kapitel 4 analyserar vi uppdragsfrågan om hur regeringens behov av analyser och utvärderingar kan tillgodoses av de sju analys- och utvärderingsmyndigheterna. Analysen utgår från regeringens uppgifter att styra riket, säkerställa att statens verksamhet bedrivs effektivt och redovisa resultat till . Vi har utifrån forskning och andra studier operationaliserat den information som regeringen behöver för att fullfölja sina uppgifter. Med stöd av de intervjuer som vi har genomfört har vi identifierat och konkretiserat vilka behov som de sju analys- och utvärderingsmyndigheterna kan tillgodose. Vi analyserar och redovisar exempel på hur analys- och utvärderingsmyndigheterna används och i vilken utsträckning de tar fram underlag för regeringens olika typer av behov. För att ge en helhetsbild av hur regeringens behov kan tillgodoses av olika myndigheter redovisar vi övergripande vilka typer av underlag som Statskontoret, ESV och tar fram. I kapitel 5 gör vi en övergripande analys av vilka behov av analyser och utvärderingar regeringen har inom olika utgiftsområden. Vi gör analysen utifrån kriterier som vi har tagit fram med stöd av bland annat iakttagelser i tidigare kapitel. Vi avslutar kapitel 5 med att ge en samlad bild av vilka sektorer regeringen saknar oberoende analyser och utvärderingar i. Utredningens ställningstaganden och förslag I kapitel 6 redovisar vi vår analys och våra ställningstaganden om hur regeringen bör styra och organisera sina analys- och utvärderingsresurser. Inledningsvis beskriver vi vilken roll analyser och utvärderingar har för den offentliga styrmodellen. Vi prövar och tar ställning till vilken typ av analys- och utvärderingsresurser regeringen behöver och hur dessa bör organiseras och styras. I kapitel 7 redovisar vi våra förslag. Förslagen utgår från de ställningstaganden som vi gör i kapitel 6. Vi presenterar konkreta förslag och en samlad strategi som beskriver hur regeringen kan föra frågorna framåt. I kapitel 8 redogör vi för förslagens konsekvenser. 2Analyser och utvärderingar allt viktigare i regeringens styrning I detta kapitel beskriver vi hur analyser och utvärderingar blivit allt viktigare i regeringens styrning. Vi sätter framväxten av analys- och utvärderingsmyndigheterna i relation till denna utveckling. 2.1Analyser och utvärderingsresurser blir en väsentlig del av regeringens styrmodell får en alltmer utvecklad välfärdsstat med omfattande politik som genomförs i offentlig sektor. I takt med att välfärdsstaten har byggts ut har styrningen av statens verksamhet förändrats i flera avseenden.