sou · H6B379 · 2018-10-31 00:00:00 — Därefter redovisar vi våra slutsatser om vilka problem det finns med den nuvarande myndighetsstrukturen. Vi avslutar med att redovisa våra slutsatser om hur regeringen bör utveckla styrningen och organiseringen av analys- och utvärderingsresurserna. är en viktig del av styrmodellen Analyser och utvärderingar behövs för att förbättra verksamheter. Regeringen använder analyser och utvärderingar som stöd för sina uppgifter: att styra och redovisa resultat och säkerställa effektivitet. Med analyser och utvärderingar och andra kunskapsunderlag skapas förutsättningar för en kunskapsbaserad politik och möjligheter för politiker att ta ställning utifrån relevant information och egna värderingar. Det är också viktigt att beslutsfattare efterfrågar information av olika slag och att inte åsidosätta information som är relevant i en fråga, för att se till att kunskapssökandet inte blir skenbart.1 Det ger legitimitet att politiska reformer följs upp, utvärderas och analyseras. Det ger möjlighet att upptäcka brister och att dessa synliggörs. Analyser och utvärderingar bidrar därmed till ett bättre beslutsfattande. 1Shirin (2018), Kunskap och politik – mellan nonchalans och teknokrati i Vetenskap och beprövad erfarenhet, s. 63. Styrningen och organiseringen av den offentliga sektorn bygger i hög grad på decentralisering och delegering. och regeringen fastställer mål, avsätter medel och reglerar hur olika verksamheter får bedrivas. Statliga myndigheter, kommuner, landsting och privata aktörer utför verksamheten. Offentlig verksamhet kan justeras, omformas och förbättrats med stöd av analyser och utvärderingar. Också styrningens utformning påverkas av utvärdering. Den kan vara mindre detaljerad, och ge större handlingsutrymme, med vetskapen om att med styrning följer utvärdering. Analyser och utvärderingar skiljer sig från många andra kunskapsunderlag som regeringen också har tillgång till genom att de är tänkta att användas i beslutsprocesser. Regeringen behöver detta för sina processer, men också säkerställa att det finns analyser och utvärderingar på olika nivåer i staten. 6.1.1Regeringen behöver veta hur det går För regeringen bidrar analyser och utvärderingar till att regeringen får bättre vetskap om hur det går, om utvecklingen och om tillståndet i samhället inom olika områden oavsett statliga insatser och om sambandet mellan statliga insatser och effekter. De bidrar också till långsiktig kunskapsuppbyggnad om effekter av olika åtgärder, insatser och program. De kan tillsammans med andra underlag ge regeringen kunskap och insikter om huruvida en insats är ändamålsenlig eller inte och om huruvida det behövs mer eller mindre av en insats. Sådan information måste ha tillräcklig kvalitet. Regeringen har en skyldighet att hålla sig informerad om utvecklingen på olika samhällsområden i och med sin skyldighet att redovisa resultat för . Underlagen kan bidra till att bedöma insatser och måluppfyllelse. Det finns ett intresse för regeringen att vara transparent med resultatet av de insatser som staten gör och det som staten satsar resurser på. Analyser och utvärderingar är viktiga för att legitimera statliga åtgärder. 6.1.2Analyser och utvärderingar behövs i styrningen Vår kartläggning visar att regeringen använder analyser och utvärderingar från analys- och utvärderingsmyndigheterna i huvudsak för att följa och bedöma effekter av beslutade insatser och områden. Analyserna och utvärderingarna bidrar tillsammans med andra kunskapsunderlag till ett underlag för att justera och förbättra politiken på olika områden. I utvecklingen av politiken och nya reformer söks också olika kunskapsunderlag. Regeringen kan behöva ha tillgång till den senaste forskningen och de senaste kunskaperna på olika områden. För detta behöver den ha ingångar och veta att det finns personer som har god kännedom om den senaste forskningen eller som vet vilka som har den kunskapen. Analyser och utvärderingar kan också användas som underlag för att ställa förvaltningen till ansvar. Analyser och utvärderingar bidrar också till kunskapsgenerering. På så sätt adderas ny kunskap till befintliga kunskaper på ett sätt som gör att regeringen kontinuerligt kan utveckla sin styrning och politik. 6.1.3Regeringen och operativt ansvariga har behov av analyser och utvärderingar Regeringen och operativt ansvariga i verksamheterna har olika behov av analyser och utvärderingar. Analyser och utvärderingar som syftar till verksamhetsutveckling ska göras verksamhetsnära Vår kartläggning har visat att majoriteten av utvärderingsresurserna i staten finns hos myndigheter vars uppdrag är att genomföra regeringens politik. Utvärderingar initieras, genomförs och tas om hand i de operativt ansvariga myndigheterna som stöd för verksamheterna. Det ligger i linje med det krav som myndigheter med genomförandeansvar har på sig att fortlöpande utveckla sina verksamheter och att redovisa resultat till regeringen. Vår slutsats är att analyser och utvärderingar som görs för att löpande förbättra och utveckla operativa verksamheter har bättre förutsättningar att få genomslag och komma till användning om de görs Det är den operativa verksamheten som har kunskap och tillgång till den information som behövs för att göra sådana analyser. Analyser och utvärderingar som genomförs i verksamheterna leder också till ett lärande i verksamheterna. Regeringen behöver analyser och utvärderingar om effekter Analys- och utvärderingsmyndigheterna har en specifik roll i att förse regeringen med analyser och utvärderingar som mestadels är inriktade på effekter med slutsatser och rekommendationer som är inriktade mot att ge regeringen underlag för att kunna fatta beslut. Analys- och utvärderingsmyndigheterna utgör en mindre del av statens samlade resurser för analyser och utvärderingar. De står för 12–av den samlade utvärderingsverksamheten i staten.2 Analyser och utvärderingar inriktade på effekter kräver ett metodkunnande. Det är också en fördel med ett avstånd till genomförandet i och med att det ger ökade möjligheter att aggregera och analysera effekter som följer av flera olika insatser och myndigheters verksamheter. Regeringen behöver underlag för omprövning Regeringen behöver vidare underlag som kan ligga till grund för omprövning, oavsett om det handlar om insatsernas inriktning, myndigheternas genomförande eller en grundläggande omprövning av verksamheters existens. Det finns skäl för att sådan information inte ska tas fram av den som ansvarar för genomförandet av en verksamhet. Vi delar den princip som vuxit fram att omprövningen av en eller flera myndigheters uppdrag, verksamheter och organisation, bör hållas skild från den som genomför verksamheten.3 Analys- och utvärderingsmyndigheterna kan bidra till underlag och till att identifiera frågor för omprövningar av avgränsade insatser och program. Men regeringen kan också använda flera andra aktörer till detta, vilket kan vara särskilt befogat vid mer grundläggande omprövningar. 2Som vi redovisat i kapitel 3 uppskattas de sju analys- och utvärderingsmyndigheternas verksamhet omfatta , beräknat genom att exkludera myndigheternas statistikuppgifter och operativa uppgifter. 2009/10:175. kommittéväsendet, myndigheter, privata aktörer, universitet och högskolor samt internationella organisationer. Vid omprövning behöver regeringen också veta vem den ska vända sig till, vilka som är experterna på ett område och som har kännedom om vetenskap och beprövad erfarenhet. Vid sådana omprövningar används olika typer av kunskapsunderlag.4 Där kan analys- och utvärderingsresurser vara en ingång. 6.1.4Med fördjupade analyser och utvärderingar kan behovet av löpande uppföljning minska För att den offentliga sektorn ska fungera bra behövs analyser och utvärderingar med olika syften på olika nivåer. En del utvärderingar och analyser handlar om att förbättra verksamheter på olika sätt, andra om att utkräva ansvar. Analys- och utvärderingsmyndigheterna har en unik position i och med att de har ett avstånd från genomförandet kombinerat med sakkunskaper inom området. De har möjlighet att göra analyser av sektorer, och över sektorsgränser, och har ett metodmässigt kunnande. Vår uppfattning är att regeringen kan i högre grad kan använda myndigheterna för att följa upp och bidra med underlag för att bedöma måluppfyllelsen inom olika områden. Om kvalificerad och kontinuerlig policyanalys och utvärdering görs inom fler områden kan den löpande uppföljningen och utvärderingen som samtliga myndigheter gör inom ramen för årliga processen minska. Det har vuxit fram en kritik, se kapitel 2, mot att det görs för mycket analyser och utvärderingar och att de har ett granskande syfte. Det är dock för begränsat att klumpa ihop och se all analys- och utvärderingsverksamhet som en del av ett växande granskningssamhälle. Analyser och utvärderingar har som vi visat flera syften och är inte avgränsade till vad som skulle kunna uppfattas som granskning. Huruvida en utvärderingsinsats uppfattas som kontrollerande eller som främjande handlar till stor del om vem som är utförare av utvärderingen, vem utvärderingen riktar sig till och vad som är i fokus för utvärderingen. En rimlig frågeställning för regeringen är om det finns en rimlig balans mellan det som görs för att utveckla och förbättra verksamheter och det som görs för att bidra till att kontrollera och utkräva ansvar? 4SOU 2007:75, s. 263. Vår bedömning är att regeringen med jämna mellanrum måste överväga om det finns för mycket eller för lite analys- och utvärderingsaktiviteter för de operativa verksamheternas egna lärande. En sådan bedömning ligger utanför detta utredningsuppdrag. Vid sådana överväganden måste man beakta att samma analys- och utvärderingar kan ha flera syften och se till deras samlade funktion. 6.1.5Ett alltmer komplext samhälle kräver kontinuerlig kunskapsuppbyggnad Den offentliga sektorn har blivit allt mer komplex. I kapitel 5 har vi visat att det finns skäl att inrätta oberoende analys- och utvärderingsresurser som kontinuerligt bygger upp kunskap om politikens möjligheter och utmaningar inom fler områden än vad som finns . En hög förändringstakt i samhället och en alltmer globaliserad omvärld ställer höga krav på att regeringen har tillgång till analysresurser som kontinuerligt kan följa och omsätta forskning till policyrelevanta underlag. För att möta detta behov har regeringen inrättat flera analys- och utvärderingsmyndigheterna inom olika sektorer. En annan förklaring är att resurser förts över till en myndighet under och att regeringen inte längre haft tillgång till motsvarande utvärderingsresurser. När regeringen behöver justera politiken på ett område behöver den tillgång till analyser och utvärderingar för att söka stöd för den senaste kunskapen, analysen och utvärderingen som kan ge vägledning för en förändrad inriktning av politik och insatser. När det uppstår ett behov av att göra förändringar på ett område kan det vara för sent att sätta igång en analys eller utvärdering. Analys- och utvärderingsmyndigheterna kan bidra till en kunskaps- och evidensbaserad policyutveckling genom att tillgängliggöra analyser, utvärderingar och forskning. Ovanstående resonemang leder oss fram till ett antal principiella ställningstaganden om analyser och utvärderingar och deras roll: •Analyser och utvärderingar är nödvändiga för att regeringens styrning av den offentliga sektorn ska fungera effektivt. •Analyser och utvärderingar med syfte att förbättra de operativa verksamheterna bör genomföras verksamhetsnära. 6.2Viktiga egenskaper för att möta regeringens behov Vårt uppdrag är avgränsat till det behov som regeringens resurs i form av sektorsanknutna analys- och utvärderingsmyndigheter tillgodoser och hur denna resurs ska organiseras. Kapitel 2–3 visar att dessa myndigheter har vuxit fram . De har motiverats med att regeringen behöver analys- och utvärderingskompetens med följande egenskaper: sakkunskap, metodkompetens, oberoende från genomförande, möjlighet till kontinuerlig kunskapsuppbyggande och förmåga att anpassa sina analyser och utvärderingar till regeringens behov. Nedan redovisar vi våra slutsatser om varför dessa egenskaper är viktiga. 6.2.1Både sak- och metodkompetens behövs vid utvärdering av politiska reformer Det är komplicerat att utvärdera effekterna av en reform eller en verksamhet. Det kräver djup sakkunskap och kontinuerlig utveckling av metoder. Skillnader mellan sakområden och särskilda förutsättningar inom olika sektorer kräver också att metoder och angreppssätt anpassas till det som ska analyseras och utvärderas. Vårt underlag visar att en kombination av sak- och metodkunskap är avgörande för att de utvärderingar som görs ska ha nödvändig kvalitet och relevans. Metodkompetensen är central för att det ska gå att göra undersökningar och för att säkerställa att de resultat som presenteras är korrekta. Att ha kännedom om en sektor är centralt för förmågan att kunna lämna policyrelevanta rekommendationer och förslag till regeringen. Det handlar bland annat om att veta hur andra åtgärder har fungerat tidigare, vilka som är aktörerna i ett system, myndigheter och andra, kännedom om regelverk, utmaningar och möjligheter i sektorn etcetera. Sådan kännedom om och om andra länder, är viktig för förmågan att kunna bidra till regeringens policyutveckling. När exempelvis ett styrmedel utvärderas kan kännedom om aktuell sektor vara avgörande för att kunna lämna rekommendationer om vad som kan fungera i just den sektorn. Myndigheternas närhet till det departement som har sakansvar har betydelse för myndighetens relevans i och med att det ger en förståelse för regeringens och behov. 6.2.2Effektivt med kontinuitet och stadigvarande resurser Erfarenheter av att ha gjort liknande analyser och utvärderingar tidigare underlättar analys- och utvärderingsarbetet. Med stadigvarande resurser sker en kontinuerlig kunskapsuppbyggnad där nya analyser och utvärderingar bygger på befintlig kunskap. Startsträckan blir då kortare vad gäller exempelvis vilka data det finns, och vilka data det går att få fram inför en utvärdering. De som är insatta i ett område kan också effektivt besvara regeringens frågor. Det ger också förutsättningar att kunna vara en kvalificerad samtalspartner för regeringen om hur en relevant frågeställning kan fångas upp och förklaras. Genom att de som arbetar med analyser och utvärderingar inom ett område gör det kontinuerligt får de goda förutsättningar att bygga upp nätverk med forskare och andra experter nationellt och internationellt. 6.2.3Oberoende viktigt för trovärdighet och omprövning Oberoende från genomförandet är viktigt för trovärdigheten. Det behövs för att undvika att det finns ett egenintresse som styr hur något framställs eller hur en rapport utformas. Ett handlingsutrymme att själv formulera analys- och utvärderingsfrågor bidrar till trovärdighet i det avseendet att myndigheten inte bara levererar det regeringen önskar. Oberoendet har på detta sätt koppling till hur regeringen ska använda informationen. Om regeringen exempelvis önskar veta storleken på en effekt, för att kontrollera och också för att utkräva ansvar om en effekt uteblivit, ställs höga krav på tillförlitlighet. Oberoendet blir centralt. Oberoende är också, som vi resonerat, centralt vid omprövning. Ju mer regeringen söker information som omprövar en insats, dess inriktning, utformning och existens, desto viktigare är det att sådan information tas fram av någon som inte är ansvarig utförare av verksamheten. Vem som analyserar och utvärderar är betydelsefullt för möjligheten att kritiskt granska de huvudantaganden (den verksamhetslogik) som ligger till grund för insatser. När något omprövas behöver det också ställas i relation till andra insatser och verksamheter. Det underlättas om det finns ett avstånd till genomförandet. Det är rimligt att förvänta sig att den som utför en insats kan ha svårt att ta fram underlag som säger att verksamheten inte fungerar och bör läggas ner. 6.2.4Förmåga att se regeringens behov Det som skiljer utvärdering från annan kunskapsproduktion är att utvärdering definieras av att resultatet tas fram för att kunna användas i en beslutsprocess. För att regeringens analys- och utvärderingsresurser ska kunna tillgodose regeringens behov behöver de ha förmåga att uppfatta hur regeringens behov ser ut, både . De behöver också ha förmåga att presentera sina analyser och utvärderingar på ett sätt som gör det lätt för regeringen och att använda dem i sina processer. Vårt resonemang leder till följande ställningstaganden: •Analys- och utvärderingsresurserna behöver ha möjlighet att bygga upp kunskap om forskningsresultat och erfarenheter som är relevant för olika sektorers verksamhet. •Regeringen behöver kontinuerligt policyanalyser och utvärderingar som baseras på sak- och metodkompetens inom olika områden. 6.3Problem med dagens struktur I detta avsnitt redovisar vi våra slutsatser och ställningstaganden om vilka problem det finns med den nuvarande organiseringen och styrningen av regeringens analys- och utvärderingsresurser. Det är vår sammantagna bild av problemen och innebär inte att dessa problem kan hänföras till varje enskild analys- och utvärderingsmyndighet. Myndigheternas uppdrag ser olika ut. Det varierar i vilken utsträckning deras analyser- och utvärderingar är inriktade på att ge regeringen underlag för att fatta beslut. Myndigheterna står, med vissa undantag, oberoende från genomförandet av politiken. Huvuddelen av myndigheterna har ett uppdrag som är avgränsat till en viss sektor. Att analys- och utvärderingsresurserna är uppdelade på sju relativt små myndigheter skulle kunna ge upphov till inlåsningseffekter och administrativa merkostnader. Myndighetsgränser gör det komplicerat att lösa ett utredningsuppdrag genom att nyttja resursförstärkning från en annan myndighet med närliggande verksamhet om så skulle behövas. Vi har dock inte sett några tecken på att myndigheternas kostnader eller administration avviker från andra myndigheters. Vi kan dock konstatera att om regeringen fortsätter att inrätta flera små myndigheter finns det risker för ökade kostnader i och med att små myndigheter generellt har en högre andel ledningskompetens. Med inrättandet av myndigheter följer också administrativa kostnader med att vara myndighet, både hos myndigheten och inom . Dessa samlade kostnader ökar för varje ny myndighet som inrättas. Vår övergripande slutsats är att den nuvarande organiseringen och styrningen av regeringens analys- och utvärderingsresurser endast delvis tillgodoser regeringens behov. Nedan utvecklar vi de problem som vi har identifierat med dagens struktur. 6.3.1Olika uppdrag leder till otydlighet och till att regeringens behov inte tillgodoses Analys- och utvärderingsmyndigheternas uppdrag skiljer sig åt. Regeringen får olika typer av underlag inom olika områden, vilket är ett problem i och med att regeringens uppgift är densamma oavsett sakområde. Vi ser inte att skillnaderna i uppgifter är resultatet av grundläggande skillnader i behovet av underlag som hänför sig till skillnader i sakområdena. Vi bedömer att det i stället förklaras av att regeringen har tilldelat myndigheterna uppgifter och att det kan ha skett av olika skäl såsom olika traditioner och praktiska skäl kopplat till myndighetsstrukturen inom olika sektorer. uppdrag risk för att regeringens behov inte tillgodoses Att det inte framgår av alla myndigheters instruktioner att deras uppgift är att ta fram analyser och utvärderingar anpassade till regeringens behov lämnar ett stort tolkningsutrymme för vissa myndigheter. Det öppnar för att myndigheter gör analyser och utvärderingar som lämpligare görs av exempelvis forskare eller genomförandemyndigheter. Med ett tydligare uppdrag inriktat på regeringens behov kan myndigheterna fördjupa och utveckla sina metod- och sakkunskaper mer. Vidare kan myndigheterna i högre grad inrikta sin kunskapsuppbyggnad och omvärldsbevakning på regeringens behov. För att myndigheterna ska kunna vara oberoende från genomförandet bör myndigheterna uteslutande ha i uppdrag att göra analyser och utvärderingar till regeringen. Så ser det inte ut för samtliga av analys- och utvärderingsmyndigheterna. Vi bedömer att analys- och utvärderingsmyndigheternas potential att vara ett stöd för regeringen skulle tas bättre till vara med ett mer renodlat uppdrag. Dessutom skulle myndigheternas resurser kunna användas effektivt. Alla myndigheter tar inte fram rekommendationer och förslag till regeringen Fem av analys- och utvärderingsmyndigheterna har som uttalad uppgift att fram underlag, rekommendationer och/eller förslag till regeringen. Dessa kan bidra till underlag för policyutveckling. Det varierar också i vilken utsträckning myndigheterna tar fram analyser, slutsatser och förslag utformade för att regeringen ska kunna använda dem som underlag för ställningstaganden. Detta minskar generellt regeringens möjligheter att använda resultatet av myndigheternas analyser och utvärderingar. Analyser och utvärderingar som innehåller rekommendationer och förslag riktade till regeringen har fördelen att de på ett enkelt sätt går att använda i processer. Saknas slutsatser om vad regeringen kan göra för att komma tillrätta med ett konstaterat problem eller en utebliven effekt kan regeringen behöva initiera ett nytt analysarbete för att komma vidare i frågan. I våra intervjuer har några myndigheter fört fram att det finns problem förknippade med att utvärderingsmyndigheter tar fram förslag till regeringen. Argument har förts fram om att det inte går att vara oberoende i förhållande till det som utvärderas och redovisa förslag på hur politiken, vanligtvis olika insatser, bör utformas. Om regeringen följer myndighetens förslag skulle myndigheten kunna komma i en situation där den kan behöva utvärdera sitt eget förslag. Vi delar inte denna bedömning. Regeringen väljer själv om den vill använda de förslag och slutsatser som en myndighet för fram, eller hitta en annan lösning. Detta är regeringens uppgift och ansvar. Vidare kan rekommendationer utformas i syfte att ge vägledning om för- och nackdelar med olika alternativ, eller tydligt utgå från ett antagande om vad regeringen skulle vilja prioritera och vilka handlingsalternativ som då skulle kunna vara lämpliga. Analys- och utvärderingsmyndigheters uppgift bör vara att ta fram underlag för omprövning och underlag för policyutveckling. Enligt vårt sätt att se det är det en naturlig del av den uppgiften att redovisa slutsatser om hur regeringens styrning kan förbättras, baserat på vad forskning, utvärdering och andra erfarenheter har visat. Det innebär inte att man ska ta fram fullständiga förslag som regeringen kan fatta beslut om. Det är viktigt att policyrekommendationerna inte drivs längre än vad analyserna och utvärderingarna ger stöd för. Vår slutsats är att det bör ingå i analys- och utvärderingsmyndigheternas uppdrag att beskriva ett problem, förklara orsakssambanden bakom problemet och komma med rekommendationer om hur regeringen bör göra för att komma till rätta med problemet. Att stanna vid att beskriva ett problem, som bristande måluppfyllelse eller uteblivna effekter, är inte alltid tillräckligt för att tillgodose regeringens behov. Olika uppdrag försvårar regeringens styrning Att myndigheterna har olika uppdrag leder till att det blir otydligt för regeringen, och myndigheterna själva på vilket sätt analys- och utvärderingsmyndigheter kan och ska bidra till regeringens arbete. Det finns en risk för att regeringens styrning blir otydlig. är det otydligt, och därmed oklart, vilken typ av uppdrag regeringen ska lägga på analys- och utvärderingsmyndigheter, och vilken typ av uppdrag regeringen bör lägga på andra myndigheter. Inom kriminalpolitiken har exempelvis analys- och utvärderingsverksamhet med inriktningen att utveckla den operativa verksamheten (ta fram handböcker etcetera) lagts på Brå, i stället för på polismyndigheten.