sou · H6B379 · 2018-10-31 00:00:00 — Analyser av om verksamheter genomförs kostnadseffektivt kräver en annan kompetens än den sektors- och utvärderingskompetens som dagens analys- och utvärderingsmyndigheter har. Om regeringen samlar sina analys- och utvärderingsresurser med djupa sakkunskaper i färre myndigheter bedömer vi att myndigheterna får bättre möjlighet att bygga upp sådan kompetens. Vi bedömer att analys- och utvärderingsmyndigheterna med denna kompetens kan utgöra ett stöd i regeringens styrning och uppföljning av myndigheter med omfattande resurser. Exempelvis har Polisen, Försvarsmakten, och, Arbetsförmedlingen vardera mer än 10 000 personer anställda. Vi bedömer att regeringen behöver oberoende analysresurser med djupa sakkunskaper för att styra organisationer som är så pass omfattande. Det är alltså endast en mindre del av de totalt 345 myndigheter som finns under regeringen som skulle omfattas av denna uppgift. Vi är medvetna om att tillgången på kostnadsdata är avgörande för att göra dessa analyser och att sådana data saknas på flera områden. Men för att regeringen ska kunna få också av effektivitet är det nödvändigt att det tydligt framgår av myndigheternas uppdrag att sådana analyser ska göras. 6.4.7Analys- och utvärderingsmyndigheter ska inte göra analyser och utvärderingar för operativ verksamhet Analys- och utvärderingsverksamhet kan användas som en form av kunskapsstyrning i syfta att påverka beteenden och attityder, både i olika verksamheter och allmänt i samhället. Detta bör inte vara en uppgift för analys- och utvärderingsmyndigheter som har regeringen som främsta målgrupp. Analys- och utvärderingsmyndigheter bör inte ha i uppgift att göra analyser och utvärderingar som syftar till verksamhetsutveckling på den operativa verksamhetsnivån och där resultatet ska tas om hand av den operativa nivån. Vi bedömer att analyser och utvärderingar som initieras i syfte att förbättra och utveckla operativa verksamheter har bättre förutsättningar att få genomslag om de görs nära verksamheterna och med god kunskap om verksamheterna. Det ger bättre förutsättningar för en lärande process om de myndigheter som ansvarar för genomförandet tar ansvar för sin egen verksamhetsutveckling. Det är också de som har tillgång till relevant information och kunnande för att göra sådana analyser. Våra slutsatser ska inte tolkas som att vi inte anser att en analys- och utvärderingsmyndighet ska kunna lämna rekommendationer om att det behövs verksamhetsutveckling för att nå ökad måluppfyllelse. Om en utvärdering visar att bristande måluppfyllelse beror på brister i genomförandet är det naturligt att analys- och utvärderingsmyndigheten konstaterar detta. Vi bedömer att genomförandemyndigheter, kommuner, landsting och privata aktörer ofta har nytta av det kunskapsunderlag som analys- och utvärderingsmyndigheter tar fram även om regeringen är den huvudsakliga målgruppen för deras kunskapsproduktion. Analys- och utvärderingsmyndigheter bör inte ha som uppgift att fördela bidrag till forskning. Det finns en särskild myndighetsstruktur uppbyggd för att besluta om forskningsfinansiering. Forskningsfinansiärerna har specifik kompetens för att värdera ansökningar om forskningsmedel, bevilja medel och utvärdera genomförd forskning. Det är ineffektivt att sprida ut denna uppgift på andra myndigheter. 6.4.8Analys- och utvärderingsmyndigheter ska inte forska Några analys- och utvärderingsmyndigheter har i uppdrag att forska. Som vi visat i kapitel 3 handlar det bl.a. om en praktisk fråga för att myndigheten ska ha tillgång till data för att kunna göra analyser och utvärderingar. Enskilda medarbetare ges vid några av myndigheterna också möjlighet att forska och skriva uppsatser som en del av sin kompetensutveckling. Detta ser vi inga problem med Men vår slutsats är att analys- och utvärderingsmyndigheter inte ska bedriva forskningsverksamhet som en uppgift för myndigheten. Det är en uppgift för universitet- och högskolor, forskningsinstitut och andra. Att forskning i något fall ändå behöver anges som instruktionsenlig uppgift för att myndigheten behöver denna reglering för att få tillgång till data är en annan fråga. 6.4.9Statistikansvar och stabstöd kan ingå i uppdraget Hälften av analys- och utvärderingsmyndigheterna har ansvar för att ta fram nationell statistik. Vi har inte sett några tecken på att statistikverksamheten inte skulle fungera eller att den inverkar negativt på analys- och utvärderingsverksamheten. Tvärtom kan ett statistikansvar i vissa fall vara en viktig förutsättning för att analys- och utvärderingsverksamheten ska fungera ändamålsenligt. Att ha ett statistikansvar underlättar uppgiften att analysera i vilken utsträckning och regeringens övergripande mål uppnås. Myndigheterna menar att tillgången till statistiken och den metodologiska kompetens som den genererar är värdefull för den övriga verksamheten. Vi anser dock inte att det är nödvändigt att myndigheterna har ett statistikansvar för alla områden som ingår i deras uppdrag. Vi ser det exempelvis som naturligt att är statistikansvarig myndighet inom sin sektor eftersom myndigheten behöver de uppgifter som den officiella statistiken bygger på för att styra och följa upp sin egen verksamhet. Att flytta över statistikansvaret till en analys- och utvärderingsmyndighet skulle sannolikt leda till ett dubbelarbete. Regeringen utnyttjar analys- och utvärderingsmyndigheterna som stabstöd i varierande grad. Med stabstöd avser vi att ta fram uppgifter, statistik och kortare analyser till regeringen och som de behöver i sitt löpande arbete. Att efterfrågan på stabstöd varierar beror i hög grad på vilka andra myndigheter det finns i sektorn, på regeringens dagordning och på kapacitet. Vi ser inga principiella problem med att analys- och utvärderingsmyndigheter utför sådana uppgifter. Det finns dock skäl för både regeringen och myndighetsledningen att bevaka omfattningen av stödet. Om efterfrågan blir för hög finns det en risk för att uppgifterna kan tränga ut en myndighets huvuduppgifter. 6.4.10Uppgifter för analys- och utvärderingsmyndigheterna Uppgifter som vi anser att analys- och utvärderingsmyndigheterna ska ha och som följer av ovanstående resonemang är att analysera och utvärdera effekter, bistå i policyanalys och ge rekommendationer, följa utvecklingen i förhållande till övergripande mål, sammanställa och tillgängliggöra forskning, bedriva omvärldsanalys samt utveckla analys- och utvärderingsmetoder. Vi återkommer till den samlade uppgiftsställningen i sin helhet i kapitel 7. Analys- och utvärderingsmyndigheterna har i olika utsträckning dessa uppgifter i sin instruktion När vi relaterar analys- och utvärderingsmyndigheternas instruktioner till det uppdrag och de uppgifter som vi diskuterar ovan finns det vissa skillnader. Kulturanalys, Tillväxtanalys och Trafikanalys har instruktioner som i huvudsak beskriver dessa uppgifter. Kulturanalys instruktion är inte tydlig när det gäller att analysera och utvärdera genomförandet av politiken. Trafikanalys har inte uppgiften att sammanställa och tillgängliggöra forskning. Tillväxtanalys har inte den explicita uppgiften att följa upp utvecklingen i förhållande till mål, eller i uppgift att analysera genomförandet och sammanställa och tillgängliggöra forskning. Brås och ISF:s instruktioner är i lägre grad utformade så att myndigheterna har de uppgifter som vi förespråkar. För Brå anges inte uppgifterna att analysera och utvärdera effekter explicit i instruktionen. Brå har inte heller uppgiften att analysera genomförandet, följa utvecklingen i förhållande till målen, bedriva omvärldsanalys och utveckla analys- och utvärderingsmetoder, sammanställa och tillgängliggöra forskningsöversikter eller att bedriva omvärldsanalys och utveckla analys- och utvärderingsmetoder. Som vi beskriver används för ISF en egen begreppsapparat för analys- och utvärderingsverksamheten. Instruktionen är inriktad på genomförandet, vilket uttrycks som granskningen av om tillsynsobjektets verksamhet fungerar effektivt och rättssäkert med utgångspunkt i det statliga åtagandet. IFAU har i uppgift att göra analyser och utvärderingar av effekter. I instruktionen uttrycks att IFAU ska göra processutvärderingar, vilket kan förstås som utvärderingar av genomförande. har också som instruktionsenlig uppgift att följa utvecklingen av arbetsmarknadspolitiken men inte explicit mot övergripande mål. Övriga uppgifter som vi har diskuterat ingår inte IFAU:s instruktion. Vårdanalys har i uppdrag att bidra till policyanalys, analysera genomförandet (beskrivs med annat begrepp) och göra omvärldsanalys. Vårdanalys har inte som instruktionsenlig uppgift att analysera och utvärdera effekter. Vårdanalys har inte i som explicit uppgift att följa utvecklingen mot övergripande mål. Vidare har inte Vårdanalys i uppgift att sammanställa och tillgängliggöra forskning eller utveckla metoder. Som framgått finns skillnader i myndigheternas instruktionsenliga uppgifter i förhållande till de uppgifter vi finner att analys- och utvärderingsmyndigheter ska ha. Det är dock viktigt att komma ihåg att det inte behöver innebära att myndigheterna inte gör sådana uppgifter. Myndigheterna kan exempelvis sammanställa forskning utan att den uppgiften anges i deras instruktion. Flera olika begrepp och uttryck används i myndigheternas instruktioner för vad som vi förstått kan vara likartade uppgifter. En enhetlighet i uppdragen, när myndigheter förväntas ha likartade uppgifter, kan bidra till att underlätta förståelsen för vad myndigheterna gör. 6.5Styrning för att främja relevans, kvalitet och effektivitet Vid sidan av vilka uppgifter regeringen ger analys- och utvärderingsmyndigheterna har det även stor betydelse vilka övriga förutsättningar regeringen skapar för att analys- och utvärderingsmyndigheter ska kunna utföra sitt uppdrag på ett effektivt sätt, med hög kvalitet och med en inriktning som motsvarar regeringens behov. I detta avsnitt redovisar vi våra slutsatser om vad regeringen bör göra för att förmedla sitt behov av kunskapsunderlag till myndigheterna. Vi redovisar också våra slutsatser om hur regeringen bör styra myndigheterna för att ge dem goda förutsättningar att fullgöra sitt uppdrag . Regeringen behöver styra så att myndigheterna får långsiktiga förutsättningar för sitt uppdrag, genom att ange tydliga uppgifter. Regeringen måste säkerställa att analys- och utvärderingsmyndigheternas uppgift och roll är tydlig för myndigheten och . Myndigheterna måste få förutsättningar att förstå vilka underlag som regeringen behöver i sina uppgifter. För att vara relevant behövs en närhet och en dialog om processer och tidpunkter. Det är avgörande för att myndigheternas rapporter ska komma till användning. Myndigheterna ska också löpande kunna bistå med underlag och svara på frågor som uppstår. måste myndigheten vara långsiktigt relevant för regeringen och det blir den genom att kontinuerligt förse regeringen med underlag. Det är också avgörande att myndigheten är oberoende från genomförandet och att det också finns en integritet i förhållande till regeringen så att myndigheten inte undviker att analysera och utvärdera frågor och områden som kan vara obekväma för regeringen. 6.5.1Förutsättningar för att bedöma om analyser och utvärderingar behövs Regeringen behöver tillförsäkra sig att har förutsättningar att bedöma vilket behov regeringen har av analyser och utvärderingar. Vår internationella utblick har visat att regeringar i andra länder har skapat strukturer för att få till stånd analyser och utvärderingar: ställningstaganden om när utvärderingar ska göras och vägledningar som stöd i arbetet med att beställa utvärderingar (se kapitel 2). finns inget tydligt ställningstagande från regeringen som kan utgå från för att göra bedömningar av när en verksamhet eller reform bör utvärderas. Vår slutsats är att regeringen bör ta ett principbeslut som tydliggör att större reformer och investeringar ska utvärderas. Det kan även bidra till att större reformer planeras och genomförs på ett sätt som gör att de kan utvärderas. Utvärderingar ska inte göras slentrianmässigt, utan där det finns särskild anledning. Det saknas säker kunskap om hur olika institutionella arrangemang i form av lagar och regler om utvärderingar stärker utvärderingsverksamheten. Vår samlade bedömning är ändå att det kan ha en positiv effekt på möjligheterna att få till stånd utvärderingar och öka kunskapen om kvalificerade analyser och utvärderingar i förhållande till det som tas om hand i de årliga processerna om vissa stöd finns på plats. 6.5.2Regeringskansliet behöver stöd för att förmedla regeringens behov För att undanröja osäkerheten om och när en utvärdering ska göras bör ett stödmaterial utvecklas till . Ett sådant stöd kan med fördel integreras med rutinerna för hur andra kunskapsunderlag beställs och mottas för att skapa en ökad förståelse och dialog inom om och när olika kunskapsproducenter kan användas. Vår internationella utblick har visat att det norska har gett ut ett stödmaterial som vänder sig till departement och myndigheter. Vår bedömning är att detta kan tjäna som inspiration för ett stödmaterial.8 Regeringen måste säkerställa att har tillräcklig kunskap genom att erbjuda utbildning och stöd för att beställa och ta emot policyanalyser och utvärderingar. Det är viktigt att har förutsättningar att ta emot analyser och utvärderingar och omsätta dessa i beslutsunderlag för att beslutsprocesserna ska fungera effektivt. Om regeringen gör ett principiellt ställningstagande om att större reformer och investeringar ska utvärderas och får ett utvecklat stöd för att utforma utvärderingsuppdrag ökar förmåga att ta emot analyser och utvärderingar. 6.5.3Myndigheterna bör ha utrymme att göra egeninitierade studier Regeringens styrning är avgörande för regeringens långsiktiga nytta av myndigheterna. Om regeringen väljer att detaljstyra myndigheterna så att de endast har tid och möjlighet att verkställa beställningar blir myndigheterna i det korta perspektivet nyttiga. Däremot minskar förutsättningarna för regeringen att få mer strategiska och framåtsyftande analyser- och utvärderingar som en kvalificerad analys- och utvärderingsmyndighet har möjlighet att själva initiera genom sin sakkunskap och kännedom om sektorn. Om myndigheten ges utrymme att initiera egna studier nyttjas myndighetens kompetens i högre grad och det hjälper regeringen att lyfta blicken från dagsaktuella frågor. Myndigheten får möjlighet att utifrån sin Veileder till gjennomforing av evalueringar. samlade sakkompetens och kännedom om sektorn ta de initiativ den finner lämpliga. Det utvecklar myndighetens förmåga, både vad gäller metod- och sakkompetens, att ge regeringen stöd Oberoendet och trovärdigheten blir större. För att öka relevansen är det ändå viktigt att hänsyn tas till regeringens behov av underlag och processer. Det kan handla om förståelse för när en viss utvärdering behövs för att kunna användas i ett inriktningsbeslut. Det handlar också om en förståelse för vilka policyunderlag som regeringen behöver. Det innebär alltså inte att regeringen inte bör ge myndigheterna några uppdrag alls. Med enskilda uppdrag kan regeringen se till att den får ett specifikt underlag och styra inriktningen på en analys eller utvärdering. Sådana uppdrag är nyttiga för myndigheterna då det gäller relevans. Enskilda uppdrag kan också stärka oberoendet i förhållande till sektorsintressen. Det handlar om en rimlig balans där myndigheterna bör ha stora friheter inom ramen för sina uppdrag. Myndigheternas uppdrag och roll bör tydligt framgå av myndigheternas instruktioner. Med uppgifterna som huvudsaklig styrning av verksamhetens inriktning ges långsiktiga förutsättningar. Det skapar möjlighet för myndigheterna att bli de kvalificerade utvärderare som regeringen behöver. Regeringen och myndigheterna behöver hitta fungerande former för samtal om sektorns utmaningar och regeringens behov. Vi finner att analysplaner är ett bra verktyg för regeringen och myndigheten att samlas kring, för regeringen för att få möjlighet att informera sig om myndighetens verksamhet och för myndigheten för att informera sig om regeringens processer. 6.5.4Erfarenhetsutbyte och lärande behöver institutionaliseras Det är önskvärt att myndigheterna kontinuerligt utvecklar sitt metodkunnande och sin tillämpning av olika angreppssätt. Det saknas en struktur för systematiskt lärande med fokus på metodutveckling mellan dagens analys- och utvärderingsmyndigheter. Det är viktigt att skapa en struktur för att säkerställa erfarenhetsutbyten mellan myndigheterna. Det ger myndigheterna möjlighet att ta del av hur andra myndigheter har utformat upplägg, angreppssätt och metoder i sina verksamheter och använda deras erfarenheter för att reflektera kring sin egen verksamhet. På så sätt kan ett lärande komma till stånd.9 Vi bedömer att ett nätverk för erfarenhetsutbyte om metoder behöver institutionaliseras genom att regeringen anger att det är en kontinuerlig uppgift för myndigheterna. Det går att resonera så att erfarenhetsutbytet kan komma till stånd på frivillig basis. är det en så pass central del av verksamheten att det bör regleras. Det är en verksamhet som ska genomsyra myndigheterna och vara systematisk. Det är svårt att få till ett utbyte som är av den omfattning som behövs för att vara meningsfullt utan att göra det till en uppgift för myndigheten. Syftet med att skapa strukturer för lärande är att bidra till mångfald och kompetensutveckling. Det är viktigt att myndigheterna har flera metoder att applicera i sin verksamhet så att inte metoderna styr vad myndigheterna analyserar och utvärderar. Närheten till forskarmiljöer i och internationellt är också mycket betydelsefullt för metodutvecklingen och kvaliteten i myndigheternas verksamheter. Sådana miljöer kan också bjudas in att delta vid gemensamma aktiviteter. Med erfarenhetsutbytet kan myndigheterna få andras ögon på sin verksamhet. Det kan förhindra att myndigheten alltid gör på samma sätt även om det skulle finnas bättre upplägg, metoder etc. Det finns dock vissa risker, men vi bedömer dem som små, att myndigheterna med ett ökat erfarenhetsutbyte i för hög grad efterliknar varandras metoder och arbetssätt, på grund av att ett visst arbetssätt kan uppfattas som mer framgångsrikt, trots att det finns andra metoder och sätt som är lämpligare för att besvara en frågeställning.10 Detta avsnitt har lett oss fram till följande ställningstaganden: •Regeringen bör fatta ett principbeslut om att större reformer och investeringar ska utvärderas. •Erfarenhetsutbyte och lärande bör institutionaliseras. 9Se SOU 2015:36, s. 69. 10Se , Fotnoter till förvaltningspolitiken, bilaga 2 i SOU 2015:36 Systematiska jämförelser – för lärande i staten. •Analys- och utvärderingsmyndigheter bör ha utrymme att själva initiera och finansiera analyser och utvärderingar. 6.6Analys- och utvärderingsresurser saknas för vissa områden I vårt uppdrag ingår att undersöka om det finns områden där regeringen saknar analys- och utvärderingsresurser med djupa sakkunskaper. Den nuvarande strukturen täcker helt och delvis, endast elva av statsbudgetens 27 utgiftsområden. I princip ser regeringens behov av analyser och utvärderingar likadant ut i alla sektorer, men hur omfattande behovet är skiljer sig mellan olika sektorer. Nedan redovisar vi våra övergripande slutsatser om inom vilka sakområden regeringen har behov av en myndighet med ansvar för att göra oberoende analyser och utvärderingar som inte tillgodoses . Det saknas analys- och utvärderingsmyndighet i flera sektorer I kapitel 5 har vi visat att det finns nio utgiftsområden som saknar en analys- och utvärderingsresurs och som uppfyller våra kriterier för att regeringen behöver en oberoende analys- och utvärderingsresurs. I ett av dessa utgiftsområden (Uo 2 Samhällsekonomi och finansförvaltning) bedömer vi att det finns andra oberoende resurser som täcker regeringens behov. I åtta utgiftsområden bedömer vi att regeringen i särskild ordning bör ta ställning till om det är motiverat att fördela om resurser från myndigheter med genomförandeansvar till en oberoende analys- och utvärderingsresurs. För tre av dessa utgiftsområden bedömer vi att regeringen kan ta ställning med utgångspunkt i vår utredning: •utgiftsområde 6, Försvar och samhällets krisberedskap •utgiftsområde 7, Internationellt bistånd. •utgiftsområde 8, Migration. För att regeringen ska kunna ta ställning till övriga fem utgiftsområden behöver frågan utredas vidare: •utgiftsområde 13, Nyanländas invandrares etablering (inte Jämställdhet) •utgiftsområde 18, Samhällsplanering, bostadsförsörjning och byggande (inte Konsumentpolitiken) •utgiftsområde 20, Allmän miljö- och naturvård •utgiftsområde 21, Energi •utgiftsområde 23, Areella näringar och landsbygd. Vi bedömer att de kriterier som vi har tagit fram i kapitel 5, som beskriver regeringens behov av oberoende analyser och utvärderingar baserade på djupa sakkunskaper, bör ta som utgångspunkt för den analysen. 6.7Verksamheten bör organiseras i myndighetsform I detta avsnitt analyserar vi om det finns andra organisationsformer än myndighetsformen som bättre kan tillgodose regeringens behov av analyser och utvärderingar baserade på djup sak- och metodkompetens. Vi har tidigare konstaterat (se avsnitt 6.2) att följande faktorer är centrala för möjligheten att tillgodose regeringens behov: •förmågan att kombinera djup sak- och metodkompetens •förmågan att uppfatta regeringens behov •oberoendet från genomförandet, vilket är centralt för trovärdighet och omprövning •stadigvarande resurser för att arbeta kontinuerligt med kunskapsuppbyggnad. 6.7.1Kommittéväsendet ger bristande kontinuitet och svagt stöd till regeringens löpande arbete Regeringen använder kommittéväsendet för att ta fram analyser och utvärderingar. Vi bedömer att kommittéväsendets styrka ligger i uppgifter som att ta fram underlag för omprövning, göra kartläggningar, utarbeta policyförslag och utreda frågor som sträcker sig över sektors- och myndighetsgränser samt att ta fram förslag till lagstiftning. Företrädare för politiska partier, och berörda organisationer kan delta i utredningsarbetet i egenskap av ledamöter eller experter. Detta är en styrka när det gäller att ta fram genomförbara förslag till regeringen. Kommittéväsendets svaghet är framför allt att verksamheten bedrivs i tidsbegränsade uppdrag och i regel är inriktad på en specifik frågeställning. När ett uppdrag har avslutats upplöses kommittén. Det innebär att de lärdomar som dras under arbetet inte tas tillvara på ett organiserat sätt. Kommittéformen har vidare svårt att tillgodose regeringens behov av kunskapsstöd i sitt löpande arbete (se kapitel 4). Även om en kommitté har ett brett uppdrag så är uppdraget och utredningsresurserna avgränsade till det som regeringen angett i kommittédirektiven. Det gör att regeringen inte kan använda kommittéväsendet som ett kunskapsstöd för att hantera frågeställningar som angränsar till kommittéernas uppdrag. Regeringens behov av analyser och utvärderingar grundade på sakkompetens är alltför omfattande för att vara lämplig att organisera i kommittéform. Det gäller både om man skulle välja att organisera resurserna som större kommittéer med långsiktiga uppdrag och som många små kommittéer. Ett annat skäl är att det skulle leda till ett omfattande administrativt merarbete i att organisera verksamheten i kommittéform. Det är till exempel ansvarigt statsråd som fattar beslut om alla förordnanden i kommittéerna. Vidare rymmer analys- och utvärderingsmyndigheternas uppdrag uppgifter som det inte är lämpligt att organisera inom . Det gäller exempelvis myndigheternas statistikverksamhet. Vi bedömer att insynen i verksamheten inte skulle vara tillräcklig för en sådan omfattande verksamhet. Kommittéer ska enligt kommitté- förordningen föra protokoll över sina möten och lämna ett budgetförslag samt en årlig redogörelse av arbetsläget till .