prop · H803178 · 2021-04-22 00:00:00 — Regeringens skrivelse 2020/21:178 av näringspolitiken – bristande tillförlitlighet Regeringen överlämnar denna skrivelse till . I skrivelsen redovisar regeringen sin bedömning med anledning av iakttagelser och rekommendationer i rapporten av näringspolitiken – bristande tillförlitlighet (RiR 2020:30). Regeringen välkomnar granskning av hur statliga myndigheter utvärderar effekter av näringspolitiken och om hur effektutvärderingar används. •säkerställa att Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys) i större utsträckning används för att utvärdera effekter av näringspolitiska insatser •återrapportera resultaten av väl utförda effektutvärderingar till i högre grad och med ökad tydlighet •förtydliga syftet med uppföljningar av näringspolitiska insatser •tydliggöra i AB:s () ägaranvisning vad syftet är med att använda jämförelsegrupper. Regeringen instämmer i flera av bedömningar. Regeringen delar dock inte uppfattning att en viss typ av metod för effektutvärderingar är att föredra framför andra. har regeringen arbetat strategiskt för att utveckla förutsättningarna för en mer systematisk uppföljning, utvärdering och analys av näringspolitiska insatser. De åtgärder regeringen avser att vidta utifrån granskning förstärker arbetet ytterligare. I budgetpropositionen tilldelas Tillväxtanalys förstärkta medel för att bl.a. genomföra fler effektutvärderingar (prop 2020/21:1). Regeringen avser att i sin helhet se 2020/21:178 över de uppdragsmål som förutsätter att genomför årliga utvärderingar i förhållande till en jämförelsegrupp. Frågan är därmed ännu inte slutbehandlad. Ärendet och dess beredning ............................................................. Regeringens bedömning av iakttagelser ................ Regeringens åtgärder med anledning av Effektutvärderingar av näringspolitiken – bristande tillförlitlighet (RiR 2020:30) ........................................... Utdrag ur protokoll vid regeringssammanträde ......... Ärendet och dess beredning har granskat hur statliga myndigheter utvärderar effekter Resultatet av granskningen redovisas i rapporten Effektutvärderingar av näringspolitiken – bristande tillförlitlighet (RiR 2020:30), se bilagan. I denna skrivelse behandlar regeringen de iakttagelser och rekommendationer till regeringen som redovisar i sin rapport. Rapporten innehåller även slutsatser och rekommendationer till , Tillväxtanalys, Verket för innovationssystem () samt . Vissa åtgärder återstår innan har granskat utvärderingar av näringspolitiken som uttalar sig om effekter och som har publicerats –2018. granskade myndigheterna är Tillväxtanalys, och . Även () ingår i granskningen eftersom SCB utfört årliga s.k. effektmätningar åt . ingår i granskningen i egenskap av beställare av effektmätningarna. övergripande revisionsfråga lyder: håller utvärderingar som uttalar sig om effekter av näringspolitiken en tillräcklig kvalitet för att uttala sig om effekter och används utvärderingarnas resultat på ett I granskningen delas den övergripande frågeställningen upp i två delfrågor: Uppfyller utvärderingar från de granskade myndigheterna som uttalar sig om effekter av näringspolitiken grundläggande krav för att vara trovärdiga som effektutvärderingar? Används effektutvärderingar av de granskade myndigheterna respektive regeringen för att kommunicera resultat av näringspolitiska insatser, för att motivera nya insatser eller för att förbättra befintliga övergripande slutsats är att det under den granskade perioden finns betydande brister i den effektutvärdering av näringspolitiken som genomförts av myndigheterna och att det är stora bedömer att utvärderingar som gör uttalanden om effekter och är utförda eller beställda av , SCB, och endast i liten utsträckning uppnår de mest grundläggande kraven som kan ställas på en effektutvärdering. Tillväxtanalys uppvisar en högre kvalitet. Tillväxtanalys uppfyller i regel de två lägre av de tre krav som undersökt (om utvärderingen använder en kontrafaktisk ansats, om statistiska nödvändiga antaganden dessutom är tillfredsställande motiverade) och i två av 13 fall uppfyller man samtliga krav. ser i flera fall brister i analysen. Det handlar framför allt om brister i att motivera de statistiska antaganden som är nödvändiga men också otydlighet när det gäller vilka slutsatser som kan dras om effekter från en given rapport. bedömer att ingen av utvärderingarna från och uppnår alla de tre krav som ställts upp och endast ett mindre antal av dem uppfyller det allra lägsta kravet om att använda en kontrafaktisk ansats. Utvärderingar utan kontrafaktisk ansats är ofta i stället utformade som intervjuer med aktörer. bedömer det som otillräckligt som grund för att dra slutsatser om effekter. SCB:s effektmätningar som utförs på beställning av bedöms av som inte tillförlitliga som effektutvärderingar eftersom de kontrollgrupper som används troligen inte är representativa för . Enligt finns i effektmätningarna inga påståenden om effekter, men de används av och uppfattas av andra som om de vore belägg för effekter av verksamheten. anser att det finns skäl för regeringen att låta Tillväxtanalys ta ett samlat ansvar för effektutvärdering av näringspolitiken. Vidare bedömer att regeringen i låg utsträckning använder effektutvärderingar i sin återrapportering till . menar också att regeringen ibland är oklar med vilken källan är när regeringen refererar till utvärderingar och att regeringen ibland drar mer anspråksfulla slutsatser än vad det finns täckning för i utvärderingarna. lämnar följande rekommendationer till regeringen: •Säkerställ att Tillväxtanalys i större utsträckning används för att utvärdera effekter av näringspolitiska insatser. Detta skulle öka förutsättningarna att samla en kritisk massa av kompetens för att effektutvärderingarna ska hålla tillräcklig kvalitet. •Återrapportera i högre grad och med ökad tydlighet, inklusive källhänvisning, resultaten av väl utförda effektutvärderingar till . •Förtydliga syftet med uppföljningar av näringspolitiska insatser. I den mån regeringen vill ha uppföljningar av annan karaktär än effektutvärderingar bör detta tydligt framgå. •Tydliggör i ägaranvisning vad syftet är med att använda jämförelsegrupper. Om syftet är att undersöka effekten av verksamhet bör kontrollgrupper inte specificeras i ägaranvisningen utan bestämmas i det enskilda fallet av korrekt utförda effektutvärderingar. Utöver rekommendationerna till regeringen lämnar följande rekommendationer till , Tillväxtanalys, och : •Säkerställ att syfte och begränsningar tydligt framgår för olika typer av återrapporteringar, t.ex. i bolagets årsredovisning. 2020/21:178 effekter av verksamheten bör återrapportering grundas på effektutvärderingar av en utförare som har beprövad kompetens i detta. Rekommendation till Tillväxtanalys: •Tillväxtanalys bör säkerställa att kvaliteten i myndighetens effektutvärderingar höjs ytterligare. Rekommendation till och : •För utvärderingar av effekter bör och i högre utsträckning anlita och/eller samarbeta med Tillväxtanalys. Andra typer av utvärderingar och uppföljningar bör inte göra anspråk på att uttala sig om effekter och deras syften och begränsningar bör kommuniceras tydligt. De rekommendationer som ges till , Tillväxtanalys, och behandlas inte i denna skrivelse. Hur rekommendationerna tas om hand kommer att hanteras inom ramen för den ordinarie bolagsstyrningen respektive myndighetsdialogerna. 3Regeringens bedömning av iakttagelser I granskningen uppmärksammas ett flertal svårigheter och brister vad gäller utvärderingar och bedömningar av effekter från näringspolitiska insatser. Statliga stöd inom näringspolitiken syftar till att stärka näringslivets, och i förlängningen svensk, konkurrenskraft. En god överblick över hur medel används och vilka effekter offentliga insatser leder till samt möjlighet att värdera var statens insatser bedöms göra störst nytta, är centralt för en god hantering av statens medel. Väl utförda kunskapsunderlag, där bland annat effektutvärderingar är en viktig del, är dessutom nödvändiga i utvecklingen av nya näringspolitiska insatser. Regeringen instämmer delvis i problembeskrivning och övergripande iakttagelse att många utvärderingar inom näringspolitiken som gör anspråk på att uttala sig om effekter kan förbättras. som övriga myndigheter arbetar kontinuerligt med att utveckla sina metoder och analyser för att bättre kunna redovisa uppnådda resultat. Regeringen noterar att det av granskning inte framgår om den beaktat det utvecklingsarbete som utförts , vilket baserats på de tidigare rekommendationer lämnat i granskningen av statliga stöd till innovation och företagande (RiR 2016:22) – en granskning som även hanterade effektutvärderingar och kausalitet. I regeringens skrivelse till med anledning av (skr. 2016/17:79) redovisades regeringens bedömning av iakttagelser samt vilka åtgärder som skulle genomföras med anledning av dessa. Rekommendationerna i den senaste granskningsrapporten behöver därmed sättas i relation till det arbete som En del i förbättringsarbetet är ökad noggrannhet när det gäller användning av begrepp och metoder. (ESV) kan effekter illustreras på olika sätt. Ett sätt är via kontrafaktiska resonemang, dvs. utvärderingsmetoder som bygger på ett ”om inte”- I andra fall uppstår effekter i flera led vilket i sin tur kan behövas illustreras via en effektkedja, som kan ingå i en beskrivningsmodell för åtgärden, så kallad programteori. I dessa fall är det viktigt att tydliggöra vilka antaganden som ligger till grund för I effektutvärderingar som rör offentliga insatser försöker utvärderaren ofta fastställa ett orsakssamband mellan en insats och en förändring av ett tillstånd som organisationen i fråga försökt påverka. Effekterna bedöms då utifrån uppställda mål, vilket ESV kallar målutvärdering (ESV 2006:8, s. 9–12). Då många av de insatser som görs inom näringspolitiken utgör delar av bredare förändringsprocesser blir effektkedjor i vissa fall en ändamålsenlig utvärderingsform, som det i andra fall kan vara mer lämpligt med kontrafaktiska kontrollstudier. Utifrån går det inte att föredra en metod av effektutvärderingar före en annan. Det beror på vad som studeras och i vilket syfte effektutvärderingen görs. Det innebär att antaganden och metodval bör motiveras väl, vilket regeringen redogjorde för i budgetpropositionen (prop. 2019/20:1 utg.omr. effektutvärderingar av statliga stöd till innovation och företagande (bet. 2017/18:NU12 punkt 2, rskr. 2017/18:238). Regeringen bedömer därför att de tre vägledande kriterierna som ser som norm för effektutvärderingar (dvs. utvärderingen använder en kontrafaktisk ansats, om statistiska antaganden motiveras och om metodval och nödvändiga antaganden dessutom är tillfredsställande motiverade) inte är det enda sättet att bedöma huruvida effektutvärderingar av näringspolitiken kan anses vara adekvata. rekommenderar regeringen att vara tydlig med syftet med uppföljningar av näringspolitiska insatser, och om regeringen vill ha uppföljningar av annan karaktär än effektutvärderingar bör detta tydligt Regeringen ser behov av olika typer av uppföljningar och Syftet med dessa kan variera och regeringen instämmer i att det är centralt att vara tydlig med vilken typ av resultat som en utvärdering Hur de granskade utvärderingarna används av regeringen har undersökt genom intervjuer med myndighetshandläggare för respektive myndighet. också genomfört en automatiserad textanalys av regeringens propositioner undersöker även om, och i så fall i vilken utsträckning, regeringen använder enskilda studier som källa för att uttala sig om effekter trots att studien inte gör sådana anspråk. Regeringen instämmer i att det går att åstadkomma förbättringar när det gäller en tydligare redovisning av insatsers effekter. För att få en bättre överblick över stöden samt utveckla bättre kopplingar mellan 2020/21:178 målet. I budgetpropositionerna , 2020 och 2021 presenteras i utgiftsområde 24 Näringsliv resultatet av detta arbete som innefattar tre delmål för det näringspolitiska målet samt ett antal indikatorer för uppföljning. Regeringen gav 2017 också ett metodutvecklingsuppdrag till Tillväxtanalys som i nära dialog med och i samverkan med berörda myndigheter tog fram förslag för förbättrade utvärderingar av offentliga insatser som ska leda till strukturomvandling och ekonomisk () 2018 (Tillväxtanalys PM 2018:13). har utifrån denna slutrapport tagit fram så kallade programteorier, en metod för analys och datainsamling, för att utvärdera regeringens nu pågående samverkansprogram. Regeringen gav dessutom Tillväxtanalys i uppdrag 2019 att utreda förutsättningarna för en förbättrad tillgång på data om stöd till näringslivet. Myndigheten slutrapporterade uppdraget 2020 (N2019/00719). Regeringen noterar iakttagelse att de mätningar som SCB utför på uppdrag av inte är tillförlitliga som effektutvärderingar. Som framgår av gör mätningarna inte heller anspråk på att visa effekter. I enlighet med iakttagelser och rekommendationer i granskningen Jämställdhet i låneverksamhet – otydlig styrning och återrapportering (RiR 2019:7) har regeringen genomfört en översyn av ägaranvisning och uppdragsmål . Efter översynen har antalet uppdragsmål i ägaranvisning som förutsätter att genomför årliga utvärderingar i förhållande till en jämförelsegrupp reducerats till två. Regeringen vill i detta sammanhang framhålla att syftet med uppdragsmål i en ägaranvisning för ett bolag med statligt ägande som har ett av särskilt beslutat samhällsuppdrag är bredare än att enbart mäta effekter av bolagets verksamhet. Mot bakgrund av iakttagelser och rekommendationer kan dock regeringen konstatera att även den nuvarande utformningen av ägaranvisning inte är ändamålsenlig i dessa delar och regeringen delar därför uppfattning att ägaranvisning bör justeras. 4Regeringens åtgärder med anledning av iakttagelser Som beskrivits ovan har regeringen sedan tidigare granskning arbetat strategiskt för att utveckla förutsättningarna för en mer systematisk uppföljning, utvärdering och analys av näringspolitiska insatser. rekommenderar regeringen att ha en större tydlighet i återrapportering av effekter till . Regeringen arbetar kontinuerligt med att utveckla resultatredovisningen inom utgiftsområde 24 Näringsliv. Ambitionen är att kedjan från insatsers bidrag till måluppfyllnad ska vara tydlig i regeringens redovisning till . Regeringen uppdrog, bl.a. med anledning av . 2020/21:178 granskning, åt Tillväxtanalys (N2021/00918) att kartlägga företagsfrämjande insatser för att på så sätt skapa bättre överblick över bl.a. de samlade stöden, samt skapa förutsättningar för ändamålsenliga utvärderingar. Uppdraget ska redovisas . rekommenderar regeringen att i större utsträckning använda Tillväxtanalys för effektutvärderingar av näringspolitiska insatser. Genom budgetpropositionen tilldelades Tillväxtanalys förstärkta medel för att genomföra fler effektutvärderingar och för att utveckla en heltäckande databas som stöd för utvärdering av offentliga insatser inom näringspolitiken. Med anledning av iakttagelser och rekommendationer planerar regeringen en ny översyn av ägaranvisning. Regeringen avser då att i sin helhet se över de uppdragsmål som förutsätter att genomför årliga utvärderingar i förhållande till en jämförelsegrupp. De åtgärder regeringen avser att vidta utifrån granskning förstärker ytterligare arbetet med att bättre kunna redovisa resultat och kunskapsunderlag om näringspolitikens samlade effekter. Frågan är därmed ännu inte slutbehandlad. är en myndighet under med uppgift att granska den verksamhet som bedrivs av staten. Vårt uppdrag är att genom oberoende revision skapa demokratisk insyn, medverka till god resursanvändning och effektiv förvaltning i staten. bedriver både årlig revision och effektivitetsrevision. Denna rapport har tagits fram inom effektivitetsrevisionen, vars uppgift är att granska hur effektiv den statliga verksamheten är. Effektivitetsgranskningar rapporteras direkt till . isbn 978-91-7086-581-7 rir 2020:30 omslagets originalfoto: maskot tryck: interntryckeri, 2020 E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N T I L L R I K S D A G E N B E S L U T A D : 2 0 2 0 - 1 2 - 0 8 D N R : 3 . 1 - 2 0 1 9 - 0 2 8 9 R I R 2 0 2 0 : 3 0 Härmed överlämnas enligt 9 § lagen (2002:1022) om revision av statlig verksamhet m.m. följande granskningsrapport: har granskat hur statliga myndigheter utvärderar effekter av näringspolitiken. Resultatet av granskningen redovisas i denna granskningsrapport. Den innehåller slutsatser och rekommendationer som avser regeringen, , , Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys), och Verket för innovationssystem (). Riksrevisor har beslutat i detta ärende. Revisionsledare har varit föredragande. Revisionsdirektör , revisionsdirektör och enhetschef har medverkat i den slutliga handläggningen. , , Myndigheten för tillväxtpolitiska utvärderingar och analyser, , Verket för innovationssystem R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Övergripande revisionsfråga och avgränsningar och de granskade myndigheterna Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys) Verket för innovationssystem () Uppfyller myndigheternas effektutvärderingar nödvändiga 3.1Många effektutvärderingar inom näringspolitiken uppnår inte det lägsta 3.2 Hög konsultanvändning har inte lett till hög kvalitet Används myndigheternas effektutvärderingar? Använder och myndigheterna sina egna effektutvärderingar? Använder regering och riksdag effektutvärderingar i offentliga dokument? Effektutvärderingarna från de granskade myndigheterna och Regeringens användning av effektutvärderingar Kontrafaktiska metoder för effektutvärdering Förteckning över effektutvärderingar som ingår i granskningen R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T Att näringspolitiken i högre grad bör effektutvärderas har betonats av , i statliga utredningar och av . Effektutvärdering är viktigt för att säkerställa att statens resurser används effektivt och att de näringspolitiska målen uppnås. Det är emellertid inte tillräckligt att utvärderingar genomförs – de måste också hålla tillräckligt hög kvalitet för att vara tillförlitliga. Det är dessutom viktigt att goda effektutvärderingar faktiskt används av regeringen för att dra lärdomar om hur näringspolitiken bäst bör utformas. har granskat utvärderingar av näringspolitiken som uttalar sig om effekter och som har publicerats –2018. De granskade myndigheterna är Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys), och Verket för innovationssystem (). Även () ingår i granskningen eftersom SCB utfört årliga så kallade effektmätningar åt (). Slutligen ingår i granskningen i egenskap av beställare av effektmätningarna. För att bedöma tillförlitligheten hos de utvärderingar som ingår i granskningen har de klassificerats efter tre kriterier: huruvida utvärderingen använder en kontrafaktisk ansats, huruvida statistiska antaganden motiveras och huruvida metodval och nödvändiga antaganden dessutom är tillfredsställande motiverade. övergripande slutsats är att det finns betydande brister i den effektutvärdering av näringspolitiken som genomförts av myndigheterna : endast 2 av 37 granskade utvärderingar uppfyller alla tre grundläggande krav som ställt upp på en trovärdig effektutvärdering. I flera fall utgörs utvärderingen av att företag som fått stöd tillfrågas om huruvida de anser att stödet gjort nytta. Skillnaderna är dock stora mellan myndigheterna, där utvärderingarna från Tillväxtanalys uppvisar en högre kvalitet. Sammantaget bedömer att utvärderingar som gör uttalanden om effekter och är utförda eller beställda av /SCB, och endast i liten utsträckning uppnår de mest grundläggande kraven som kan ställas på en effektutvärdering. Effektutvärderingar från Tillväxtanalys uppfyller i regel de två lägre av de tre krav som undersökt men har i flera fall brister i analysen. Vidare bedömer att regeringen i låg utsträckning använder effektutvärderingar i sin återrapportering till . När regeringen refererar till utvärderingar är man ibland oklar med vilken källan är och regeringen drar ibland mer anspråksfulla slutsatser än vad det finns täckning för i utvärderingarna. 4R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N och : ”Effektmätningarna” är inte tillförlitliga som effektutvärderingar De så kallade effektmätningar som SCB utför på beställning av presenteras av , och uppfattas av regering och riksdag, som effektutvärderingar. De gör dock inte uttalat anspråk på att visa effekter och är inte tillförlitliga som effektutvärderingar. Effektmätningarna återges i årsredovisning och i regeringens budgetpropositioner där de används som belägg för så kallade tillväxteffekter. hänvisar också till effektmätningarna som att de redovisar effekter av anslaget till verksamhet. bedömning är att dessa ”effektmätningar” inte är tillförlitliga som effektutvärderingar eftersom de kontrollgrupper som används inte visats vara representativa för . Tillväxtanalys: Bäst av de granskade myndigheterna men kan bli bättre Tillväxtanalys effektutvärderingar uppfyller i regel två av de tre krav satt upp för effektutvärderingar – och 2 av de 13 granskade utvärderingarna uppfyller samtliga tre krav. Flertalet av dessa utvärderingar brister dock i att motivera de statistiska antaganden som görs, och är därför inte tillförlitliga som effektutvärderingar. Det förekommer också att Tillväxtanalys är otydliga när det gäller vilka slutsatser som kan dras från rapporter avseende effekter. Detta skapar otydlighet och riskerar att vilseleda mottagarna av rapporten. bedömer därför att det finns utrymme för Tillväxtanalys att höja den analytiska nivån på sina effektutvärderingar ytterligare. och : Ej tillförlitliga effektutvärderingar Nästan samtliga granskade utvärderingar från och som uttalar sig om effekter har gjorts av eller i samarbete med konsulter. bedömer att ingen av dessa utvärderingar uppnår alla de tre nödvändiga krav som ställer på en trovärdig effektutvärdering. Endast ett mindre antal uppfyller det lägsta kravet, att utvärderingarna ska ha en kontrafaktisk ansats. En metod för detta behöver inte vara vare sig kvantitativt eller kvalitativt avancerad – har för detta lägsta krav accepterat varje slags jämförelse med en annan grupp, eller , som tillräcklig. Majoriteten av de granskade utvärderingarna från och saknar dock en sådan jämförelse överhuvudtaget. Utvärderingar utan kontrafaktisk ansats är i regel utformade som intervjuer med de inblandade aktörerna, där företagare som fått stöd själva får uttala sig om huruvida de anser att stödet gav positiva effekter. bedömer att detta är otillräckligt som grund för att dra slutsatser om effekter. R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T Regeringen: Sparsam användning av effektutvärderingar har upprepade gånger betonat att näringspolitiken i högre grad bör effektutvärderas. Mot bakgrund av detta bedömer att regeringen har använt effektutvärderingar på ett otillräckligt sätt för att återrapportera effekter till . De enskilda produkter som regeringen oftast nämner är de ”effektmätningar” som SCB utför på uppdrag av , vilka i budgetpropositionerna refereras till som ”uppföljningen av tillväxteffekter i ”. Som nämnts gör inte dessa rapporter själva anspråk på att visa effekter och de är inte tillförlitliga som effektutvärderingar.