prop · H803178 · 2021-04-22 00:00:00 — Effektutvärderingar från Tillväxtanalys refereras i dokument från både regeringen och , men ytterst sporadiskt givet Tillväxtanalys stora produktion. konstaterar slutligen att påståenden om effekter i flera fall görs i regeringens budgetpropositioner utan att texten anger någon källa. Det innebär att det kan vara svårt, eller ibland omöjligt, för läsaren att hitta den ursprungliga utvärderingen. Särskilt viktigt blir detta eftersom det finns fall där bedömer att regeringen dragit mer långtgående slutsatser än vad som finns grund för i det ursprungliga materialet. lämnar följande rekommendationer till , myndigheterna och regeringen. •Säkerställ att syfte och begränsningar tydligt framgår för olika typer av återrapporteringar, till exempel i bolagets årsredovisning. Om syftet avser effekter av verksamheten bör återrapporteringen grundas på effektutvärderingar av en utförare som har beprövad kompetens i detta. •Säkerställ att kvaliteten i myndighetens effektutvärderingar höjs ytterligare. •Anlita och/eller samarbeta med Tillväxtanalys för utvärderingar av effekter. •Säkerställ att andra typer av utvärderingar och uppföljningar inte gör anspråk på att uttala sig om effekter, och att deras syften och begränsningar kommuniceras tydligt. 6R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N •Säkerställ att Tillväxtanalys i större utsträckning används för att utvärdera effekter av näringspolitiska insatser. Detta skulle öka förutsättningarna att samla en kritisk massa av kompetens för att effektutvärderingarna ska hålla tillräcklig kvalitet. •Återrapportera i högre grad och med ökad tydlighet, inklusive källhänvisning, resultaten av väl utförda effektutvärderingar till . •Förtydliga syftet med uppföljningar av näringspolitiska insatser. I den mån regeringen vill ha uppföljningar av annan karaktär än effektutvärderingar bör detta tydligt framgå. •Tydliggör i ägaranvisning vad syftet är med att använda jämförelsegrupper. Om syftet är att undersöka effekten av verksamhet bör kontrollgrupper inte specificeras i ägaranvisningen utan bestämmas i det enskilda fallet av korrekt utförda effektutvärderingar. R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T 8R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N , statliga utredningar samt tidigare granskningar från har betonat vikten av att näringspolitiska insatser utvärderas.1 Det är viktigt dels för att kunna tillse att statens resurser används effektivt, dels för att näringspolitikens mål ska kunna uppnås. näringsutskott har vid upprepade tillfällen pekat på att regeringens resultatredovisning inom utgiftsområde 24, Näringsliv, inte återkopplar till de mål som beslutat och att redovisningen fokuserar på prestationer snarare än effekter.2 har också riktat ett tillkännagivande till regeringen om att regeringen bör tydliggöra att oberoende effektutvärderingar av statliga stöd till innovation och företagande bör vara för stödgivande myndigheter.3 Utvärderingar genomförs vid flera olika analysmyndigheter, men viss utvärdering sker eller upphandlas också av de myndigheter som har i uppdrag att genomföra regeringens politik. När det gäller näringspolitiken är Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys) den främsta utvärderande instansen.4 Utvärderingar genomförs eller upphandlas också av Verket för innovationssystem () och , inom deras respektive områden. Även () utför vissa analyser, såsom de årliga så kallade effektmätningarna för räkning. Det är emellertid inte tillräckligt att utvärderingar genomförs. För att kunna utgöra ett tillförlitligt underlag måste utvärderingarna vara av tillfredsställande kvalitet. Vidare är det inte heller tillräckligt att myndigheter gör utvärderingar av tillfredsställande kvalitet – om de ska leda till något måste de också faktiskt användas för att utforma nya näringspolitiska insatser eller för att förbättra, eller avveckla, befintliga insatser. 1.1 Motiv till granskning utredde Statskontoret på uppdrag av regeringen hur uppföljningar av regionala tillväxtåtgärder bör genomföras.5 Statskontoret landade i förslaget att effektutvärderingar bör tas fram regelbundet för att användas av regeringen i sina 2015/16:NU1, 2017/18:NU1, 2017/18:NU12, SOU 2018:79, (2014, 2016). 2Se till exempel bet. 2015/16:NU1. 2017/18:NU12, rskr. 2017/18:238. 4Tillväxtanalys är en av sju analys- och utvärderingsmyndigheter. De övriga är (Brå), utvärdering (IFAU), Inspektionen för socialförsäkringen (ISF), Myndigheten för kulturanalys (Kulturanalys), Myndigheten för vård- och omsorgsanalys (Vårdanalys) samt Trafikanalys. 5Statskontoret, Uppföljning av regionala tillväxtåtgärder, 2016. R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T dialoger med de berörda regionala aktörerna, men också för att öka regeringens möjligheter att styra hur anslaget används för att det ska ge största möjliga nytta. Effektutvärderingar skulle även kunna bidra till ökat lärande bland berörda aktörer. Själva effektutvärderingarna skulle enligt utredningen utföras av Tillväxtanalys. Det förslaget utgick från myndighetens nya fördjupade uppdrag . Statskontoret ansåg att och Tillväxtanalys på så sätt skulle kunna stärka sina kompetenser i kvalitativa uppföljningar () respektive kvantitativa effektutvärderingar (Tillväxtanalys). Det genomfördes även en översyn av Tillväxtanalys 2016 som redovisades i en departementspromemoria.6 Utredaren konstaterade bland annat att Tillväxtanalys inte hade något tydligt ramverk för hur myndighetens utvärderingar ska genomföras eller kvalitetssäkras och myndighetens publikationer bedömdes hålla varierande kvalitet. Utredaren konstaterade att rapporterna ansågs ha låg användbarhet hos mottagarna och menade att en möjlig anledning kunde vara just kvalitetsbrister. Som ett resultat av översynen förändrades myndighetens uppgifter , bland annat med syftet att i högre grad fokusera på kvalificerade kunskapsunderlag inom långsiktiga teman av hög relevans för tillväxtpolitiken. I samband med detta fick myndigheten också ett större utrymme att bedriva egeninitierad verksamhet. presenterades resultatet av en offentlig utredning som haft uppdraget att se över regeringens analys- och utvärderingsresurser. Utredningen föreslog att Tillväxtanalys skulle slås ihop med andra analysmyndigheter i syfte att ”utnyttja stordriftsfördelar, både vad gäller administrativa och metodologiska resurser”.7 Utredningen kommenterade inte kvaliteten på Tillväxtanalys utvärderingar men skriver att företrädare för Tillväxtanalys och ansåg att den förändrade styrningen av myndigheten inneburit att relevansen i myndighetens rapporter hade ökat. har tidigare granskat delar av de områden som ingår i denna granskning. De årliga så kallade effektmätningar som SCB utför på uppdrag av har i två tidigare granskningar kritiserats av för bristande kvalitet.8 I en granskning 2016 granskades statliga företagsstöd och bedömde att det saknades tydlig evidens för effekten av dessa.9 Det är angeläget att de resurser som staten lägger på olika former av näringspolitiska insatser kommer till god användning och ger de resultat som de syftar till. Det är därför viktigt att effekterna av insatserna utvärderas, något som 6Näringsdepartementet, Översyn av Tillväxtanalys: Myndigheten för Tillväxtpolitiska Utvärderingar och Analyser, 2015. 8Riksrevisionen, och samhällsuppdraget, 2007; , Jämställdhet i låneverksamhet – otydlig styrning och återrapportering, 2019. 9Riksrevisionen, Statliga stöd till innovation och företagande, 2016. 10 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Både den ovan nämnda departementspromemorian och den offentliga utredningen betonar vikten av att effektutvärderingar inom näringspolitiken håller tillräcklig kvalitet, men ingen av dem undersöker huruvida så faktiskt är fallet. har inte heller studerat kvalitetsaspekten av effektutvärderingar i tidigare granskningar, med undantag från granskningarna av . finner det därför motiverat att nu ta ett helhetsgrepp på kvaliteten i de utvärderingar som uttalar sig om effekter av näringspolitiken. 1.2 Övergripande revisionsfråga och avgränsningar Den övergripande revisionsfrågan lyder: Håller utvärderingar som uttalar sig om effekter av näringspolitiken en tillräcklig kvalitet för att uttala sig om effekter och används utvärderingarnas resultat på ett ändamålsenligt sätt? I granskningen delas den övergripande frågeställningen upp i två delfrågor: 1.Uppfyller utvärderingar från de granskade myndigheterna som uttalar sig om effekter av näringspolitiken grundläggande krav för att vara trovärdiga som effektutvärderingar? 2.Används effektutvärderingar av de granskade myndigheterna respektive regeringen för att kommunicera resultat av näringspolitiska insatser, för att motivera nya insatser eller för att förbättra befintliga insatser? För de som upphandlar eller genomför utvärderingarna (/ SCB, , och ) syftar den första delfrågan på huruvida de håller en lägsta nödvändig nivå med avseende på identifiering av effekter – andra viktiga aspekter hos en effektutvärdering behandlas alltså inte Utvärderingarnas kvalitet i detta avseende bedöms efter tre krav: Finns en kontrafaktisk ansats? Om så är fallet, är nödvändiga antaganden för analysen beskrivna i texten och på något sätt motiverade? Om så är fallet, är de antaganden som görs tillräckligt väl motiverade för att påståenden om effekter kan anses tillförlitliga? Hur denna bedömning går till beskrivs i avsnitt 1.4. Den andra delfrågan berör både regeringen och myndigheterna. För regeringen åsyftas om effektutvärderingar tillvaratas exempelvis i underlag till propositioner. För , och , som ansvarar för insatserna, kan en utvärdering användas för att förbättra en pågående insats eller ligga till grund för mer effektiva insatser . Därutöver kan effektutvärderingar användas i information riktad till allmänheten, till exempel inom ramen för en rapportserie. För bedömningen av denna delfråga har hänsyn tagits till kvaliteten på de utvärderingar som används – det är önskvärt att goda utvärderingar används, men inte dåliga. R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T Granskningen avser utvärderingar som uttalar sig om effekter av näringspolitiken och är publicerade av Tillväxtanalys, och –2018. Dessutom ingår de så kallade effektmätningar som SCB utfört på uppdrag av . I granskningen görs ett antal avgränsningar: •Granskningen behandlar endast utvärderingar som gör påståenden om orsakssamband – förekomst eller avsaknad av effekter av en insats eller ett program (vilket preciseras närmare i avsnitt 1.4). Detta är, för samtliga här granskade myndigheter, en mindre del av respektive myndighets samlade utvärderingar.10 •Utvärderingarna granskas endast med avseende på huruvida de belägger de effektanspråk de gör. För att en effektutvärdering ska vara användbar kan emellertid även andra aspekter, såsom exempelvis en väl utförd nyttokostnadsanalys för att sätta effekterna i ett meningsfullt sammanhang, vara avgörande. Mot bakgrund av detta bör de krav som ställs i denna granskning därför ses som nödvändiga, men inte tillräckliga, villkor för en god effektutvärdering. •Omvänt tar granskningen inte hänsyn till andra eventuella kvaliteter hos de utvärderingar som ingår i granskningen. Det innebär att en utvärdering som inte uppfyller de här uppställda kraven kan vara välgjord i övrigt – men den har inte tillräcklig grund för att uttala sig om effekter. Vissa utvärderingar initieras av myndigheterna själva medan andra initieras efter särskilda regeringsuppdrag. För att besvara den första delfrågan utgår vi från uttalanden om vikten av att utvärdera effekter av statliga insatser. kritiserar näringsutskott regeringen för att resultatredovisningen inom utgiftsområde 24, Näringsliv, inte återkopplar till de mål som beslutat och att redovisningen fokuserar på prestationer snarare än effekter.11 riktade ett tillkännagivande till regeringen om att regeringen bör tydliggöra att oberoende effektutvärderingar av statliga stöd till innovation och företagande bör vara för stödgivande myndigheter.12 10Tillväxtanalys har publicerat 87 PM –2018. Av dessa bedömer att 13 stycken uttalar sig om effekter. Motsvarande siffror för och är 15 av 89 respektive 5 av 56 rapporter, där vi utgått från antal publicerade rapporter på respektive myndighets webbplats. 2015/16:NU1. 2017/18:NU 12, rskr. 2017/18:238. 12 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Ytterligare ett tillkännagivande från kom : ”I likhet med anser utskottet även att det är önskvärt att det i resultatredovisningen än tydligare klargörs dels effekterna av utförda insatser, dels från vilka anslag som de olika insatserna finansieras. […] Utskottet vill även här påpeka att det i avsnitten om analys och slutsatser genomgående bör föras resonemang om i vilken utsträckning graden av måluppfyllelse har ett samband med statliga insatser eller är ett utfall av andra faktorer.”13 Detta tillkännagivande är samstämmigt med () definition av begreppet ”effekt”. Enligt ESV är en effekt ”en förändring som inträffat som en följd av en vidtagen åtgärd och som annars inte skulle ha inträffat”.14 Även Tillväxtanalys hänvisar till ESV:s definition i samband med redovisning av ett regeringsuppdrag där Tillväxtanalys, i samarbete med de tillväxtpolitiska myndigheterna, skulle se över och lämna förslag på metoder för analyser och utvärderingar av offentliga insatser.15 I våra dialoger med företrädare för de granskade myndigheterna ställde vi även frågan om hur man definierar begreppet ”effekter”. Svaren vi fick överensstämmer väsentligen med definitionen som ges av ESV.16 Mot bakgrund av detta anser att ett grundläggande krav på en effektutvärdering är att den måste beakta det utfall ”som annars inte skulle ha inträffat”. Vi benämner detta som att utvärderingen har ett kontrafaktiskt angreppssätt. Ett sådant angreppssätt kräver i sin tur att vissa antaganden görs och motiveras. Detta resonemang preciseras ytterligare i metodavsnittet. Bedömningsgrund för den andra delfrågan är, för regeringen, budgetlagens krav på resultatuppföljning: ”Regeringen ska i budgetpropositionen lämna en redovisning av de resultat som uppnåtts i verksamheten i förhållande till de av beslutade målen.”17 Detta krav förstärks av tillkännagivanden från , exempelvis det ovan citerade : ”I likhet med anser utskottet även att det är önskvärt att det i resultatredovisningen än tydligare klargörs dels effekterna av utförda insatser, dels från vilka anslag som de olika insatserna finansieras.”18 När det gäller myndigheterna framgår av 3 § myndighetsförordningen (2007:515) att myndighetens ledning bland annat ska se till att verksamheten redovisas på ett tillförlitligt och rättvisande sätt. Enligt ESV är effektutvärderingar ”en del i statsmakternas mål- och resultatstyrning och 2019/20:NU1, rskr. 2019/20:123 och rskr. 2019/20:124. 14Ekonomistyrningsverket, Effektutvärdering – Att välja upplägg, 2006. 15Tillväxtanalys PM 2018:13. Uppdraget gick ut på ”att lämna förslag på hur tillämpningen av metoder och modeller för analyser och utvärderingar av offentliga insatser för hållbar tillväxt, strukturomvandling och ekonomisk förnyelse på såväl nationell som regional och lokal nivå, kan utvecklas.” 16Intervjuer med företrädare för (), Tillväxtanalys (), () och (). 1710 kap. 3 § budgetlagen (2011:203). 2019/20:NU1. Se även rskr. 2019/20:123 och rskr. 2019/20:124. R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T en viktig faktor för att öka effektiviteten inom statsförvaltningen”.19 anser därför att det är rimligt att effektutvärderingar används för att visa på effekter av statliga insatser, liksom för att motivera kommande insatser. 1.4.1 Hur görs urvalet av rapporter som granskas? I granskning ingår samtliga rapporter från de granskade myndigheterna som utifrån en egen empirisk undersökning eller teoretisk modell drar slutsatser om effekten av en insats eller ett program. Detta innebär alltså att rapporter som sammanställer och värderar tidigare forskning eller studier inte ingår. Detta innebär att en effektutvärdering som inte gör anspråk på att ha hittat effekter – kanske för att man finner att metodantaganden inte kan motiveras – inte klassificeras som en effektutvärdering i föreliggande granskning. En del rapporter från de granskade myndigheterna uttalar sig om möjliga effektkedjor inom ramen för en så kallad programteori. Detta i sig räcker inte för att sådana studier ska ingå i granskningen. Men om de dessutom utifrån programteori uttalar sig om faktiska positiva eller negativa effekter av en insats ingår de. Det som avgör huruvida klassificerar en given studie som en effektutvärdering är alltså vilka anspråk som studien gör, inte vilken metod den använder. Det hade varit möjligt att även inkludera rapporter som inte explicit uttalar sig om effekter av studerade insatser, men som använder sig av en kontrollgruppsansats. Eftersom en kontrollgrupp gör anspråk på att vara jämförbar med behandlingsgruppen kan användande av en kontrollgrupp implicit anses utgöra ett påstående om effekten av en insats; effekten blir då skillnaden i utfall mellan behandlingsgruppen och kontrollgruppen. Exempelvis låter Statskontoret just en sådan studie, Finansiering för regional tillväxt, stå som exempel för en effektutvärdering i sitt förslag om att låta alla effektutvärderingar inom regionala tillväxtåtgärder (anslag 1:1) utföras av Tillväxtanalys.20 har dock valt att i regel ställa ett starkare krav för att en utvärdering ska ingå i denna granskning: att studien dessutom uttryckligen måste göra något påstående om effekt eller orsakssamband. (Se nedan för specialfallet och .) De granskade utvärderingarna berör till största delen insatser inom utgiftsområde 24, Näringsliv. har emellertid i en del fall genomfört regionala insatser som utvärderats både av själva och av Tillväxtanalys. Av detta skäl berörs även utgiftsområde 19, Regional tillväxt (benämnt Regional utveckling i budgetpropositionen ). 19ESV, Effektutvärdering – Att välja upplägg, 2006, s.6. Angående anslag se , Finansiering för regional tillväxt. 14 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N I granskningen ingår de så kallade effektmätningar som utfördes av SCB på uppdrag av . Effektmätningarna använder typiska metoder från effektutvärderingslitteraturen men gör inte uttalade anspråk på att visa effekter. SCB anser inte, trots deras titel, att de ska uppfattas som effektutvärderingar.21 offentliggör inte dessa effektmätningar men presenterar dem på sin webbplats och för sin ägare i årsredovisningarna som att de ger belägg för effekter av verksamhet.22 har därför valt att inkludera dem i granskningen. Vi bedömer att den metod som används till stor del är specificerad av , men att SCB varit delaktiga i avgörande steg, såsom utformning av matchning av kontrollgrupper – en metod som typiskt används för att skatta effekter.23 sammantagna bedömning är därför att både och är delaktiga i effektmätningarnas framställning och presentation, och de kommer därför i granskningen att stå under både och namn. 1.4.2 Hur avgörs om en studie uppnår nödvändiga kvalitetskrav? De utvärderingar som ingår i granskningen behandlas endast ur ett perspektiv: uppnår de nödvändiga krav för att kunna uttala sig tillförlitligt om effekter? Om så är fallet kommer detta benämnas att studien uppnår ”nödvändiga kvalitetskrav” – detta för att understryka att granskningen inte undersöker andra viktiga aspekter hos en effektutvärdering. har bedömt om de granskade utvärderingarna uppnår nödvändiga kvalitetskrav enligt tre kriterier i stigande ordning. Kriterierna har valts så att skillnaderna mellan de granskade utvärderingarna ska framträda så tydligt 1.Har utvärderingen ett kontrafaktiskt angreppssätt? 2.Givet positivt svar på punkt 1: Motiveras så kallade identifierande antaganden (obeaktat huruvida detta görs tillfredsställande)? 3.Givet positivt svar på punkt 1 och 2: Är metodval och identifierande antaganden tillfredsställande motiverade? Med ”kontrafaktiskt angreppssätt” avses att resultatet av den åtgärd som undersöks ställs i relation till det utfall som skulle observerats om åtgärden inte ägt rum – detta utfall kallas det kontrafaktiska utfallet. Eftersom det kontrafaktiska utfallet inte är observerbart (per definition) krävs att utföraren använder en metod av något slag för att härleda detta från något annat utfall som är observerbart. En sådan metod kan vara kvantitativ eller kvalitativ. Bilaga 1 ger exempel på några vanligt förekommande metoder som används för att dra slutsatser om 21Intervju med företrädare för , . 22Almis årsredovisningar 2015–2019; , ”Effektmätning”, hämtad . 23I ägaranvisning och i offerten för uppdraget specificeras till stor del kontrollgrupper och utfallsmått. SCB har varit delaktiga i metodval rörande hur företagsbortfall ska hanteras, liksom matchningen av kontrollgrupper (intervju med företrädare för , ). R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T Punkt 1 kommer att tillämpas generöst: det kan här räcka med en regression, eller för kvalitativa utvärderingar någon slags referensram att jämföra med. Att endast spekulera om det kontrafaktiska utfallet, exempelvis genom att mottagaren av ett stöd får göra en uppskattning, är emellertid inte tillräckligt. Detta krav har satts avsiktligt lågt. På så sätt kan vi här sortera ut utvärderingar som inte ens i teorin kan uttala sig om effekter (men likväl gör det). Varje metod som uttalar sig om det kontrafaktiska utfallet beror med nödvändighet på antaganden för att kunna ta klivet från det observerbara till det icke observerbara. Inom forskningen kallas sådana antaganden för identifierande antaganden. I det enklaste fallet när en kontrollgrupp används, exempelvis vid en randomiserad medicinsk studie, är det identifierande antagandet att kontrollgruppens utfall motsvarar det som behandlingsgruppen skulle haft om den inte fått medicinen (se bilaga 1 för mer avancerade exempel). Punkt 2 frågar om dessa antaganden görs transparenta för läsaren och motiveras. Även detta krav har satts avsiktligt lågt: ännu krävs inte att antagandena är väl motiverade, endast att de motiveras överhuvudtaget, på något sätt. I detta steg frågar vi oss alltså om utvärderingen alls erkänner att det faktiskt krävs identifierande antaganden för att kunna uttala sig om effekter. Punkt 3, slutligen, frågar om de identifierande antagandena motiverats så väl att metoden kan anses vara trovärdig och, därmed, de påståenden som görs om orsakssamband är välunderbyggda. Punkt 2 och 3 är viktiga steg i utvärderingsprocessen: genom att antaganden görs transparenta och granskas blir det tydligt för utvärderaren när den metod som används inte är trovärdig. I bästa fall leder detta till att effektutvärderingar inte gör större anspråk än vad som finns fog för. Vad detta steg innebär för enskilda statistiska metoder beskrivs i bilaga 1. För en randomiserad studie innebär kravet att utvärderaren måste göra troligt att randomiseringsprocessen fungerat väl, att deltagare inte i efterhand kunnat byta grupp, och så vidare. För en kvalitativ studie krävs att åtminstone ett resonemang förs om metodens giltighet.