prop · H803178 · 2021-04-22 00:00:00 — (Detta kan exempelvis vara en motivering av varför den kontrollgrupp som intervjuas är representativ för behandlingsgruppen.) Detta kriterium är det mest abstrakta av de tre: här frågas om de kausala anspråk som görs sammantaget är väl underbyggda. Detta avgör i sin tur om effektutvärderingen har förutsättningar för att kunna ligga till grund för väl avvägda politiska beslut. I vissa fall kan en åtgärd ha implementerats på ett sätt som gör det mycket svårt att finna en lämplig kontrafaktisk metod, och utvärderaren kan ha betraktat en otillräcklig metod som den minst dåliga lösningen. Av denna anledning låter vi i punkt 3 ”tillfredsställande motiverade” anses vara uppfyllt även av rapporter som använt en ej fullständigt tillförlitlig metod, under förutsättning att svagheter tydligt redovisas och eventuella påståenden om effekter görs med försiktighet. En effektutvärdering bör dock alltid vara tydlig i vilka slutsatser som kan dras från 16 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Om ett påstående om effekter åtföljs av ett mycket starkt förbehåll kan det vara rimligare att inte göra påståendet om effekter alls. 1.4.3 Hur granskas effektutvärderingarnas användning? För att utröna hur myndigheterna och själva använder effektutvärderingar – för kommunikation och för att förbättra kommande insatser – har genomfört intervjuer med och respektive myndighet. Utöver detta har granskat dagordningar och minnesanteckningar från de myndighetsdialoger som ägt rum mellan och myndigheterna, liksom styrande dokument såsom instruktioner och regleringsbrev. För har bolagets årsredovisningar granskats. Hur de granskade utvärderingarna används av regeringen har undersökts i två steg. I ett första steg har genomfört intervjuer med myndighetshandläggare för respektive myndighet. Utifrån detta ges en bild av hur själva bedömer att de använder effektutvärderingar. I ett andra steg har genomfört en automatiserad textanalys av regeringens propositioner . Detta ger en mer systematisk överblick över i vilken utsträckning regeringen använder sig av effektutvärderingar från de granskade myndigheterna. undersöker även om, och i så fall i vilken utsträckning, regeringen använder enskilda studier som källa för att uttala sig om effekter trots att studien inte gör sådana anspråk. I denna textanalys har vi också inkluderat dokument från , för att få en mer fullständig bild av hur de granskade utvärderingarna används. Analysen använder sig av öppna data och täcker samtliga dokument av de valda dokumenttyperna för riksdagsåren 2014/15 /20.24 De dokumenttyper som granskas är betänkanden, Departementsserien, motioner, propositioner och skrivelser från regeringen, skriftliga frågor samt (SOU). Totalt omfattar analysen 38 552 textfiler. Textanalysen genomförs med hjälp av en typ av sökuttryck som inom datavetenskapen kallas för reguljära uttryck. Denna metod möjliggör betydligt mer flexibla sökningar än vad som vore möjligt genom att endast söka efter nyckelord. För att exempelvis söka efter och effektmätningar kan vi söka efter sammansättningar av ordet ”effekt”, men inte i formen ”effektiv” och endast när det förekommer tillräckligt nära ordet ””.25 har utöver detta 24Riksdagen, ”öppna data”, hämtat . 25Detta kan exempelvis operationaliseras som att textsträngen ”effekt” är inom 50 tecken eller radbrytningar från textsträngen ””. En sådan sökning lyckas exempelvis hitta följande stycke från budgetpropositionen (prop. 2015/16:1): ”Den årliga uppföljningen av tillväxteffekter i , som gör på uppdrag av , visar att för de företag som blev kunder har omsättningen ökat –2013.” I granskningen används en ännu mer finmaskig sökning, exempelvis för att undvika felträffar som ”lokalmiljö” men tillåta genitiv som ””. Se bilaga 2 för detaljer. R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T använt tekniker som tillåter att sökord och rapporttitlar har avstavats i dokumenten, korrigerar för att emellanåt gjort feltranskriberingar när de översatt dokumenten till textfiler, och så vidare. För en mer utförlig beskrivning av hur textanalysen går till hänvisas till bilaga 2. Sökningen efter utvalda effektutvärderingar från Tillväxtanalys, och utnyttjar både rapporternas titlar och deras index i respektive myndighets rapportserie. Det förekommer dock att en rapport refereras till utan vare sig titel eller rapportindex. I dessa fall är det risk för att metoden inte fångar upp de rapporterna och vi riskerar därmed att underskatta användningen av de granskade utvärderingarna. Vi har garderat oss mot denna risk på flera sätt: sökningen efter de utvalda effektutvärderingarna har kompletterats med en allmän sökning efter avsnitt i dokumenten där någon av de granskade myndigheterna nämns i samband med skrivningar om effekter. Eftersom den allmänna sökningen inte bygger på titlar eller index kan vi här fånga upp utvärderingar som vi missat med den mer specifika metoden. På detta sätt hittade vi ytterligare två referenser till effektutvärderingar som inte refererades till med titel. Vi har dessutom validerat resultatet från textsökningen på två sätt. För det första har vi manuellt granskat budgetpropositionerna för granskningsperioden. För det andra har vi fått återkoppling från myndighetshandläggaren för Tillväxtanalys som specificerat vilka rapporter från Tillväxtanalys som använts i budgetpropositionerna. I båda fall bekräftades de sammantagna resultaten från den automatiska textanalysen. Mot bakgrund av detta bedömer att den metod som använts ger en rättvisande bild av hur de granskade utvärderingarna har använts. Granskningen har genomförts av en projektgrupp bestående av (projektledare), och . En referensperson har lämnat synpunkter på granskningsupplägg och på ett utkast till den slutliga rapporten: , professor i nationalekonomi vid . Företrädare för (), , , Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys), och Verket för innovationssystem () har fått tillfälle att faktagranska och i övrigt lämna synpunkter på ett utkast till granskningsrapporten. 18 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N 2 och de granskade myndigheterna () ägs av staten och är moderbolag i en koncern med 16 regionala dotterbolag och underkoncernen . De regionala dotterbolagen ägs till av moderbolaget och till av regionala ägare och erbjuder lån och affärsutveckling. Syftet med verksamhet är att stärka det svenska näringslivets utveckling och verka för en hållbar tillväxt genom att bland annat äga och administrera samt samordna verksamheten i sådana regionala utvecklingsbolag som avses i tillämplig lag om beslutanderätt för regionala utvecklingsbolag, att förvalta kapital samt äga och förvalta aktier i portföljförvaltande bolag.26 uppgick utlåningen till till cirka 3 500 kunder. Ägaranvisningens krav om återrapportering har varierat . I ägaranvisningen för förekommer inga begrepp som effekter eller kontrollgrupp.27 I ägaranvisningen för anges däremot att de företag som fått del av insatser ska ställas i relation till ett par specificerade grupper av företag, vilka man benämner kontrollgrupper.28 I ägaranvisningarna till står att ”mätningen utgörs av en effektmätning hos samtliga unika Almikunder (antal) avseende omsättning, förädlingsvärde och överlevnadsgrad. Effekten mäts efter insatsen från och jämförs med en kontrollgrupp”.29 I senare fastställda ägaranvisningar används inte längre begreppet effektmätning men insatser ska mätas mot en jämförelsegrupp. Jämförelsegruppen utgörs av svenska mikroföretag samt små och medelstora företag enligt Europeiska kommissionens definition.30 Ägaranvisningarna preciserar inte vilken aktör som ska utföra återrapporteringen utan överlåter detta åt . Under samtliga dessa år har låtit SCB utföra så kallade effektmätningar, där olika utfall jämförs mellan kundföretagen och en ”kontrollgrupp”. Även om ägaranvisningarna varierat över dessa år har effektmätningen varit i stort sett oförändrad. Effektmätningarna har formen av rapporter där SCB står som avsändare. Rapporterna offentliggörs inte utan levereras till direkt till , som hänvisar till dem i sin årsredovisning och på sin hemsida. 26Bolagsordning antagen på bolagsstämma . 27Ägaranvisning för (), 2014; Ägaranvisning för , 2015. 28Ägaranvisning för , 2016. 29Ägaranvisning för , 2017; Ägaranvisning för , 2018. 30Ägaranvisning för , ; Ägaranvisning för , . R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T har omkring 1 300 anställda och ansvarar för att utveckla, framställa och sprida officiell statistik och annan statlig statistik samt för att samordna systemet för den officiella statistiken. Enligt SCB:s regleringsbrev är målet för den anslagsfinansierade verksamheten att producera officiell statistik av god kvalitet som är lättillgänglig för användarna. SCB ska även, genom att utföra uppdrag utifrån olika användares behov, öka möjligheterna att utnyttja det statistiska material och den statistiska kompetens som finns inom myndigheten.31 Varken i instruktion eller regleringsbrev för SCB sägs något om effektutvärderingar. Däremot får myndigheten inom ramen för sin statistikverksamhet åta sig uppdrag från både myndigheter och andra uppdragsgivare.32 2.3Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys) Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys) har drygt 40 anställda på två orter: och . Tillväxtanalys är en av regeringens sju analys- och utvärderingsmyndigheter, vilket innebär att man har utökade befogenheter i jämförelse med de andra granskade myndigheterna vad gäller datatillgång.33 Enligt Tillväxtanalys instruktion är myndighetens uppgifter att utveckla och tillhandahålla kvalificerade kunskapsunderlag för tillväxtpolitiken, genom att genomföra, främja och stödja framtagandet av utvärderingar och analyser. Myndigheten ska utifrån olika perspektiv utvärdera, analysera och redovisa effekter av statens insatser för hållbar nationell och regional tillväxt och näringslivsutveckling. Myndigheten ska också ta fram beslutsunderlag och rekommendationer för utveckling, omprövning och effektivisering av de statliga åtgärderna samt, om det är relevant, peka på viktigare målkonflikter. Tillväxtanalys ska särskilt fokusera på samlade effekter av tillväxt- och näringspolitiska insatser.34 I regleringsbrevet fick Tillväxtanalys två särskilda uppdrag med anvisning om att använda kontrafaktiska metoder för att utvärdera effekter.35 Detta beskrevs med formuleringar som ”[u]tvärderingen ska undersöka effekter på företagens 31Regleringsbrev för avseende , Fi2014/4528 (delvis); Regleringsbrev för avseende , Fi2015/05652/RS (delvis); Regleringsbrev för avseende , Fi2016/04581/RS (delvis); Regleringsbrev för avseende , Fi2017/04757/RS; Regleringsbrev för avseende , Fi2018/03884/RS. 321 § och 4 § andra stycket förordningen (2016:822) med instruktion för . 33Bland annat innebär detta att man får använda individbaserade registeruppgifter om enskilda personer eller företag i sina analyser. 341 § förordningen (2016:1048) med instruktion för Myndigheten för tillväxtpolitiska utvärderingar och analyser. 35Regleringsbrev för avseende Myndigheten för tillväxtpolitiska utvärderingar och analyser inom utgiftsområde 24 Näringsliv, N2014/1066/AS, N2014/5260/AS och N2014/5296/KLS (delvis). 20 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N utveckling och i den mån det är möjligt inkludera kontrafaktiska effektutvärderingar.”36 års regleringsbrev har skrivningarna om kontrafaktiska utvärderingar tagits bort och myndigheten ska nu genomföra ”analyser och utvärderingar”.37 är en myndighet med cirka 450 anställda som ska verka för att regeringens mål för näringspolitiken respektive den regionala tillväxtpolitiken uppnås. huvuduppgifter är att i alla delar av landet främja hållbar näringslivsutveckling och hållbar regional tillväxt samt genomföra strukturfondsprogram. ska enligt myndighetens instruktion bland annat utveckla och genomföra insatser som främjar entreprenörskap, hållbar tillväxt och utveckling i företag, stärkt konkurrenskraft samt förenkling för företag. Myndigheten ska även främja regionalt tillväxtarbete i länen samt utveckla och förbättra förutsättningarna för dialog, samarbete och lärande mellan olika aktörer på nationell, regional och lokal nivå. Vidare ska ansvara för nationell samordning och utveckling av genomförandet av regionalfonden i inom ramen för den europeiska sammanhållningspolitiken. ska föra en dialog med Tillväxtanalys när det gäller utveckling och användning av databaser, analysverktyg och statistik samt när den myndigheten ska utvärdera uppdrag som genomför. ska även tillgängliggöra data och erbjuda stöd när det gäller statistiska bearbetningar till Tillväxtanalys.38 Enligt regleringsbreven för den aktuella granskningsperioden ska bland annat återrapportera ”vilka insatser myndigheten har genomfört för att främja entreprenörskap inom utbildningsområdet” och ”hur myndigheten har arbetat för att stärka och utveckla insatser för att främja entreprenörers tillväxtvilja, genomförda insatser och de resultat som uppnåtts om möjligt uppdelat på bransch/marknad”.39 36Det gällde regeringsuppdragen ”Uppstart av utvärdering av finansieringsinstrument inom ramen för EU:s strukturfondsprogram 2014–2020” och ”Utvärdering av forskning och innovation på energiområdet”. 37Regleringsbrev för avseende Myndigheten för tillväxtpolitiska utvärderingar och analyser inom utgiftsområde 24 Näringsliv, N2015/08864/AS N2015/08707/KLS (delvis) N2015/07193/AS. 381 § första stycket 1–3 samt 7 § andra och tredje stycket förordningen (2009:145) med instruktion för . 39Regleringsbrev för avseende inom utgiftsområde 24 Näringsliv, N2014/5259/ENT m.fl. R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T 2.5 Verket för innovationssystem () är nationell kontaktmyndighet för EU:s ramprogram för forskning och innovation. Myndigheten är också regeringens expertmyndighet inom det innovationspolitiska området med drygt 200 medarbetare. har till uppgift att främja hållbar tillväxt genom finansiering av behovsmotiverad forskning och utveckling av effektiva så kallade innovationssystem. Med innovationssystem avses nätverk av offentliga och privata aktörer där innovationer och ny kunskap tas fram, sprids och används. ska bidra till att stärka och utveckla universitet och högskolor, industriforskningsinstitut, företag och andra samhällsaktörer samt utveckla samarbetet mellan dessa i viktiga sektorer inom de svenska innovationssystemen, stimulera internationellt samarbete som stärker svensk forskning och innovation och sprida information till utförare, användare och allmänhet.40 regleringsbrev var uppdrag att i nära dialog med Tillväxtanalys genomföra minst två effektutvärderingar avseende olika insatser.41 omformulerades uppdraget och lyder därefter: ”ska i dialog med Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys) genomföra minst två utvärderingar av genomförda insatser. De insatser som utvärderas ska vara av budget- och verksamhetsmässig betydelse. Utvärderingarna ska omfatta resultat och, där så är möjligt, effekter av stödet från myndigheten.”42 Även i regleringsbreven står att utvärderingarna ska omfatta resultat och, där så är möjligt, effekter av stödet från myndigheten.43 402 § 1, 2 och 6 förordningen (2009:1101) med instruktion för Verket för innovationssystem. 41Regleringsbrev för avseende Verket för innovationssystem inom utgiftsområde 24 Näringsliv, N2014/5256/FIN m.fl. 42Regleringsbrev för avseende Verket för innovationssystem inom utgiftsområde 24 Näringsliv, N2015/08872/IF m.fl. 43Regleringsbrev för avseende Verket för innovationssystem inom utgiftsområde 24 Näringsliv, N2016/07981/IFK m.fl.; Regleringsbrev för avseende Verket för innovationssystem inom utgiftsområde 24 Näringsliv, N2017/07677/IFK, N2017/07556/KLS (delvis) och N2017/01381/IFK. 22 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N 3Uppfyller myndigheternas effektutvärderingar nödvändiga kvalitetskrav? •Endast 2 av 37 granskade utvärderingar uppnår alla de tre kvalitetskrav ställt upp som nödvändiga för att de ska kunna uttala sig om effekter. •Effektutvärderingar från och , liksom effektmätningar utförda av SCB, brister i regel på så allvarliga punkter att de inte bör användas för vägledning om orsakssamband. •Tillväxtanalys effektutvärderingar uppnår, i regel, de två lägre kvalitetskraven, men uppnår sällan samtliga nödvändiga kvalitetskrav. •Upphandling av konsulter hos och har inte lett till märkbart högre kvalitet på effektutvärderingarna. I inget fall uppnår konsultutförda effektutvärderingar nödvändiga krav för att nå tillförlitliga slutsatser om effekter. •Samarbete med universitet leder ibland, men ofta inte, till högre kvalitet på effektutvärderingar. Inför detta kapitel har samtliga effektutvärderingar från Tillväxtanalys, och –2018 granskats. Med ”effektutvärdering” avses i denna granskning en utvärdering som självständigt drar slutsatser om effekter av en insats eller program (se avsnitt 1.4). För /SCB har samtliga utförda effektmätningar begärts in. SCB har enligt egen utsago inte haft några andra uppdrag som rör effektutvärdering under perioden.44 För Tillväxtanalys har samtliga PM från perioden hämtats från deras webbplats. Av totalt 87 PM har vi bedömt 13 vara effektutvärderingar. För och har begärt in samtliga rapporter författade eller beställda som uttalar sig om effekter. Av de 34 mottagna rapporterna från har vi bedömt att 14 av dem uttalar sig om effekter. har därefter funnit referenser till ytterligare en effektutvärdering som begärts in. Samtliga 5 rapporter vi mottagit av har vi bedömt vara effektutvärderingar. 3.1Många effektutvärderingar inom näringspolitiken uppnår inte det lägsta kvalitetskravet Tabell 1 sammanfattar resultatet av kvalitetsgranskningen av effektutvärderingarna. Kriterierna i tabellen beskrivs närmare i avsnitt 1.4.2 och i bilaga 1. Det tredje kriteriet – att effektutvärderingen ska motivera nödvändiga antaganden tillräckligt väl och eventuella svagheter ska framgå – sammanfattas 44Se avsnitt 1.4.1 för de överväganden som gjort att väljer att inkludera effektmätningar i granskningen. R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T i tabellen med ordet välunderbyggd. Kraven blir striktare när vi går från den vänstra kolumnen till den högra. En utvärdering kan exempelvis alltså endast uppfylla kriteriet att vara välunderbyggd om den både har en kontrafaktisk ansats och motiverar identifierande antaganden (se avsnitt 1.4.2 och bilaga 1). Tabell 1 Kvalitetsgranskning av myndigheternas effektutvärderingar –2018. (4 st.) (13 st.) (11 st.) (2 st.) (1 st.) (1 st.) (1 st.) Källa: Myndigheternas effektutvärderingar –2018. Från tabell 1 framgår att det är stora skillnader mellan myndigheterna. Endast ett mindre antal effektutvärderingar från och har en kontrafaktisk ansats – det lägsta kravet vi ställt upp. Det bör här understrykas att valt att tillämpa detta lägsta kvalitetskrav på möjligast generösa sätt: så länge någon typ av jämförelse görs med en annan grupp, eller , har kravet bedömts vara uppfyllt. Detta innebär att de studier som inte uppfyller kravet har en mer beskrivande karaktär. Utvärderingar som inte har kontrafaktisk ansats är i regel utformade som intervjuer med de inblandade aktörerna, där företagare som erhållit stöd får uttala sig om huruvida de anser att stödet gav positiva effekter. i avsnitt 1.4 räcker detta inte för att dra tillförlitliga slutsatser om effekter. Det förekommer även glidningar från ”effekter” till ”förutsättningar att orsaka”. bedömer att ingen av de studerade effektutvärderingarna från och är välunderbyggd, som framgår av kolumnen längst till höger i tabell 1. effektmätningar utförda av SCB har visserligen en kontrafaktisk ansats, i så måtto att en kontrollgrupp används. Det motiveras emellertid aldrig varför kontrollgruppen skulle kunna användas för att härleda det kontrafaktiska utfallet för de företag som fått stöd av . Det är till och med så att de siffror som redovisas i effektmätningarna visar att kontrollgruppen troligtvis inte speglar stödföretagen.45 I rapporterna används inte heller grundläggande hypotestest för att utröna huruvida observerade skillnader mellan grupperna är att betrakta som betydelsefulla (statistiskt signifikanta). 45Den metod som används i effektmätningarna är av typen skillnad-i-skillnader (difference in differences). Från tabeller som ingår i rapporten framgår att de historiska trenderna inte rör sig parallellt, vilket är en indikation på att kontrollgruppen ej är lämplig. 24 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Tillväxtanalys skiljer ut sig från de övriga i det att den analytiska nivån ligger markant högre: Samtliga effektutvärderingar har en kontrafaktisk ansats, och identifierande antaganden är oftast () motiverade på något sätt. Här bör också noteras något som inte framgår av tabellen: I flera av Tillväxtanalys rapporter gör författarna en statistisk analys, men konstaterar att resultaten inte bör tolkas som effekter på grund av svårigheter i analysen. Eftersom sådana studier alltså inte gör anspråk på att belägga effekter ingår de inte i granskningen. Att Tillväxtanalys ofta, korrekt, avhåller sig från effektanspråk kan möjligen förklaras av resultaten i tabell 1 – att krav 2 i regel är uppfyllt för myndighetens effektutvärderingar. Om utvärderare har för vana att vara transparenta med de metodantaganden som görs blir det också lättare att upptäcka när antagandena inte håller, och metoden alltså inte bör användas. Det finns dock genomgående kvalitetsbrister även i rapporterna från Tillväxtanalys. Eftersom de ofta utvärderar icke-experimentella situationer finns det sällan naturliga kontrollgrupper. Av denna anledning använder myndigheten övervägande matchningstekniker för att skapa en syntetisk kontrollgrupp. I flertalet effektutvärderingar finns det dock brister i att motivera de statistiska antaganden som är nödvändiga för att denna metod ska vara tillförlitlig. Som framgår av kolumnen längst till höger i tabell 1 saknar de flesta effektutvärderingar från Tillväxtanalys på motsvarande sätt tillräckliga motiveringar. I regel handlar det om att statistiska antaganden som krävs för att den metod man använder ska vara giltig, så kallade identifierande antaganden, inte motiveras tillräckligt. Endast två effektutvärderingar bedöms av uppnå det högsta kriteriet, att statistiska antaganden är välunderbyggda; det är alltså endast här som slutsatser om orsakssamband kan anses belagda. En av dessa studier är på förhållandevis hög teknisk nivå, med en kombination av matchning och skillnad-i-skillnader (se bilaga 1). Den andra är en randomiserad kontrollstudie där fingerade ansökningar skickas ut för att utröna om kvinnor och män bedöms olika vid tilldelning av företagsstöd. Denna andra utvärdering visar att en kvantitativ ansats inte behöver vara statistiskt avancerad för att vara fullt tillräcklig. Sammantaget konstaterar att effektutvärderingar som är utförda eller beställda av /SCB, och –2018 endast i liten utsträckning uppnår de mest grundläggande kraven som bör ställas på en effektutvärdering. Effektutvärderingar från Tillväxtanalys uppfyller i regel de lägsta två kraven, men har i de flesta fall avgörande brister i analysen. R I K S R E V I S I O N E N