prop · H803178 · 2021-04-22 00:00:00 — Det stora problemet med denna metod är att den kräver att kontrollvariablerna fullständigt absorberar alla skillnader i det undersökta utfallet mellan grupperna som inte beror på insatsen. I praktiken är det i regel omöjligt att veta vilka alla dessa kontrollvariabler är, att veta på vilken funktionell form de ska specificeras och att verifiera om denna kontrollmekanism i slutändan verkligen fungerat. Givet dessa problem är det svårt att föreställa sig tillfällen då denna metod är giltig. Undantaget är om man av ett yttre skäl vet att kontrollgruppen är representativ för behandlingsgruppen. Det tydligaste exemplet på detta är när behandlings- och kontrollgrupper har randomiserats fram i ett experiment. Till denna kategori hör endast någon enstaka studie från och Tillväxtanalys. En vanlig metod för att hitta en kontrollgrupp är att för varje behandlat företag hitta ett så kallat tvillingföretag som inte tagit del av insatsen men är tillräckligt likt det behandlade företaget för att kunna användas som representant för hur det behandlade företaget skulle utvecklats om det inte fått behandling. Matchningsmetoder använder observerade utfall (variabler) för behandlade företag och ej behandlade företag, och väljer som kontrollgrupp de ej behandlade företag som ligger så nära de behandlade företagen som möjligt. För att implementera ”tillräckligt lik” måste vi alltså jämföra flera utfall och därmed göra någon slags aggregering, vilket olika matchningsmetoder gör på olika sätt. Problemet är dock att det faktum att två företag varit lika historiskt inte garanterar att de skulle varit lika även . Det identifierande antagandet är inte att grupperna är lika, utan hur väl kontrollgruppen kan användas för att prediktera behandlingsgruppens utfall. Det är därför viktigt att matchningsmetoder inte endast undersöker hur lika tvillingföretagen är med avseende på de utfall som använts för matchningen – dessa kommer ju att trivialt vara lika genom den 48 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N metod som används82 – utan även på utfall som inte använts för matchningen. Detta innebär att vi måste utelämna variabler från matchningsproceduren för att sedan använda dem för validering.83 Utöver detta tillkommer andra antaganden. För att kontrollgruppen ska vara giltig får det inte ha inträffat någon annan händelse som insatsen som påverkat behandlings- och kontrollgrupperna olika. I så fall riskerar vi att räkna in detta som effekter av insatsen. Slutligen är det viktigt att visa eller argumentera för att kontrollgruppen förblev oförändrad av insatsen och inte påverkades indirekt. I praktiken är detta sista antagande ofta inte uppfyllt, eftersom företagen i kontrollgruppen är verksamma på samma marknad som behandlingsgruppen. Exempelvis kan företag som inte får del av en insats missgynnas om deras konkurrenter får det. ställer inte upp kravet att effektutvärderingar ska ta hänsyn till alla dessa aspekter. Däremot bör en effektutvärdering, för att vara trovärdig, beakta dessa problem i någon utsträckning. I synnerhet är det inte tillräckligt att visa att kontrollgruppen och behandlingsgruppen är lika varandra med avseende på variabler som använts i matchningsprocessen eftersom det identifierande antagandet handlar om huruvida kontrollgruppen kan användas för att prediktera behandlingsgruppens utfall. Matchning kombineras ofta med en annan vanlig metod: skillnad i skillnader (eng. difference in differences). Med denna metod behöver kontrollgruppen inte efterlikna nivån på behandlingsgruppens utfall, utan den förändring i utfall som behandlingsgruppen skulle haft om insatsen inte ägt rum. Därmed kan det identifierande antagandet göras något svagare: kontrollgruppens utfall måste inte vara så lik behandlingsgruppens så att de har samma nivå, men de måste påverkas på exakt samma sätt av externa faktorer (till exempel konjunkturläge). För att få en indikation på om detta antagande är rimligt undersöks om gruppernas utfall historiskt rört sig parallellt (vilket förutsätter att man inte använt detta utfall i matchningsprocessen).84 De flesta effektutvärderingar från Tillväxtanalys använder matchningsmetoder, ofta i kombination med skillnad i skillnader. Även SCB:s effektmätningar använder ofta en slags informell matchning, dock utan att göra någon statistisk inferens eller hypotestest. 82Om gruppen av ej behandlade företag är tillräckligt stor kommer de flesta kombinationer av utfall kunna hittas, och därmed kommer vi kunna hitta en tvilling till de flesta behandlade företag. 83Lämpligen utelämnas alltså den variabel som vi är intresserade av att finna effekten på, eftersom det är just denna variabel vi vill prediktera för behandlingsgruppen. 84Metodens namn kommer från hur den beräknar insatsens effekt: Gruppernas förändring fås genom skillnaderna i utfall före och efter insatsen för respektive grupp. Eftersom övriga faktorer antas påverka grupperna symmetriskt kan därmed skillnaden av gruppernas förändringar tolkas som insatsens effekt. R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T Även en kvalitativ studie kan, i princip, använda ett kontrafaktiskt angreppssätt för att uppskatta effekter. Exempelvis kan en intervjustudie för att undersöka effekter av företagsstöd intervjua både företag som tog del av insatsen och liknande företag som ej tog del av den. Likaså kan enkäter eller intervjuer genomföras för att mäta utvecklingen , förutsatt att det görs även för andra, liknande företag för att kunna identifiera, och hantera, allmänna trender. Ett problem med kvalitativa ansatser är dock att det ofta är svårt att precisera de antaganden som görs. Exempelvis när en intervjustudie undersöker ”liknande” företag kan detta inte exakt preciseras eller verifieras, till skillnad från en kvantitativ studie där ”likhet” kan testas formellt med hjälp av statistiska metoder. En kvalitativ ansats uppnår i regel inte heller samma exakthet som kvantitativa studier. Anledningen är att de ofta undersöker ”mjukare” utfall såsom ökat samarbete, kvalitet etc. Vidare har kvalitativa ansatser i regel inte en systematisk metod för att uppskatta osäkerheten i de bedömningar som görs, medan statistiska metoder har ett vedertaget ramverk för att kvantifiera osäkerhet i form av konfidensintervall och hypotestest. De flesta effektutvärderingar från faller under denna kategori. 50 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Textanalysen använder sig av öppna data (2020) – en fritt tillgänglig datamängd som tillhandahåller. Datamängden är avsedd att bestå av samtliga dokument av olika dokumenttyper, såsom propositioner, motioner, betänkanden, offentliga utredningar och fler. Den data som används i granskningen är textfiler som enheten för öppna data har översatt från de offentliga PDF-filerna. Textfiler, till skillnad från PDF, innehåller inte någon möjlighet till formatering vilket innebär att varje sådan översättning måste hantera flera olika utmaningar, som hur kolumner text, tabeller, faktarutor och annat ska representeras i ett enda textflöde. Det är därför inte förvånande att textfilerna genomgående har översättningsproblem. Problemen handlar oftast om meningar som bryts itu av tomma rader, avstavningar som översatts som två ord (”häm-ta” blir ”hämta”), ligaturer (ﬀ, ﬁ) som försvunnit etc. Exempelvis kan ordet ”effekt” förekomma i den översatta texten som ”eekt”. Detta ställer stora krav på den metod som används. Men ibland är problemen större: vissa textfiler består endast av ett felmeddelande från det översättningsprogram som använts och det ursprungliga dokumentinnehållet saknas helt. Det finns heller ingen dokumentation om vilka dokumentfiler som har förlorats. har identifierat dessa filer och med hjälp av loggfilerna från öppna data identifierat de ursprungliga PDF-filerna, varpå de översatts till textfiler av oss. Textanalysen täcker, från /15 till /20, samtliga betänkanden, Departementsserien, motioner, propositioner och skrivelser från regeringen, skriftliga frågor samt (SOU). Totalt har därmed 38 552 riksdagsdokument granskats. Sökning efter granskningens urval av effektgranskningar Textanalysen har implementerats i programspråket Python och genomförs med hjälp av en typ av sökuttryck som inom datavetenskapen kallas för reguljära uttryck. Reguljära uttryck tillåter att en textsträng kan beskrivas på ett mycket generellt sätt och möjliggör därmed betydligt mer flexibla sökningar än vad som vore möjligt genom att bara söka efter nyckelord. Som ett exempel beskriver det reguljära uttrycket ”\w*effekt(? !iv)\w*” alla ord som innehåller ”effekt” men inte ”effektiv”. Detta ger alltså träff på ”effekt”, ”effektgranskning” och ”tillväxteffekter”, men inte ”resurseffektivitet”. För att kunna hantera mer komplexa översättningsproblem, R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T som avstavningsproblemet, används en metod där ett komplext sökuttryck automatiskt genereras från ett enklare.85 SCB:s effektmätningar utförda åt refereras ofta, i exempelvis regeringens budgetpropositioner, utan att titeln anges utan man hänvisar i stället till ”mätningen av tillväxteffekter” eller dylikt. Att söka efter ordet ”Effektmätning” skulle alltså inte fungera. Vi har i stället utgått ifrån förekomster av ordet ”” inom 50 tecken eller radbrytningar från sammansättningar av ordet ”effekt” (men ej om detta följs av ”iv”, det vill säga ”effektiv”).86 Utifrån detta genereras ett komplext sökuttryck som är robust mot avstavningar. När vi sökt efter utvalda effektutvärderingar från Tillväxtanalys, och har vi sökt efter både rapportens titel och index i myndighetens rapportserie. Det är viktigt att söka på båda eftersom det händer att riksdagsdokument refererar till rapporter med endast titel eller rapportindex. Titelmatchningen har gjorts så generell som möjligt genom att matcha på en så liten del av titeln som möjligt eftersom referenser ibland inte anger den fullständiga titeln. Vi tillåter även alternativa teckenkodningar, med mera. Sökning efter samtliga effektreferenser I denna andra del av textanalysen vill vi hitta samtliga skrivningar i ett riksdagsdokument där man använder en källa från Tillväxtanalys, eller för att uttala sig om effekter. Eftersom vi här söker efter en intention i texten måste denna del i högre utsträckning bygga på en semantisk analys: vilka språkliga formuleringar tenderar att användas när man uttalar sig om effekter? Idén har varit att söka efter avsnitt där myndighetens namn förekommer tillräckligt nära ett ”effektord” – ett ord eller en fras som används för att kommunicera effekter, såsom ”orsaka”, ”leda till” eller liknande. Tabell 6 är en förteckning över de ord och fraser som använts. I den högra kolumnen i tabellen anges hur flexibel sökningen tillåts vara med avseende på det ordet. Exempelvis tillåts alla möjliga sammansättningar av ordet ”effekt”, såsom ”effektstudie” och ”tillväxteffekter”. För ”konsekvens” däremot tillåts sammansättningar endast före ordet och böjningar efter. Här vill vi alltså fånga upp ord som ”konsekvenser” men inte exempelvis ”konsekvensneutralitet”. Även här har sökningen tagit hänsyn till fel som kunnat uppstå då de ursprungliga PDF-filerna transkriberats till textfiler. 85För att exempelvis hitta alla möjliga avstavningar av ”effekt” krävs ett sökuttryck av typen ”e (-\s*)?f(-\s*)?f(-\s*)?e(-\s*)?k(-\s*)?t”. För längre sökord som rapporttitlar blir det alltså snabbt svårhanterligt. 86En sådan sökning lyckas exempelvis hitta följande stycke från budgetpropositionen (prop. 2015/16:1): ”Den årliga uppföljningen av tillväxteffekter i , som gör på uppdrag av , visar att för de företag som blev kunder har omsättningen ökat –2013.” 52 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Tabell 6 Sökord som används för att finna effektreferenser. Inklusive sammansättningar före, böjningar efter Inklusive sammansättningar före och efter Inklusive böjningar av ”ge” (”gav upphov till” etc.) Inklusive sammansättningar före, böjningar efter Inklusive sammansättningar före, böjningar efter Inklusive sammansättningar före, böjningar efter Inklusive sammansättningar före, böjningar efter Inklusive böjningar av ”leda” (”ledde till” etc.) Inklusive sammansättningar före, böjningar efter Inklusive sammansättningar före och efter (inkl. ”orsaka” med avledningar) Inklusive sammansättningar före, böjningar efter Inklusive sammansättningar före, men undanta när det förekommer som del i frasen ”i samband med” Inklusive sammansättningar före, böjningar efter, men undanta när det förekommer som del i fraserna ”skapa (bra/goda/bättre) förutsättningar”, ”skapa grogrund”, ”skapa problem” Inklusive sammansättningar före, böjningar efter Inklusive sammansättningar före och efter, men undanta när det förekommer som del i frasen ”Myndigheten för tillväxtpolitiska utvärderingar” (del i Tillväxtanalys fullständiga namn) Att myndighetsnamnet är ”tillräckligt nära” effektordet implementeras genom att avståndet mellan dem får vara maximalt ett givet antal tecken. Hur denna parameter – maximalt antal tecken – väljs spelar en stor roll för resultatet. Ett för stort tillåtet avstånd resulterar i en trubbig sökning med många träffar, där de flesta inte kommer vara relevanta. Ett för litet avstånd å andra sidan riskerar att missa viktiga referenser. Parametervalet blir alltså en avvägning mellan falska negativa (missade referenser) och falska positiva (irrelevanta träffar). har valt att göra en bred sökning för att minimera risken att vi missar viktiga referenser. Avståndet mellan myndighetsnamn och ett ”effektord” tillåts därför vara upp till 200 tecken. Priset för denna generella ansats blir därmed ett stort mått av brus, vilket har resulterat i ett större manuellt arbete för att gå igenom sökresultatet och rensa ut irrelevanta träffar.87 87För Tillväxtanalys, och var andelen felträffar 192 av 198, 504 av 508 respektive 194 av 197. Det ska dock noteras att ett antal av dessa felträffar (ca 3–5 per myndighet) utgjordes av referenser till effektutvärderingar som faller utanför vår granskningsperiod 2015–2018. R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T Är den metod som används tillförlitlig? Sökningen efter utvalda effektutvärderingar från Tillväxtanalys, och utnyttjar både rapporternas titlar och deras index i respektive myndighets rapportserie. Det förekommer dock att rapporter refereras till utan vare sig titel eller rapportindex, utan i stället genom formuleringar som ”en utvärdering som kom av X”. I sådana fall finns det risk för att metoden inte fångar upp de rapporterna, och att därmed underskattar användningen Vi har garderat oss mot denna risk på flera sätt: sökningen efter utvalda effektutvärderingar har kompletterats med en allmän sökning av samtliga referenser som rör effekter. Eftersom den allmänna sökningen inte bygger på titel- eller indexsökningen kunde vi här fånga upp ytterligare två referenser till urvalet som vi missat med den mer specifika metoden. Vi har dessutom validerat resultatet från textsökningen på två sätt. Budgetpropositionerna för granskningsperioden granskas manuellt. Vi har även fått återkoppling från myndighetshandläggaren för Tillväxtanalys som specificerat vilka rapporter från Tillväxtanalys som använts i budgetpropositionerna. I båda fallen bekräftades de sammantagna resultaten från den automatiska textanalysen. Mot bakgrund av detta bedömer att den metod som använts ger en rättvisande bild av hur de utvalda effektutvärderingarna har använts. Den generella sökningen efter effektreferenser är svårare att verifiera. Några ledtrådar finns emellertid. Eftersom den generella sökningen ska vara mer allmän bör den finna även de referenser som titelsökningen finner. Så sker också. Vi kan också få en indikation på hur stort problemet med missade referenser är genom att undersöka hur andelen falska negativa och falska positiva förändras när viändrar på det maximalt tillåtna avståndet. Det bör noteras att detta inte testar känsligheten med avseende på de ord och fraser som används, men det ger en indikation på huruvida vi borde tillåtit ett ännu större avstånd mellan myndighetsnamn och effektord. Det visar sig att när vi går från 50 till 200 för det maximalt tillåtna avståndet upptäcks inga nya referenser för någon myndighet men antalet felträffar ökar mångfaldigt. För till exempel ökar antalet totala träffar från 156 till 508 träffar. Genom att välja högsta avstånd 200 har vi alltså, visar det sig i efterhand, valt en hög grad av säkerhet i analysen. 54 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Förteckning över effektutvärderingar som ingår i granskningen Sambanden mellan entreprenörskap och insolvensregler, PM 2015:02 Var gör innovationsstöden mest nytta, PM 2015:17 Med varm eller kall hand?, PM 2015:18 Effects of foreign acquisitions on R & D and high-skill activities, PM 2015:19 Impact of the VAT reform on Swedish restaurants, PM 2015:25 Kunskapsöverföring för tillväxt, PM 2016:12 Främja kvinnors företagande – utvärdering av affärsutveckling för aktiva företag, PM 2016:15 Främja kvinnors företagande – utvärdering av insatser inom Entreprenörskap vid universitet och högskola, PM 2016:16 Firms' responses to privateand government-sponsored Venture Capital, Utländska uppköp i svenskt näringsliv – hot eller möjlighet?, PM 2017:12 Ekonomisk utveckling efter inkubation – analys av företag i det nationella inkubatorprogrammet, PM 2018:02 Does incubation lead to innovation, PM 2018:20 Främja kvinnors företagande – resultat av affärsutvecklings- och innovationsinsatser, PM 2018:21 Dessa används i följande rapporter från Tillväxtanalys: i en sammanlänkad värld, Rapport 2016:05 Inkubatorer – ett sätt att skapa tillväxt?, Rapport 2018:04 R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T Främja kvinnors företagande – gjorde programmet någon nytta, Rapport 2018:05 Effekter av direktinvesteringar på svenskt näringsliv, Rapport 2020:03 Utvärdering av sju pilotprojekt, Lärdomar från jämställdhetsintegrering av företagsfrämjande verksamhet Regionala riskkapitalfonder – Slututvärdering Livsmedelacceleratorn 2014–2016 Samverkanseffekter inom Regionalfonden: en utvärdering Utvärdering av hållbar stadsutveckling i regionalfonden – utvärderingsrapporten av Gröna Fonden (Halvtidsutvärderingen) Utvärdering – Digitaliseringsprojekt inom regionalfondens tematiska mål 2 och 3 Metodrapport – Utvärdering av nio program, Regionala utvecklingsfonden tematiskt mål 1 Glasrikesmiljonen 1 – uppföljning och sammanfattning av projektet Projektutvärdering Kickstart Digitalisering, pub.nr. Slututvärdering av SREss, pub.nr. Utvärdering av insatser för kulturella och kreativa näringar samt för regional kulturdriven tillväxt 2011–2017 Långsiktig utveckling av svenska lärosätens samverkan, VA 2015:03 Effektanalys av Vinnväxt-programmet, VA 2016:03 Hårdare, lättare och snabbare, VA 2017:02 Nationella flygtekniska forskningsprogrammet (NFFP): Effektutvärdering av etapp 5 och 6 Staden som arena för innovation, VR 2018:05 56 R I K S R E V I S I O N E N effektutvärderingar av näringspolitiken – bristande tillförlitlighet Effektutvärderingar är viktiga för att säkerställa att statens resurser används effektivt. Detta har betonats av , i statliga utredningar och av Riksrevi sionen. Det räcker emellertid inte att effektutvärderingar görs, de måste också vara tillförlitliga. har granskat effektutvärderingar av näringspolitiken utförda el ler beställda av (), Tillväxtanalys, och . Även () ingår i granskningen efter som SCB utför så kallade effektmätningar åt . har även granskat om effektutvärderingar används av regeringen för att utforma eller återrapportera insatser. övergripande slutsats är att det finns betydande brister i den effektutvärdering av näringspolitiken som genomförts av myndigheterna: endast 2 av 37 granskade utvärderingar uppfyller de krav som en tillförlitlig effektutvärdering bör uppfylla. Effektutvärderingar från Tillväxtanalys håller högre nivå än de övriga, men har trots detta kvalitetsbrister. Granskningen visar också att regeringen endast i liten utsträckning använder effektutvärderingar för att återrapportera effekter av den förda politiken, eller för att motivera kommande satsningar. rekommenderar bland annat regeringen att i större utsträckning använda Tillväxtanalys för effektutvärdering av näringspolitiken, och att i högre grad återrapportera resultatet av väl utförda effektutvärderingar till . och rekommenderas att anlita och/eller samarbeta med Tillväxtanalys för utvärderingar av effekter. Tillväxtanalys bör höja kvaliteten på sina utvärderingar ytterligare. rekommenderas att endast använda effekt utvärderingar från utförare med beprövad kompetens på detta område. s:t eriksgatan 117, 102 33 | Utdrag ur protokoll vid regeringssammanträde Närvarande: statsminister , ordförande, och statsråden , , , , , Shekarabi, Ygeman, , , , , , , , , , , , Regeringen beslutar skrivelse 2020/21:178 om effektutvärderingar av näringspolitiken – bristande tillförlitlighet