prop · H803178 · 2021-04-22 00:00:00 — E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T 3.2 Hög konsultanvändning har inte lett till hög kvalitet har undersökt huruvida myndigheterna skiljer sig åt vad gäller i vilken mån externa konsulter eller forskare anlitas.46 Syftet har varit att utröna om det finns ett samband mellan kvalitet och typ av utförare. Tabell 2 sammanställer resultatet av denna genomgång. Tabell 2 Fördelning av utförare av de granskade effektutvärderingarna. (4 st.) (4 st.) (9 st.) (1 st.) (2 st.) (14 st.) (2 st.) (5 st.) Källa: Myndigheternas effektutvärderingar –2018. Tabellen visar att det finns stora skillnader mellan myndigheterna vad gäller utförare. De effektmätningar som SCB utför på uppdrag av görs alltid internt hos SCB. Hos och är tvärtom externa konsultbolag inblandade (utom i en effektutvärdering hos ), ibland i samarbete med myndighetens egen personal eller externa forskare. Tillväxtanalys samarbetar, som framgår av tabellen, ofta med universitet och högskolor (9 fall av 13) och har inte använt sig av externa konsulter . De externa forskare som används kommer från de största universiteten. Ofta handlar det om storleksordningen eller Linnéuniversitetet, men även förekommer. Enligt Tillväxtanalys beror detta på att det finns kluster av forskargrupper på mindre universitet som är specialiserade på näringslivsfrågor: har enligt Tillväxtanalys kompetens på multinationella företag, medan har en grupp forskare specialiserade på regionalpolitik.47 Tabellerna 1 och 2 visar att utvärderingar från och både kännetecknas av lägre kvalitet (med avseende på hur effektanspråk beläggs) och en hög användning av konsulter. Vi vet dock inte från detta om forskarsamverkan eller internt utförda effektutvärderingar hos dessa myndigheter leder till högre eller lägre kvalitet. Tabell 3 presenterar hur kvalitet varierar med typ av utförare för varje myndighet separat. 46Med ”forskare” avses här alla utförare knutna till en akademisk institution. är detta forskare, men i ett par fall har det handlat om studenter. 47Intervju med företrädare för Tillväxtanalys, . 26 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Tabell 3 Samvariation mellan kvalitet och utförare av de granskade effektutvärderingarna. (4 st.) (4 st.) (4 st.) (9 st.) (7 st.) (2 st.) (1 st.) (1 st.) (1 st.) Källa: Myndigheternas effektutvärderingar –2018. Tabell 3 visar att sambandet mellan kvalitet och utförare är mer komplicerat än vad som framgår av den tidigare diskussionen. Användning av externa konsulter sammanfaller visserligen med låg kvalitet: endast i 2 fall av totalt 19 finns någon slags kontrafaktiskt ansats – det lägsta kvalitetskravet i tabell 1 – och endast i ett fall görs ett försök till att motivera varför den metod som används skulle vara giltig. Men för både och är resultaten än sämre när utvärderingen utförs internt eller av forskare. Skillnaderna är emellertid små: endast i två fall av konsultutförda effektutvärderingar finns ett kontrafaktiskt angreppssätt (ett villkor som dessutom tillämpats generöst) och endast i ett av dessa finns en motivering av de antaganden som görs (en motivering som inte heller bedömdes som tillräcklig, enligt det tredje kriteriet). Eftersom det för båda dessa myndigheter är få utvärderingar som utförts av forskare eller internt är det inte möjligt att dra slutsatser från så små skillnader. (Annorlunda uttryckt: skillnaderna är inte statistiskt signifikanta.) uppger till att de kvalitetssäkrar alla konsulter de anlitar. Detta innebär bland annat ett krav på akademisk examen (eller ibland kandidat), där vanliga inriktningar anges vara statsvetenskap, nationalekonomi, lantbruksvetenskap och kulturgeografi. Men framför allt understryker kontaktpersoner på vikten av vad de kallar ”utvärderingskompetens”. De menar att detta är något som i regel inte lärs ut på universiteten; ”akademiker har i regel inte det kunnandet”. I stället hänvisar man till konsultbyråernas lärlingsutbildningar – ”det är erfarenhet som gäller”.48 Även betonar vikten av tidigare erfarenhet av utvärderingsarbete när konsulter ska upphandlas. Myndigheten har inga krav på forskarmedverkan, men har en ”förväntning” på konsulter att de ska involvera forskare. 48Intervju med företrädare för , och . R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T till att man anser sig ha mycket god kompetens att upphandla konsulter.49 Av tabellen framgår att de enda två effektutvärderingar som uppfyller samtliga nödvändiga villkor båda är utförda i samarbete med universitet: i ett fall ett samarbete mellan myndighetsanställda och en student, och i det andra fallet helt utförd av forskare på . Men tabellen visar även att samarbete med universitet inte är en garanti för god kvalitet. Inte alla av Tillväxtanalys studier med forskarmedverkan når upp till det andra kriteriet, medan samtliga internutförda effektutvärderingar gör det. Tillväxtanalys har i intervju med beskrivit att det ibland kan vara svårt att få de bästa forskarna att engagera sig.50 När det gäller och når ingen av de effektutvärderingar som utförts i samarbete med forskare upp till lägsta kvalitetskrav, i likhet med internt utförda effektutvärderingar hos samma myndigheter. Slutligen visar tabell 3 att internt utförda effektutvärderingar är av markant högre kvalitet på Tillväxtanalys än på . (har inga uteslutande internt utförda effektutvärderingar .) Inte i någon av de internt utförda utvärderingarna når emellertid Tillväxtanalys upp till samtliga av uppställda nödvändiga krav för att kunna dra slutsatser om effekter. effektmätningar utförda av SCB utgör ett specialfall i det att de är interna från SCB:s perspektiv och externa från perspektiv. Eftersom presenterar dessa rapporter med större anspråk än vad rapporterna själva ger uttryck för kan vi konstatera att effektmätningarna håller högre kvalitet som interna utvärderingar hos SCB än som externa hos . konstaterar sammantaget att ingen av eller effektutvärderingar är kompetent utförd vad avser att belägga effekter. Detta gäller oavsett om de är utförda internt, i samarbete med forskare eller upphandlade av konsulter. Tillväxtanalys internt utförda effektutvärderingar är delvis kompetent utförda, men inte tillräckligt. För den granskade tidsperioden har de nödvändiga kvalitetskraven uppnåtts endast i samarbete med forskare, men även då endast i undantagsfall. 49Intervju med företrädare för , . 50Intervju med företrädare för Tillväxtanalys, . 28 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N 4Används myndigheternas effektutvärderingar? •Almis effektmätningar utförda av SCB uppfattas av regering och riksdag som effektutvärderingar, trots att de enligt SCB inte bör uppfattas som sådana, och används regelbundet i regeringens budgetpropositioner för att motivera anslag 1:20. •Effektutvärderingar från Tillväxtanalys och används i regeringens budgetpropositioner för att återrapportera effekter av näringspolitiken, men i låg utsträckning. •Regeringen använder ibland rapporter från som inte är avsedda som effektutvärderingar för att uttala sig om effekter. •Det förekommer att utvärderingar från myndigheterna är otydliga i skrivningar om effekter. Detta gör det otydligt för mottagarna vilka slutsatser som kan dras ifrån dem. •Återrapporteringen av näringspolitiska effekter i budgetpropositionerna är ibland otydlig med avseende på vilka källor som finns för de påståenden som görs. 4.1Använder och myndigheterna sina egna effektutvärderingar? För att få svar på frågan hur myndigheterna använder sig av rapporterna har intervjuat representanter för och de granskade myndigheterna. effektmätningar görs ytterst eftersom bolagets ägaranvisning ställer krav på att verksamhetens utfall inom flera områden ska följas upp. redogör för effektmätningen i sin årsredovisning, och refererar till resultatet som ”uppföljning av effekt på företagens tillväxt”.51 Det kan noteras att återrapporteringen av SCB:s effektmätning i årsredovisningen har gjorts på samma sätt , oberoende av hur ägaranvisningen förändrats . Företrädare för uppger att effektmätningarna är viktiga även för bolaget självt för att optimera hur insatser utformas.52 uppger till att SCB ursprungligen fick uppdraget eftersom det var de som hade tillgång till data. Jämförbarheten anges som ett skäl för varför man har behållit SCB som utförare. beskriver att de litar på , att SCB använder den metod som är bäst lämpad för uppgiften och att man uppfattar att SCB står för en metodik som är allmängiltig. SCB uppger till att de använder den metod som beställaren önskar, men även att de givit råd vad gäller metodfrågor. SCB betonar emellertid att det inte är deras 51Almi , Års- och hållbarhetsredovisning (2016, 2017, 2018, 2019, 2020). 52Intervju med företrädare för , och . R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T roll att göra utvärderingar eller effektskattningar.53 Ytterst menar man att det är ansvar om effektmätningarna har använts för att dra slutsatser om effekter.54 Eftersom Tillväxtanalys inte är utförare av statliga insatser och program används inte utvärderingarna på samma sätt som på utförande myndigheter som och . Myndigheten uppger att utvärderingarna till större delen (ca 75–) är egeninitierade, men att man återkommande har kommunikation med för att bekräfta den övergripande inriktningen. Projektidéer granskas av ett vetenskapligt råd innan de godkänns.55 Tillväxtanalys får även direkta regeringsuppdrag som återrapporteras direkt till , även om uppger att dessa har minskat i omfattning.56 Rapportutkast granskas även av en referensgrupp. Tillväxtanalys kommunicerar utvärderingarna i flera olika rapportserier och anordnar även seminarier, varav vissa är öppna för allmänheten.57 utvärderingar rör alltid insatser som myndigheten ansvarar för. uppger att effektutvärderingar och rapporter används löpande, inte sällan redan innan de är klara, till exempel i syfte att kommunicera till involverade parter såsom regioner och andra stödmottagare. Materialet kan ibland användas som ingångsmaterial i analyser som genomförs av Tillväxtanalys. Vidare anordnar så kallade lärkonferenser från det att ett första rapportutkast tagits fram, med deltagare från , , regioner och andra myndigheter. presenterar också enskilda rapporter på . När det gäller uppföljningen av de nationella projekten står det ibland i direktiven att de ska återrapporteras, ibland ses det som underförstått. Uppföljningar används enligt även i viss mån på som ledning för hur nya uppdrag ska formuleras. Men i regel är det tjänstemän hos som är de primära användarna av rapporterna.58 Användningen av de egna rapporter hos försvåras enligt de intervjuer vi gjort av att myndigheten saknar ett centraliserat bibliotek. Det finns en publikationsdatabas, men på grund av tekniska begränsningar i systemet är det svårt att hitta en specifik rapport om man inte vet vad man letar efter. Detta är något som våra intervjupersoner uttryckte stor frustration över.59 Hos används effektutvärderingar, enligt de företrädare vi intervjuat, av dem som är närmast ansvariga för genomförandet av insatser. 53Intervju med företrädare för , . 54Mejl från företrädare för . 55Intervju med företrädare för Tillväxtanalys, . 56Intervju med företrädare för , . 57Intervju med företrädare för Tillväxtanalys, . 58Intervju med företrädare för , och . 59Intervju med företrädare för , . 30 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N vidare- och nyutveckling av programinsatser liksom för underlag i analyser för policyförslag. Myndigheten uppger att den ofta har workshopseminarier med många personer involverade, ibland även med tjänstemän från . Ansvariga tjänstemän från för respektive program finns med, så att de kan samverka och förbättra det framtida arbetet. Även interna seminarier genomförs. Utöver detta genomför myndigheten så kallade tolkningsseminarier där externa gäster bjuds in. Dessa innebär en ytterligare kvalitetssäkringsfunktion för rapporterna, men blir också ytterligare en kanal för att sprida rapporterna.60 kommunicerar även sina resultat i olika rapportserier. För att få svar på frågan hur använder sig av rapporterna har granskat ägar- och myndighetsdialoger med och de granskade myndigheterna. har även intervjuat ansvarig myndighetshandläggare för respektive myndighet. effektmätningar som utförs av SCB verkar främst användas för återrapporteringen i budgetpropositionen. Regeringen beskriver dem som en uppföljning av ”tillväxteffekter i ”.61 Myndighetshandläggare för Tillväxtanalys betonar att myndigheten är en expertmyndighet och att sällan har någon invändning mot hur utvärderingarna genomförs. Man uppger att det är positivt att Tillväxtanalys har en oberoende ställning gentemot andra myndigheter men betonar att det är viktigt att deras utvärderingar är policyrelevanta.62 Enligt Tillväxtanalys presenteras de flesta av deras rapporter på , oftast på Tillväxtanalys initiativ.63 uppger att Tillväxtanalys utvärderingar används främst Detta beskrivs även av Tillväxtanalys, som dock uppfattar att deras rapporter tenderar att användas selektivt.64 Beträffande är det sakhandläggare för särskilda frågor som är mottagare av utvärderingarna och det är upp till dem att bestämma hur utvärderingarna ska användas.65 I budgetpropositionerna används en lägesrapport, vilket är en uppföljning som myndigheten tar fram.66 uppger att man använder sig av effektutvärderingar på flera sätt: i nästan varje budgetproposition hänvisas till . 60Intervju med företrädare för , . 61Se exempelvis budgetproposition , prop. 2016/17:1, utgiftsområde 24. 62Intervju med företrädare för , . 63Intervju med företrädare för Tillväxtanalys, . 65Intervju med företrädare för , . 66Se exempelvis prop. 2016/17:1, utgiftsområde 24. R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T Utvärderingarna bygger i regel på långa tidsserier, men rapporter är användbara i brist på analyser som ligger närmare . De forskningspolitiska propositionerna använder sig ibland av rapporter. Effektutvärderingar som kommer till myndighetshandläggarna ”skickas till alla som är berörda”.67 För sakhandläggare i särskilda frågor utgör utvärderingarna viktiga underlag. Rapporterna används också mer generellt för uppföljningen av myndighetens arbete. 4.3Använder regering och riksdag effektutvärderingar i offentliga dokument? För att få en systematisk överblick över i vilken utsträckning regeringen använder sig av de effektutvärderingar som ingår i granskningen har utfört en automatiserad textanalys med hjälp av öppna data.68 Analysen undersöker hur ofta regering, men även riksdag, refererar till någon av de effektutvärderingar som ingår i granskningen. Vi undersöker även om, och i så fall i vilken utsträckning, studier som inte själva gör anspråk på att vara effektutvärderingar används av regering och riksdag, som om de Analysen täcker betänkanden, Departementsserien, motioner, propositioner och skrivelser från regeringen, skriftliga frågor samt (SOU). Perioden som genomsöks sträcker sig från /15, då effektutvärderingar som ingår i granskningen tidigast kan förekomma, till och med hela /20. Se bilaga 2 för en närmare beskrivning av hur textanalysen har gått till. 4.3.1Regeringen använder effektutvärderingar endast i låg utsträckning Sökningen efter utvalda effektutvärderingar görs med hjälp av rapporternas titlar och indexnummer i respektive myndighets rapportserie. Tabell 4 visar, för och de tre myndigheterna, hur ofta regering och riksdag refererar till någon av effektutvärderingarna som ingår i granskningen. 67Intervju med företrädare för , . 68Riksdagen, ”öppna data”, hämtat . 32 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Tabell 4 Referenser till de granskade utvärderingarna från dokument –2020. För varje cell anges antal både totalt antal referenser (före snedstrecket) och antal dokument som innehåller minst en referens (efter snedstrecket). Departementsserien (DS) utredningar (SOU) Källa: öppna data. Tabellen visar att det är stora variationer i vilka effektutvärderingar som används av regeringen. effektmätningar utförda av SCB förekommer i 5 olika propositioner – samtliga budgetpropositioner . Effektmätningarna refereras i regel till som ”uppföljningen av tillväxteffekter” i kundföretag.69 Även refererar i ett betänkande till SCB:s effektmätningar, och då som ”redovisning av vilka effekter [anslaget 1:20 Bidrag till företagsutveckling och innovation] fått”.70 Detta kan ställas i kontrast mot att SCB uppger att effektmätningarna inte ska tolkas som att de mäter effekter.71 Tillväxtanalys refereras i dokument både från riksdag och regering, men ytterst sporadiskt givet deras stora produktion. Även här är det främst i budgetpropositionerna, där effektutvärderingar från Tillväxtanalys används för att återrapportera resultat från regional- och näringspolitiken. Det finns även referenser till effektutvärderingarna i betänkanden och i enstaka utredningar (Departementsserien och ). De två effektutvärderingar från Tillväxtanalys som uppnådde samtliga av kvalitetskrav används båda, både av i tre betänkanden och av regeringen i två av sex referenser till effektutvärderingar från Tillväxtanalys. Resterande fyra referenser i propositioner till effektutvärderingar från Tillväxtanalys är till studier som uppnår två av tre nödvändiga kvalitetskrav.72 2015/16:1, prop. 2016/17:1, prop. 2017/18:1, prop. 2018/19:1, prop. 2019/20:1. i budgetpropositionen (prop. 2020/21:1), som alltså inte ingår i tabell 1, förekommer samma formulering. 2017/18:nu1. 71Intervju med företrädare för , . 72Den referens som förekommer i en utredning från Departementsserien uppnår två av tre krav, och de två referenserna från SOU syftar båda till samma effektutvärdering, som uppnår ett av tre krav. R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T effektutvärderingar förekommer mycket sällan i regeringens och dokument. Detta kan delvis förklaras med att deras mottagare inte främst är riksdag eller regering, utan de används i stället internt eller för uppföljning gentemot EU (för regionalfonden). anordnar emellertid seminarier där tjänstemän från bjuds in, vilket gör att torde vara medvetna om effektutvärderingarna. , slutligen, förekommer endast i tre propositioner och en statlig utredning, men eftersom urvalet för endast består av fem effektutvärderingar är detta betydligt högre andel än för Tillväxtanalys och . Två av dessa referenser gäller samma studie, som inte uppnår något av uppställda kvalitetskrav. Den tredje är den studie av som i tabell 1 bedöms uppnå två av tre nödvändiga krav. Som nämnts tidigare gäller det även för att det egna lärandet också är ett viktigt användningsområde för rapporterna. Sammanfattningsvis refererar regeringen sällan till effektutvärderingar från de granskade myndigheterna –2018. Detta innebär att effektutvärderingar används i låg utsträckning i officiella dokument både för återrapportering och för att motivera nya insatser.73 4.3.2Regeringen drar ibland slutsatser om effekter från rapporter som inte är avsedda som effektutvärderingar Föregående avsnitt fastställer att regeringen i låg utsträckning använder de effektutvärderingar som ingår i granskningen. Detta utesluter dock inte att regeringen använder andra rapporter. I detta avsnitt redovisas i vilken utsträckning regeringen använder andra underlag från de granskade myndigheterna för att uttala sig om effekter. Denna analys söker i texterna efter ord och formuleringar som brukar användas i detta sammanhang, såsom variationer av ”effekt”, ”orsaka”, ”leda till” etc. Resultatet har därefter granskats manuellt för att hitta de träffar som faktiskt är uttalanden om effekter. Se bilaga 2 för en mer detaljerad beskrivning. Resultatet av denna analys visas i tabell 5. 73En möjlig invändning skulle kunna vara att propositioner ofta är kortfattade och indirekt kan bygga på effektutvärderingar även om sådana inte anges i propositionstexten. Det som talar emot denna invändning är att även offentliga utredningar, som ofta ligger till grund för lagförslag, har få referenser till de effektutvärderingar som ingår i granskningen. 34 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Tabell 5 Referenser från propositioner till rapporter från de granskade myndigheterna publicerade som inte klassificerats som effektutvärdering i denna granskning, men som används som sådana av den refererande texten. För varje cell anges antal både totalt antal träffar (före snedstrecket) och antal unika propositioner (efter snedstrecket). Källa: öppna data. Tabell 5 visar att regeringen använder Tillväxtanalys och utvärderingar som dessa var avsedda. Samtliga skrivningar om effekter som bygger på rapporter från Tillväxtanalys eller använder sig av en utvärdering som ingår i denna granskning. I ett par fall där glidande formuleringar om effekter förekommer kan detta spåras till oklarheter i källrapporten.74 När det gäller har inget av de fyra fall där regeringen använder som källa för effekter täckning för detta: källorna gör inga sådana anspråk. effektmätningar är något av ett specialfall i detta avseende. Om effektmätningarna inte är att betrakta som effektutvärderingar, vilket deras upphovsman anser, ska samtliga av regeringens referenser till dem tolkas som missvisande – de används då felaktigt som källor för effekter. Regeringen använder dem dock i enlighet med hur de presenteras av . 4.3.3 Otydlighet i rapporterna riskerar att leda till felaktig användning Vi har beskrivit hur effektmätningar tolkas på olika sätt av de inblandade aktörerna: SCB menar att de inte ska tolkas som effektutvärderingar, men dess beställare , liksom intressent, regeringen, använder dem som evidens för effekter. I samtliga referenser till dessa effektmätningar som vi funnit i textanalysen, både från regeringen och , tolkas SCB:s effektmätningar som att de mäter effekten av verksamhet på kundföretagen.75 Vi har även beskrivit hur årsredovisning hänvisar till SCB:s effektmätningar som att de följer upp ”effekt på företagens tillväxt”.76 Denna brist på samsyn kan ställas i relation till otydlighet hos effektmätningarna själva. Som beskrivits i avsnitt 1.4.1 har de titeln och använder typiska metoder från effektutvärdering såsom matchning. 74Exempel är hur Tillväxtanalys rapporter 2016:03 och 2016:04 refereras till i budgetpropositionen (prop. 2016/17:1 UO19), vilket beskrivs i följande avsnitt. 75Regeringen hänvisar till ”SCB:s mätning av tillväxteffekter” i budgetpropositionerna –2020. Exempel: ”På uppdrag av genomför en uppföljning av tillväxteffekter i . I undersökningen 2013 mättes effekter i företag som blev kunder 2009” (prop. 2014/15:1). För , se exempelvis ur bet. 2017/18:nu1: ”Detta kompletteras till viss del med redovisning av vilka effekter det fått (t.ex. effektmätning).” 76Årsredovisning (2016, 2017, 2018, 2019, 2020). R I K S R E V I S I O N E N E F F E K T U T V Ä R D E R I N G A R A V N Ä R I N G S P O L I T I K E N – B R I S T A N D E T I L L F Ö R L I T L I G H E T ”kontrollgrupper”, vilket definitionsmässigt innebär just att en sådan grupp ska kunna användas för att ”kontrollera” för det utfall de behandlade företagen skulle haft om de inte fått stöd (från vilket effekter kan beräknas).