prop · H703185 · 2020-06-17 00:00:00 — Vi konstaterar vidare att utfallet i bedömningen beror på vilka kriterier som betonas mest, till exempel om fokus ligger på aktörskonstellationens befintliga position och resurser eller själva innovationsområdets potential och samhällsrelevans. Kriterierna för bedömning av ansökningarna är inte viktade och har ingen inbördes prioriteringsordning. Dagordningarna och dokumentationen från bedömningsmöten indikerar ett högt tempo i genomgången av ansökningar102 och att diskussionerna uppehåller sig vid några av bedömningskriterierna.103 har i en tidigare granskning konstaterat att bedömningsprocessen för tilldelning av medel har ofrånkomliga osäkerheter. Till exempel kan enskilda bedömares erfarenheter och kunskap få stor betydelse för gruppens samlade bedömning.104 4.3 Otydligt vilka faktorer som är utslagsgivande Beslutsmotiveringarna för att bevilja105 och avslå programansökningar är i alla fyra utlysningar kortfattade. De innehåller bedömningar om ansökningarnas potential, genomförande och aktörer samt en slutsats. Beviljade program bedöms genomgående representera svenska styrkeområden och ha starkt engagemang från viktiga aktörer.106 Det är sammantaget otydligt vad som utifrån bedömningskriterierna107 varit utslagsgivande. Vi noterar i sammanhanget att de motiveringar för att bevilja projekt inom program som vi läst i granskningen är mer utvecklade än motiveringarna för hela program.108 Alla beviljade program får rekommendationer. Vanliga rekommendationer är att bättre engagera små och medelstora företag och att förtydliga hur det övriga finansieringslanskapet ser ut. 101Se bilaga 3. Bilagan kan hämtas på webbplats. 102Bedömargrupperna har 20–att diskutera respektive ansökan. 103Tjänsteanteckningar från dokumentstudier hos . 104Riksrevisionen, Statliga stöd till innovation och företagande, RiR 2016:22, 2016. 105Det som beviljas är egentligen projektkontorets koordineringsmedel och reserverad budget för programmet. 106Tjänsteanteckningar från dokumentstudier hos . 107Se bilaga 3. Bilagan kan hämtas på webbplats. 108Tjänsteanteckningar från dokumentstudier hos . Vi har läst ett fåtal projektbeviljanden. R I K S R E V I S I O N E N I N N O V A T I O N G E N O M S A M V E R K A N Myndigheternas egna överväganden utifrån bedömargruppernas rekommendationer är inte dokumenterade i de tre första utlysningarna. Beslutsmotiven återger bedömargruppens utlåtanden109. I den fjärde utlysningen, som hanteras av , framgår kortfattade överväganden.110 Fyra program som får avslag i den andra utlysningen beviljas i den tredje utlysningen. Två av dessa hade fått avslag med hänvisning till bristande potential.111 Vi kan inte utifrån beslutsmotiven identifiera om potentialen bedömdes vara högre i den tredje utlysningen eller om konkurrensen var svagare. 4.4.1Urvalsprocessen för SIP ger förutsättningar för systematiska urval och beslut Processen för att välja ut program ger förutsättningar för systematiska urval. Programansökningar går igenom flera urvalssteg där externt anlitade bedömare bedömer ansökningarnas kvalitet. föregripande arbete med innovationsagendor förbättrade möjligheten att få in bra ansökningar i den första utlysningen. Myndigheterna omhändertar överlag regeringens syften och mål med programmen i utformningen av programutlysningar. 4.4.2Prioriteringar och avvägningar för programportföljen i SIP saknas begränsas systematiken i urvalsprocessen i flera avseenden. För det första saknas överväganden om programportföljens sammansättning inför urvalet av program. Dels har ingen analys av hur programportföljen bör utformas för att bäst svara mot effektmål genomförts. Dels har myndigheterna inte avvägt programportföljen utifrån hur många program som bör etableras, eller hur stor finansiering varje program behöver. finner ingen anledning att ifrågasätta varken valet av urvalsprocess eller att den följer internationell praxis. Men vi bedömer att urvalet bland programansökningar, givet utlysningarnas tematiska bredd och inriktningen mot samhällsutmaningar, ställer betydande krav på bedömningsprocessen, bedömargruppens sammansättning av kompetenser och myndigheternas hantering av bedömargruppernas utlåtanden och rekommendationer. 109Tjänsteanteckningar från dokumentstudier hos . 110Energimyndigheten, Förslag till beslut dnr 2016–007958, ; , Beslut dnr 2016–007978, ; , Beslut dnr 2016–007979, ; , Beslut dnr 2016–007981, ; , Beslut dnr 2016-007982, ; , Beslut dnr 2016–007984, ; , Beslut dnr 2016–007986, . 111Tjänsteanteckningar från dokumentstudier hos . 38 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Programmen väljs ut i konkurrens utifrån många och komplicerade bedömningskriterier utan inbördes prioritetsordning eller viktning, och intryck av den begränsade dokumentationen är att bedömningsprocessen präglas av högt tempo och att bedömarna fäster relativt stor vikt vid vissa kriterier. Bedömargruppernas utlåtanden är korta och otydliga avseende utslagsgivande faktorer. Myndigheternas överväganden utifrån bedömargruppernas utlåtanden och rekommendationer har bara dokumenterats i en av fyra utlysningar och då kortfattat. vill betona att det är myndigheterna, och inte bedömargrupperna, som ansvarar för att fatta beslut om statlig finansiering. Därför anser att myndigheterna bör dokumentera sina överväganden som leder fram till beslut i relation till de mål som finns Vidare genomförs den första utlysningen snabbt, vilket kan härledas till regeringens uppdrag till myndigheterna. I utlysningen efterfrågas färdiga projektförslag från de som ansöker. bedömer att urvalsprocessen åtminstone i början gynnade väletablerade aktörsgrupperingar i mognare innovationsområden med förmåga att omgående formulera en ansökan med konkreta projektförslag. Myndigheterna har inte på förhand bedömt om detta är önskvärt med hänsyn till att programformen SIP omfattas av mål om ny och långsiktig samverkan för att bemöta samhällsutmaningar, eller att aktörernas behov av finansiellt stöd kan variera. Sammantaget föreligger risk för implicita prioriteringar och en risk att programportföljen inte är avvägd mot effektmålen för SIP. R I K S R E V I S I O N E N I N N O V A T I O N G E N O M S A M V E R K A N 5 Uppföljning och utvärdering I detta kapitel redovisas iakttagelser om myndigheternas användning av uppföljning och utvärdering för utveckling och prövning av programmen inom SIP. Kapitlet redovisar också användning av uppföljning och utvärdering i myndigheternas återrapportering till regeringen och i regeringens återrapportering till . •Myndigheterna etablerade tidigt ett utvärderingssystem för SIP. Systemet bygger på utvärdering var tredje år. Både uppföljning och utvärdering inom SIP används framför allt för att utveckla programmen. •Utvärderingarnas prövande funktion är än så länge svag. Program utvärderas enskilt efter sin egen effektlogik. Myndigheterna har inte formulerat krav och förväntningar på vad programmen ska prestera för att myndigheterna ska bevilja fortsatt finansiering. finner inget som tyder på att myndigheterna gjort överväganden utifrån anlitade utvärderares slutsatser och rekommendationer. Myndigheterna har följt utvärderarnas rekommendationer och beviljat fortsatt finansiering i samtliga fall. •Myndigheternas rapportering framstår som balanserad och innehåller utvärderarnas övergripande slutsatser. Regeringens rapportering till är kortfattad och motsvarar inte innehållet i myndigheternas årsredovisningar. 5.1 Uppföljning och utvärdering av SIP 5.1.1Uppföljningen är inriktad mot programmens utveckling och samordning Myndigheternas uppföljning av SIP består främst av dialog mellan respektive myndighet och enskilda program om deras behov och utmaningar. Vi ser inga betydande skillnader mellan myndigheternas uppföljning, trots skillnader i möjligheter att hämta data ur sina system. Våra intervjuer med programkontor ger intryck av att myndigheterna överlag ger programmen bra instruktioner och stöd. Myndigheternas handläggare för kontinuerlig dialog med programkontoret för respektive program. 112 I årliga utvecklingssamtal med programkontoren diskuteras bland annat inriktningen på programmen, samarbetet, projektportföljen, budgetering och uppnådda resultat.113 112Minnesanteckningar från intervjuer med programkontor för SIP, ; ; ; ; . 113Presentation för årlig avstämning med SIP på . har deltagit på ett avstämningsmöte. 40 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N 5.1.2 Prövning är ett av flera syften med utvärderingar Myndigheterna etablerade tidigt i programformen att varje program ska utvärderas var tredje år. Den första omgången program startade , vilket innebär att de utvärderas för , i så kallade sexårsutvärderingar, . Utvärderingarna uppges vara viktiga av flera skäl. De syftar till att utgöra ett stöd för att programmen ska kunna utvecklas, ett stöd för att myndigheterna ska kunna utveckla SIP som programform och ett underlag för myndigheternas beslut om fortsatt finansiering av programmen.114 Det är också ett viktigt tillfälle att identifiera risker för programmens framgång.115 För att erhålla fortsatt finansiering måste varje program ta fram en handlingsplan som omhändertar rekommendationer från utvärderingarna.116 5.1.3 Utvärderingar jämför inte program Till skillnad från i urvalsprocessen ska utvärderingar inte jämföra program med varandra. Anledningen till det uppges vara att programmen har olika utgångsläge och förutsättningar. Programmen har möjlighet att förändra sig efter behov och omvärldsförutsättningar. Myndigheterna har kommit överens om vad utvärderingarna ska innehålla och vilka frågor som ska besvaras. Treårsutvärderingarnas tonvikt ligger på programmens etablering. Sexårsutvärderingarna ska därutöver redovisa tidiga effekter av programmens projektportfölj. Dessutom efterfrågas svar på hur respektive program förhåller sig till jämförbara satsningar i andra länder, bidrar till de övergripande effektmålen och skapar förväntad nytta för behovsägare och huvudintressenter.117 Utvärderingarna genomförs med hjälp av externa utvärderare som gör bedömningar utifrån egeninsamlad empiri och empiri som myndigheterna tillhandahåller. Externa utvärderare har med hjälp av utsedda ämnesexperter och generalister tagit fram rekommendationer i samtliga utvärderingar.118 114Isaksson, D. och , C. Utvärdering strategiska innovationsprogram. Första utvärderingen av Processindustriell IT och automation, Produktion 2030, Gruv- och metallutvinning, Lättvikt och Metalliska material; 2016; , , , C. och Schofield, M. Utvärdering strategiska innovationsprogram. Första utvärderingen av MedTech4Health, InfraSweden2030, Drive , RE:Source och Smart Built Environment, 2018. 115Minnesanteckningar från intervjuer med representanter för , . 116Tjänsteanteckningar från dokumentstudier hos . 118Se till exempel , , , C. och Schofield, M. Utvärdering strategiska innovationsprogram. Första utvärderingen av MedTech4Health, InfraSweden2030, Drive , RE:Source och Smart Built Environment, 2018. R I K S R E V I S I O N E N I N N O V A T I O N G E N O M S A M V E R K A N 5.1.4 Programmens effektlogik är central för utvärderingar Varje program utvärderas enskilt utifrån sin egen effektlogik.119 En effektlogik ska visa hur förutsättningar, resurser, aktiviteter, prestationer, effekter och målsättningar i en verksamhet hänger ihop.120 Det finns en övergripande effektlogik för SIP som programform, som sammanfattas i figur 1 nedan. Figur 1 Effektlogik för strategiska innovationsprogram Innovationsområ de med potential kring gemensam vision och mål Förankrad strategi och ledarskap för att förverkliga målen Skapa förutsättningar för hållbara lösningar på globala samhällsutmaningar Hållbar samhällsutveckling som tryggar försörjning, välfärd miljö- och energipolitiska mål Stärkt konkurrenskraft och ökad export för svenskt näringsliv är ett attraktivt land att investera och bedriva verksamhet i Därmed ankommer på respektive program att med sin effektlogik brygga identifierade förutsättningar för ett framgångsrikt program med effektmålen för SIP. Någon mer utvecklad programteori121 som beskriver under vilka förutsättningar och genom vilka mekanismer effektmålen kan uppnås har inte 119Se till exempel , , , C. och Schofield, M. Utvärdering strategiska innovationsprogram. Första utvärderingen av MedTech4Health, InfraSweden2030, Drive , RE:Source och Smart Built Environment, 2018. 120ESV, Vägledning verksamhetslogik, 2016. Enligt ESV är effektlogik och verksamhetslogik snarlika men inte synonyma begrepp. 121Se Funnel, S. C. och , P. J. Purposeful Program Theory: Effective Use of Theories of Change and Logic Models, 2011. 42 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Sexårsutvärderingarna ska likt treårsutvärderingarna utgå från varje programs egen effektlogik och förutsättningar.122 5.1.5 Myndigheterna har inte formulerat krav på programmen Myndigheterna har varken formulerat krav eller förväntningar, gemensamma eller anpassade, för vad ett program vid utvärdering ska ha uppnått för att kunna beviljas fortsatt finansiering.123 Vi noterar att identifierade lärdomar från omfattar att tydliga och mätbara mål är viktiga på programnivå och att det är lätt att målen för programmen snarare blir ambitioner.124 Behovet av att ge program praktiskt utvärderingsbara mål lyftes också som en lärdom i den metautvärdering av branschprogrammen som varit underlag i arbete.125 5.1.6Myndigheternas överväganden utifrån treårsutvärderingarna framgår inte inför fortsatt finansiering 16 av de totalt 17 programmen har genomgått treårsutvärderingar.126 Alla utvärderade program har beviljats fortsatt finansiering i enlighet med rekommendation från utvärderare. Myndigheternas beslutsmotiv om att bevilja fortsatt finansiering av programmen är mycket kortfattade och anger inte vilka överväganden som ligger till grund för besluten.127 Utvärderarna bedömer programmens styrkor och svagheter i etableringen. intryck är att utvärderingarna visar på betydande variation i programmens brister. Utvärderarna lyfter bland annat frånvaro av konkreta målsättningar, svag internationell positionering och att behovsägare saknas eller har svagt engagemang Vi konstaterar att utvärderarna påpekar brister i arbetet med effektlogik för flertalet program. I vissa fall framstår synpunkterna som allvarliga, exempelvis att effektlogiken är så övergripande att det inte går att utläsa var kraftsamling behövs, inte gör skillnad på aktiviteter och resultat, saknar uppföljningsbara mål och inte kopplar hur programmets projektportfölj och andra insatser stödjer programmets målsättningar. 122Tjänsteanteckningar från dokumentstudier hos . 123Tjänsteanteckningar från dokumentstudier hos . 124Vinnova, presentation om erfarenheter från strategiska innovationsprogram. 125Vinnova, Metautvärdering av svenska branschforskningsprogram, 2012. 126Isaksson, D. och , C. Utvärdering strategiska innovationsprogram. Första utvärderingen av Processindustriell IT och automation, Produktion 2030, Gruv- och metallutvinning, Lättvikt och Metalliska material; 2016; , , , C. och Schofield, M. Utvärdering strategiska innovationsprogram. Första utvärderingen av MedTech4Health, InfraSweden2030, Drive , RE:Source och Smart Built Environment, 2018. 127Tjänsteanteckningar från dokumentstudier hos ; Formas, Beslut om koordineringsmedel för Smart Built Environment 2019–2021, dnr: 2018–02906. R I K S R E V I S I O N E N I N N O V A T I O N G E N O M S A M V E R K A N 5.1.7Sexårsutvärderingarna är utförliga men inte anpassade för prövning av programmen Vi konstaterar att de fem sexårsutvärderingar som genomförts har en högre ambitionsnivå för att bedöma programmens effekter än treårsutvärderingarna. De utvärderade programmen får överlag och med viss variation goda omdömen. noterar vi att utvärderingarna pekar på brister i vissa program. Fyra av programmen får till exempel kritik för arbetet med effektlogik. Utvärderingarna bygger på flera typer av underlag men en stor del av redovisningen utgörs av enkät- och intervjusvar från aktörer som deltar i projekt i programmen, inte minst avseende programmens effekter. Svarsfrekvensen är låg, särskilt för företag där den ligger på 31–. Utvärderarna konstaterar och diskuterar olika nyttor med programmen, bland annat att de leder till nya och bredare samverkansmönster, publicering av vetenskapliga artiklar och kunskapsspridning mellan deltagare. Utvärderarna visar också att många aktörer som deltar i projekt tycker att programmen bidrar till uppfyllelse av olika mål, både mål för programmets deltagare och för samhället.128 Vårt sammantagna intryck av utvärderingarna är att de ger stöd för att SIP medför nyttor för deltagande parter och samhället, men att frånvaron av tydliga förväntningar och villkor från myndigheternas sida ger svaga förutsättningar för att pröva huruvida programmen ska få fortsatt finansiering. Vi konstaterar att sexårsutvärderingarna i högre utsträckning än treårsutvärderingarna analyserar vad programmen tillför i förhållande till jämförbara satsningar i och internationellt. Analyserna är emellertid korta och har olika fokus. Vi ser ingen systematisk genomgång av jämförbara satsningar 128En högre ambitionsnivå visas till exempel i termer av att beskriva hur samverkansmönster har utvecklats i programmet och genomslag för vetenskapliga publikationer och skiften på TRL-skalan, det vill säga utveckling från grundforskning till demonstration och kommersialisering. Beslut om fortsatt finansiering för de program som genomgått sexårsutvärderingar har ännu inte fattats. I samtliga fall rekommenderar utvärderarna fortsatt eller utökad finansiering. Bristerna rör bland annat representation i styrelsen, otydliga mål, bemanning i programkontoret, hållbarhets- och jämställdhetsarbete, låg innovationsnivå, svagt gensvar i projektutlysningar, svag resultatuppföljning och svag kunskapsspridning. Mål som aktörer tycker att programmen bidrar till är till exempel. avseende effekter på sysselsättning, förädlingsvärde, internationell samverkan och bidrag till effektmål.Se , , , B., , S., Fridholm, T., Fängström, T., , M., , A. och , T. Sexårsutvärdering av det strategiska innovationsprogrammet Produktion 2030, 2019; , H., , , , , S., A., Fängström, T., Kuritzén, S., , M., , A., Uhrwing, M. och , T. Sexårsutvärdering av det strategiska innovationsprogrammet för gruv- och metallutvinnande industri – STRIM, 2019; , , , I., , , , S., Fängström, T., , J., , M., , och , T. Sexårsutvärdering av det strategiska innovationsprogrammet för processindustriell IT och automation – PiiA, 2019; ., , S., Fängström, T., , M., , A., Tutal, A., , J., Uhrwing, M. och , T. Sexårsutvärdering av det strategiska innovationsprogrammet för Metalliska material, 2019; ., , S., Fängström, T., , M., , J., Tutal, A. och , T. Sexårsutvärdering av det strategiska innovationsprogrammet för Lättvikt, 2019; , och , E., Metautvärdering av första omgången strategiska innovationsprogram , 2019. 44 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N eller storleken på övriga finansieringskällor för forskning och innovation inom programmens områden. Vårt intryck är därför att myndigheterna varken i utlysningsprocessen eller i samband med utvärderingar har underlag för att avväga programportföljen utifrån vad programmen tillför inom sina områden och deras övriga möjligheter att hitta finansiering. I sexårsutvärderingen för ett av programmen framkommer att beviljandegraden för projektansökningar är hög till följd av att området är välfinansierat i övrigt.129 I metautvärderingen för de fem första sexårsutvärderingarna konstaterar utvärderarna att alla utvärderade program har hög beviljandegrad i projektutlysningar och att det principiellt innebär en kvalitetsrisk.130 5.2 Återrapportering av SIP 5.2.1 Myndigheternas återrapportering om SIP är balanserad Vi ser överlag god överensstämmelse mellan myndigheternas skrivningar om programformernas syfte, programmens inriktningar och resultat av befintliga utvärderingar i myndigheternas årsredovisningar.131 Redovisningen av arbetet med SIP i årsredovisningar för , och framstår som balanserad. Myndigheterna beskriver kort och övergripande styrkor och svagheter med programmen som framkommit bedömer i alla årsredovisningar sedan starten av SIP att arbetet utvecklas positivt med intresse och delaktighet från viktiga aktörer.132 5.3.1Uppföljning och utvärdering av SIP är inriktade mot utveckling av programmen bedömer att uppföljningen och dialogen mellan myndigheterna och programmen är konstruktiv och att myndigheterna utvecklar sitt stöd . Fokus ligger på utveckling och samordning av programmen. Myndigheterna har etablerat en enligt vår bedömning utförlig utvärderingsprocess där varje program prövas var tredje år med hjälp av anlitade utvärderare. Flera program har fått goda omdömen av utvärderarna. Vi bedömer att utvärderingarna 129Arnold, E., , B., , S., Fridholm, T., Fängström, T., , M., , A. och , T. Sexårsutvärdering av det strategiska innovationsprogrammet Produktion 2030, 2019 130Åström, T. och , E., Metautvärdering av första omgången strategiska innovationsprogram , 2019. 131Vinnova, Årsredovisning 2014, 2015; , Årsredovisning 2015, 2016; , Årsredovisning 2016, 2017; , Årsredovisning 2018, 2019. 132Vinnova, Årsredovisning 2014, 2015; , Årsredovisning 2015, 2016; , Årsredovisning 2016, 2017; , Årsredovisning 2018, 2019. R I K S R E V I S I O N E N I N N O V A T I O N G E N O M S A M V E R K A N bidrar till att utveckla programmen, på så sätt att programmen tar fram handlingsplaner utifrån utvärderarnas rekommendationer. Utvärderarnas slutsatser återges i korthet i myndigheternas årsredovisningar men inte i regeringens budgetpropositioner till . 5.3.2Otydliga förväntningar på SIP försvårar prövning av program och programform En utgångspunkt i utvärderingarna är att program ska utvärderas enskilt efter sin egen effektlogik. Program ska, till skillnad från i urvalsprocessen, inte jämföras med varandra. visar genomförda utvärderingar att många program inte arbetar tillfredsställande med effektlogik. Utvärderarna beskriver många nyttor med programmen, såsom nya samverkansmönster, värdefulla projekt och bidrag till olika samhällsmål. Eftersom staten satsat på programmen är sådana nyttor enligt vår bedömning väntade. Men det är oklart vad myndigheterna tycker är en tillräcklig nivå, eftersom de inte har formulerat vad programmen måste kunna åstadkomma för att beviljas fortsatt finansiering. Myndigheternas överväganden utifrån upphandlade utvärderingar framgår inte av besluten att bevilja fortsatt finansiering. Avsaknaden av tydliga förväntningar och krav på programmen, gemensamma eller anpassade efter programspecifika förhållanden, resulterar i en avsaknad av skarp prövning av programmen från myndigheterna i samband med utvärderingar. Det innebär enligt i sin tur risker för programportföljens förutsättningar att bidra till effektmål och regeringens syften med SIP. 46 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N I detta kapitel redovisas iakttagelser om regeringens strategiska samverkansprogram. Iakttagelserna i kapitlet omfattar alla granskningens delfrågor. •Uppdragen till myndigheterna att förstärka SIP i linje med SVP anknyter väl till ordinarie uppdrag inom SIP. Dessa uppdrag och uppdrag att bistå är tydliga och ger rimliga möjligheter för genomförande. Men den organisatoriska strukturen för SVP är ovanlig och brister i uppföljning och utvärdering, samt försvårar för myndigheter att överblick över insatser av relevans för deras ansvarsområden. •Urvalet av insatser i SVP saknar systematik och ankommer på självorganiserat arbete i samverkansgrupperna.