prop · H9037 · 2021-09-23 00:00:00 — Några exempel på det är att publicerat en sammanfattning av forskningsresultaten från 27 forskningsprojekt som resulterat i någon publikation 2009–2018.142 sammanställer arbetet med Miljöforskningsanslaget och publicerar detta på sin webbplats. Här berättar myndigheten bland annat om årets publikationer och pågående forskningssatsningar.143 MSB anordnar resultatworkshoppar där slutanvändare 139Riksrevisionens enkät till FoU-myndigheter, . 141Försäkringskassan, Årsredovisning 2019, s. 155. 142Försäkringskassan, Forskning om socialförsäkring och . En sammanfattning av resultatet av forskningsprojekt finansierade av 2009–2018, 2020, s. 7. 143Naturvårdsverket, ”Året med Miljöforskningsanslaget 2019”, hämtad . 44R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N och forskare träffas för att bland annat diskutera hur forskningsresultaten ska användas.144 Det finns brister i arbetet med kommunikation och spridning av resultat enligt en metautvärdering som låtit göra av ett trettiotal av utvärderingar. Det tycks finnas en viss otydlighet om huruvida det är eller stödmottagarna som ansvarar för resultatspridning.145 De syntesrapporter som regelbundet publicerar av forskningsprogrammen i syfte att sprida resultatet från verksamheten inkluderades dock inte i metautvärderingen.146 Vid MSB, och har medarbetare i form av så kallade projektföljare147 löpande kontakt med forskningsprojekten. Syftet är att skapa förutsättningar för att resultaten ska komma till användning inom myndigheterna. Det finns även projektföljare vid Havs- och vattenmyndigheten, samt experter från andra myndigheter och organisationer, som följer projekt i syfte att bidra till kunskapsåterföring. Eftersom Brå inte har en egen operativ verksamhet är spridningen av resultat i första hand fokuserad på rättsväsendets myndigheter och andra intressenter. Brå arbetar med att sprida kunskap om resultaten från forskningsprojekten, men framför själva att de behöver bli ännu bättre på att följa upp och återkoppla hur resultaten från forskningsprojekten kommer till användning.148 I Statskontorets utvärdering framkommer att det är en utmaning för Brå att möta regeringens och myndigheternas olika behov. Statskontoret föreslår att Brås målgrupper regelbundet ska utvärdera myndighetens kunskapsunderlag för att i högre utsträckning möta målgruppernas behov.149 4.5 Utvärdering av FoU Systematisk uppföljning och utvärdering är viktiga verktyg för lärande och utveckling i syfte att förbättra och vid behov ompröva FoU-verksamheten. Uppföljning och utvärdering behövs också för att bedöma om syfte och mål med verksamheten nås. Uppföljning och utvärdering kan till exempel avse hur väl myndigheterna lyckas sprida forskningsresultat, i vilken mån resultaten kommer till nytta i samhället, graden av citering i vetenskapliga publikationer och bidrag till uppställda mål. De kan också avse effektiviteten i själva handläggningen. 144MSB, Avslutning av ett MSB-finansierat forskningsprojekt, . 145Ramböll, Metautvärdering – insatser inom forskning och innovation, 2020. 146Mejl från företrädare för , . 147Vid MSB benämns de projektuppföljare. 148Intervju med företrädare för Brå, . 149Statskontoret, Utvärdering av satsningarna på , 2020, s. 27, 30. R I K S R E V I S I O N E N S T A T L I G A M Y N D I G H E T E R S F O U - V E R K S A M H E T 4.5.1 Hälften av myndigheterna utvärderar FoU-verksamheten Hälften av FoU-myndigheterna anger att de låter utföra utvärderingar av FoU-verksamheten.150 Det är stor skillnad mellan olika myndigheter. av myndigheterna som utlyser forskningsmedel (motsvarande drygt hälften av de totala FoU-utgifterna vid samtliga FoU-myndigheter) genomför utvärderingar, medan av de övriga myndigheterna gör det. Att utvärderingar av FoU-verksamheten inte är ett prioriterat område för de flesta FoU-myndigheter bekräftas i andra studier.151 I enkät angav de FoU-myndigheter som låter göra utvärderingar att de görs både internt av medarbetare, av forskarna själva i form av egenutvärdering och av externa utvärderare. beskriver till exempel en process där projekt har krav på egenutvärdering medan de mellan 3 och 10 miljoner kräver extern utvärdering. Vid större projekt bedrivs följeforskning som upphandlas av projektägaren. Sammanlagt anger ett tjugotal av FoU-myndigheterna att de använder sig av extern utvärdering152. Bland FoU-myndigheterna förekommer utvärderingar både på projektnivå och mer övergripande. Exempel på underlag vid övergripande utvärderingar för hela FoU-verksamheten eller på programnivå är revision eller bibliometri (till exempel och ). Utvärderingar förekommer även på projektnivå efter avslutat projekt, med fokus exempelvis på effekter och implementering av resultat (till exempel ). anger att enskilda produkter som tas fram följs upp på olika sätt, men ser behov av utvärdering av FoU-verksamheten i stort i mer utvecklad form.153 De fem myndigheterna i vår fördjupade granskning genomför alla utvärderingar av FoU, men med olika ambitionsnivå. gör alltid utvärderingar eller uppföljningar av forskningsprogram utifrån forskningsprogrammens mål. Målen har myndigheten själv ställt upp, och är härledda utifrån det övergripande målet med FoU-satsningen. Myndigheten låter ibland också göra effektutvärderingar, vilka alltid utförs av konsulter. , inför att energiforskningspropositionen ska läggas fram, låter upphandla utvärdering av den uppföljning och utvärdering som gjort av ett antal 150I enkät till FoU-myndigheter definierade vi utvärdering som ”en noggrann efterhandsbedömning av utfall, effekter, slutprestationer eller förvaltning i offentlig verksamhet”. 151Vetenskapsrådet, Rapport arbetsgrupp 3: Tillgängliggörande, implementering, uppföljning och utvärdering av FoU. PM Nätverket för FoU-myndigheter, 2018. Enkäten skickades ut till 58 myndigheter och 40 svar inkom. 152Det kan vara flera myndigheter än dessa ca 20 som använder sig av extern utvärdering. Svaret på frågan var öppet och en del myndigheter har inte berört om utvärderingarna de genomför görs internt eller externt. 153Riksrevisionens enkät till FoU-myndigheter, . 46R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N forskningsprogram.154 har i uppdrag att redovisa FoU-verksamhetens väsentliga resultat.155 MSB följer upp samtliga forskningsprojekt som finansierats av myndigheten genom en egenvärdering från bidragstagaren. MSB har även låtit göra externa utvärderingar av de forskningsmiljöer som myndigheten finansierar.156 Det finns ingen utvärdering av FoU-verksamheten vid MSB som helhet. Inte heller FoU-verksamhet har utvärderats i dess helhet. följer löpande upp forskningsprojektens resultat och leveranser efter avslut. Verksamheten som finansieras med miljöforskningsanslaget, viltvårdsfonden och forskningsprogrammet har utvärderats av externa utvärderare. Vid Brå gör varje forskningsprojekt en självutvärdering efter avslutat projekt. Statskontoret gjorde en utvärdering av Brå, som bland annat omfattade forskningsverksamheten.158 4.5.2Myndigheternas utvärderingar kan påvisa nyttan med forskningen Som vi redogjort för i avsnitt 4.4 arbetar FoU-myndigheterna på olika sätt med att sprida forskningsresultat och att dessa ska komma till användning. påtalar myndigheterna i vår fördjupade granskning att det är svårt att konkret visa på nyttan med forskningsinsatserna. Det gäller till exempel i fråga om att påvisa tydliga effekter, eftersom de kan uppträda långt efter att insatsen är genomförd.159 Regeringen har också påtalat svårigheter med utvärdering, men konstaterar att det är viktigt.160 Ett trettiotal FoU-myndigheter anger att de använder resultaten från de utvärderingar som gjorts för det interna lärandet och för förbättring av verksamheten (bland annat Brå, , , Inspektionen för socialförsäkringen, och Statens museer för världskultur).161 Den senaste utvärderingen av MSB:s stöd till forskarmiljöer visar att resultaten kommit räddningssystemet som helhet till godo.162 154Ramböll, Metautvärdering – insatser inom forskning och innovation, 2020. 155Regeringsbeslut M2017/01147/Ee. 156Se till exempel MSB, Attityd, Utvärdering av forskningsmiljön CARER, 2019. 157Vindval är ett forskningsprogram om miljöeffekter av vindkraft som finansierar men som administrerar. 158Statskontoret, Utvärdering av satsningarna på , 2020. 159Intervju med företrädare för Brå, ; intervju med företrädare för , ; intervju med företrädare för Infrastrukturdepartementet, . 2016/17:79. 161Riksrevisionens enkät till FoU-myndigheter, . 162MSB, Attityd, Utvärdering av forskningsmiljön CARER, 2019. R I K S R E V I S I O N E N S T A T L I G A M Y N D I G H E T E R S F O U - V E R K S A M H E T I en utvärdering av verksamhetsnyttan av fem forskningsprogram vid framkommer att forskningsresultaten har bidragit till ett ökat kunskapsunderlag. I vissa fall har de använts som underlag för prioriteringar hos myndigheten och för arbete med lagstiftningen inom området. Kunskapsöverföringen till myndigheten har ibland fungerat mindre bra, vilket enligt utvärderingen beror på att och forskarna haft skilda agendor.163 Den senaste utvärderingen av projekt finansierade med Miljöforskningsanslaget visar att det är väldigt stor spridning mellan projekten avseende hur många vetenskapliga publikationer de resulterat i och i vilken utsträckning publikationerna har citerats.164 Internationella utvärderingar och bibliometriska studier visar på goda resultat för den forskning som finansieras av viltvårdsfonden.165 Utvärderingar av forskningsprogrammet konstaterar att resultaten har använts och nått målgrupperna, men att målen med programmet är tämligen vaga.166 Den metautvärdering som låtit göra av ett antal forskningsprogram vid visar att insatser är relevanta utifrån olika målgruppers behov och sett utifrån övergripande strategier och målsättningar. saknas en avgränsning av vilka avnämare som är mest relevanta, vilket gör det svårt att utvärdera nyttan av insatserna. I metautvärderingen bedöms den ambitionsnivå som finns kring nyttiggörande av insatserna vara förhållandevis låg. Den omfattande kunskapsproduktion som insatserna bidrar till är av begränsat värde om inte forskningen sprids och implementeras exempelvis i näringslivet.167 Enligt berörda departement ska , , och Brås forskningsverksamhet bidra till politiskt uppställda mål.168 För att säkerställa måluppfyllelse arbetar utifrån en så kallad effektlogik. Utgångspunkten är insatsernas önskade effekter i samhället. En kedja av utfall och resultat på olika nivå och tidshorisont kopplar samman dessa effekter med de prioriterade insatserna. Uppföljning sker därefter på programnivå där koppling sker till de övergripande målen med energiforskningen. rekommenderar användning av sådan effekt/verksamhetslogik för att belysa samband mellan mål och effekt.169 163Kontigo, Utvärdering av verksamhetsnytta i fem forskningsprogram, 2018. 164Jeppsson, Bibliometrisk utvärdering av fem projekt finansierade av 2010–2014, 2018. 165Naturvårdsverket, International evaluation of Swedish wildlife research 2003–2014, 2019; , Bibliometrisk rapport – viltforskning 2003–2014, 2018. 166Technopolis, Utvärdering av kunskapsprogrammet Vindval, 2013. 167Ramböll, Metautvärdering – insatser inom forskning och innovation, 2020. 168Riksrevisionens enkät till departementen, . 169Ekonomistyrningsverket, Vägledning. Verksamhetslogik, 2016. 48R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Ingen av de andra myndigheterna i vår fördjupade granskning har en liknande genomarbetad effektlogik som genomsyrar hela FoU-verksamheten. En utvärdering som låtit göra av delar av FoU-verksamhet visar att insatser har varit, och är, betydelsefulla för utvecklingen inom forskning och innovation på energiområdet. Det går att koppla de insatser som görs till de energi- och klimatpolitiska målen. Det är däremot svårt att värdera i vilken utsträckning de bidrar till målen. Det saknas ofta en operationalisering av mål för insatsen och hur de länkar till de energi- och klimatpolitiska målen. Avsaknaden av detta gör det svårt att göra bedömningar av om insatserna kan anses bidra till målen på ett önskvärt sätt.170 4.6 Samordning med andra myndigheter Det är många myndigheter som bedriver FoU-verksamhet inom sina respektive områden. Enligt ska FoU-myndigheterna samverka med varandra i syfte att hushålla med statens resurser. 4.6.1Drygt hälften av myndigheterna samordnar sin FoU-verksamhet med andra myndigheter av FoU-myndigheterna anger att de samordnar sin FoU-verksamhet med andra myndigheter. Syftet med samordningen varierar och kan handla om att: •undvika dubbelarbete och säkerställa relevans och/eller vetenskaplig kvalitet •dela erfarenheter, samordna insatser och dela resurser •forskningssamarbeten och gemensamma ansökningar Rymdstyrelsen och har särskilda uppdrag att samordna sitt arbete. Bland annat har de i uppdrag att lämna ett gemensamt underlag till forskningspropositionen.172 De har också i uppdrag att ingå i en samordningsgrupp som ska samverka och gemensamt utarbeta analyser, strategier och forskningsprogram samt i övrigt ta initiativ för att utveckla och förnya formerna för forskningsverksamheten.173 170Ramböll, Metautvärdering – insatser inom forskning och innovation, 2020. 171Riksrevisionens enkät till FoU-myndigheter, . 172Regeringsbeslut U2019/01906/F. 173Se 14 § förordningen (2014:520) med instruktion för och 5 b § förordningen (2007:1115) med instruktion för Rymdstyrelsen. R I K S R E V I S I O N E N S T A T L I G A M Y N D I G H E T E R S F O U - V E R K S A M H E T 4.6.2Samverkan kring utlysningar sker i första hand med de större forskningsfinansiärerna av de FoU-myndigheter som utlyser FoU-medel samordnar sina utlysningar med andra myndigheter inom närliggande ämnesområden. De myndigheter som samordnar utlysningar anger bland annat att det sker genom samfinansiering (till exempel ) eller gemensamma utlysningar (till exempel Rymdstyrelsen tillsammans med och Formas kring klimatforskning).174 En av anledningarna som myndigheterna anger till att de inte samverkar är att deras utlysningar rör så specifika områden () eller att utlysningarna inte är öppna för alla forskare Tre av fyra myndigheter i vår fördjupade granskning samverkar med de större forskningsfinansiärerna kring utlysningar. samverkar framför allt med , och , men även med Forte och Rymdstyrelsen. har inget formellt samarbete rörande utlysningar, men myndigheten har överblick över de forskningsfinansiärer som ligger nära deras område. justerar sina utlysningar med anledning av det, till exempel gällande ansökningstiden. MSB har emellanåt gemensamma forskningsutlysningar med Formas. har haft en gemensam utlysning med Formas om våtmarker, i vilken även SGU deltagit. utlysning om invasiva arter samarbetar med Formas och . En statlig offentlig utredning har föreslagit att organisationen av forskningsfinansieringen i bör ses över, vilket enligt utredningens förslag även skulle omfatta de myndigheter som ingår i denna granskning. Utredningen pekar bland annat på överlappning i forskningsfinansieringen.176 Regeringen anger i sin forskningsproposition att en sådan översyn är motiverad.177 4.6.3 Helhetsbild av forskningsfinansiering saknas går det inte att få en samlad bild över bidragsfinansierade forskningsprojekt i . fick 2012 i uppdrag att ansvara för utveckling och förvaltning av en databas över bidragsfinansierad forskning Syftet är att såväl enskilda forskare och universitetsledningar som näringsliv, massmedia och utbildningsväsendet ska kunna identifiera framgångsrika ämnesområden, forskningsgrupper och enskilda forskare, och få information om pågående forskningsprojekt.178 174Svar på kompletterande frågor till myndigheter som utlyser FoU-medel, . 175Behörigheten att söka medel är begränsad till medlemmar i forskararbetsgrupper. 176SOU 2019:6, s. 280. 2020/21:60, s. 59. 178Regeringsbeslut U2012/737/F. 50R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Databasen förvaltas av och innehåller bidragskontrakt från 13 statliga och privata forskningsfinansiärer. Enligt är det mer effektivt för forskningsfinansiärerna att leverera alla data till en nationell databas jämfört med att leverera data till alla mottagande organisationer.179 Av de FoU-myndigheter som ingår i vår granskning finns endast , IFAU och Rymdstyrelsen med i SweCRIS. var tidigare ansluten och planerar att återansluta . Flera av de myndigheter som utlyser FoU-medel är intresserade av att leverera uppgifter till SweCRIS, men anger bland annat resursbrist hos den egna myndigheten () och behov att uppdatera eller kvalitetssäkra egna data (och ) som skäl till att man inte anslutit sig. Några av myndigheterna menar att deras forskningsprojekt av olika anledningar inte passar i databasen (och ) eller ser inte behovet av att delta (Statens centrum för arkitektur och design, ArkDes). Ett fåtal myndigheter känner inte till SweCRIS (till exempel MSB, och ).180 179SweCRIS, ”Om SweCRIS i korthet”, hämtad . 180Svar på kompletterande frågor till myndigheter som utlyser FoU-medel, ; den fördjupade granskningen av fem myndigheter. R I K S R E V I S I O N E N S T A T L I G A M Y N D I G H E T E R S F O U - V E R K S A M H E T 5Myndigheternas administrativa rutiner för hantering av FoU-stöd I detta kapitel besvarar vi frågan om huruvida myndigheterna har betryggande administrativa rutiner för hantering av FoU-stöd. Enligt har myndigheterna betryggande administrativa rutiner för hantering av FoU-stöd om de bland annat har: •kontrollåtgärder utifrån identifierade risker som omfattar beredning inför beslut, tecknande av kontrakt/upprättande av projektplaner •uppföljning av beviljade FoU-medel. •Endast 21 FoU-myndigheter () har dokumenterade riskanalyser som omfattar FoU-verksamheten. •Bland de FoU-myndigheter som utlyser FoU-medel är det få myndigheter som kontrollerar underlag i den ekonomiska slutredovisningen eller utför extern revision av forskningsprojekt. •Få FoU-myndigheter som utlyser FoU-medel kontrollerar att de som beviljas medel inte får finansiering för samma projekt från annat håll. •De 5 myndigheterna i vår fördjupade granskning har en process för FoU som inkluderar de tre viktiga ekonomiadministrativa delmomenten beredning, tecknande och upprättande av avtal/kontrakt respektive projektplaner samt uppföljning. Vissa gemensamma brister har dock framkommit. •I vår fördjupade granskning av de 4 myndigheter som utlyser FoU-medel framkommer att fokus ligger på vetenskaplig bedömning under beredningen av projekt, medan bedömning av rimligheten i budget har brister. Vidare framgår att uppföljning av ekonomiskt utfall endast sker mot budget. Redovisning från projekt kontrolleras sällan mot mottagarens huvudbok181 eller mot underliggande verifikat. Endast en myndighet använder extern revision. Sammantaget innebär det en risk för att de medel som betalas ut inte används för avsett ändamål. 181En huvudbok innehåller de ekonomiska händelserna bokförda så att de kan presenteras per redovisningsperiod i systematisk ordning. 52R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N 5.2 Riskanalyser kopplade till FoU-verksamheten En god intern styrning och kontroll innefattar bland annat att upprätta riskanalyser för verksamheten. Riskanalyserna kan avse hela FoU-verksamheten eller specifika FoU-projekt. I en riskanalys identifieras, värderas och hanteras risker som finns kopplade till verksamheten. Risk för oegentligheter ska alltid beaktas. Syftet med att identifiera och hantera risker är att öka sannolikheten för att nå målen med verksamheten. Riskanalysen är avgörande för effektiva och ändamålsenliga kontrollåtgärder. Kontrollåtgärderna ska utformas för att hantera de risker som identifierats i riskanalysen. 5.2.1 Få myndigheter har riskanalyser för FoU-verksamheten av FoU-myndigheterna har en dokumenterad riskanalys som beskriver de främsta riskerna i FoU-verksamheten vid myndigheten. Det är vanligare med sådana riskanalyser bland myndigheter som har en hög andel FoU i sin verksamhet.182 Bland de FoU-myndigheter som anger att de inte har en riskanalys för FoU-verksamheten är en förklaring till det att den ingår i hela verksamhetens riskanalys. Svaren tyder på att myndigheterna antingen uppfattat att vi har frågat efter en separat riskanalys för FoU-verksamheten eller att myndigheten inom sin riskanalys inte identifierat specifika risker kopplade till FoU. En annan förklaring som myndigheterna uppger är att FoU-verksamheten är en så liten del av verksamheten att det inte anses nödvändigt. Flera myndigheter hänvisar till att de har en jävspolicy som tar upp risker med jäv, men inte andra risker, till exempel , och . Det är vanligare att riskanalyserna är kopplade till enskilda FoU-projekt än till FoU-verksamheten som helhet183. De FoU-myndigheter som anger att de har dokumenterade riskanalyser för hela FoU-verksamheten ger exempel på sådana risker: •risk för jäv (bland andra , , Myndigheten för vård- och omsorgsanalys, MSB och social utvärdering, SBU) •oegentligheter och korruption (bland andra Kriminalvården) •brister i informationssäkerhet (bland andra Kriminalvården och ) 182Hos de FoU-myndigheter vars FoU-verksamhet uppgår till eller mer av den totala verksamheten anger (10 myndigheter) att de har en riskanalys kopplad till FoU-verksamheten. Hos myndigheter som har FoU-verksamhet som understiger av den totala verksamheten är det bara (11 myndigheter) som har en sådan riskanalys. enkät till FoU-myndigheter, . (35 myndigheter) anger att de har projektspecifika riskanalyser. enkät till FoU-myndigheter, . R I K S R E V I S I O N E N S T A T L I G A M Y N D I G H E T E R S F O U - V E R K S A M H E T •att bidraget inte används enligt ändamål och villkor (MSB) •behandling av personuppgifter (bland andra Inspektionen för socialförsäkringen och ) •ineffektiv användning av FoU-medel () •risk för kompetensbrist (bland andra Kriminalvården och ) Endast 5 av de 85 FoU-myndigheterna i vår enkät anger att det utretts misstankar om oegentligheter i den egna eller finansierade FoU-verksamheten. I dessa fall har det rört olika typer av korruption (Sida), felaktiga/förvanskade data (MSB), oredlighet vid forskning (), plagiering () och felaktigt genomförda upphandlingar ().184 5.2.2Knapphändiga riskanalyser vid myndigheter i vår fördjupade granskning Det är stor variation på de riskanalyser som de fem myndigheterna i vår fördjupade granskning upprättar för FoU-verksamheten. Myndigheterna återkommer regelbundet till att de har en stor tilltro och tillit till mottagarna av medel. har en riskanalys för myndigheten respektive forskningsverksamheten vilken även inkluderar risker för oegentligheter på ett övergripande plan. MSB har en relativt omfattande riskanalys för forskningsverksamheten som helhet. Riskbedömning av projekt och mottagare förekommer i begränsad utsträckning vid . Detta gäller även när mottagare är privatägt aktiebolag. behandlar risk för oegentligheter i mycket begränsad utsträckning. Det finns ett uttryckligt krav i 2 § FISK att myndighetens process för intern styrning och kontroll ska förebygga bland annat korruption och oegentligheter. När det gäller risk för oegentligheter är det främst jäv som beaktar. Jäv är dock inte i sig en oegentlighet utan en omständighet som möjligtvis ökar risk för oegentligheter. Det är oklart om myndigheten överhuvudtaget gör riskbedömningar i beredningen av forskningsmedel eftersom det saknas dokumentation av sådana bedömningar. Brås projektplaner innehåller en riskbedömning för det enskilda projektet. Fokus är dock huvudsakligen på det vetenskapliga genomförandet medan ekonomiadministrativa risker sällan lyfts fram, eftersom de enligt myndigheten bedöms vara marginella.185 184Riksrevisionens enkät till FoU-myndigheter, .