sou · GRB380d2 · 2004-01-01 00:00:00 — Som kommentar till figuren bör dock sägas att, liksom fallet var beträffande motiven för att utföra projekten, en uppdelning av sva- ren från projektledare från industrin respektive från universitet, högskolor och forskningsinstitut visar att den förstnämnda typen av projektledare ser mer marknadsnära resultat som viktigare än den . Resultatutvärdering av EFUD program Viktiga slutresultat av projekt (n=544) Publicering i vetenskapliga tidskrifter och 1 böcker Nya metoder, instrument och tester2 möjligheter till tekniska eller ekonomiska Andra publikationer (t.ex. fackpress) 8 Publicering i tekniska tidskrifter9 Procent av projektledarna som uppgivit olika projektresultat som Mycket Viktiga I enkäten undersöktes också i vilken grad den finansierande myn- digheten betonat vikten av kommersiell eller industriell inriktning i de föreslagna projekten under dialogen med presumtiva ansökare, eller som en del av sin information om det långsiktiga programmet. under hälften av projektledarna () uppgav att kom- mersiell nytta av projekten varit mycket viktigt vid urvalsprocessen. I av fallen sade projektledaren att frågan hade diskute- rats, men inte varit utslagsgivande i beviljandeprocessen. under en fjärdedel () av projektledarna uppgav att detta Resultatutvärdering av EFUD program antingen inte hade diskuterats eller utgjort endast en liten del av de samtal som förts med den finansierande myndigheten. till de olika myndigheterna uppgav av projekt- ledarna för projekt att vikten av kommersiell nytta av projektet hade betonats i samtalen med myndigheten. Motsvarande siffror för , och var , respektive . I enkäten tillfrågades projektledarna också om den finansierande myndigheten hade vidtagit mått och steg för att påverka den kom- mersiella potentialen för projektet. Endast en liten grupp (15 pro- cent) indikerade att detta hade skett. Formas uppgavs vara den myndighet som oftast gjort detta (av fallen) följt av (av fallen). och Veten- skapsrådet sades ha påverkat den kommersiella potentialen i av de finansierade projekten. 7.1.6Projektens bidrag till det långsiktiga programmets mål Projektledarna tillfrågades om vilka bidrag deras projekt förväntas ge till förverkligandet av målen i det långsiktiga energipolitiska programmet. Resultaten framgår av figur 7.9 nedan. Resultatutvärdering av EFUD program Projektens förväntade bidrag till måluppfyllelse i det långsiktiga energipolitiska programmet (n=514) Ökad kunskap och kompetens inom energiteknik 1 Ökad kunskap och kompetens om energiteknik 2 Lägre användning av fossila bränslen5 Ökad användning av biobränslen6 Ökad användning av andra förnybara energikällor 7 (t.ex. vind, sol, vatten etc) Effektivare energianvändning i bostäder8 9 Effektivare energianvändning i industrin 10 Effektivare energianvändning inom transporter Vidare ombads projektledarna att uppskatta inom vilken tid dessa bidrag torde realiseras. Ökad kunskap och kompetens sades vara den form av bidrag som tidigast skulle realiseras, dock först om inom universiteten och i industrin. Förbättrad effektivitet i produktion och användning av energi samt förändrad energitillförsel (t.ex. mindre av fossila bränslen och mer av bio- bränslen) förväntas inte bli verklighet ännu i genom- snitt. Även om projektledarna i allmänhet ser positivt på projektens Resultatutvärdering av EFUD program bidrag till att uppnå målen i det långsiktiga programmet, bedömer de således att bidragen inte blir verklighet förrän efter det att de aktuella projekten avslutats. 7.1.7Programmets organisation och administration Projektledarna ombads ge sin syn på olika rutiner i programmets administration. Som framgår av figur 7.10 nedan var projektledarna i huvudsak positiva till administrationen. Projektledarnas syn på programmets administrativa rutiner Bedömning av rutiner för projekturval (n=441) Bedömning av rutiner för uppföljning och avrapportering av projekt (n =460) Resultatutvärdering av EFUD program Bedömning av rutiner för projektutbetalningar (n=460) Bedömning av mekanismer för kunskapsöverföring mellan projekt (n=447) Bedömning av spridningen av resultat utanför programmet (n=447) Resultatutvärdering av EFUD program Bedömning av verktyg för att främja upptagningen av resultat (n=418) Vidare tillfrågades projektledarna om de använde sig av resultat från andra projekt inom programmet. Svaren fördelar sig relativt jämnt mellan de som använde andra projektresultat (), de som inte gjorde det () och de som svarat vet ej (). På motsvarande sätt tillfrågades projektledarna även om de trodde att andra projekt i programmet skulle komma att använda resultat från deras eget projekt. De flesta () var osäkra på detta. Endast en mycket liten minoritet av de tillfrågade () uppgav att andra projekt inte skulle kunna dra nytta av deras arbete, medan resterande () var av uppfattningen att andra projekt skulle kunna använda deras resultat. 7.1.8De tillfrågades syn på konkurrenskraft inom FoU och industri I enkäten ombads projektledarna att ge sin syn på hur väl forskningskompetens står sig i ett internationellt perspektiv inom de områden som täcks av programmet. Endast hälften av de tillfrå- gade kände sig kvalificerade att uttala sig om position inom ett specifikt forskningsområde. Resultaten från inkomna svar återfinns i figur 7.11. Resultatutvärdering av EFUD program Projektledarnas betyg på svensk forskningskompetens (n=322) Uthållig produktion av biobränslen inkl. 2 askåterföring Uppvärmning, kylning och klimatskal5 14 Komponenter och hjälpsystem Resultatutvärdering av EFUD program Som jämförelse ombads projektledarna också att betygsätta den svenska industrins förmåga att utveckla och kommersialisera nya teknologier inom de berörda områdena. Svaren uppvisade en lik- nande profil som den som avsåg svensk forskningskompetens, men betygen är överlag något lägre. 7.1.9Resultat från avslutade projekt Projektledare för avslutade projekt ombads beskriva karaktär och antal på de resultat som projekten hade producerat (se figur 7.12 nedan). Genomsnittligt antal resultat per projekt är i runda tal 15, men denna siffra är kraftigt påverkad av ett litet antal svarande som angivit att deras projekt genererat fler än 100 vetenskapliga doku- ment (artiklar). Antal producerade resultat per avslutat projekt (n=240) Publiceringar i vetenskapliga tidskrifter och Andra publikationer (t.ex. branschpress) Publiceringar i tekniska tidskrifter Nya metoder, instrument och tester Nya pilotanläggningar och prototyper Som jämförelse ställdes resultaten ovan mot dem som presentera- des i figur 7.8, om projektledarnas uppfattning om vikten av olika typer av projektresultat. I de flesta fall är andelen projektledare som ger en viss kategori ett högt betyg densamma som andelen projekt som givit minst ett sådant resultat. Variationer finns dock, enligt följande: Resultatutvärdering av EFUD program En större andel projekt producerar publicering i tekniska tid- skrifter eller branschtidskrifter () än som anser att detta är mycket viktiga resultat av projekt (). En mindre andel projekt producerar nya processer () än den andel som anser att detta är en mycket viktig resultat- kategori (). 7.1.10Ekonomiska effekter av avslutade projekt Enkäten sökte fånga in i vilken mån projektledarna i avslutade projekt förväntade sig att deras projekt skulle leda till konkreta ekonomiska vinster. Svaren visade att nästan två tredjedelar () av projektledarna trodde att deras avslutade projekt skulle generera positiva ekonomiska resultat. under en fjärde- del () är osäkra på resultatet, medan av pro- jektledarna inte förväntar sig att deras projekt skall ge ekonomisk nytta. Ytterligare analys visar att av de industriledda pro- jekten förväntas leda till positiva ekonomiska resultat, att jämföra för projekt som leds av forskare på universitet eller institut. Svaren visar också att en större andel av projekten finansie- rade av och Formas () förväntas leda till konkreta ekonomiska vinster än vad fallet är för projekten finansierade av och (50 respek- tive ). De projektledare som förväntade sig positiva ekonomiska resul- tat av sina avslutade projekt ombads även bedöma inom vilken tids- rymd dessa vinster skulle realiseras (se figur 7.13 nedan). Resultatutvärdering av EFUD program Tid till realisering av ekonomiska resultat i avslutade projekt där sådana resultat förväntas Har redan lett till Om mer än 10 år Som kommentar till figuren kan sägas att industriledda projekt för- väntas generera vinster snabbare än projekt ledda av forskare från universitet eller institut. En analys per finansierande myndighet visar att Formasprojekt förväntas ha den kortaste tiden fram till förväntade ekonomiska vinster (genomsnittligt kortare än ). Vinster från projekt finansierade av förväntas uppstå , medan projekt kan ta upp till att ge positiva ekonomiska resultat. De projekt som finansieras av förväntas ta längst tid att uppvisa ekonomiska vinster – i genomsnitt . Projektledarna i avslutade projekt tillfrågades även om de för- väntade att deras projekt skulle resultera i någon produkt eller tjänst på marknaden. Svaren visar att nästan hälften av alla projekt () förväntas leda till en ny produkt eller tjänst, något mindre än en tredjedel förväntas inte ge dessa resultat och för res- terande projekt är situationen oviss. En analys per finansierande myndighet visar att av avslutade projekt finansierade av Formas förväntas leda till en produkt eller tjänst. Motsvarande för övriga myndigheter är , och . Resultatutvärdering av EFUD program Projektledarna i avslutade projekt tillfrågades även om tids- rymden för marknadsintroduktion av produkten eller tjänsten (se figur 7.14 nedan). Tid till marknadsintroduktion i avslutade projekt Om mer än 10 år I enkäten ställdes även frågan om det var ett befintligt företag som skulle marknadsföra produkten/tjänsten eller om ett nytt företag torde komma att etableras. Det stora flertalet () uppgav att ett befintligt företag skulle introducera produkten. Något mer än hälften av projektledarna med avslutade projekt () indikerade att ytterligare FoU-stöd skulle krävas in- nan de ekonomiska vinsterna eller produkt-/processutvecklingen kunde realiseras. uppgav att stöd till kommer- sialisering skulle behövas innan de förväntade vinsterna kunde rea- liseras. En tredjedel av projektledarna () ansåg sig inte behöva ytterligare stöd för att uppnå förväntade vinster. Resultatutvärdering av EFUD program 7.2Metautvärdering och granskning av internationella experter Technopolis har även studerat 31 tidigare utvärderingar av pro- gram/projekt inom ramen långsiktiga energipolitiska program, vilka alla utförts på uppdrag av eller NUTEK.6 Av de 31 utvärderingarna är 20 av typen peer-review, medan övriga gjorts av konsulter. Allmänt sett kan sägas att de utvärde- ringar som gjordes av peers avsåg att ge en bild av den vetenskap- liga kvaliteten (och även en del annat), medan de utvärderingar som gjordes av konsulter fokuserade på relevans. Om utvärderingarna bör även sägas att 18 stycken involverade utländska forskare, och att fyra stycken var delar av en större aktivitet att utvärdera kom- petenscentra och därför hade följt ett annat format än de övriga. Den samlade bilden i de tidigare gjorda utvärderingar som Tech- nopolis studerat är att den vetenskapliga kvaliteten bedömts som Bra och relevansen som Rimlig. I de 18 utvärderingar som omfattar utländska peers har enligt Technopolis bl.a. följande kommenta- rer förekommit : Fragmentering genom små projekt. Fragmentering bland involverade universitet och högskolor, med program som inte förmår samla och integrera forskar- grupper. Fokus på forskarutbildning på bekostnad av skapandet av större projekt och forskarlag där seniora forskare deltar. En tendens från forskare vid universitet och högskolor att bestämma sin egen agenda, ibland på bekostnad av relevans. Många internationella kontakter, men lite samarbete med utländska forskare. Enligt Technopolis har liknande kritik förekommit även i andra utvärderingar av svensk forskning. Ett märkbart undantag finns dock i kritiken från de utländska utvärderarna, nämligen avseende kompetenscentra som i allmänhet får beröm. Bilden som framkom i metautvärderingen av tidigare utvärde- ringar kan jämföras med vad som framkom när Technopolis lät en panel bestående av fem internationella exper- 6 I sin rapport anger Technopolis att man bett de fyra myndigheterna att tillhandahålla samt- liga utvärderingar som gjorts avseende program/projekt inom ramen långsiktiga energipolitiska program, men att endast lämnat sådant underlag. Resultatutvärdering av EFUD program ter inom energiforskning och energipolitik resa till för att studera det långsiktiga energipolitiska programmet. Panelen hade försetts med bakgrundsmaterial i förväg och tillbringade med att bli informerade om och diskutera programmets samman- sättning med de ansvariga myndigheterna.7 Den internationella panelen lyfte bl.a. fram följande punkter: Det långsiktiga energipolitiska programmet är uppdelat (frag- menterat) i för många och för små program och projekt. Stort svenskt deltagande i internationella nätverk, men begrän- sat samarbete på projektnivå. Svårigheter att identifiera resultat av aktiviteter utöver pro- duktionen av doktorander. Behov av fokusering av aktiviteter på områden där har unika problem eller särskilda fördelar, eftersom det är inom sådana områden som den globalt sett begränsade svenska ener- giforskningsbudgeten borde ge särskilt värdefulla resultat. Behov av att skapa större kluster av FoU-aktiviteter, gärna med kompetenscentra som förebild. Slöseri med resurser att forska på områden inom vilka det inte finns någon industriell bas som kan ta vid för kommersialise- ring/exploatering av resultaten. Särskilt lyckade resultat, t.ex. minskningen av energiförbruk- ning i byggnader, har skett i nära samarbete med näringslivet. Väsentligt att bedriva systemstudier, framtidsinriktade visions- studier m.m. som stöd för hela forskningsprogrammet. 7.3Technopolis analys av programmets administration Inom ramen för sitt arbete har Technopolis intervjuat ett antal tjänstemän med ansvar för upplägg och hantering av program på de ansvariga myndigheterna. Mot bakgrund av bl.a. dessa intervjuer redovisar Technopolis i sin rapport följande iakttagelser om pro- grammets administration: Alla fyra myndigheterna har kvalitetssäkringsprocesser, om än varierande i omfattning beroende på myndigheternas respektive 7 Panelen bestod av , professor and Energy Programme, , , direktör , , , chef för plc, UK, , Oak , och , forskningsdirektör, , . Resultatutvärdering av EFUD program På detaljnivå verkar processerna fungera bra, och Tech- nopolis fann inte skäl att ifrågasätta effektiviteten i dem. På det stora hela arbetar myndigheterna efter god praxis och med ett minimum av onödig byråkrati. Enligt Technopolis är ett genomgående drag i utvärderingen att det saknas tydliga mål och förmedling av vad som skall uppnås med programmet och , vilket begränsar möjligheten att visa upp konkreta resultat och att lära sig av vad som har hänt. Personalen på myndigheterna är hängiven och professionell och har god kompetens att handlägga och styra programmen på ett effektivt sätt. lägger mycket möda på att förankra pro- grammen hos samtliga intressenter och att ge dem möjlighet att vara med och forma och delta i programmen. Trots detta skulle det enligt Technopolis eventuellt gå lättare att nå resultat om myndigheten på ett mer oberoende sätt tog ledningen i pla- neringsprocessen och vid upplägget av forskningsprogrammen. klarar av att arbeta utan betungande regel- verk som tynger ner det dagliga arbetet, och har till- räckligt god kontroll över såväl projekt som de som arbetar inom projekten för att säkerställa tillfredsställande resultat. Trots att det finns många exempel på bra arbetsrutiner är det enligt Technopolis oklart om det finns mekanismer som ser till att dessa rutiner sprids inom , och mellan och de övriga tre myndigheterna. 7.4Technopolis slutsatser och rekommendationer Technopolis har identifierat ett antal problem i samband med långsiktiga energipolitiska program. I rapporten sägs att de långsiktiga energipolitiska programmen till stor del varit skapelser av och offer för symbolpolitik. Enligt Techno- polis beror också några av de problem man iakttagit på att program har skapats på hög politisk nivå och aldrig egentligen har kopplats till den verklighet i vilken det skall genomföras. Enligt Technopolis saknas en tydlig koppling mellan de över- gripande mål som gäller för energipolitiken/energiforskningspro- Resultatutvärdering av EFUD program grammet och verksamheten i enskilda forskningsprogram/-projekt. Enligt Technopolis har programmet dock fått ett eget momentum genom långvariga relationer med forskarmiljöer som bevarats genom energipolitikens svängningar. På lägre nivå (forskningspro- gram/-projekt) sker kontinuerligt utvärderingar och anpassningar, men programmen/projekten fortsätter ändå att behandla frågor som varit i fokus . Technopolis pekar på att det har skett stora förändringar i den omvärld energiforskningspro- grammet verkar i. Några exempel är att vi har haft oväntat låga energipriser, bl.a. till följd av att OPEC:s makt har minskat och att det funnits en överkapacitet i elproduktionen. Detta har undergrävt de ekonomiska förutsättningarna för många av de nya lösningar som staten sökt etablera med hjälp av energiforskningsprogram- met. Vidare har avregleringarna medfört att många företag inom området dragit ned sina FoU-investeringar. Med avregleringar, EU-medlemskap och nya konkurrensregler har också de utvecklingsblock som tidigare fanns i inom t.ex. vatten- och kärnkraftsområdet försvunnit. Technopolis menar att dessa omvärldsförändringar dock inte har avspeglats i motsvarande för- ändringar av energiforskningsprogrammet. Vidare säger att programmets fokus på forskning, utveckling och demonstration är bra, men inte tillräckligt för att kunna åstadkomma den typ av förändringar som den politiska nivån vill se. Insatserna måste även kopplas ihop till större innova- tionskluster eller utvecklingsblock, både direkt och genom föränd- ringar i ramvillkoren avseende sådant som regler, skatter och andra incitamentsskapande åtgärder. Enligt Technopolis behövs en star- kare sammankoppling mellan EFUD och andra politikområden, i synnerhet till allmän näringspolitik. En framgångsrik integration av EFUD med andra insatser kan dock enligt Technopolis inte ske genom traditionella forsknings- finansierande kanaler, som . Istället behövs enligt Technopolis en samlad arena där relevant sektorskunskap och ana- lytisk förmåga samlas för att skapa maximal förståelse för innova- tionssystemet inom energiområdet. Technopolis anser också att satsningarna på grundläggande forskning inom energiområdet måste ske så att vissa utvalda energiproblem beforskas, medan andra inte satsas på. Således anser Technopolis att finansieringen av energirelaterad grundforskning inte som bör ske via Veten- Resultatutvärdering av EFUD program skapsrådet, utan istället ingå i en samlad EFUD-strategi, som bör administreras av ett organ (). satsningar på EFUD utgör av världens samlade satsningar på området. Enligt Technopolis talar detta för att de svenska satsningarna bör fokuseras bättre, och att man bör vinnlägga sig om att ha tillräcklig hemtagningskompetens för att kunna ta till sig värdefulla idéer som genereras i andra länder. Jämfört med många andra länder är EFUD-satsningar relativt specialiserade på förnybar energi och därför avsedda tekni- ker. I rapporten pekar Technopolis dock på att det ofta har varit svårt att förmå svenska företag att delta, t.ex. som medfinansiärer till staten, i projekt som handlat om nya och oprövade tekniker. Till en inte ringa del beror företagens ovilja enligt Technopolis på att det på många av de nya områdena saknas starka industriella kluster eller utvecklingsblock. På sådana områden menar att statliga styrmedel som tar sikte på att skapa efterfrågan på de nya teknikerna, minska riskerna för investerare, m.m., är minst lika viktiga som ytterligare EFUD-satsningar. Inom ramen för energiforskningsprogrammet sker mycket värdefullt och användbart arbete enligt Technopolis, och byggs även upp relevanta kompetenser och förmågor. Enligt Technopolis är dock EFUD-satsningarna mer inriktade på forskning än vad som var tänkt. Technopolis menar även att projektportföljen är väldigt bred och att programmet och dess aktiviteter bör koncentreras. Enligt Technopolis har forskarna som får stöd från energiforsk- ningsprogrammet i allmänhet varit mottagare av sådant stöd , och i rapporten sägs också att deras projekt tenderar att pågå (i olika skepnader) under en följd av år och med kontinuerlig följdfinansiering. Technopolis enkät visar att idéerna till projekten oftast genereras inom den egna organisationen. Enligt Technopolis spelar energiforskningsprogrammet en viktig roll för att skapa nätverk inom och mellan forskargrupper och näringsliv. Däremot saknar programmet enligt Technopolis en egen sammanhållen identitet. De fyra myndigheternas administration av det långsiktiga pro- grammet sker enligt Technopolis överlag på ett kompetent sätt. Vidare menar att med tiden har utvecklat en imponerande resultatuppföljning. I rapporten efter- lyses dock en tydligare och mer systematisk koppling mellan mål och resultat på lägre nivå (enskilda forskningsprogram/-projekt) och till de övergripande mål som gäller för energiforsknings- Resultatutvärdering av EFUD program Technopolis ser positivt på am- bition att med hjälp av olika verktyg (framsynsstudier, road map- ping, m.m.) i ökande grad söka brett inhämta olika intressent- gruppers syn på hur de framtida strategierna skall utformas. Tech- nopolis efterlyser dock en mer explicit strategi för hur, mot bakgrund av de övergripande målen, prioriteringar skall ske på lägre nivå (mellan olika forskningsprogram/-projekt). Technopolis menar också att måste bli bättre på att prio- ritera mellan områden där det kan räcka med att hålla en minimal nationell kapacitet (t.ex. tillräcklig kompetens för att kunna ta hem intressanta idéer) och sådana områden där utifrån ett stra- tegiskt perspektiv bör göra mer betydande satsningar, såväl forsk- ningsmässigt som industriellt. Technopolis pekar på vikten av att systematiskt utvärdera den verksamhet som bedrivs, och menar att svenska energimyndigheter traditionellt har varit duktiga på detta. Technopolis metautvärde- ring av tidigare gjorda utvärderingar av delar av energiforsknings- programmet visar att finansierar EFUD av god kvalitet som dock genomsnittligt sett är av lägre relevans för indu- strin, låt vara att många exempel på motsatsen till det senare också finns. Technopolis menar också att det finns problem med frag- mentering och en överfokusering på doktorandbaserad forskning såväl i själva medelstilldelningsmodellen som i de institutioner inom vilka forskningen utförs. Mot bakgrund av rapportens iakttagelser och övergripande slut- satser ger Technopolis bl.a. följande rekommendationer. Rekommendationer till politiska nivån (riksdag och regering) Enligt Technopolis behövs en ny strategisk inriktning för program- met som explicit tar sikte på den roll forskning, utveckling och demonstration kan spela för att förändra innovationssystemet på energiområdet. Utan en sådan tydlig strategi finns det enligt Tech- nopolis skäl att tro att vi – liksom – inte kommer att få se så mycket mer än små, inkrementella förändringar (vilka i sig dock är värdefulla) . Resultatutvärdering av EFUD program Technopolis anser att det behövs ett fungerande ramverk för att teknologiska landvinningar också skall medföra förändringar i samhället. Förståelsen för och utformandet av sådana ramvillkor (skatter, institutionella strukturer, systemeffekter, m.m.) måste integreras bättre i utformandet och administrationen av energi- forskningsprogrammet.