3 november 2011

Evaluatie STW 2005-2010
Eindrapportage

www.technopolis-group.com

Evaluatie STW 2005-2010
Eindrapportage

technopolis |group|, november 2011

Jasper Deuten, Marijn Kieft, Geert van der Veen, Sara Vermeulen

Inhoudsopgave
1. Ontwikkeling van STW in 2005–2010

7	  

1.1 Beleidsachtergrond

7	  

1.2 STW in de periode 2005–2010: Inspelen op verandering

9	  

2. Ontwikkeling van STW 2005–2010: Activiteiten

11	  

3. Effecten van STW

14	  

3.1 Analyse projectenportfolio

14	  

3.2 Wetenschappelijke productiviteit, kwaliteit en impact

16	  

3.3 Samenwerking

19	  

3.4 Economische impact

23	  

3.5 Conclusie, resultaten in relatie tot doelstellingen

29	  

4. STW als organisatie

30	  

4.1 Klanttevredenheid algemeen

30	  

4.2 Werkwijze STW

31	  

4.3 Uitvoeringskosten

37	  

5. Positionering STW

39	  

5.1 Aansturing STW

39	  

5.2 Positionering STW binnen het Nederlandse overheidsinstrumentarium

40	  

5.3 Positionering STW internationaal

43	  

6. Opvolging van de aanbevelingen van de vorige evaluatie

45	  

7. Conclusies

47	  

8. Beantwoording van de evaluatievragen

48	  

Bijlage A Overzicht van geïnterviewde personen

51	  

Bijlage B Deelnemers aan rondetafeldiscussies STW

52	  

Bijlage C Verantwoording enquête

53	  

Figuren
Figuur 1 Ontwikkeling R&D-uitgaven Nederland (in % van BBP) ................................. 7	  
Figuur 2 STW-inkomsten naar inkomstenbron (in M€) ................................................9	  
Figuur 3 Uitgaven STW-2005-2010 (in M€) .................................................................11	  
Figuur 4 Gehonoreerde projecten STW 2005–2010 .................................................... 14	  
Figuur 5 Lopende projecten per type instelling (OTP en Perspectief) ......................... 15	  
Figuur 6
De multidisciplinaire STW-portfolio: Aanvragen OTP en
Perspectiefprogramma (1996–okt 2007)....................................................................... 16	  

Evaluatie STW 2005-2010

i

Figuur 7 Aantal publicaties en proefschriften 2008–2010 ........................................... 17	  
Figuur 8 Wetenschappelijke kwaliteit van STW-onderzoeksprogramma’s..................18	  
Figuur 9 Beoordeling wetenschappelijke kwaliteit STW door GC-leden.......................18	  
Figuur 10
Verdeling van typen organisaties in GC’s van het OTP, het
Perspectiefprogramma en de Vernieuwingsimpuls, 2005–2010 ..................................21	  
Figuur 11 Aantal industriële gebruikersrelaties per jaar ...............................................21	  
Figuur 12 Kennisnetwerk van STW in 2010 ................................................................. 22	  
Figuur 13 BPI-scores voor STW-projecten ................................................................... 24	  
Figuur 14 Economische output STW-projecten ............................................................ 25	  
Figuur 15 Financiële waarde van onderzoeksresultaten .............................................. 25	  
Figuur 16 Aantal nieuwe bedrijven uit STW programma’s .......................................... 26	  
Figuur 17 Oprichting van de startups was mogelijk geweest zonder de steun aan de
universiteit vanuit het STW Valorisation Grant programma.........................................27	  
Figuur 18 Inkomsten uit kennisexploitatie (in miljoen euro) ...................................... 28	  
Figuur 19 Beoordelingsprocedure STW, oordeel over elementen van beoordeling ..... 32	  
Figuur 20 Reden van zitting in gebruikerscommissie................................................... 33	  
Figuur 21 Resultaat inbreng gebruikerscommissie (Projectleiders)............................. 34	  
Figuur 22 Relatie scores op Betrokkenheid en Product ............................................... 35	  
Figuur 23 Beheerkosten STW als percentage van de baten ..........................................37	  
Figuur 24 STW-projecten en de innovatieprogramma’s................................................41	  

Tabellen
Tabel 1 Overzicht gebruikerscommissies...................................................................... 20	  
Tabel 2 Toelichting op scores op utilisatievariabelen .................................................. 23	  
Tabel 3 Vergelijking valorisatieprestaties STW met andere organisaties..................... 29	  
Tabel 4 Klanttevredenheid STW 2011, schaal 1-10....................................................... 30	  
Tabel 5 Beheerskosten STW per programma, 2010 ...................................................... 38	  
Tabel 6 Indicatoren ....................................................................................................... 39	  
Tabel 7 Controle van projectdeelname .......................................................................... 53	  

ii

Evaluatie STW 2005-2010

Managementsamenvatting
Deze evaluatie van de Technologiestichting STW is door Technopolis BV uitgevoerd in
de periode juni–oktober 2011, in opdracht van NWO en het Ministerie van
Economische Zaken, Landbouw en Innovatie (EL&I) en betreft het functioneren van
STW over de periode 2005-2010. In de evaluatie is gekeken naar de ontwikkeling van
STW in doelstellingen, input, output en impact. Daarnaast is beschouwd in hoeverre
STW de aanbevelingen van de vorige evaluatie heeft geïmplementeerd.
De evaluatie bestond uit een uitgebreide deskstudie, een enquête onder STW-klanten
en een dertigtal interviews met beleidsmakers, STW en potentiële gebruikers van
STW-kennis. Tot slot werden twee workshops georganiseerd waarin de toekomst van
STW binnen het veranderende Nederlandse innovatiebeleid werd besproken met
enkele stakeholders uit het veld van de technische wetenschappen. De evaluatie werd
begeleid door de Evaluatiecommissie STW. De discussies met de Evaluatiecommissie
hebben mede vorm gegeven aan deze eindrapportage. Deze rapportage focust op het
functioneren van STW in de afgelopen periode. Voor aanbevelingen voor de toekomst
wordt verwezen naar de rapportage van de Evaluatiecommissie.
In vergelijking met vijf jaar geleden positioneert STW zich sterker als een organisatie
die (technologische) innovatie in het bedrijfsleven aan wil jagen en minder als een
organisatie die onderzoek financiert en vervolgens tot toepassing brengt. Hierbij
kwam er zowel meer aandacht voor de individuele getalenteerde onderzoeker (middels
STW’s bijdrage aan de Vernieuwingsimpuls en de Simon Stevin prijzen) als voor het
richten van het onderzoek op toepassing in het bedrijfsleven (middels voortgaande
aandacht voor valorisatie, maar ook de start van Perspectiefprogramma’s en
Partnership programma’s en het uitbreiden van de Valorisation Grant). Met het Open
Technologieprogramma (OTP) is er ook nog steeds aandacht voor door de onderzoeker
geïnitieerd onderzoek met perspectief op utilisatie. STW speelde daarmee goed in op
de doelstellingen van haar financiers NWO en EL&I. Met het aantreden van het
huidige kabinet werd met het Topsectorenbeleid aanzet gegeven tot grote
veranderingen die ook van STW een hernieuwde positionering vragen.
De basisfinanciering van STW bedroeg circa €50 miljoen per jaar, waarvan 60% door
NWO werd gefinancierd en 40% door EL&I. Daarnaast kreeg STW nog additionele
bijdragen van NWO en verwierf ze additionele middelen. In totaal kwam in de
afgelopen evaluatieperiode 2005–2010 circa €400 miljoen aan middelen beschikbaar
en werden ongeveer 100 projecten per jaar ondersteund, vooral bij de drie Technische
Universiteiten, maar ook (in beperkt toenemende mate) bij de andere universiteiten in
Nederland. De projecten beslaan een brede technologieportfolio, waarvan onderzoek
in de klassieke ingenieurswetenschappen zo’n 38% vormt, naast onder meer
onderzoek in de levenswetenschappen en de medische technologie. STW is het enige
tweedegeldstroomkanaal voor de traditionele ingenieurswetenschappen en bovendien
een van de weinige financieringskanalen waar multidisciplinair onderzoek zonder al
teveel bureaucratische barrières gefinancierd kan worden. Circa 90% van het door
STW gefinancierd onderzoek sluit aan bij de Topsectoren.
Het STW-onderzoek leidde in tot wetenschappelijke output in de vorm van publicaties
in wetenschappelijke tijdschriften en bijdragen aan conferenties. De
wetenschappelijke productiviteit is in lijn met die van ander technischwetenschappelijk onderzoek in Nederland. De wetenschappelijke kwaliteit is goed. De
STW-onderzoeker wordt ruim vaker geciteerd dan een vergelijkbare onderzoeker
elders in Nederland en de wereld, en ook projectleiders en onderzoekers beoordelen
de wetenschappelijke kwaliteit van het STW-onderzoek als hoog tot zeer hoog.
Het STW-onderzoek droeg ook bij aan een sterkere samenwerking tussen
onderzoekers en bedrijfsleven, waardoor kennistransfer werd bevorderd. Dit gebeurde
vooral middels de Gebruikerscommissies die de STW-projecten begeleidden. Veel

Evaluatie STW 2005-2010

3

onderzoekers aan STW-projecten vinden na hun promotie ook emplooi bij één van de
gebruikers van hun STW-project.
De deelnemers in Gebruikerscommissies (GC’s) waren voor ruim 70% afkomstig uit
het bedrijfsleven, waarmee de daarvoor gestelde doelstelling werd behaald. STW
ondersteunt daarmee een groot netwerk van onderzoekers en gebruikers. Hoewel de
GC’s in het algemeen goed functioneren en leiden tot kennisoverdracht, is er nog niet
bij alle projecten een GC en is er ruimte voor verbetering van de werking van de GC’s.
De belangrijkste economische resultaten van het STW-onderzoek worden gerealiseerd
bij bedrijven die de resultaten van STW-onderzoek toepassen (utilisatie). Bij 40% van
de gebruikers hebben STW-projecten geleid tot een verbeterd proces, product of
dienst, en bij 24% werd een nieuw product, proces of dienst ontwikkeld. Dit heeft
geleid tot een positieve impact op de bedrijven die in enkele gevallen opliep tot
miljoenen of zelfs tientallen miljoenen euro’s. Bij 20%–25% van de projecten is er
geen economische impact. In de evaluatieperiode zijn er 84 nieuwe bedrijven
voortgekomen uit de STW-projecten. Vooral de Valorisation Grant speelt hierbij een
positieve rol.
De inkomsten uit octrooien van STW (circa €1 miljoen per jaar) vormen daar mee
vergeleken maar een zeer beperkt gedeelte van het economisch effect van STW
(hoewel STW op dit punt in vergelijking met andere organisaties ook niet slecht
scoort). De IP-regeling van STW wordt echter niet door alle bedrijven en
kennisinstellingen even goed gewaardeerd.
De klanten van STW (gebruikers en onderzoekers) zijn tevreden over STW (de score is
een ruime 7 op een schaal 1–10). Hiermee is de tevredenheid gelijk aan het oordeel uit
de evaluatie in 2005. STW kan op diverse manieren nog verbeteren door haar
processen aan te scherpen, met name ten aanzien van de doorlooptijd van de
beoordeling van aanvragen, de aansturing van GC’s en de handelswijze op het gebied
van Intellectual Property (IP). Ook is aandacht nodig voor (continue) training van
STW programme officers en zou STW andere soorten van ondersteuning op het gebied
van valorisatie kunnen overwegen.
Met nettobeheerskosten van gemiddeld 4,5% over de evaluatieperiode is STW een
efficiënte uitvoeringsorganisatie. STW hoeft zich daarom de komende periode niet te
richten op verdere kostenverlaging, maar kan investeren in de kwaliteit van haar
mensen en organisatie en zo de effectiviteit van haar werk te vergroten. Het inzicht
van STW in de beheerskosten per programma (m.n. de tijdsbesteding van
medewerkers aan verschillende programma’s) lijkt nog verder te kunnen worden
verbeterd.
De aansturing van STW door haar opdrachtgevers is de afgelopen evaluatieperiode
sterk verbeterd. Zowel STW als NWO en EL&I zijn tevreden over de huidige wijze van
aansturing. Het huidige systeem van prestatie-indicatoren voor rapportage dient in
overleg tussen STW en geldgevers aangepast te worden omdat veel indicatoren weinig
relevant zijn voor de aansturing.
STW heeft in de afgelopen jaren met diverse andere organisaties afspraken gemaakt
over samenwerking en positionering, en ook geïnvesteerd in externe communicatie.
STW heeft daarmee een duidelijker profiel gekregen. STW is niet meer alleen de
financieringsorganisatie voor technische wetenschappen, maar ook een belangrijke
financier van multidisciplinair toepassingsgericht onderzoek en een belangrijke speler
in het debat in Nederland over valorisatie van wetenschappelijke kennis.
STW heeft derhalve aantoonbaar positieve effecten op wetenschap en valorisatie,
opereert efficiënt en wordt door onderzoekers en gebruikers gewaardeerd. Het STWonderzoek sluit voor 90% reeds aan bij de Topsectoren. STW kan daarom ook mogelijk
een goede rol vervullen bij het verbeteren van de aansluiting van het onderzoek aan de
Nederlandse universiteiten bij de Topsectoren. Voldoende ruimte voor vrij onderzoek
blijft volgens de stakeholders overigens belangrijk om te zorgen voor meer

4

Evaluatie STW 2005-2010

fundamentele vernieuwing die op langere termijn ook toepassing kan vinden in de
industrie (de zogenaamde ‘high risk/high gain’-projecten).
Als uitvloeisel van de bedrijfslevenbrief zal valorisatie van kennis gericht op de
topsectoren ook binnen andere NWO-gebieden en binnen de KNAW steeds meer
aandacht krijgen. De expertise en ervaring van STW op dit gebied zal ook zeker ingezet
kunnen worden voor (de rest van) NWO.
STW heeft de afgelopen jaren maar beperkte aandacht gestoken in internationale
profilering. De focus lag daarbij op samenwerking binnen EU-kader (ERA-Nets) en
samenwerking met buurlanden (met name Duitsland). Omdat de doelgroepen van
STW (zowel onderzoekers als het merendeel van de bedrijven in GC’s) geografisch
beperkt zijn tot Nederland, is sterkere internationale profilering ook niet noodzakelijk.
Tot slot is over de aanbevelingen van de vorige evaluatie in 2006 uitvoerig van
gedachten gewisseld en gecorrespondeerd tussen STW en haar financiers. In grote
lijnen heeft STW de aanbevelingen overgenomen en aanpassingen aan het beleid
gedaan.

Evaluatie STW 2005-2010

5

Introductie
Deze evaluatie van STW heeft Technopolis BV uitgevoerd in de periode juni–oktober
2011, in opdracht van NWO en het Ministerie van Economische Zaken, Landbouw en
Innovatie (EL&I). In dit rapport wordt op basis van het evaluatieonderzoek door
Technopolis antwoord gegeven op de evaluatievragen zoals die zijn gesteld door haar
opdrachtgevers (zie hoofdstuk 0).
De evaluatie werd begeleid door een door NWO en EL&I ingestelde Evaluatiecommissie STW onder voorzitterschap van ir. Jan Zuidam. De discussies met de
Evaluatiecommissie hebben mede vorm gegeven aan deze eindrapportage. Dit
evaluatierapport focust vooral op het functioneren van STW in de achterliggende
periode. Voor aanbevelingen voor de toekomst wordt verwezen naar de rapportage van
de Evaluatiecommissie STW.
De evaluatie beslaat de periode 2005–2010, aansluitend op de vorige evaluatieperiode
(2000–2004). In de evaluatie is gekeken naar de ontwikkeling van STW in
doelstellingen, input, output en impact. Daarnaast is beschouwd in hoeverre STW de
aanbevelingen van de vorige evaluatie heeft geïmplementeerd.
De evaluatie bestond uit een uitgebreide deskstudie (data bij STW, eerdere publicaties
van STW, beleidsdocumenten, etc.), een enquête onder onderzoekers die financiering
van STW hebben ontvangen en onder personen die bij STW-projecten in
gebruikerscommissies (GC’s) hebben gezeten en een dertigtal interviews met
beleidsmakers, STW en deelnemers uit GC’s. Verder is een korte vergelijking
uitgevoerd met uitvoeringsorganisaties uit andere landen. Tot slot heeft Technopolis
voor de Evaluatiecommissie twee workshops gefaciliteerd waarin de toekomst van
STW binnen het veranderende Nederlandse innovatiebeleid is besproken met enkele
stakeholders uit het veld van de technische wetenschappen.

6

Evaluatie STW 2005-2010

1. Ontwikkeling van STW in 2005–2010
1.1 Beleidsachtergrond
STW is een intermediaire organisatie op het grensvlak van wetenschap en toepassing
van wetenschappelijk onderzoek. Met deze positionering beweegt STW zich op de
beleidsterreinen van wetenschapsbeleid en innovatiebeleid.
In de periode 2005–2010 stond de beleidsagenda op deze terreinen onder meer in het
teken van de ‘Lissabon-agenda’, waarin de regeringsleiders van de EU in 2000
vastlegden dat de EU zich in 2010 ontwikkeld zou hebben tot de meest competitieve
regio in de wereld. De Lidstaten spraken onder meer af dat de investeringen in
onderzoek en ontwikkeling in de EU zouden stijgen naar minimaal 3% van het BBP,
waarvan 2% voor rekening zou moeten komen van de private sector.
In Figuur 1 worden de ontwikkeling van R&D-uitgaven in Nederland weergegeven als
percentage van het BBP (R&D-intensiteit). De totale R&D-intensiteit in Nederland
schommelt rond de 1,8% van het BBP. Daarmee heeft Nederland, net als de meeste
EU-landen de ambitieuze 3%-doelstelling niet gehaald. De relatief lage en verder
dalende R&D-intensiteit van het Nederlandse bedrijfsleven blijft de grootste
beleidsuitdaging. Deze daalde van 1,07% naar 0,88% in de periode 2000–2009.
Tegelijkertijd nemen echter de R&D-uitgaven door de Hoger Onderwijssector in
dezelfde periode toe van 0,51% naar 0,73%. De R&D-uitgaven door (semi-)publieke
onderzoeksinstituten zijn vrij stabiel rond de 0,23%. De totale R&D-uitgaven van de
publieke sector (kennisinstellingen en onderzoeksinstituten) stegen in 2009 tot
0,96%, vlak onder de 1%-doelstelling. Het blijft dus onverminderd een uitdaging voor
het beleid om de R&D-investeringen door het bedrijfsleven – en daarmee het
innovatievermogen en de concurrentiekracht – te laten toenemen.
Figuur 1 Ontwikkeling R&D-uitgaven Nederland (in % van BBP)

Bron: Eurostat. GERD = Gross domestic expenditure on research and development (Bruto
binnenlandse uitgaven aan R&D als percentage van het BBP); BERD = Business enterprise
intramural expenditure on R&D; GOVERD = Government intramural expenditure on R&D;
HERD = Higher education intramural expenditure on R&D.

In de Lissabon-agenda werd tevens geconstateerd dat Europese landen minder goed
dan andere regio’s in de wereld in staat waren om resultaten van wetenschappelijk

Evaluatie STW 2005-2010

7

onderzoek te vertalen in economische activiteit. Vanuit deze constatering ontstond een
sterke maatschappelijke vraag naar meer vraaggedreven inzet van onderzoeks- en
innovatiemiddelen. Deze vraag vertaalde zich in Nederland in een innovatiebeleid dat
zich richtte op terreinen waar Nederland een sterke concurrentiepositie bezat – zoals
de ‘sleutelgebieden’ die door het Innovatieplatform werden geïdentificeerd. Binnen dit
beleidskader ontwikkelden bedrijfsleven, kennisinstellingen en overheid samen
innovatieprogramma’s voor verdere versterking van de concurrentiepositie via de
zogenaamde programmatische aanpak van het Ministerie van Economische Zaken.
Hoewel het wetenschapsbeleid ook geraakt werd door de discussie over toepassing van
onderzoeksresultaten, was de belangrijkste trend vooral gericht op het bereiken van
een zo hoog mogelijke wetenschappelijke kwaliteit (excellentie) en het stimuleren en
belonen van getalenteerde individuele onderzoekers. Een belangrijk gevolg hiervan
voor de financiering van wetenschappelijk onderzoek in Nederland was een
toenemend budget voor persoonsgebonden financiering, met name via de
Vernieuwingsimpuls.
Na het aantreden van het Kabinet Rutte in 2010 kwam de nadruk nog sterker op een
beperkt aantal gebieden te liggen. In het ‘Topsectorenbeleid’ dat momenteel wordt
uitgewerkt, wordt het wetenschapsbeleid gezien als integraal onderdeel van het
innovatiebeleid en dient ook NWO (inclusief STW) een belangrijk gedeelte van haar
budget aan te wenden voor het ondersteunen van de ambities van de topsectoren.
In de Kamerbrief ‘Naar de Top: het bedrijvenbeleid in actie(s)’ (september 2011; zie
onderstaand kader) kondigt het kabinet aan onderzoeksbudgetten stapsgewijs te
verschuiven richting topsectoren, rekening houdend met de private bijdrage.

‘Naar de Top: Het bedrijfslevenbeleid in actie(s)’ (september 2011)
Het nieuwe bedrijvenbeleid heeft – naast generiek beleid – bijzondere aandacht voor
negen topsectoren van de Nederlandse economie: High Tech Systemen en Materialen,
Energie, Creatieve Industrie, Logistiek, Agro&Food, Tuinbouw en Uitgangsmaterialen,
Life Sciences & Health, Water en Chemie.1 Het kabinet wil dat het bedrijfsleven,
kennisinstellingen en de overheid voor eind 2011 ‘innovatiecontracten’ opstellen die
partijen uit de hele kennisketen inhoudelijk en financieel committeren. Voor iedere
topsector zal worden gewerkt aan een evenwichtige, op de behoeften van de markt
toegesneden mix van fundamenteel onderzoek (van belang voor het innovatief
vermogen op de lange termijn) , toegepast onderzoek en valorisatie die aansluit op de
Europese agenda. In de innovatiecontracten is plaats voor voorstellen voor
Topconsortia voor Kennis en Innovatie waarin, voortbouwend op succesvolle
initiatieven, meerdere partijen vraaggestuurd samenwerken aan onderzoek en
valorisatie op innovatiethema’s over de gehele keten.

Het beeld dat het kabinet voor ogen heeft, is dat in 2015 meer dan €500 miljoen
omgaat in de Topconsortia voor Kennis en Innovatie (TKI’s), waarvan tenminste 40%
wordt gefinancierd door het bedrijfsleven. Het publieke deel komt voor rekening van
NWO (richting €100 miljoen), TNO, GTI’s en DLO (richting €75 miljoen), aangevuld
met de bijdragen van andere kennisinstellingen en overheden. NWO (inclusief STW)
en KNAW zullen dus een groot deel van hun activiteiten vraaggestuurd moeten richten
op (het fundamentele deel) van de innovatiecontracten van de topsectoren, oplopend
van €90 miljoen in 2012 (waarvan NWO reeds €70 miljoen heeft gereserveerd) tot
€350 miljoen in 2015. De inhoudelijke bestemming van deze middelen wordt door
NWO en KNAW vraaggestuurd in de innovatiecontracten gedefinieerd en richt zich op

1

De keuze van de negen sectoren is bepaald door vier factoren. Het zijn sectoren die (1) kennisintensief zijn,
(2) exportgeoriënteerd, met (3) veelal (sector) specifieke wet- en regelgeving en die (4) een belangrijke
bijdrage (kunnen) leveren aan het oplossen van maatschappelijke vraagstukken.

8

Evaluatie STW 2005-2010

het fundamentele deel van de contracten en Topconsortia. NWO en KNAW zetten deze
middelen in op basis van wetenschappelijke excellentie, impact en privaat
commitment. NWO hanteert hierbij een vernieuwde werkwijze, met meer
samenwerking met het bedrijfsleven, focus op valorisatie en efficiënte procedures
(‘topsectorenluik’). NWO zal benutting als volwaardig criterium meenemen bij het
beoordelen en honoreren van onderzoeksvoorstellen. De werkwijze van STW is
hiervoor een goed voorbeeld.

1.2 STW in de periode 2005–2010: Inspelen op verandering
De bovengeschetste beleidsontwikkelingen zijn niet ongemerkt aan STW voorbijgegaan. STW werd in de voorgaande evaluatieperiode voor 60% ondersteund door
NWO en voor 40% door het Ministerie van Economische Zaken (inmiddels EL&I).
Voor beide geldgevers lag STW aan de rand van hun domein: voor EL&I was STW het
minst marktgerichte beleidsinstrument, terwijl voor NWO STW juist het meest
marktgerichte instrument was (met niet alleen beoordeling op wetenschappelijke
excellentie, maar ook op utilisatie). De budgetten voor STW stonden daarom
voortdurend onder druk in de evaluatieperiode 2005–2010, maar de structurele
inkomsten bleven op peil en de incidentele inkomsten (vooral van NWO) stegen na
een daling in 2006 continu (Figuur 2).
Figuur 2 STW-inkomsten naar inkomstenbron (in M€)
100
90
80

Financiele baten

70

Kennisexploitatie en
cofinanciering

60

Vrijval wachtgelden

50

Bijdragen derden

40
Overig NWO
30
Basis NWO
20
Basis EZ/EL&I

10
0
2005

2006

2007

2008

2009

2010

Bron: Technopolis, op basis van jaarverslagen STW

De totale inkomsten van STW bedroegen over de periode 2005–2010 €426 miljoen –
gemiddeld €71 miljoen per jaar.
De aandacht voor alternatieve inkomstenbronnen – naast NWO en EL&I – nam steeds
verder toe. Naast aandacht voor inkomsten uit kennisexploitatie (overigens geen doel,
maar een middel) werd ook een aantal modellen ontwikkeld voor het verkrijgen van
(meer) cofinanciering (‘in cash’) van bedrijven. In absolute zin bleven de ontvangsten
echter beperkt.

Evaluatie STW 2005-2010

9

Het kabinet heeft in de zomer van 2011 aangekondigd dat het budget van STW met
€10 miljoen zal toenemen.2 De budgetverhoging dient om de valorisatie van het
technologisch en technisch-wetenschappelijk onderzoek te versterken.

1.2.1 Ontwikkeling van STW-doelstellingen
Voor wat betreft de formele missie van STW hebben de bovengenoemde
veranderingen in de beleidscontext niet tot wijzigingen geleid. Al sinds de oprichting
van STW is haar doel: “in het algemeen belang en in dat van het wetenschappelijk
onderwijs technisch-wetenschappelijk onderzoek en de toepassing daarvan te
bevorderen”.3
Wel wordt naar buiten toe tegenwoordig een andere doelstelling gecommuniceerd:
“STW realiseert kennisoverdracht tussen technische wetenschappen en
gebruikers. Daartoe brengt STW onderzoekers en potentiële gebruikers
bij elkaar en financiert STW excellent technisch-wetenschappelijk
onderzoek.”
In deze formulering is de nevenstelling tussen wetenschap en utilisatie uit de formele
missie aangepast ten faveure van de utilisatie: utilisatie is het doel, (kwalitatief goede)
wetenschap eerder een middel.
Met deze formulering sluit STW aan bij de bovengenoemde beleidsontwikkelingen en
heeft zij ten opzichte van de vorige evaluatieperiode een meer op het bedrijfsleven
gerichte koers gekozen.

In het regeerakkoord werd aangegeven dat in deze kabinetsperiode een bedrag van €90 miljoen
onderzoeksmiddelen wordt geheralloceerd. Hiervoor worden de publiek bekostigde universiteiten en
hogescholen voor een bedrag van €70 miljoen gekort op basis van hun onderzoeksaandeel. Daarnaast
vindt een korting plaats van €20 miljoen op de tweede geldstroom. €58 miljoen van de hierdoor
vrijkomende middelen zijn bestemd voor verdere profilering van het onderzoekslandschap in relatie tot de
topsectoren. Bij de besteding van deze middelen dient een duidelijke relatie te worden gelegd met de
agenda’s van de topsectoren. €10 miljoen is bestemd voor STW voor versterking van impact en valorisatie
van onderzoek. €2 miljoen is bestemd voor praktijkgericht onderzoek in het hbo. Daarnaast wordt de
impuls van het vorige kabinet van €20 miljoen voor het sectorplan natuur- en scheikunde doorgezet.
(Ministerie van OCW (2011) Kwaliteit in verscheidenheid: Strategische Agenda Hoger Onderwijs,
Onderzoek en Wetenschap, Den Haag, 1 juli 2011).
3 Art. 2 lid 1, Statuten STW, 1989.
2

10

Evaluatie STW 2005-2010

2. Ontwikkeling van STW 2005–2010: Activiteiten
Van de inkomsten van STW kwam in totaal €402 miljoen beschikbaar voor het
financieren van onderzoek. In lijn met de beleidsontwikkelingen en de herformulering
in doelstellingen verschoof STW ook het accent van haar activiteiten. Daar waar in
2001 nog 91% van alle STW-middelen via het Open Technologieprogramma4
(OTP) werden uitgezet, en in 2004 76%5, nam het aandeel van het OTP in deze
evaluatieperiode verder af van 67% in 2005 tot 33% in 2010 (Figuur 3).
Figuur 3 Uitgaven STW-2005-2010 (in M€)
100
90

Beheerskosten

80

Overig activiteiten en
programma's
Prijzen

70
60

Valorisation Grant

50

Partnershipprogramma

40

Perspectief

30
20

VI

10

OTP

0
2005

2006

2007

2008

2009

2010

Bron: Technopolis, op basis van jaarverslagen STW en aanvullende informatie STW

In absolute bedragen nam het budget voor het OTP af in de periode 2005–2008. In
deze periode gingen bezuinigingen bij NWO samen met een versterkte aandacht voor
thematische programma’s bij het ministerie van Economische Zaken. In de periode
2009–2010 steeg het budget voor OTP tot circa €30 miljoen, onder meer door het
weer stijgen van de NWO-bijdrage en dotaties uit de reserves van STW.
Naast het OTP kwamen nieuwe programma’s op die inspeelden op de beleidsmatige
trends:
1.

De trend naar een sterkere gerichtheid op het bedrijfsleven zien we terug in de
toenemende budgetten voor ‘specifieke’ programma’s. Vanaf 2007 wordt de
volledige bijdrage van het ministerie van Economische Zaken ingezet voor
zogenaamde Perspectiefprogramma’s. Perspectiefprogramma’s zijn gericht op
het oplossen van innovatieknelpunten door het ontwikkelen van nieuwe
technologie via een multidisciplinaire aanpak, in samenwerking met gebruikers,
met medefinanciering door private partijen en met specifieke activiteiten gericht

4 Het OTP is het niet-thematische programma van STW: onderwerpkeuze vrij, beoordeling op utilisatie en
5

kwaliteit, omvang maximaal €750.000/project, bijdrage van gebruikers niet vereist.
Evaluatie STW 2001-2004.

Evaluatie STW 2005-2010

11

op valorisatie en ondernemerschap. Thema’s worden via een ‘open call’
geselecteerd en daarna uitgewerkt in concrete onderzoeksprogramma’s bestaande
uit verschillende projecten. Een Perspectiefprogramma loopt 6 jaar en heeft een
omvang van ca. €2–€7,5 miljoen. Gebruikers dienen een bijdrage te leveren van
25% (‘in cash’ of ‘in kind’).6
Nog sterker op de wensen van het bedrijfsleven gericht zijn de Partnership
programma’s, waarvan de eerste in 2010 van start ging. Bedrijven met een
sterke R&D-vertegenwoordiging in Nederland kunnen – alleen of met andere
bedrijven samen – een voorstel doen voor een programma van onderzoek bij
Nederlandse kennisinstellingen van minimaal €3 miljoen in omvang en een
looptijd van 2–5 jaar. De partner(s) betalen hiervan 50% ‘in cash’. Voor de
invulling van het programma wordt vervolgens een ‘call for proposals’ uitgezet
onder onderzoekers, waarbij het partnerbedrijf meebeoordeelt welke projecten
ondersteuning ontvangen. Intellectuele eigendomsrechten op resultaten berusten
bij STW en de kennisinstelling gezamenlijk – net als bij andere STW gefinancierde
projecten. De GC bestaat echter alleen uit leden van het partnerbedrijf – die
daarom ook het ‘right of first refusal’ heeft om IP tegen marktconforme prijzen
over te nemen.
2. Aansluitend op de trend van persoonsgebonden financiering van (top)talent
verzorgt STW al sinds de vorige evaluatieperiode de uitvoering van de NWO-brede
Vernieuwingsimpuls (VI) voor de Technische Wetenschappen. In dit
programma wordt veelbelovende wetenschappers een persoonsgebaseerde beurs
gegeven voor het financieren van een volgende stap in hun carrière. Er zijn drie
soorten beurzen:
−

Veni – voor pas gepromoveerde onderzoekers om gedurende drie jaar
haar/zijn ideeën te ontwikkelen, max. €250.000;

−

Vidi – om een eigen vernieuwende onderzoekslijn te ontwikkelen en één of
meer onderzoekers aan te stellen, max. €800.000;

−

Vici – voor senioronderzoekers om een eigen onderzoeksgroep op te bouwen,
max. €1.500.000.

Hiervoor stelt NWO jaarlijks additioneel budget beschikbaar, bovenop de
basisbijdrage aan STW. In de evaluatieperiode varieerde het toegekende budget
hiervoor tussen de €4,3 miljoen (2007) en de €17,6 miljoen (2010), maar was
meestal rond de €8 miljoen.7
In het kader van stimulering van (top)talent verleent STW daarnaast sinds 1998
jaarlijks aan de beste technisch-wetenschappelijke onderzoekers die bij STW
onderzoeksaanvragen indienen de Simon Stevin Meesterprijs (momenteel
€500.000 vrij besteedbaar aan onderzoek). Verder is er een veel kleinere prijs
voor pas gepromoveerde STW-onderzoekers en een nog kleinere posterprijs voor
promovendi die aan STW-projecten werken.
3. Het valorisatiebeleid (kennishandel) dat STW al vanaf haar oprichting kenmerkt,
is ook in de afgelopen periode voortgezet. Het valorisatiebeleid heeft zowel tot doel
om te valoriseren naar bestaande bedrijven als om te stimuleren dat kennis wordt
toegepast door nieuwe bedrijven. De Valorisation Grant, een subsidie aan
ondernemende onderzoekers voor het ontwikkelen van innovatieve high-tech
bedrijvigheid op basis van binnen de universiteit en onderzoeksinstelling
ontwikkelde kennis, is met name (maar niet uitsluitend) gericht op het opzetten

6 Het Perspectiefprogramma is sinds de start in 2007 enkele keren aangepast aan de ervaringen, ook de

cofinancieringseisen zijn bijgesteld.
7 De variatie wordt onder meer veroorzaakt doordat een deel van de voorstellen wordt geselecteerd in

competitie met voorstellen uit andere NWO-gebieden.

12

Evaluatie STW 2005-2010

van nieuwe bedrijven. Subsidie kan worden verkregen voor de eerste twee fasen in
een innovatietraject: een haalbaarheidsstudie (max. €25.000) en de valorisatiefase (max. €200.000). Voor de commercialisatiefase dient de aanvrager zelf
financiering te vinden. Voor de Valorisation Grant reserveert STW nu minimaal
2,5% van haar totaalbudget.
De instrumentenmix van STW is derhalve de afgelopen vijf jaar behoorlijk veranderd.
De verandering die aan het einde van de vorige evaluatieperiode werd ingezet, werd
sterk doorgezet. STW positioneert zich nu ook sterker dan vroeger als een organisatie
die (technologische) innovatie in het bedrijfsleven aan wil jagen en minder als een
organisatie die onderzoek financiert en vervolgens tot toepassing brengt. STW
positioneerde zich daarmee duidelijker dan voorheen en speelde goed in op de
doelstellingen van haar financiers NWO en EL&I.

Evaluatie STW 2005-2010

13

3. Effecten van STW
De middelen die aan STW door haar opdrachtgevers ter beschikking werden gesteld
(€402 miljoen) zijn door STW ingezet voor activiteiten ter bereiking van haar
doelstellingen. In totaal zijn in de evaluatieperiode over alle programma’s heen 796
projecten gestart, op basis van 2146 aanvragen. Daarmee is het gemiddelde
honoreringspercentage 37%.
Op programmaniveau worden er per jaar ruim 50 ideeën voor het
Perspectiefprogramma’s aangemeld, en na zoeken van industriële partners als beknopt
proposal ingediend. Vijf tot zeven voorstellen worden per jaar gehonoreerd, er
inmiddels 17 Perspectiefprogramma’s gestart (inclusief de 2011 programma’s). Er is
één Partnershipprogramma gestart in 2010 – en drie in 2011, na afloop van de periode
waarop de evaluatie betrekking heeft. In totaal zijn of waren meer dan 6000 partijen
betrokken bij de projecten en programma’s in zogenaamde Gebruikerscommissies
(GC’s)8. Dit is een substantieel gedeelte van de organisaties in Nederland die aan R&D
doen.
Door deze interventies heeft STW invloed gehad op de wetenschap en economie in
Nederland. In dit hoofdstuk brengen we de belangrijkste effecten in kaart. We
beginnen met een analyse van enkele aspecten van STW’s projectenportfolio en
focussen daarna op: (1) de wetenschappelijk productiviteit, kwaliteit en impact, (2) het
effect op samenwerking (tussen kennisinstellingen onderling en tussen kennisinstellingen en bedrijven) en (3) de economische effecten van STW.

3.1 Analyse projectenportfolio
In Figuur 4 geven we een overzicht van de projecten die STW in de periode 2005–
2010 heeft gehonoreerd.
Figuur 4 Gehonoreerde projecten STW 2005–2010
160
140

aantal projecten

120
100
80
60
40
20
0
2005

2006
OTP

Perspectief

2007

2008

Vernieuwingsimpuls

2009
VG

2010

Overig

Bron: Analyse Technopolis op basis van gegevens STW

8 Commissies van potentiële gebruikers van resultaten van STW-projecten, die STW-projecten begeleiden

om utilisatie van resultaten te bevorderen.

14

Evaluatie STW 2005-2010

Over de evaluatieperiode is het aantal gehonoreerde projecten per jaar sterk gestegen:
van zo’n 50 in 2005 tot circa 140 in 2009 en 2010. Deels reflecteert het aantal
projecten de beschikbare budgetten – vandaar de dip in projecten in 2008 –, maar
daarnaast wordt het gestegen aantal projecten vooral bepaald door de Valorisation
Grant. Deze is momenteel verantwoordelijk voor circa 40 projecten per jaar en
daarmee voor zo’n 30% van het totale aantal projecten. Het aantal OTP-projecten in
2010 is laag gezien het relatief hoge budget dat voor OTP in 2010 beschikbaar was en
de maximering van OPT-projecten op €750.000 per project die in 2009 is
doorgevoerd. Dit relatief lage aantal wordt veroorzaakt doordat circa de helft van de
OTP-projecten in 2010 op moment van analyse nog niet definitief was toegekend,
omdat nog niet alle contracten rond waren.9
Figuur 5 laat zien dat het grootste deel van de projecten voor rekening komt van de
drie Technische Universiteiten (TU’s). Gezien de focus op Technische Wetenschappen
van zowel de TU’s als STW is dit niet verrassend. STW is voor de klassieke ingenieurswetenschappen ook het enige loket voor de tweede geldstroom.
Figuur 5 Lopende projecten per type instelling (OTP en Perspectief)
350
300

aantal instellingen

250
200
150
100
50
0
2006
TUD, TUE, UT

2007

2008

overige universiteiten (inclusief UMC's)

2009

2010

para-universitaire instellingen

Bron: STW jaarverslag 2010

Vanaf 2007 neemt het aantal projecten dat bij de drie TU’s wordt uitgevoerd enigszins
af, terwijl het aantal projecten van de overige universiteiten gelijk blijft. Twee zaken
dragen bij aan deze verschuiving. Een eerste oorzaak hiervoor ligt in de Perspectief–
programma’s, die in 2007 zijn gestart. Een van de eisen van het Perspectiefprogramma
is dat programma’s worden ontwikkeld door ten minste drie kennisinstellingen.
Gezien de overlap in kennis tussen de 3 TU’s betekent dit dat zij sneller andere
universiteiten betrekken, hetgeen in het verleden niet nodig was. Verder zijn er sinds
2008 meer samenwerkingen tussen STW en andere NWO-gebieden. Hierdoor komen
ook meer onderwerpen aan de orde die buiten de traditionele terreinen van de TU’s
vallen.
STW-onderzoekers beslaan een brede wetenschappelijke portfolio. Figuur 6 geeft een
overzicht van de verdeling van de aanvragen in OTP en Perspectief over elf
wetenschapsgebieden.

9 Mondelinge communicatie Eppo Bruins, 14 oktober 2011.

Evaluatie STW 2005-2010

15

Figuur 6 De multidisciplinaire STW-portfolio: Aanvragen OTP en Perspectiefprogramma (1996–okt 2007)

8%

1%

9%

9%

sociaal wetenschappelijk
15%

landbouw, voeding, biologie
life sciences en celbiologie
medisch en medische technologie

11%

chemie en farma
chemtech & milieu
fysica
11%

10%

elektro
ict en wiskunde
werktuigbouw
civiel, bouw, geo

9%

10%
7%

Bron: STW Zelfevaluatie 2011.

De klassieke ingenieurswetenschappen – hier genomen als de terreinen elektro, ict en
wiskunde, werktuigbouw en civiel, bouw, geo – beslaan 38% van het totaal aantal
aanvragen. Opvallend is dat de meeste aanvragen komen uit ‘life sciences en
celbiologie’, gevolgd door ‘medisch en medische technologie’ en ‘ict en wiskunde’.
Kenmerk van STW is dat niet alleen monodisciplinaire projecten worden ondersteund,
maar ook juist multidisciplinair onderzoek. STW is een van de weinige financieringskanalen waar multidisciplinaire projecten zonder al teveel bureaucratische barrières
wordt gefinancierd.
Omdat de karakterisering van STW van projecten per wetenschapsgebied na 2007
onvolledig is, was het voor ons niet mogelijk te analyseren in hoeverre de introductie
van nieuwe programma’s naast het OTP invloed heeft gehad op de verdeling van de
onderzoeksmiddelen over de verschillende onderzoeksdisciplines.

3.2 Wetenschappelijke productiviteit, kwaliteit en impact
De wetenschappelijke productiviteit wordt veelal gemeten aan de hand van het aantal
publicaties in een bepaalde periode. Dit kan zowel voor individuele onderzoekers als
op het niveau van een programma. Voor het meten van kwaliteit en impact ligt dat
echter anders. Waar bibliometrische vergelijking met onderzoekers uit dezelfde
discipline en peer review geaccepteerde methoden zijn voor het meten van de
wetenschappelijke kwaliteit van onderzoeksgroepen of individuele onderzoekers, is de
‘wetenschappelijke kwaliteit van de STW portfolio’ niet echt te bepalen. De STWprojecten beslaan namelijk een zeer breed terrein en worden uitgevoerd door een
groot aantal onderzoeksgroepen die naast STW ook nog andere financieringsbronnen
hebben. Om desondanks een indicatie te krijgen van de wetenschappelijke kwaliteit en
impact hebben wij drie bronnen gebruikt. De mening van projectleiders van STWonderzoek en het oordeel van de GC-leden zijn twee subjectieve bronnen, terwijl een
bibliometrische analyse door CWTS uit 2009 meer objectieve informatie biedt (maar
dan over STW-onderzoekers). In onderstaande paragrafen presenteren we de
resultaten.

16

Evaluatie STW 2005-2010

3.2.1 Productiviteit
De wetenschappelijke output vanuit STW-projecten wordt sinds 2008 bijgehouden
door STW als een van de prestatie-indicatoren die zij heeft afgesproken met haar
opdrachtgevers. Dit wordt weergegeven in Figuur 7. Onderscheid wordt gemaakt
tussen publicaties in ‘peer reviewed’ tijdschriften, aantal bijdragen aan
congresbundels, aantal proefschriften en aantal (bijdragen aan) boeken. De tijdreeks is
kort en wat betreft congresbijdragen onvolledig.
Figuur 7 Aantal publicaties en proefschriften 2008–2010

Bron: STW Zelfevaluatie.

Het aantal publicaties in gerefereerde tijdschriften neemt sterk toe in de jaren 2008–
2010. Relateren aan toegekend budget of aan aantal onderzoekers is echter maar
beperkt zinvol omdat de budgetten over de jaren behoorlijk gefluctueerd hebben en er
een tijdsvertraging zit tussen de aanvang van een project en het moment van
publicatie. Het aantal publicaties is globaal wel in lijn met de informele norm in de
technische wetenschappen in Nederland van 1 publicatie per onderzoeker per jaar.
Het aantal proefschriften vertoont een dalende trend. Dit is te verklaren door
afnemende budgetten in 2005 en 2006 waardoor er minder promotieplaatsen
gefinancierd konden worden. Gezien de tijdsduur van een promotieaanstelling van
vier jaar (en een eventuele vertraging in de promotie van een half tot een jaar) is dat in
het aantal promoties van 2009 en 2010 te zien. Het is te verwachten dat het aantal
promoties in 2011 of 2012 weer zal toenemen.

3.2.2 Beoordeling wetenschappelijke kwaliteit door projectleiders
De projectleiders van STW-projecten beoordelen de wetenschappelijke kwaliteit van
het onderzoek in de STW-programma’s in het algemeen als ‘hoog’ tot ‘zeer hoog’
(Figuur 8). De Vernieuwingsimpuls en het OTP worden daarbij het hoogste
beoordeeld. Respectievelijk 85% en 78% van de respondenten geeft aan dat de
wetenschappelijke kwaliteit van deze programma’s (zeer) hoog is. Ook de
Perspectiefprogramma’s worden goed beoordeeld. Minder dan 5% van de
projectleiders beoordeelt de wetenschappelijke kwaliteit van het onderzoek in de drie
grote STW-programma’s als (zeer) laag. Het Partnershipprogramma scoort duidelijk
lager, maar dit is slechts onlangs gestart. De Valorisation Grant is ook beoordeeld op

Evaluatie STW 2005-2010

17

wetenschappelijke kwaliteit, maar aangezien deze is gericht op valorisatie en niet op
wetenschappelijke kwaliteit is de score hiervoor minder relevant.
Figuur 8 Wetenschappelijke kwaliteit van STW-onderzoeksprogramma’s

Bron: Technopolis Enquête (2011).

De wetenschappelijke kwaliteit van door STW gefinancierd onderzoek wordt door de
projectleiders van STW-projecten ook in vergelijking met onderzoek dat gefinancierd
werd uit andere bronnen als goed beoordeeld. STW-onderzoek scoort op
wetenschappelijke kwaliteit minimaal vergelijkbaar met onderzoek gefinancierd uit
eerste of andere tweede geldstroom en onderzoek uit het buitenland, en beter dan 3e
geldstroom en EU-gefinancierd onderzoek.

3.2.3 Beoordeling wetenschappelijke kwaliteit door leden gebruikerscommissies
Figuur 9 Beoordeling wetenschappelijke kwaliteit STW door GC-leden

Bron: Technopolis Enquête (2011).

18

Evaluatie STW 2005-2010

GC-leden van STW-projecten vinden de wetenschappelijke kwaliteit van door STW
gefinancierd onderzoek ook op z’n minst vergelijkbaar met ander onderzoek (zie
Figuur 9).
Op grond van de enquêteresultaten kunnen ten aanzien van de mening van de GCleden over wetenschappelijke kwaliteit geen representatieve conclusies getrokken
worden op programmaniveau.

3.2.4 Bibliometrische analyse CWTS
De impactscore van publicaties is een van de prestatie-indicatoren van STW. STW
heeft hier echter niet over gerapporteerd en actuele cijfers zijn niet beschikbaar. Wel
heeft STW voor de periode 1997–2006 door CWTS een bibliometrisch onderzoek laten
uitvoeren.10 Omdat het moeilijk is om publicaties aan een specifiek project toe te
wijzen, stond bij deze studie de STW-onderzoeker11 centraal. Het onderzoek kijkt naar
aantallen publicaties, citatiefrequentie (in relatie tot anderen in hetzelfde vakgebied)
en samenwerkingspatronen.
De algemene conclusie is dat in de meeste vakgebieden de STW-financiering bij
productieve onderzoekers belandt, die bovendien naar verhouding veel worden
geciteerd door hun vakgenoten. Volgens de bibliometrische studie scoorde het STWonderzoek in de periode 1997–2006 goed. De belangrijkste conclusies van het CWTSrapport zijn:
•

Er is in de tijd een toenemend aantal publicaties en citaties van STWonderzoekers;

•

STW-onderzoekers gaan door de jaren heen meer samenwerken – het aandeel
nationale en internationale copublicaties stijgt;

•

STW financiert een populatie onderzoekers die een wetenschappelijke impact
heeft ruim boven het wereldgemiddelde van onderzoekers op dezelfde
vakgebieden;

•

De door STW gefinancierde onderzoekers horen bovengemiddeld bij de best
geciteerde auteurs in hun vakgebied – STW-onderzoekers zijn 60% meer zichtbaar
dan op grond van hun aantal publicaties mag worden verondersteld.

De studie bevestigt daarmee het beeld uit de enquête dat de wetenschappelijke
kwaliteit van het door STW gefinancierde onderzoek goed tot zeer goed is.
Doordat het tijdsvak van de CWTS-studie eindigt in 2006 kunnen we geen conclusie
trekken over de effecten van invoering van Perspectiefprogramma’s en
Partnershipprogramma’s op de wetenschappelijke kwaliteit.12

3.3 Samenwerking
Een belangrijk potentieel effect van STW-financiering is het op- en uitbouwen van
(kennis)netwerken. Voor maar liefst 79% van de respondenten is dit een reden om
zitting te nemen in een GC. Ook is 87% van de GC-leden het eens met de stelling dat
de inbreng van de GC kennisuitwisseling zou moeten stimuleren.
Deze verbetering in kennisuitwisseling wordt ook daadwerkelijk gerealiseerd. 74% van
de GC-leden en 72% van de projectleiders geeft aan dat de inbreng van de GC heeft
geleid tot kennistransfer. 72% van de GC-leden en 77% van de projectleiders geven aan
dat de inbreng van de GC heeft geleid tot verbetering van netwerken.
Bibliometric study of STW-funded research 1997-2006; CWTS, mei 2009.
Niet expliciet gedefinieerd door CWTS, maar waarschijnlijk: een onderzoeker die minimaal één keer
subsidie ontvangen heeft voor een STW-project waar hij/zij bij betrokken was.
12 Een dergelijk analyse wordt ook bemoeilijkt doordat niet naar projecten gekeken kan worden. Ook is voor
het meten van de citatiefrequentie een periode van minimaal 3 jaar gebruikelijk waardoor nu alleen
gegevens t/m 2008 verkregen zouden kunnen worden.
10
11

Evaluatie STW 2005-2010

19

Gebruikers zien (wetenschappelijke) samenwerking als belangrijkste opbrengst van
STW-projecten: 37% van de GC-leden geeft dit aan. Net iets meer dan een kwart van
de respondenten (29%) geeft aan dat zij een nieuw onderzoeksproject is gestart met
hetzelfde kennisinstituut en een bijna even groot deel doet zelfstandig
vervolgonderzoek(28%).
De data die van STW zijn ontvangen bevatten informatie over 808 projecten die zijn
gestart in de jaren 2004 t/m 2010. Het gros van deze projecten is onderdeel van het
OTP, Perspectief programma, Valorisation Grant of Vernieuwingsimpuls. Uit de data
blijkt dat niet bij alle projecten een GC is betrokken. Van de 808 projecten is 406 bij
een GC betrokken (Tabel 1). Bij de Valorisation Grant is een GC niet relevant. Voor de
drie grote programma’s van STW waarvoor een GC opportuun is – OTP, Perspectief en
Vernieuwingsimpuls –, is er bij 375 van de 511 projecten een GC (73%). Bij de
Vernieuwingsimpuls kon STW, in opdracht van financier NWO, een GC niet verplicht
stellen. Bij OTP en Perspectief is er bij 86 projecten geen GC, 23% van het totaal. In 54
gevallen gaat het om projecten die in 2010 zijn gestart, en in twee gevallen om
projecten die in 2011 zijn gestart. In de gevallen van 2010 duurt het dus meer dan een
half jaar voordat een GC is opgestart. 32 projecten zonder GC komen uit eerdere jaren
van OTP en Perspectief – meer dan 10% van de projecten uit die jaren. Hoewel m.n.
bij Perspectief dit veroorzaakt kan zijn doordat meerdere projecten een gezamenlijke
GC hebben (en dat niet goed geadministreerd is13) lijkt er dus ruimte te zijn voor
verbetering bij het instellen van GC’s.
Tabel 1 Overzicht gebruikerscommissies
Programma

Totaal
aantal
projecten

Aantal
projecten
met GC

Totaal
aantal
GC-leden
(ex-leden)

Aantal
GC-leden
per
project

Aantal
unieke
organisaties

Aantal
organisaties per
project

OTP

258

206

1638 (325)

7,95

1216

5,90

Perspectief

126

88

622 (69)

7,07

483

5,49

Vernieuwingsimpuls

127

81

562 (82)

6,94

437

5,40

Partnership

1

1

2 (0)

2,00

1

1,00

Valorisation Grant

222

0

Overig

74

30

249 (43)

8,30

186

6,20

Totaal

808

406

3073 (519)

7,57

2323

5,72

Bron: STW, bewerking Technopolis

Bij de 406 projecten waar een GC is, zijn (of waren) totaal 3073 GC-leden betrokken.
Een deel van deze leden (519) is voor afronding van het project uit de GC gestapt. Het
gemiddelde aantal GC-leden per project is dus 7,6 (6,3 wanneer de ex-GC-leden niet
worden meegenomen). Omdat in sommige GC’s meerdere leden uit één organisatie
zitten, is er een verschil tussen het aantal organisaties en het aantal leden in een GC.
Het gemiddeld aantal organisaties per project is 5,7 (4,6 wanneer de ex-GC-leden niet
worden meegenomen).
In Figuur 10 geven we de verdeling van de verschillende typen organisaties in de GC’s
voor het OTP, het Perspectiefprogramma en de Vernieuwingsimpuls voor de periode
2005–2010. Het aandeel van bedrijven in de GC’s bij het OTP neemt in de periode
2005–2010 toe van circa 70% naar circa 90%. Binnen de groep van bedrijven neemt
het aandeel van MKB’ers toe: in 2010 is meer dan de helft van de bedrijven een
MKB’er. Het aandeel van bedrijven in de GC’s van het Perspectiefprogramma
fluctueert rond de 80% vanaf 2007.

13 Mondelinge mededeling Chris Mombers, STW, 3 november 2011

20

Evaluatie STW 2005-2010

Bij de Vernieuwingsimpuls is het aandeel van de bedrijven echter lager, en sinds 2008
dalend. In 2009 en 2010 was dat circa 65%. Voor alle programma’s tezamen is het
aandeel van bedrijven 73,5% – het aandeel van het MKB is 31,9%.14 STW voldoet
daarmee aan de aanbeveling uit de vorige evaluatie dat minimaal 70%–75% van de
GC-leden afkomstig zou moeten zijn uit bedrijven.
Figuur 10 Verdeling van typen organisaties in GC’s van het OTP, het Perspectiefprogramma en de Vernieuwingsimpuls, 2005–2010

Bron: STW, bewerking Technopolis.

Uit Figuur 11 blijkt dat het bestand van industriële gebruikersrelaties elk jaar
vernieuwt.
Figuur 11 Aantal industriële gebruikersrelaties per jaar
1200

1000

800

aantal

nieuwe buitenlandse gebruikersrelaties ten opzichte van
voorgaand jaar
buitenlandse gebruikersrelaties

600

nieuwe gebruikersrelaties ten opzichte van voorgaand
jaar
gebruikersrelaties

400

200

0
2006

2007

2008

2009

2010

STW Zelfevaluatie 2011.

14

Op basis van aantal organisaties waarvan type organisatie bekend is (86,4%).

Evaluatie STW 2005-2010

21

Het aantal buitenlandse gebruikersrelaties neemt vanaf 2007 ook toe. Ook hier zien
we elk jaar nieuwe gebruikers toetreden – en oude vertrekken. 81% van de
projectleiders geeft aan nieuwe contacten heeft opgedaan met het bedrijfsleven naar
aanleiding van STW-projecten. 12% geeft aan dat dit veel contacten heeft opgeleverd,
de overige 69% dat hij/zij er enkele contacten aan over heeft gehouden. 16% geeft aan
dat er geen nieuwe contacten met bedrijven zijn opgedaan naar aanleiding van de
STW-projecten.
Het kennisnetwerk van STW in 2010 wordt weergegeven in Figuur 12. De drie TU’s,
TNO, WUR en Philips Research zijn sterk vertegenwoordigd in de GC’s, maar feitelijk
zijn alle grote kennisspelers in het technisch-wetenschappelijke en biomedische
domein, zowel publiek als privaat, vertegenwoordigd. Een aantal clusters tekent zich
af: een cluster rondom de TU Delft (met o.a. Rijkswaterstaat, Wetsus, CUR); rondom
Deltares (met o.a. Royal Haskoning, Boskalis, WL | Delft Hydraulic); rondom TNO en
Philips Research (met o.a. ASML, ASM en de drie TU’s), rondom WUR, rondom
Erasmus MC, rondom VUMC Amsterdam en rondom Universiteit Utrecht,
Universiteit Leiden en Rijksuniversiteit Groningen.
Figuur 12 Kennisnetwerk van STW in 2010

Bron: STW Zelfevaluatie 2011.
Toelichting: Deze figuur toont een deel van het netwerk van STW-gebruikerscommissieleden in
2010. De grootte van de bolletjes geeft weer hoe vaak de desbetreffende organisatie deelneemt
in gebruikerscommissies. De plaats van de bolletjes ten opzichte van elkaar geeft aan hoe vaak
organisaties gezamenlijk deelnemen in een gebruikerscommissie: hoe dichter bij elkaar hoe
meer verwant hun interesse in STW is. De kleur van de bolletjes is een maat voor de clustering
van organisaties in dit STW-netwerk.

Er is ook sprake van kennisoverdracht als onderzoekers na afronding van hun STWproject in dienst treden bij een gebruiker. Uit de enquête onder de GC-leden blijkt dat
15% van de respondenten in de periode 2005–2010 één onderzoeker heeft

22

Evaluatie STW 2005-2010

aangenomen die hij/zij kende uit een STW-project en dat 9% dit meerdere keren deed.
De overige 76% nam geen onderzoekers aan uit STW-projecten. Dit komt grofweg
overeen met de resultaten uit de enquête onder de projectleiders, waarin 39% aangeeft
dat het soms voorkomt dat onderzoekers na afloop gaan werken bij de organisaties uit
de GC’s. 22% geeft aan dat dit vaak gebeurt en 14% geeft aan dat dit zelden of nooit
gebeurt. Gezien het feit dat er gemiddeld circa zes organisaties in één GC zitten, lijken
deze resultaten met elkaar te rijmen.

3.4 Economische impact
3.4.1 Toepassing van onderzoeksresultaten door bedrijven
De belangrijkste economische resultaten van het STW-onderzoek worden gerealiseerd
bij bedrijven die de resultaten van STW-onderzoek toepassen (utilisatie). STW
monitort deze utilisatie al tientallen jaren systematisch op een kwalitatieve manier.
Tabel 2 Toelichting op scores op utilisatievariabelen
Betrokkenheid
De mate waarin één (of
meerdere) gebruikers bij het
onderzoek zijn betrokken

Product
In hoeverre zijn de doelstellingen
van het onderzoek gehaald, en is
er een aanwijsbaar ‘product’

Inkomsten
Heeft het onderzoek geleid tot
inkomsten voor STW en/of de
onderzoeksgroep

0

Het project is mislukt; de
uitkomsten zijn irrelevant voor
een gebruiker.

Het project is in het
onderzoeksstadium mislukt, of
het onderzoek is voortijdig
afgesloten.

Omdat het project
wetenschappelijk mislukte, of
omdat er geen gebruiker
gevonden kon worden, zijn er
geen inkomsten op dit project
geweest en zijn die in de
toekomst niet te verwachten.

A

Er is enige belangstelling van de
gebruikers geweest, door
deelname in een
gebruikerscommissie.

Er is geen concreet product. Er is
meer onderzoek nodig om een
bruikbaar product te verkrijgen.
Voorlopige conclusies zijn al wel
getrokken, maar een en ander
moet nog worden geverifieerd.
We zijn nog in de fase van ‘basic
technology’. De voornaamste
vorm van output is tot op dit
moment de wetenschappelijke
publicatie.

Er zijn nog geen inkomsten op
het project. Dat wil hier zeggen
dat er wel bijdragen aan het
onderzoek kunnen zijn, maar
nog geen revenuen uit de
exploitatie van de kennis.
Toekomstige baten zijn echter
niet uitgesloten.

B

De gebruikers participeren actief.
Een eventueel geleverde bijdrage
is klein – in de vorm van geld,
materialen en dergelijke.

Een voorlopig model, een
principe of een conceptmethode
is ontwikkeld en bruikbaar.
Verificatie en verfijning is nog
wel nodig voordat van een
eindproduct kan worden
gesproken. De gebruiker kan het
onderzoeksproduct (nog) niet
geheel zelfstandig gebruiken.

Incidenteel is of wordt (een deel
van) de kennis verkocht. De
‘inkomsten’ kunnen hier ook
bestaan uit het feit dat het
resultaat ‘waardevol’ is voor de
samenleving.

C

Op niet mis te verstane wijze
participeert de gebruiker in het
project. Er is omvangrijke steun
gegeven en vaak is er een
contract met betrekking tot de
samenwerking gesloten.

Er ligt een aanwijsbaar product,
bijvoorbeeld in de vorm van
software, een werkend prototype,
een procesomschrijving, een
octrooi, kortom een min of meer
afgerond concept, waarmee de
gebruiker zelfstandig aan de slag
kan gaan.

Er is een beduidende, gestage of
grote stroom inkomsten
(geweest), of er is zicht op dat
een dergelijke stroom de
eerstvolgende vijf jaar wordt
gerealiseerd. Bijvoorbeeld als er
al principe-afspraken gemaakt
zijn.

STW Utilisatierapport 2010.

Vijf jaar na de start van een project (dat is dus veelal direct na afloop van een project)
en vijf jaar later (10 jaar na start van een project) wordt gekeken wat de actuele situatie
is van destijds gestarte STW-projecten. Om de utilisatie van die projecten te
kwalificeren gebruikt STW drie variabelen: ‘Betrokkenheid’, ‘Product’ en ‘Inkomsten’

Evaluatie STW 2005-2010

23

(BPI). Elk van deze variabelen is onderverdeeld in een oplopende vier-puntswaardering (0, A, B, en C). In Tabel 2 worden de variabelen en scores toegelicht.
De totaalresultaten van deze STW-analyses voor de projecten die gestart zijn vanaf
1997 worden weergegeven in Figuur 13. Dit betreft alleen OTP- en Vernieuwingsimpulsprojecten omdat de eerste Perspectiefprogramma’s in 2007 zijn gestart en
daarom pas in 2012 voor het eerst een BPI-score toegekend zullen krijgen.
Opvallend is het percentage A-scores op Betrokkenheid: in 26,5% van de gevallen
wordt een score A gegeven. Dit betekent dat bij ruim een kwart van de projecten
weliswaar een GC aanwezig was, maar dat na afloop van het project er geen enkele
opvolging meer was vanuit de GC. De Vernieuwingsimpuls (vooral Vidi) scoort daarbij
slechter dan het OTP. In paragraaf 4.2.2 zal verder ingegaan worden op de werking
van GC’s.
De BPI-scores suggereren dat een actieve GC vrijwel altijd samengaat met concepten
of zelfs concrete producten (het aantal A-scores op de Product-as is zelfs lager dan het
aantal A-scores op de Betrokkenheid-as). Ook op de Product-as is het aantal C-scores
bij de Vernieuwingsimpuls relatief laag (met name voor Vici en Vidi). Dit duidt erop
dat de Vernieuwingsimpuls minder ‘product’-gericht is dan het OTP.
De variabele Inkomsten wordt gekenmerkt door relatief weinig C-scores (7,4%, met
name uit OTP-projecten) en relatief veel A-scores (68,2%). Dat is niet verontrustend:
STW is volgens haar missie gericht op het maximaliseren van de toepassing van kennis
(de P-as van het BPI-systeem), niet op het maximaliseren van haar eigen inkomsten
(de I–as). Zie hiervoor verder 4.2.3.
Figuur 13 BPI-scores voor STW-projecten
100%
90%
80%
70%
60%

C

50%

B

40%

A

30%

0

20%
10%
0%
B-socre

P-score

I-score

STW, bewerking Technopolis.

Het beeld dat naar voren komt uit de analyse van de BPI-scores wordt bevestigd in de
enquête15 (Figuur 14). Hier geeft 37,8% van de respondenten aan dat het project heeft
geleid tot een verbeterd product, proces of dienst. 23,9% meldt dat er een nieuw
product, proces of dienst is ontwikkeld. En dat terwijl een groot deel van de bevraagde
projecten nog niet eens afgelopen is (wel is er wellicht in de enquêteresultaten een bias
naar succesvollere projecten: gebruikers met positieve resultaten zijn sneller geneigd
aan enquêtes mee te werken dan gebruikers met minder goede resultaten). 20% van de
respondenten geeft aan dat hun deelname aan de GC geen concrete opbrengst heeft

15 In de enquête is het percentage recentere projecten hoger dan bij de BPI scores. In de enquête zijn

namelijk alle projecten bevraagd met een einddatum na 1-1-2005.

24

Evaluatie STW 2005-2010

gehad. 78% van de GC-leden geeft aan dat hun STW-project wel een concrete
opbrengst heeft opgeleverd.
Figuur 14 Economische output STW-projecten

Bron: Technopolis Enquête (2011).

Volgens de gebruikers is de toepasbaarheid van STW-onderzoek ongeveer net zo goed
als van derdegeldstroomonderzoek (dat betaald en aangestuurd wordt door de
industrie), en beter dan bij andere overheidsprogramma’s en eerstegeldstroomonderzoek.
De ‘time-to-market’ van STW-onderzoeksresultaten is aanzienlijk. Ruim een derde
(36%) van de respondenten geeft aan dat de toepassing van de resultaten 2–5 jaar op
zich laat wachten, en 25% verwacht dat dit langer zal duren dan 5 jaar (6% zelfs langer
dan 10 jaar). 16% geeft aan dat de time-to-market twee jaar of minder is. 11% van de
respondenten kan deze niet inschatten en 13% vindt dat deze sterk wisselend is per
project.
Figuur 15 Financiële waarde van onderzoeksresultaten

Bron: Technopolis Enquête (2011)

Evaluatie STW 2005-2010

25

Het maken van een goede inschatting van de financiële waarde van de
onderzoeksresultaten wordt lastig gevonden (zie Figuur 15), een groot deel (31%) van
de respondenten kan geen schatting geven. Een ander substantieel deel van de
respondenten geeft aan dat de resultaten van het STW-onderzoek geen geldelijke
waarde heeft (19%). Van de respondenten die wel een financiële waarde aangeven, ligt
het zwaartepunt in de grootte van tienduizenden en honderdduizenden euro. 7% geeft
aan dat de waarde in de orde van grootte van miljoenen euro ligt.

3.4.2 Opzetten nieuwe bedrijven
In de afgelopen evaluatieperiode zijn 84 nieuwe bedrijven voortgekomen uit STWprojecten (Figuur 16). Het aantal nieuwe bedrijven fluctueert rond de 14 per jaar,
variërend van 10 in 2007 tot 18 in 2008.
Figuur 16 Aantal nieuwe bedrijven uit STW programma’s
20

18

16

14

12

10

8

6

4

2

0
2005

2006

2007
Valorisation Grant

2008

2009

2010

Overige programma's

Bron: STW Jaarverslag 2010

Het grootste gedeelte van de nieuwe bedrijven komt voort uit de Valorisation Grant.
Dit betreft start-ups die een Fase-2 grant hebben gekregen. Het aantal bedrijven dat
uit andere instrumenten van STW voortkomt neemt af, veelal omdat onderzoekers die
vanuit een ander programma een bedrijf willen starten ook gebruik maken van de
Valorisation Grant. In 2010 is zelfs maar een van de twaalf nieuwe bedrijven afkomstig
uit een ander STW-programma. De Valorisation Grant is dus na een start als
experiment in de vorige evaluatieperiode, in deze evaluatieperiode een belangrijk
instrument van STW ’s valorisatiebeleid geworden.
Tijdens een interne evaluatie in 2010 werd geconstateerd dat de Valorisation Grant in
een duidelijke behoefte voorziet, tot resultaat leidt en verdient om te worden
gecontinueerd. In totaal denkt een derde van de aanvragers dat oprichting van de
start-up niet of waarschijnlijk niet mogelijk was geweest zonder die steun (Figuur 17)
Voor de andere aanvragers heeft de Valorisation Grant de start-up vooral
gemakkelijker gemaakt.
Een kanttekening bij het (aanzienlijke) aantal start-ups is dat het aantal start-ups
maar in beperkte mate een maat voor economisch succes is. Het aantal werknemers bij
deze start-ups, kapitaal dat door de start-ups is aangetrokken en economische
prestaties van de start-ups zouden een beter beeld geven dan het aantal start-ups

26

Evaluatie STW 2005-2010

alleen. Deze gegevens worden echter niet systematisch verzameld door STW en vielen
binnen het kader van deze evaluatie niet te achterhalen.
Figuur 17 Oprichting van de startups was mogelijk geweest zonder de steun aan de
universiteit vanuit het STW Valorisation Grant programma

13%

18%

9%

20%

40%

nee

waarschijnlijk niet

misschien

waarschijnlijk wel

ja

Bron: Interne evaluatie STW Valorisation Grant programma (2010).

3.4.3 Kennisexploitatie-inkomsten STW
STW gebruikt intellectual property rights (IPR) als middel om utilisatie mogelijk te
maken. Ze vraagt momenteel octrooi aan op die patenteerbare resultaten van het door
haar gefinancierd onderzoek, waarvan men denkt dat er mogelijkheden bestaan om
het verkregen octrooi te valoriseren middels verkoop (lumpsum betaling) en/of het
geven van licenties (royalties). Het eigendom van de onderzoeksresultaten van door
STW gefinancierd onderzoek behoort gezamenlijk toe aan STW en de onderzoeksinstelling(en) waar het onderzoek wordt gefinancierd. STW beslist, in overleg met de
Technology Transfer Office (TTO) van de betrokken universiteit, over de wijze waarop
het octrooi geëxploiteerd wordt. De inkomsten uit octrooien boven de €50.000 per
octrooi worden gedeeld tussen STW en de universiteit. Het STW-deel wordt
vervolgens na aftrek van eventuele octrooikosten, weer ter beschikking gesteld aan de
betrokken onderzoeksgroep, vooropgesteld dat zij op adequate wijze aan onderzoek en
onderwijs worden besteed. Het handelen van STW is daarbij conform haar missie
vooral gericht op het maximaal overdragen van kennis en minder op het verkrijgen
van zo groot mogelijke inkomsten. Dit leidt in sommige gevallen tot verschil van
inzicht met de universiteiten die meer nadruk leggen op het verkrijgen van zo groot
mogelijke inkomsten.
In de evaluatieperiode zijn 79 octrooiaanvragen ingediend als gevolg van een STWonderzoeksproject. Het aantal octrooiaanvragen was vrij stabiel in de periode 2005–
2010 en was 15 in 2010. STW streeft ernaar dat de octrooien zoveel mogelijk leiden tot
utilisatie en sluit daarvoor met potentiële gebruikers enkele tientallen overeenkomsten
(de laatste jaren circa 60), variërend van bijvoorbeeld geheimhoudingsverklaringen en
Material Transfer Agreements tot licenties en overdrachtsverklaringen van octrooien.
De inkomsten die met deze ‘kennishandel’ worden gegenereerd, worden gepresenteerd
in Figuur 18. De inkomsten nemen in de periode 2005–2008 toe van €0,7 miljoen
naar €1,1 miljoen, om vervolgens te dalen naar €0,9 miljoen in 2009 en 2010. Het

Evaluatie STW 2005-2010

27

aandeel van de royalties neemt in de jaren 2006–2008 eerst toe tot 36%, om
vervolgens weer te dalen tot 22%.
Hoewel de opbrengsten jaarlijks rond de miljoen euro bedragen is dat maar een fractie
van de jaarlijkse uitgaven die STW aan onderzoeksprojecten besteed (ca. €65 miljoen
per jaar). Bedacht dient echter wel te worden dat het verkrijgen van inkomsten uit
onderzoek niet de primaire doelstelling is van STW.
Figuur 18 Inkomsten uit kennisexploitatie (in miljoen euro)

Bron: STW.

3.4.4 Vergelijking valorisatieprestaties STW met andere organisaties
Tabel 3 vergelijkt de valorisatieprestaties van STW met andere organisaties (Top-11 US
universiteiten, Universiteit Leiden/LUMC, het Vlaams Instituut voor Biotechnologie–
VIB) en geeft aan hoeveel miljoen euro aan STW-toekenningen nodig waren voor 1
invention disclosure, 1 patentaanvraag, 1 M€ inkomsten uit royalty/lumpsum, 1 M€
inkomsten uit royalty/lumpsum/cofinanciering, 1 nieuwe bedrijf (inclusief en exclusief
de Valorisation Grant).
Hoewel door definitiekwesties en onvolledige gegevens dit soort vergelijkingen met de
nodige voorzichtigheid dient te worden geïnterpreteerd, kan worden gesteld dat STW
op valorisatie in een vergelijkbare range valt als een aantal (vooraanstaande)
benchmarks. STW scoort zeer goed op het aantal nieuwe bedrijven en relatief slecht op
de inkomsten uit royalty/lumpsum (als daarentegen de cofinanciering van bedrijven
ook als inkomsten voor STW worden meegenomen, scoort STW weer goed).

28

Evaluatie STW 2005-2010

Tabel 3 Vergelijking valorisatieprestaties STW met andere organisaties
2005

2006

2007

2008

2009

2010

STW

Top11 US

LU +
LUMC

VIB

Disclosure
document

1,8

2,3

2,3

2,4

3,1

3,1

2,5

2,6

2,8

-

Patentaanvraag

4,1

3,5

5,8

4,3

6,0

5,9

4,9

4,0

8,3

3,4

2,1

3,7

4,7

7,8

11,0

5,6

9,5

9,2

32,8

36,4

License en
overdracht
Royalty/Lumpsum
(in M€)

95,0

51,1

71,4

48,6

87,6

91,7

72,4

Royalty/Lumpsum/c
ofin

25,0

15,6

14,1

15,2

26,8

23,1

19,2

Nieuw bedrijf incl.
VG

9,5

11,5

17,5

10,4

6,0

7,3

8,9

Nieuw bedrijf excl.
VG

9,5

5.316

98,2
11,5

17,5

10,4

26,0

88,0

60

77.5

17,0

Bron: STW, VIB. Toelichting: Tabel geeft het aantal M€ aan STW-toekenningen nodig voor 1
disclosure, 1 patentaanvraag, 1 M€ royalty/lumpsum, 1 M€ royalty/lumpsum/cofinanciering, 1
nieuw bedrijf (incl./excl. VG)

3.5 Conclusie, resultaten in relatie tot doelstellingen
Op de drie terreinen wetenschap, samenwerking en economisch effect levert STW een
goede prestatie. De wetenschappelijke output van de STW-projecten is van goede
omvang en van goede tot zeer goede kwaliteit; STW-projecten leiden tot vergrote
samenwerking tussen bedrijven en onderzoeksinstellingen en STW-projecten leiden
tot toepassing van de resultaten bij de bedrijven, op een wijze die vergelijkbaar is met
vooraanstaande andere organisaties.
STW heeft dus haar eigen doelstellingen – bevorderen van onderzoek en toepassing
daarvan respectievelijk realiseren van kennisoverdracht – behaald. Deze
doelstellingen zijn echter zeer algemeen en kwalitatief geformuleerd. Ook de
doelstellingen die de opdrachtgevers van STW aan STW hebben meegegeven zijn
kwalitatief, inputgericht en hoewel er prestatie-indicatoren zijn geformuleerd
ontbreken streefwaarden of doelstellingen.
Het stellen van relevante, meetbare kwalitatieve doelstellingen voor een organisatie als
STW is echter niet gemakkelijk. Hierop wordt nader ingegaan in paragraaf 5.1.2.

16

inclusief inkomsten uit EU-onderzoek en contractresearch voor bedrijven.

Evaluatie STW 2005-2010

29

4. STW als organisatie
4.1 Klanttevredenheid algemeen
De tevredenheid van zowel gebruikers als onderzoekers over STW is behoorlijk groot.
Overall wordt in de evaluatie enquête door gebruikers aan STW het cijfer 7,2 gegeven
(op een schaal 1–10) en door onderzoekers een 7,617. Hiermee is de tevredenheid
ongeveer gelijk aan het oordeel uit de evaluatie in 2005.
Uit de enquête blijkt de tevredenheid van de GC-leden niet alleen uit het gemiddelde
cijfer dat zij geven, maar ook uit het feit dat meer dan 80% van de respondenten
achteraf positief tot zeer positief staat tegenover hun deelname in de STW-projecten.
Van alle respondenten geeft minder van 2% aan dat zij achteraf negatief terugkijken
op hun deelname in de GC.
In de klanttevredenheidsenquête die STW zelf jaarlijks uitvoert onder de gebruikers en
onderzoekers van de in dat jaar afgeronde projecten zijn de onderzoekers ook meer
tevreden dan de gebruikers. 79% van de onderzoekers is tevreden tot zeer tevreden,
terwijl dat maar voor 52% van de gebruikers geldt18 – het aantal ontevredenen is
echter laag: 1% resp. 4%; een vrij grote groep gebruikers scoort ‘neutraal’.
In de enquête van Technopolis is ook gevraagd naar de tevredenheid van onderzoekers
en gebruikers over de programma’s van STW waarin zij deelnamen. De resultaten
staan vermeldt in Tabel 4. Op programmaniveau moeten de uitkomsten echter met de
nodige voorzichtigheid worden geïnterpreteerd omdat niet alle gebruikers bekend
lijken te zijn met het programma waarin zij deelnemen: uit analyse blijkt dat een groot
percentage de enquête heeft ingevuld voor een ander STW-programma dan waaraan
zij volgens STW via de GC deelnemen.
Opvallend is dat de instrumenten die wat minder ‘marktgericht’ zijn
(Vernieuwingsimpuls, OTP) zowel bij onderzoekers als bij gebruikers een betere
waardering krijgen dan instrumenten die sterker op bedrijven gericht zijn
(Perspectiefprogramma’s en Valorisation Grant). Het aantal deelnemers aan
Partnershipprogramma’s is dusdanig beperkt dat nog geen betrouwbaar cijfermatig
oordeel kan worden opgemaakt.
Tabel 4 Klanttevredenheid STW 2011, schaal 1-10
Gebruikers

Onderzoekers

7,2 (7,2)

7,6 (7,7)

OTP

7,5

7,9

Perspectief

7,0

7,0

Vernieuwingsimpuls

7,3

7,4

Valorisation Grant

7,1

7,3

Totaal STW (2005)

Bron: Enquête Technopolis, 2011.

De GC-leden is ook gevraagd of zij, gezien de resultaten van hun STW-projecten, in de
toekomst bereid zouden zijn tot een grotere betrokkenheid bij STW, ook als dit een
grotere financiële bijdrage zou betekenen. Deze vraag werd positief beantwoord door
16% van de respondenten. 48% gaf aan bereid te zijn tot een grotere betrokkenheid,

17
18

Enquête Technopolis, 2011
Zelfevaluatie STW, 2011

30

Evaluatie STW 2005-2010

maar niet tot een grotere financiële bijdrage. 19% gaf aan dat zij hier geen antwoord op
wist te geven en de overige 17% gaf aan niet bereid te zijn tot een grotere
betrokkenheid bij STW.
Uit interviews – met name met minder tevreden respondenten uit de STW
klanttevredenheidsenquête – en uit antwoorden op de open vragen uit de
Technopolis-enquête blijkt dat men vooral tevreden is over de rol van STW als
financier van technisch-wetenschappelijk onderzoek. Gebruikers vinden het belangrijk
dat dit soort toepassingsgericht onderzoek wordt gestimuleerd. Onderzoek moet
toepassingsgericht (basis)onderzoek zijn en hoeft niet per se direct toepasbare
resultaten op te leveren. Ook vindt men het goed dat STW onderzoekers en gebruikers
bij elkaar brengt via GC’s en de vergaderingen van de GC’s faciliteert. Van STW wordt
niet verwacht dat ze een rol spelen in de inhoudelijke begeleiding van projecten,
alhoewel het wel als voordeel wordt gezien als STW-medewerkers inhoudelijk kunnen
meepraten en meedenken.
Men vindt STW echter wel wat bureaucratisch en niet altijd snel genoeg in het
communiceren van afspraken en opvolgen van de afspraken. Daarnaast heeft men
regelmatig last van wisseling van STW-contactpersonen. Men zou van STW’ers een
grotere deskundigheid op het gebied van valorisatie willen en een sterkere
ondernemersmentaliteit. Aannamebeleid en training van STW-project officers zouden
hiervoor moeten zorg dragen. Ook verwacht men van STW een actievere rol bij het
bemiddelen tussen kennisinstellingen en bedrijfsleven, bijvoorbeeld door
contactpersonen aan te wijzen per thema/sector met een duidelijk netwerk op dat
gebied en inzicht in sectorspecifieke aspecten van onderzoek en valorisatie en het
aanleggen van een database met potentiële GC-leden.

4.2 Werkwijze STW
4.2.1 Het beoordelingsproces
STW hanteert per programma een specifieke beoordelingsmethode. Al deze methoden
zijn gebaseerd op een (globale) STW-beoordelingssystematiek. Typische elementen in
de STW-aanpak van beoordeling zijn:
•

STW beoordeelt vormeisen van voorstellen;

•

Referenten (vaak internationaal) beoordelen de wetenschappelijke kwaliteit en
utilisatie;

•

Wetenschappelijke kwaliteit en utilisatie tellen in de beoordeling even zwaar;19

•

Indieners krijgen de gelegenheid voor een weerwoord op het oordeel van de
referenten;

•

Eindoordeel op basis van referentenoordelen
Beoordelingscommissies of lekenjuries;

•

Besluit door het STW-bestuur

en

weerwoord,

door

Projectleiders en GC-leden vinden dat STW een behoorlijk goed beoordelingsproces
heeft. Hierbij zijn er wel verschillen per STW-programma met de Vernieuwingsimpuls
als negatieve uitschieter – 15% vindt beoordelingssysteem (zeer) slecht. Dit lijkt vooral
te maken te hebben met het lage honoreringspercentage in relatie tot de inspanning
die geleverd moet worden voor de aanvragen. Over het OTP en Partnership
19 Dit geldt niet voor de Vernieuwingsimpuls. Bij het Perspectiefprogramma zijn er drie hoofdcriteria die

even zwaar tellen: wetenschappelijke kwaliteit, utilisatieperspectief en strategisch belang.

Evaluatie STW 2005-2010

31

programma’s is men het meest tevreden – ruim 90% vindt het beoordelingsysteem op
zijn minst redelijk goed.
Opgesplitst naar elementen van het beoordelingsproces ontstaat het beeld van Figuur
19.
Figuur 19 Beoordelingsprocedure STW, oordeel over elementen van beoordeling

Bron: Technopolis Enquête (2011)

De grootste ontevredenheid bestaat over de doorlooptijd van de beoordelingsprocedure – die is vaak veel langer dan de voorgespiegelde zes maanden. Dit geeft
onzekerheid bij de onderzoekers en verlies aan ‘competitive edge’ bij gebruikers.
Bij het OTP zijn de mogelijkheden voor beperking van de doorlooptijd beperkt zonder
de procedure geheel te veranderen. Het grootste tijdsbeslag zit hier in het gebruik van
externe referenten (6–8 weken). Vrij veel doorlooptijd kosten verder ook de jury (4
weken) en het bestuursbesluit (4 weken). Mogelijke winst (één tot enkele weken) zit in
het interne proces van STW (zorgen dat dossiers meteen opgepakt worden). Ook het
schriftelijk af laten handelen van besluiten door het bestuur is een optie, maar daar
kleven juridische nadelen aan. Een andere optie is om van een continu proces naar een
tenderproces te gaan, waarbij enkele keren per jaar (3 tot 4 keer) kan worden
ingediend.
STW heeft in de afgelopen jaren de nodige inspanningen gedaan om de
beoordelingsprocedure van het Perspectiefprogramma te stroomlijnen en te verkorten.
Hier is door het in elkaar schuiven van programmabeoordeling en projectbeoordeling
een significante verkorting in de doorlooptijd bereikt.

32

Evaluatie STW 2005-2010

Daarnaast vindt men de terugkoppeling over afgewezen voorstellen onvoldoende, met
name als de lekenjury (bij het OTP) een voorstel afwijst dat als goed is beoordeeld
door de vakinhoudelijke referenten. Door de werkwijze met de lekenjury (die niet bij
elkaar komt om inhoudelijk te spreken, maar waar op basis van schriftelijke
puntenscores van individuele leden een ranking wordt opmaakt) wordt maximale
objectiviteit bereikt, maar is de onderbouwing niet inhoudelijk. De praktijk wijst
overigens uit dat de lekenjury’s het over de beste projecten altijd eens zijn.
Hoewel er een zekere scepsis bestaat over de mate waarin commissies echt in staat zijn
om projecten te beoordelen, geven veel mensen aan dat het moeilijk is een beter
systeem te vinden.
Tot slot wordt de slaagkans laag gevonden ten opzichte van de hoeveelheid inspanning
die nodig is voor het schrijven van een aanvraag. Bij de Vernieuwingsimpuls en het
Perspectiefprogramma is daarom reeds gekozen voor een getrapte aanvraagprocedure,
met indiening van korte(re) pre-proposals. Bij het OTP is momenteel het
honoreringspercentage rond de 33%. Bij eventuele verlaging van OPT-budgetten zou
dit kunnen leiden tot lagere honoreringspercentages. Op dat moment is het zinvol om
de hele OTP-beoordelingsprocedure te herzien en ook daar getrapte procedures
(eventueel gekoppeld aan indiening op vaste tijdstippen) te overwegen.

4.2.2 Gebruikerscommissies
Gebruikerscommissies (GC’s) zijn een belangrijk onderdeel van de STW-methode.
STW stelt voor (vrijwel) elk project dat door haar gefinancierd wordt een GC in waarin
potentiële gebruikers van de resultaten van het onderzoek zitting nemen met als doel
om toepassing van de uiteindelijke onderzoeksresultaten te bevorderen.
De redenen voor gebruikers om zitting te nemen in een GC worden geven in Figuur 20.
Figuur 20 Reden van zitting in gebruikerscommissie

Bron: Technopolis Enquête (2011)

Hieruit blijkt dat gebruikers maar zeer zelden initiatief nemen voor STW-onderzoek –
het initiatief komt meestal van de onderzoeker. Naar mening van de GC-leden zijn de
belangrijkste taken van de GC het uitwisselen van kennis (87% mee eens) en het
bewaken van de toepassingsgerichtheid van het onderzoek (86% mee eens). Ook het
bewaken van de voortgang van het onderzoek scoort hoog (76% mee eens). Een

Evaluatie STW 2005-2010

33

kleiner, maar nog steeds substantieel deel van de GC-leden ziet het als hun taak om
vooraf richting te geven aan het project (52%). Iets minder dan de helft van de GCleden (46%) vindt dat hun inbreng ook het wetenschappelijk begeleiden van het
onderzoek als doel heeft. Ongeveer 20% van de respondenten is het niet met deze
laatste twee stellingen eens.
Wanneer de gestelde doelen worden vergeleken met de impact die de GC heeft gehad,
blijkt dat de voornaamste redenen om zitting te nemen, opdoen van kennis en
uitbouwen van netwerken, gerealiseerd worden. 74% geeft aan eens te zijn met de
stelling dat de inbreng van de GC heeft geleid tot kennistransfer en 72% is het eens
met de stelling dat de GC netwerken heeft verbeterd.
Ook het bewaken van de toepassingsgerichtheid van het onderzoek lijkt te worden
gerealiseerd. Een meerderheid van de respondenten (59%) geeft aan dat de inbreng
van de GC heeft geleid tot een verhoging van de utilisatie en 52% geeft aan dat de
inhoud en richting van het onderzoek zijn bijgestuurd.
Figuur 21 laat zien dat de effecten van de GC worden bevestigd door de projectleiders.
Figuur 21 Resultaat inbreng gebruikerscommissie (Projectleiders)

Bron: Technopolis Enquête (2011)

Ook de analyse van de BPI-scores die STW aan de projecten geeft, suggereert positieve
effecten van GC. In Figuur 22 is de relatie tussen de scores op Betrokkenheid en
Product uitgezet. Er blijkt een duidelijk verband te bestaan tussen de scores op
Betrokkenheid en Product: hoe hoger de score op betrokkenheid van de GC, hoe groter
de kans op een succesvolle productontwikkeling als gevolg van het project. Een grote
GC-betrokkenheid is echter geen noodzakelijke voorwaarde voor een geslaagde
productontwikkeling. Hetzelfde verband (maar nog iets extremer, omdat een
ontwikkeld product noodzakelijk is voor realisatie van inkomsten) gaat op voor de
relatie tussen de scores op Betrokkenheid en Inkomsten.

34

Evaluatie STW 2005-2010

Figuur 22 Relatie scores op Betrokkenheid en Product

B score

0

A
0
A

B

B
C

C
0%

20%

40%

60%

80%

100%

P score
Bron: STW, bewerking Technopolis.

GC’s hebben dus een gewenst effect en zowel projectleiders als gebruikers zijn niet
ontevreden over de werking van GC’s. Er is echter nog het nodige te verbeteren. Bij
23% van de projecten is er geen GC (of wordt de GC pas laat ingesteld, zie 3.3), en bij
ruim 26% is de score op Betrokkenheid van de GC beperkt (A of 0, zie 3.4.1; dit
percentage kan ook de projecten omvatten waarbij geen GC is ingesteld). Ook uit de
enquête en de interviews blijkt dat er nog mogelijkheden liggen om de rol van GC’s
nog beter toe te spitsen op het maximaal valoriseren van onderzoekresultaten.
Allereerst is het het overwegen waard om de GC’s in een eerder stadium samen te
stellen, zodat ze ook al invloed uit kunnen oefenen op de projectdefinitie. Ook zouden
GC’s zo samengesteld moeten zijn dat GC-leden gezamenlijk sneller tot valorisatie
komen (geen concurrenten, ketens van toeleveranciers, niet streven naar een zo groot
mogelijk aantal GC-leden, meer MKB erbij betrekken, etc.). Gedurende een project
zouden GC’s ook aangevuld moeten kunnen worden als specifieke
valorisatiemogelijkheden zich aandienen en zouden GC-leden die niet actief (of
constructief) zijn uit GC’s verwijderd moeten kunnen worden. Bij de samenstelling van
GC’s zou STW het voortouw moeten nemen en niet de onderzoeker.
Ten tweede zijn er mogelijkheden om het opereren van de GC’s te versterken
gedurende de looptijd van het project. Ondanks de in het algemeen positieve oordelen
over effectiviteit van de GC’s, blijken GC’s gedurende de looptijd van projecten vaak
niet in staat om het onderzoek zo aan of bij te sturen dat maximale valorisatie wordt
gerealiseerd. Redenen hiervoor zijn dat de onderzoeker in de lead is en meestal is
gefocust op de wetenschap en niet op de valorisatie; dat het mandaat van de GC voor
GC-leden vaak onduidelijk is; en dat de STW-officer soms te weinig kritisch is richting
de onderzoeker op het punt van valorisatie en dat hij/zij de GC te weinig bij het project
betrekt. Slechts 36% van de GC-leden geeft aan dat ze altijd voldoende betrokken
wordt bij het project – terwijl 71% van de onderzoekers vindt dat ze de gebruikers goed
betrekken. Duidelijkere afspraken over taken van de onderzoeker, het mandaat van de
GC en de rol van STW‘ers lijken nodig. Naar onze mening zouden duidelijke
protocollen hieromtrent dienen te worden vastgesteld, geïmplementeerd (middels
training van STW project officers, instructie van onderzoekers en GC over hun taken
en bevoegdheden) en gehandhaafd zodat daadwerkelijke valorisatie wordt vergroot.
Het belang van contacten tussen onderzoekers en gebruikers buiten de GCvergaderingen om moet daarbij niet worden vergeten.

Evaluatie STW 2005-2010

35

Deze protocollen kunnen eventueel verschillend zijn per programma. Zowel
projectleiders als gebruikers zien met name de Vernieuwingsimpuls als meer
fundamenteel of grensverleggend en zien daarbij een iets andere rol voor de GC dan
bij de andere programma’s – sommigen zien zelfs geen rol weggelegd voor een GC bij
de Vernieuwingsimpuls.

4.2.3 Valorisatie
STW vraagt momenteel octrooi aan op die patenteerbare resultaten van het door haar
gefinancierd onderzoek, waarvan men denkt dat er mogelijkheden bestaan om het
verkregen octrooi te exploiteren middels verkoop (lumpsum betaling) of het geven van
licenties (royalties). Het eigendom van de onderzoeksresultaten van een door STW
gefinancierd onderzoek behoort gezamenlijk toe aan STW en de onderzoeksinstelling(en) waar het onderzoek wordt gefinancierd. De inkomsten die STW
verwerft, worden naar rato van ieders inbreng gedeeld tussen de
onderzoeksinstelling(en) en STW. Het STW-deel wordt vervolgens, na aftrek van
eventuele octrooikosten, weer ter beschikking gesteld aan de betrokken
onderzoeksgroep, vooropgesteld dat zij op adequate wijze aan onderzoek en onderwijs
worden besteed.
GC-leden krijgen als eerste informatie over de resultaten, maar krijgen niet
automatisch het recht om de resultaten toe te passen of te commercialiseren.
Gebruikers die een substantiële financiële bijdrage leveren hebben gedurende de
looptijd van het project wel recht op een optie, inclusief een ‘right of first refusal’ en/of
exclusieve zitting in de GC. Het recht op gebruik/toepassing wordt verkregen door een
licentie-, overdracht- of know-how-overeenkomst.
In lijn met de huidige definitie van haar doelstelling – kennisoverdracht realiseren
tussen technische wetenschappen en gebruikers – zijn octrooien geen doel maar een
middel en moet STW zich vooral richten op het maximaliseren van de (economische)
revenuen van het onderzoek in de Nederlandse (of Europese) maatschappij.
In de praktijk stelt STW zich flexibel op als het gaat om IP-rechten. Dankzij het feit dat
STW een eigen juridische staf heeft, kan STW maatwerk leveren. Bedrijven moeten per
onderzoeksresultaat onderhandelen met STW en de TTO van de universiteit over een
licentie of overdracht. Hierdoor kan STW (en de TTO’s) verifiëren dat gebruikers geen
defensief gebruik maken van de IP-rechten, dat de betreffende onderhandelingspartner inderdaad de meest aangewezen partner is voor doorontwikkeling/onderzoek
van de technologie en dat er een marktconforme prijs wordt onderhandeld conform
Europese regelgeving.
Een van de redenen dat IP-rechten niet op voorhand naar gebruikers gaan, maar in
eerste instantie bij STW en de kennisinstellingen liggen, is dat het garandeert dat
kennisinstellingen een financiële erkenning van hun onderzoeksresultaten krijgen.
Gebruikers moeten een marktconforme vergoeding betalen om het eigendom over te
nemen/licentie te nemen, waarbij in de prijs rekening wordt gehouden dat het bedrijf
mede-uitvinder is.
Het STW-beleid ten aanzien van IP heeft gevolgen voor de projectenportfolio, omdat
veel bedrijven alleen actief willen participeren in STW-onderzoek dat niet te dicht bij
hun ‘core business’ ligt, omdat zij bang zijn dat dan mogelijke achtergrondkennis
weglekt naar andere gebruikers20. Diverse gebruikers zijn mede daarom niet tevreden
met het IP-beleid van STW. Het verdient aanbeveling dat STW onderzoekt in hoeverre
bijvoorbeeld (onderdelen van) de modellen voor IP van de Technologische

20 Dit geldt vooral voor grotere gebruikers (multinationals). Hier botst de wens van snellere utilisatie op de

randvoorwaarden die aan overheidssteun van innovatie worden gesteld om onterechte staatssteun voor
bedrijven te voorkomen. Oplossing is dan volledige financiering door bedrijven, maar dan is STW niet
meer nodig als intermediair.

36

Evaluatie STW 2005-2010

Topinstituten (TTI’s) toepasbaar zijn voor STW, en dat SWT deze vervolgens invoert
als dit van toegevoegde waarde blijkt.
Door de toenemende betrokkenheid van universitaire TTO’s bij de onderhandelingsprocessen over IP (dit is iets van de laatste paar jaar) neemt de snelheid van handelen
af, evenals de efficiëntie van het IP beheerstraject. Het verdient daarom overweging
om alle onderhandelingen over IP bij STW-projecten bij STW te leggen (zonder de
regelingen over eigendom en opbrengstverdeling aan te passen).
Naast kennishandel is de STW Valorisation Grant het tweede instrument van STW om
toepassing van kennis te bevorderen. Dit instrument blijkt uitermate geschikt om te
helpen bij het opstarten van nieuwe ondernemingen.
STW zou kunnen overwegen nog andere ondersteunende activiteiten te ondernemen
voor het bereiken van snellere of betere valorisatieresultaten. Hierbij kunnen de
huidige activiteiten zowel meer de onderzoekskant op worden uitgebreid (bijvoorbeeld
het bieden van meer ondersteuning aan onderzoekers op het gebied van ondernemersvaardigheden – daar vragen meerdere onderzoekers om in de enquête) of juist meer
aan de ondernemerskant (bijvoorbeeld het actiever betrekken van investeerders/ondernemers bij projecten, het actief op zoek gaan naar de juiste investeerder vanuit
de GC, het organiseren van pitches, etc.). Afstemming met met name de TTO’s van de
universiteiten is daarbij belangrijk.

4.3 Uitvoeringskosten
De ontwikkeling van de uitvoeringskosten van STW , zoals geschetst in de zelfevaluatie
wordt gegeven in Figuur 23. In de figuur worden de bruto beheerkosten gegeven. Deze
bedragen circa 6% van de totale inkomsten van STW (beheerskosten +
subsidiebedragen). Het verschil tussen netto- en brutokosten wordt gevormd door de
kosten voor beheer van programma’s door derden (niet NWO, EL&I) die STW vergoed
krijgt van deze derden en waarvan de programmabudgetten niet aan STW worden
toegerekend. Over de evaluatieperiode waren de netto beheerkosten circa 4,5%.
Figuur 23 Beheerkosten STW als percentage van de baten
8
7

percentage

6
5
4
3
2
1
0
2006

2007

2008

2009

2010

Bron: Zelfevaluatie STW, 2011

De uitvoeringskosten van innovatieprogramma’s, uitvoeringsorganisaties en research
councils zijn erg afhankelijk van de taken die binnen een programma vallen en de

Evaluatie STW 2005-2010

37

mate waarin deze taken door een uitvoeringsorganisatie zelf gedaan worden of worden
uitbesteed. Ze liggen normaliter in de range van 5%–7%21. STW zit met haar
uitvoeringskosten dus aan de onderkant van deze range.
Gegevens per programma uit het urenregistratiesysteem van STW over 2010 worden
gegeven in Tabel 5.
Tabel 5 Beheerskosten STW per programma, 2010
% van budget
OTP

9,60

Partnership

3,02

Perspectief

2,95

VG

7,11

VI

1,80

Bron: urenregistratiesysteem STW, bewerking door Technopolis.

Het relatief lage beheerskostenpercentage voor de VI wordt veroorzaakt door het
(eenmalige) hoge VI budget in 2010, gecombineerd met het feit dat niet bij elk project
een GC gevormd wordt. De hoge VG beheerskosten hebben te maken met de relatief
lage omvang van de projecten en de behoorlijk intensieve begeleiding.
De hoge kosten voor het OTP, gecombineerd met de lage kosten voor het Perspectiefen Partnershipprogramma lijken te wijzen op een niet goed geïmplementeerde
urenregistratie. Partnership en Perspectief betreffen weliswaar vrij grote
programma’s, maar kennen wel een zeer arbeidsintensief voorbereidings- en
beoordelingsproces. Percentages van beheerskosten van rond de 3% passen daar niet
bij. Gezien het hoge percentage voor het OTP lijkt het erop dat werkzaamheden die toe
te rekenen zijn aan Perspectief en Partnership op het OTP zijn geboekt. Wij bevelen
STW aan hier nader aandacht aan te besteden, mede in verband met de
doorberekening van de Perspectiefkosten aan het Ministerie van EL&I.
Overall wijst alles erop dat STW opereert als een kostenefficiënte organisatie. Verdere
kostenverlaging is derhalve niet per se nodig, er lijkt zelfs ruimte om te investeren in
de kwaliteit van haar mensen en organisatie om zo de effectiviteit van haar werk te
vergroten.

21 Ervaringsgegevens Technopolis

38

Evaluatie STW 2005-2010

5. Positionering STW
5.1 Aansturing STW
5.1.1 Aansturing algemeen
STW is zowel een stichting met een eigen rechtspersoonlijkheid als een Gebied (TW:
Technische Wetenschappen) van NWO in de zin van de NWO-wet. Bestuur en directie
van de stichting en het NWO-gebied zijn congruent, zodat de eenheid van beleid en
werkwijze van beide organen is verzekerd. EL&I stelt zijn subsidie ter beschikking van
de stichting, terwijl NWO haar middelen beschikbaar stelt aan het Gebiedsbestuur
TW. De inhoudelijke verantwoording aan beide geldgevers geschiedt op eensluidende
wijze, namelijk via het jaarverslag, via het utilisatierapport en via een tripartite overleg
(tweemaal per jaar). Sinds de vorige evaluatie is, in lijn met een aanbeveling uit deze
evaluatie, met NWO en EL&I de afspraak gemaakt dat STW jaarlijks aan beide
geldgevers rapporteert aan de hand van één vaste set van indicatoren. Dit gebeurt
zowel rechtstreeks als via het STW-jaarverslag. De indicatorenset omvat indicatoren
ten aanzien van wetenschappelijke impact, economische impact en procesindicatoren.
NWO en EL&I geven aan tevreden zijn over de huidige wijze van aansturing. Wel geeft
EL&I aan dat STW voor hen het instrument is dat het verst weg staat van directe
aansturing door het bedrijfsleven, en dat de subsidie aan STW daardoor regelmatig ter
discussie heeft gestaan. Voor NWO is juist de nadruk op utilisatie een verschil met de
werkwijze in haar eigen organisatie.
STW zelf is tevreden over de wijze van rapporteren en aansturen. De zeer ambivalente
aansturing van de vorige evaluatie is sterk verbeterd. De meeste prestatie-indicatoren
zijn volgens STW echter niet operationeel te gebruiken, omdat STW niet rechtstreeks
invloed heeft op deze indicatoren. Na subsidietoekenning heeft STW weinig tot geen
sturing meer over de onderzoekers die een project uitvoeren. Alleen de
procesindicatoren worden door STW daadwerkelijk gebruikt als sturingsinstrument.
Dit illustreert de ‘hands off’ stijl waarmee STW haar projectenportfolio beheert.
Naar onze mening zou STW ook de output- en outcome-indicatoren kunnen gebruiken
om op projectniveau performance te monitoren en projecten (in samenwerking met de
GC’s) proactiever aan te sturen.

5.1.2 Monitoringsindicatoren
STW rapporteert in afstemming met haar opdrachtgevers over 14 indicatoren
(waarvan 1 met 3 subindicatoren).
Tabel 6 Indicatoren
Indicator
Wetenschap

1. Publicaties:
a. aantal publicaties gerefereerde tijdschriften
b. aantal (bijdragen aan) boeken
c. aantal congresbundels
2. Impactscores van publicaties
3. Aantal proefschriften

Valorisatie

4. Aantal aangevraagde resp. geëxploiteerde octrooien
5. Aantal overeenkomsten m.b.t. kennisexploitatie
6. Aantal technostarters
7. Utilisatiescores cf. Utilisatierapport
8. Aantal initiatieven tot programma’s met gebruikers
9. Aantal technologieplatforms en communities of interest

Interne proces van STW

10. Algemene bureaukosten
11. Klanttevredenheid onderzoekers en gebruikers

Evaluatie STW 2005-2010

39

Indicator
12. Behandelingsduur projectvoorstellen
13. Kostenverdeling naar activiteit STW-bureau
Gebruikerscommissies

14. Aantal NL resp. buitenlandse relaties in gebruikerscommissies
15. Aantal NL resp. buitenlandse (semi-)overheids- en non-profit
gebruikers in GC’s

Bron: STW

STW geeft aan dat ze voor eigen gebruik eigenlijk alleen de procesmatige indicatoren
gebruikt, omdat ze hier direct invloed op heeft terwijl ze op de andere indicatoren
weinig invloed kan uitoefenen. Uit de zelfevaluatie blijkt verder dat niet alle
indicatoren in de afgelopen periode jaarlijks bepaald zijn. Van de indicatoren missen
1c (2009), 2 (eenmalig bepaald in 2009 over periode 1997-2006) en 13 (kostendeling
per activiteit STW bureau). Het huidige systeem van prestatie-indicatoren werkt
derhalve niet optimaal. Verbetering is zinvol. Op dit moment zijn er ook geen
streefwaarden geformuleerd voor de indicatoren. Streefwaarden helpen echter om de
prestaties in context te kunnen beoordelen en in sommige gevallen, de mate van
doelbereiking te beschouwen.

5.2 Positionering STW binnen het Nederlandse overheidsinstrumentarium
5.2.1 Terugkijkend 2005–2010
In de periode 2005 tot 2010 wordt het beleidsinstrumentarium voor innovatie van het
ministerie van Economische Zaken (sinds 2010 EL&I) gekenmerkt door de invoering
van een ‘basispakket’ en een ‘programmatisch pakket’. Het basispakket bevat
generieke instrumenten en is voor alle ondernemers toegankelijk.22 Het
programmatisch pakket bestaat modules voor innovatie, regionale ontwikkeling,
energie en internationaal excelleren. Voor STW is met name de module ‘Sterktes in
innovatie’ van belang, en nog specifieker de aanpak via innovatieprogramma’s. Binnen
de
programmatische
aanpak
hebben
bedrijven,
kennisinstellingen
en
maatschappelijke organisaties, ondersteund door de overheid op economische
zwaartepunten van de Nederlandse kenniseconomie programmavoorstellen
ontwikkeld om innovatie te stimuleren. In dit kader zijn tien innovatieprogramma’s
gestart: Point-One; Food & Nutrition; Watertechnologie; Maritiem; Automotive
(HTAS); Service Innovation & ICT; Life Sciences & Health; Polymeren; Creatieve
industrie; en Logistiek & Supply Chains.
Figuur 24 laat een mapping zien van de STW-projecten op de verschillende
innovatieprogramma’s. STW-projecten hebben de meeste verwantschap met de
innovatieprogramma’s Life sciences & Health, Point-One, Chemie en High-Tech
Automotive Systems. Minder dan een derde van de projecten past niet binnen een van
de innovatieprogramma’s.

Het basispakket kent drie modules:
1. Module Starten, groeien en overdragen (o.a. Investeringsfondsen voor technostarters en creatieve
starters; Valorisatieprogramma; Microfinanciering; Borgstelling MKB-kredieten; Groeifaciliteit; Garantie
Ondernemingsfinanciering; Fonds Opkomende Markten).
2. Module Innoveren (o.a. Aftrek voor speur- en ontwikkelingswerk (WBSO); Innovatievouchers (gesloten);
Innovatieprestatiecontracten (gesloten); Innovatiekrediet; Eurostars; Small Business Innovation Research
(SBIR) programma).
3. Module Internationaal ondernemen (Subsidie Prepare2start; Programma collectieve promotionele
activiteiten; Exportkredietverzekering).
22

40

Evaluatie STW 2005-2010

Figuur 24 STW-projecten en de innovatieprogramma’s

Bron: STW.

Als eenzelfde soort mapping wordt gedaan voor thema’s van NWO, dan is de groep
STW-projecten die niet past binnen een NWO-thema veel groter (56%). De grootste
‘overlap’ is met het thema Leven en Gezondheid (25%), gevolgd door Energie (11%) en
Water en Klimaat (5%). STW lijkt daarmee overlap te hebben met diverse andere
NWO-gebieden, maar in de praktijk zijn de verschillende gebieden vooral aanvullend
aan elkaar. STW beoordeelt daarbij op toepassingsmogelijkheden, en biedt ruime
mogelijkheden om multidisciplinair onderzoek te ondersteunen. STW heeft wel een
speciale positie voor de traditionele ‘ingenieurswetenschappen’, omdat het daar de
enige bron van tweede geldstroom middelen is.
In de afgelopen jaren zijn dankzij Bsik- en Fes-impulsen een groot aantal publiekprivate samenwerkingsverbanden gestart. Deze spelen voor een deel eenzelfde rol als
STW, namelijk allocatie van middelen voor onderzoek en innovatie. STW heeft een
actieve rol gespeeld bij een aantal van deze tijdelijke initiatieven. Bij de Bsikprogramma’s NanoNed en DPTE en het nieuwe High-Tech Systemen & Materialen
programma NanoNextNL is STW opgetreden als een volwaardige contractpartner bij
de
uitvoering
en
kwaliteitsbewaking
van
tijdelijke
publiek-private
samenwerkingsverbanden.
Een andere belangrijke speler op het intermediaire niveau van onderzoeksfinanciering
is Agentschap NL (AgNL). De interacties en samenwerking van STW met AgNL zijn de
afgelopen vijf jaar versterkt. Zo werd gezamenlijk een IOP uitgevoerd en is AgNL
betrokken geweest bij de toetsing van programmavoorstellen die bij STW werden
ingediend in het kader van het Perspectiefprogramma. Het doel was om het
onderscheidende karakter van deze voorstellen (tov projecten bij AgNL) te kunnen
beoordelen en complementariteit en synergie te bevorderen. Dankzij de samenwerking
met AgNL kon er beter worden geanticipeerd op de verankering van de nieuwe
coalities in het (toekomstige) innovatiebeleidsinstrumentarium van EL&I.23 De
samenwerking is echter niet heel intensief.
Voor STW is de 3TU-federatie een belangrijke partner geworden. De drie technische
universiteiten zijn gezamenlijk de belangrijkste afnemer – ruim de helft – van STWfinanciering en in Perspectiefprogramma’s treden zij steeds vaker gezamenlijk op. Zij
zijn bovendien voorlopers in (stimuleren van) bedrijvigheid en ondernemerschap.

23

STW Zelfevaluatie 2011.

Evaluatie STW 2005-2010

41

STW heeft daarom de relaties met hun valorisatieafdelingen (TTO’s of Innovation
Labs) versterkt. STW heeft een valorisatieovereenkomst met de drie TU’s die recent is
hernieuwd.
In het verlengde hiervan heeft STW op het gebied van valorisatie relaties opgebouwd
met het netwerk van universitaire TTO’s en valorisatiecentra (ook buiten de 3TU’s).
Dit netwerk staat vooral in het teken van uitwisseling van kennis en ervaring. Bij de
exploitatie van gezamenlijke octrooien ontstaat hierbij af en toe spanning tussen het
primaire doel van STW (toepassing van kennis) en de financiële doelstellingen die
sommige TTO’s hebben.
In algemene zin levert STW een actieve bijdrage aan nationale samenwerking en
kennisuitwisseling op het gebied van valorisatie, onder andere door ondertekening van
de nationale valorisatieagenda ‘Kennis verzilveren’ en door haar bijdrage aan de
nationale Valorisatiecommissie (Commissie Veenman). Ook in VSNU-verband wordt
de samenwerking in valorisatie steeds meer gezocht. In 2011 verscheen, op initiatief
van STW, de publicatie ‘Waardevol, indicatoren voor Valorisatie’24 waarin een systeem
voor monitoring van valorisatie wordt voorgesteld.
In de zelfevaluatie meldt STW dat zij de laatste jaren bewust meer heeft geïnvesteerd
in externe communicatie. Dit leidde onder andere tot een grote zichtbaarheid van STW
in de publieke media, een beter ‘herkenbare’ jaarlijkse STW-dag en een – goed
ontvangen – publiciteitscampagne voor technologie in het voorjaar van 2010.
Ook heeft de huidige directeur van STW na zijn aantreden sterk bijgedragen aan de
externe profilering. Zo was hij o.m. secretaris van het Topteam Hightech Systems &
Materials (2011), lid van de Commissie Maatschappelijke Dialoog Nanotechnologie
(2009-2011), is hij o.m. lid van de Adviesraad van de Faculteit Electrotechniek,
Wiskunde en Computerwetenschappen van de TU Delft en betrokken bij diverse
initiatieven op het gebied van wetenschapscommunicatie.
De bijdrage van STW aan valorisatie wordt inmiddels erkend in beleidskringen. In de
recente Kamerbrief ‘Naar de top Het bedrijvenbeleid in actie(s)’ wordt de werkwijze
van STW als een “goed voorbeeld” gezien voor een vernieuwde werkwijze van NWO,
met meer samenwerking met het bedrijfsleven, focus op valorisatie en efficiënte
procedures.

5.2.2 Toekomstige positionering STW
Zoals in hoofdstuk 1.1 reeds is aangegeven is het innovatie- en wetenschapsbeleid sterk
in verandering. Ten aanzien van de positionering van STW dient vanuit algemeen
belang te worden beschouwd hoe de teruglopende overheidsbijdrage voor wetenschap
en innovatie zo goed mogelijk kan worden ingezet, en wat de rol van STW hierbij kan
zijn. STW is daar zelf ook zeer bewust mee bezig. Door het secretariaat van haar
directeur van het Topteam HTSM is STW beleidsmatig goed aangesloten, en ook
inhoudelijk sluit het overgrote deel van het STW-onderzoek aan bij één of meer
topsectoren: dit geldt voor OTP en Perspectiefprogramma’s in dezelfde mate.
Een rol voor STW in het toekomstige beleid ligt voor de hand. STW heeft, zoals boven
wordt geschetst, aantoonbaar positieve effecten op wetenschap en valorisatie, opereert
efficiënt en wordt door onderzoekers en gebruikers gewaardeerd. Daarbij maakt STW
onderdeel uit van het NWO-systeem, dat een centrale rol van het kabinet heeft
gekregen bij het verbeteren van de aansluiting van het onderzoek aan de universiteiten
in Nederland bij de Topsectoren. STW wordt daarbij expliciet als voorbeeld genoemd.
Centrale vraag is derhalve welke rol STW moet gaan vervullen en hoe haar verhouding
met ander organisaties daarbij is.

24 Waardevol, indicatoren voor Valorisatie, Leonie van Drooge et. al., Rathenau Instituut en STW, Utrecht,

september 2011.

42

Evaluatie STW 2005-2010

Een aansluiting van STW bij het Topsectorenbeleid wordt door gebruikers,
onderzoekers en STW als logisch – en onvermijdelijk – gezien. Men ziet dit ook niet
als een trendbreuk, STW sluit inmiddels al aan bij de Topsectoren. Onderzoek richten
op Topsectoren betekent echter niet dat er geen ruimte meer moet overblijven voor
‘vrij’ onderzoek zoals in het OTP. Dit vrije onderzoek, en dat benadrukken ook
gebruikers vanuit de industrie, zorgt namelijk voor fundamentele vernieuwing die op
langere termijn ook toepassing kan vinden in de industrie en daarbij wellicht voor
grotere economische effecten zorgt dan meer direct op de noden van de industrie
gericht onderzoek. Gezien haar positie als enige tweedegeldstroomkanaal van de
traditionele ingenieurswetenschappen, dient STW haar oriëntatie op deze
wetenschappen zeker niet te verminderen: voor deze wetenschappen is er buiten de
eerste geldstroom maar een beperkte financiering voor echt vernieuwend onderzoek.
Daarnaast is het echter ook van belang dat multidisciplinair onderzoek zonder al
teveel bureaucratische barrières gefinancierd kan blijven. De huidige werkwijze van
STW werkt daarbij goed, maar het verdient aanbeveling dat STW hierop verder
samenwerking zoekt met andere NWO-gebieden.
Een tweede punt van positionering betreft de rol van STW op het terrein van de
valorisatie. In de huidige situatie levert de verhouding ten opzichte van de TTO’s van
de universiteiten soms enige knelpunten op. Zoals eerder aangegeven, komen deze
knelpunten voort uit de spanning tussen maximaliseren van toepassing (STWhouding) en maximaliseren van inkomsten (soms de universitaire houding). Deze
knelpunten dienen uit de weg te worden geruimd, waarbij niet vergeten mag worden
dat – gezien het brede terrein waarop STW actief is – het voor STW onmogelijk is
inhoudelijke kennis op te doen op alle markten waarop octrooien van toepassing zijn.
Op deze terreinen kunnen TTO’s van universiteiten, maar ook de transfer offices van
de huidige TTI’s, en soms ook particuliere adviesbureaus, over specifieke expertise
beschikken die door STW aangesproken kan worden. De stap naar innovatieve
producten en marktkansen dient echter aan de markt zelf (bedrijven, kennisplatforms)
te worden overgelaten, omdat daar de meeste expertise ligt.
Als uitvloeisel van de Bedrijfslevenbrief zal ook binnen andere NWO-gebieden en
binnen de KNAW valorisatie van kennis gericht op de topsectoren steeds meer
aandacht krijgen. De expertise en ervaring van STW op dit gebied kan daarbij breder
ingezet worden.

5.3 Positionering STW internationaal
In de vorige evaluatie werd aan STW de aanbeveling meegegeven om gezien de
toenemende internationalisering van onderzoek “de internationale oriëntatie en
profilering van STW verder te intensiveren om de aansluiting tussen nationale en
internationale onderzoeksinspanningen te verbeteren. Met het oog op de formele
opdracht van STW vanuit EZ en NWO is ook hier onderling overleg noodzakelijk waar
het gaat over de beschikbare bewegingsruimte van STW in internationaal opzicht.”
Hierbij heeft STW ervoor gekozen om samenwerking te zoeken met vergelijkbare
zusterorganisaties. Vanuit de ERA-gedachte – en ook sterk bevorderd vanuit nationaal
beleid – en vanuit de ervaring dat doelstellingen en werkwijzen van zusterorganisaties
voldoende moeten harmoniëren om samenwerking een bestendig karakter te geven,
heeft STW hierbij gefocust op samenwerking met buurlanden. STW heeft, naar eigen
zeggen, met succes deelgenomen in het ERAnet Nanosciences en de opvolger daarvan,
en heeft recent een (vooralsnog pilot)samenwerking met de Deutsche ForschungsGemeinschaft in het kader van het OTP opgezet. Bij succes zal dit soort
samenwerkingen voorzichtig verder worden uitgebouwd.
Buiten Europa neemt men alleen deel in het programma 2Enrich dat nu wordt
voorbereid in samenwerking met de NWO-stichting WOTRO en de Zuidafrikaanse
zusterorganisatie NRF. Dit programma heeft tot doel de samenwerking met

Evaluatie STW 2005-2010

43

onderzoeksgroepen in Zuid-Afrika, en later mogelijk met sub-Sahara-Afrika, te
versterken.
Gezien de doelstelling van STW is internationale profilering geen doel in zichzelf. STW
richt zich allereerst op Nederlandse kennisinstellingen en gebruikers. De inbreng van
buitenlandse kennisinstellingen of bedrijven kan in voorkomende gevallen wel een
belangrijke meerwaarde opleveren voor een programma. Het betrekken van
buitenlandse spelers is echter een verantwoordelijkheid van de programmadeelnemers, niet van STW. STW moet er door overleg en afstemming met
zusterorganisaties voor zorgen dat deelname van buitenlandse organisaties zo weinig
mogelijk wordt belemmerd vanwege bureaucratische redenen. Activiteiten in ERAnetverband en bilaterale verbanden met buurlanden zijn en blijven daarom relevant.

44

Evaluatie STW 2005-2010

6. Opvolging van de aanbevelingen van de vorige evaluatie
Over de aanbevelingen van de vorige evaluatie is in 2006 uitvoerig van gedachten
gewisseld en gecorrespondeerd tussen STW en haar financiers. In grote lijnen heeft
STW de aanbevelingen overgenomen en aanpassingen aan het beleid gedaan.
Per aanbeveling zijn de volgende opmerkingen te maken:
Aanbeveling 1: In de toekomst de beoordeling van STW door EZ [sinds 2010: EL&I]
en NWO beter op elkaar af te stemmen, volgens gezamenlijk overeengekomen
doelstellingen en indicatoren (en liefst volgens een gezamenlijk systeem van
indicatoren). Hierbij verdient het aanbeveling om STW de indicatoren ook als
‘standaard’ managementinformatie te laten gebruiken.
De visie van EL&I en NWO op de rol van STW is nog steeds niet identiek: waar NWO
focust op excellente wetenschap focust EL&I op toepassing door het bedrijfsleven. De
activiteiten van STW bevinden zich op het stuk waar deze twee visies elkaar
overlappen. STW is erin geslaagd samen met haar opdrachtgevers gezamenlijke
doelstellingen overeen te komen, en rapporteert hierover naar de opdrachtgevers
volgens een gezamenlijk systeem van indicatoren. Alle partijen zijn hierover tevreden.
De zeer ambivalente aansturing van de vorige evaluatie is sterk verbeterd.
Alleen de procesindicatoren die onderdeel zijn van de prestatie-indicatoren worden
door STW daadwerkelijk gebruikt als sturingsinstrument. Dit is in lijn met de ‘hands
off’ stijl waarmee STW haar projectenportfolio beheert. Naar onze mening zou STW
ook de output- en outcome-indicatoren kunnen gebruiken om op STW-, programmaen projectniveau performance te monitoren en projecten (in samenwerking met de
GC’s) proactiever aan te sturen (5.1.2).
Aanbeveling 2: De doelstellingen en te gebruiken indicatoren zo helder en eenduidig
mogelijk te formuleren (SMART). Hierbij hoort dus ook een eenduidige definitie van
wat nu wel en niet tot het OTP behoort.
STW werkt met een vastgestelde set van prestatie-indicatoren die eenduidig en helder
zijn, maar heeft geen kwantitatieve doelstellingen bij deze indicatoren. Zoals boven
vastgesteld, stuurt STW daar dan ook niet op. In 5.1.2 worden enkele suggesties voor
verbetering gedaan.
De definitie van het OTP (en van andere programma’s) is inmiddels eenduidig.
Aanbeveling 3: De mogelijkheden te verkennen de wetenschappelijke output van de
door STW gefinancierde projecten en de kwaliteit ervan gedurende de looptijd en na
afloop beter te administreren en te monitoren
Momenteel is bij STW, op grond van de rapportages van de projecten, de
wetenschappelijke output goed bekend. Ook is in 2009 een onderzoek gedaan door
CWTS naar de wetenschappelijke impact van artikelen uit STW-onderzoek. Hiermee is
de situatie veel beter dan bij de vorige evaluatie. De informatie wordt echter niet
gebruikt om te sturen, onder meer omdat doelstellingen ontbreken en de metingen
van impact infrequent is (zie ook 5.1.2).
Aanbeveling 4: Naast met het totale aantal gebruikers in een gebruikerscommissie
ook rekening te houden met het type actor. Het wordt aanbevolen om een
‘bedrijfsaandeel’ in een gebruikerscommissie na te streven van 70-75%.

Evaluatie STW 2005-2010

45

De participatie van het bedrijfsleven in GC’s is duidelijk toegenomen, en de
doelstelling ten aanzien van het bedrijfsaandeel is gehaald (overall 73.5%, paragraaf
4.2.2).
Aanbeveling 5: Op programmaniveau meer inzicht te bieden in de specifieke
activiteiten, tijdsbesteding en beheerskosten
STW heeft een tijdschrijfsysteem ingevoerd om hieraan te voldoen. Hoewel dit
tijdschrijfsysteem ook gebruikt wordt om bijvoorbeeld inspanning voor de
Perspectiefprogramma’s aan EL&I te factureren, lijkt op grond van analyses het
systeem nog niet volledig goed ingevoerd. Op dit punt kan het inzicht nog nader
verbeteren (4.3).
Aanbeveling 6: Op basis van de STW-sterktes een beter herkenbare positie in te
nemen in nationale ‘innovatie-arena’. Door profilering en herkenbaarheid kan STW
een beter aanspreekpunt worden voor innovatieve bedrijven. Ook zou de
beoordelingssystematiek van STW een voorbeeld kunnen zijn voor andere domeinen.
Bij deze profilering hoort ook meer proactiviteit in termen van kennisoverdracht en
communicatie op basis van lopende en afgesloten projecten.
STW heeft de afgelopen jaren duidelijk gewerkt aan nationale profilering. Door het
ontwikkelen van nieuwe programma’s werd een herkenbaarder profiel gekregen, door
communicatie (onder meer via het jaarlijkse STW-congres met onder andere de
uitreiking van Stevin-prijzen) werd dit onderbouwd. Door het huidige kabinet wordt
STW ook een bredere rol voor valorisatie toegedacht dan alleen voor haar eigen
projecten, en de directeur van STW is actief berokken bij het uitwerken van het
Topsectorenbeleid. In de veranderende beleidsomgeving blijft een heldere
positionering echter van het grootste belang (5.2).
Aanbeveling 7: De internationale oriëntatie en profilering van STW verder te
intensiveren
om
de
aansluiting
tussen
nationale
en
internationale
onderzoeksinspanningen te verbeteren. Met het oog op de formele opdracht van STW
vanuit EZ en NWO is ook hier onderling overleg noodzakelijk waar het gaat over de
beschikbare bewegingsruimte van STW in internationaal opzicht.
Met haar strategie om vooral in Europa en met buurlanden samen te werken heeft
STW hier op goed wijze invulling aan gegeven. Activiteiten in ERAnet-verband en
bilaterale verbanden met buurlanden zijn en blijven daarom relevant (5.3).

46

Evaluatie STW 2005-2010

7. Conclusies
In dit hoofdstuk presenteren we de conclusies van de evaluatiestudie.
1.

STW positioneert zich sterker dan vroeger als een organisatie die (technische)
innovatie in het bedrijfsleven aan wil jagen en minder als een organisatie die
onderzoek financiert en vervolgens tot toepassing brengt. STW speelde daar mee
goed in op de doelstellingen van haar financiers NWO en EL&I.

2. STW heeft in de afgelopen evaluatieperiode 2005–2010 ruim 400 miljoen euro
aan middelen uitgegeven. Met deze middelen werd technisch-wetenschappelijk
onderzoek van goede kwaliteit ondersteund, werd sterkere samenwerking tussen
onderzoekers en bedrijfsleven gerealiseerd, waardoor kennistransfer werd
bevorderd en economische resultaten werden behaald bij bedrijven die de
resultaten van STW-onderzoek toepassen (utilisatie). Circa 90% van het door STW
gefinancierd onderzoek sluit aan bij de Topsectoren.
3. De klanten van STW (gebruikers en onderzoekers) zijn tevreden over STW. De
score is behoorlijk hoog: een ruime 7 op een schaal van 1–10. Hiermee is de
klanttevredenheid gelijk aan het oordeel uit de evaluatie in 2005. STW kan op
diverse manieren nog verbeteren door haar processen aan te scherpen, met name
ten aanzien van de doorlooptijd van beoordeling van aanvragen, de aansturing van
gebruikerscommissies en de handelswijze op het gebied van intellectueel
eigendomsrechten. Ook wordt een iets grotere ondernemersmentaliteit verwacht
bij STW programme officers.
4. STW is een efficiënte uitvoeringsorganisatie met nettobeheerskosten van
gemiddeld 4,5% over de evaluatieperiode.
5.

De aansturing van STW door haar opdrachtgevers is de afgelopen evaluatieperiode
sterk verbeterd. Zowel STW als NWO en EL&I zijn tevreden over de huidige wijze
van aansturing. Het huidige systeem van prestatie-indicatoren voor rapportage
wordt echter beperkt relevant gevonden en dient daarom door in samenspraak
tussen financiers en STW beter ontworpen te worden.

6. STW heeft in de afgelopen jaren met diverse andere organisaties afspraken
gemaakt over samenwerking en positionering, en ook geïnvesteerd in externe
communicatie. STW heeft daarmee een duidelijker profiel gekregen en is niet
meer alleen de financieringsorganisatie voor technische wetenschappen, maar ook
een belangrijke financier van multidisciplinair toepassingsgericht onderzoek en
een belangrijke speler in het debat in Nederland over valorisatie van
wetenschappelijke kennis.
7.

STW heeft de afgelopen jaren beperkte aandacht gestoken in internationale
profilering. De focus lag daarbij op samenwerking binnen het EU-kader (ERANets) en samenwerking met buurlanden (met name Duitsland). Omdat de
doelgroepen van STW geografisch beperkt zijn tot Nederland – dit geldt voor
zowel onderzoekers als het merendeel van de bedrijven in gebruikerscommissies –
is sterkere internationale profilering niet noodzakelijk.

8. Over de aanbevelingen van de vorige evaluatie is in 2006 uitvoerig van gedachten
gewisseld en gecorrespondeerd tussen STW en haar financiers. In grote lijnen
heeft STW de aanbevelingen overgenomen en aanpassingen aan het beleid gedaan.
Voor de aanbevelingen wordt verwezen naar de rapportage van de Evaluatiecommissie
STW.

Evaluatie STW 2005-2010

47

8. Beantwoording van de evaluatievragen
Hoofdvraag 1: In hoeverre zijn de aanbevelingen van de vorige evaluatiecommissie
opgevolgd?
Over de aanbevelingen van de vorige evaluatie is in 2006 uitvoerig van gedachten
gewisseld en gecorrespondeerd tussen STW en financiers. In grote lijnen heeft STW de
aanbevelingen overgenomen en aanpassingen aan het beleid gedaan (hoofdstuk 6).
Hoofdvraag 2: Effectiviteit en efficiëntie van besteding van EL&I- en NWO-middelen
in relatie tot de doelstellingen van deze opdrachtgevers?
In het licht van de doelstellingen van EL&I en NWO – als belangrijkste financiers van
STW – wordt een globale toets gevraagd op effectiviteit en efficiëntie van de inzet van
de financiële middelen. Deze aspecten zijn uitgebreid beoordeeld tijdens de evaluatie
in 2006. Nu wordt gevraagd om een oordeel over de vraag of de implementatie van
aanbevelingen en de sindsdien doorgevoerde wijzigingen in de uitvoeringspraktijk van
STW een bijdrage hebben geleverd aan verdere verbetering van effectiviteit en
efficiëntie.
Subvragen met betrekking tot effectiviteit zijn:
2.1 In hoeverre hebben de veranderingen sinds de laatste evaluatie bijgedragen
aan de effectiviteit van de subsidie ten aanzien van de doelstellingen?
2.2 Voor zover het nog te vroeg is om dat te kunnen beoordelen, in hoeverre mag
verwacht worden dat deze veranderingen gaan bijdragen aan de
doelstellingen?
2.3 Zijn de doelstellingen behaald en wat is het aandeel van de subsidie in de
realisatie van de doelen en hoeveel valt toe te schrijven aan eventuele andere
variabelen?
In deze evaluatie is duidelijk zichtbaar dat STW na de vorige evaluatie, en op instigatie
van haar opdrachtgever EL&I veel meer middelen is gaan steken in thematische
programma’s. Deze verandering in het aanbod van programma’s van STW heeft niet
geleid tot aantoonbare veranderingen in de wetenschappelijke kwaliteit van het door
STW gefinancierde onderzoek. Er zijn wel percepties bij projectleiders dat de
wetenschappelijke kwaliteit bij het OTP en de Vernieuwingsimpuls hoger is dan bij de
nieuwe Perspectief- en Partnershipprogramma’s, maar dit kan niet worden
gevalideerd op basis van de beschikbare informatie. In het algemeen blijft de
wetenschappelijke kwaliteit van het door STW gefinancierde onderzoek hoog, zowel
naar het oordeel van projectleiders en gebruikers, als op basis van bibliometrische
analyses.
In de periode 2005–2010 neemt het aandeel van bedrijven in de
gebruikerscommissies significant toe doordat STW hier sterker is op gaan sturen. Het
aantal relaties tussen bedrijven en onderzoekers en de mogelijkheden voor
kennisoverdracht zijn daardoor toegenomen. Zowel gebruikers als projectleiders zijn
in het algemeen tevreden over het functioneren van gebruikerscommissies als
mechanisme voor kennisoverdracht.
De economische impact is in de periode 2005–2010 niet aantoonbaar toegenomen in
termen van octrooiaanvragen en aantal overeenkomsten voor kennisvalorisatie. Wel is
het aantal start-ups sterk toegenomen, met name door de Valorisation Grant. De
gebruikers zijn in het algemeen positief over de effecten van door STW gefinancierd
onderzoek, ook in termen inschattingen van de financiële waarde van onderzoeksresultaten. De meetmethode van STW voor utilisatie laat zien dat het OTP de hoogste

48

Evaluatie STW 2005-2010

scores heeft voor ‘betrokkenheid’ van gebruikers, een ‘product’ als eindresultaat en
‘inkomsten’ voor STW en/of de onderzoeksgroep. Omdat de eerste utilisatiemeting pas
vijf jaar na de start van een project wordt gedaan, kunnen nog geen conclusies worden
getrokken over het Perspectief- en Partnershipprogramma.
Algemene doelstellingen van STW worden op vergelijkbare goede wijze gehaald als bij
de vorige evaluatie: STW heeft in het algemeen goed onderzoek gestimuleerd en is er
in geslaagd kennisoverdracht te realiseren. Zonder de subsidie was het niet mogelijk
geweest het excellente technisch-wetenschappelijk onderzoek te financieren en om
daar gebruikers bij te betrekken
Het is echter lastig te zeggen of, en zo ja hoe, de thematische werkwijze de effecten van
STW verder zal vergroten. Het is nog te vroeg om dat nu al te meten omdat nog geen
projecten zijn afgerond.
Het OTP wordt gezien als zeer goed, zowel in termen van kwaliteit als in termen van
utilisatie. De nieuwe programma’s zijn opgezet om de gebruikers sterker bij het
onderzoek te betrekken, maar dat betekent niet automatisch dat de projecten ook een
groter valorisatiepotentieel hebben. Het tegendeel kan ook het geval zijn, bijvoorbeeld
door kortetermijndenken bij gebruikers. Uiteindelijk blijven het veelal AiO’s die het
werk doen, dus er blijft een spanning tussen het afronden van een proefschrift dat
voldoet aan academische eisen en het flexibel inspelen op gebruikersbehoeften.
De laatste subvraag heeft betrekking op efficiëntie:
2.4 Hebben de veranderingen sinds de laatste evaluatie bijgedragen aan de
efficiëntie van het gebruik van de subsidie door STW en aan de efficiëntie van de
bedrijfsvoering?
De beheerskosten van STW zijn met 4,5% van de subsidiesom laag, en lager dan in de
vorige evaluatieperiode.
De kosten voor gebruikers – en daarmee de efficiëntie van het gebruik van de subsidie
– zijn onduidelijk, maar STW heeft haar procedure voor opzetten en beoordelen van
perspectiefprojecten naar aanleiding van de ervaringen zo aangepast dat de
doorlooptijd korter is en de lasten voor zowel STW als aanvragers worden beperkt.
Hoofdvraag 3: Wat is – gezien ontwikkelingen in overheid, wetenschap/innovatie en
bedrijfsleven – de meest geëigende taakopdracht en het meest geëigende
instrumentarium voor STW voor de komende vijf tot tien jaar?
Subvragen hebben hierop betrekking;
3.1 Wat zijn de ontwikkelingen in overheid, wetenschap/innovatie en
bedrijfsleven – te midden waarvan STW opereert – vanaf 2007, en welke
ontwikkelingen zijn te verwachten?
3.2Wat vinden de direct betrokkenen (opdrachtgevers en STW) de meest
geëigende taakopdracht van STW en het meeste geëigende instrumentarium,
gezien de omgeving waarin STW opereert en de (te verwachten) ontwikkelingen
daarin? Hierbij nadrukkelijk rekening houdend met het topsectorenbeleid van
het huidige Kabinet. De plannen van de topteams (gereed medio juni 2011) en
naar aanleiding daarvan de nota van de minister van EL&I over de verdere
uitwerking van dit nieuwe beleid (naar verwachting gereed na de zomer, maar
voor Prinsjesdag) moeten hierbij worden meegenomen.
3.3 Wat zijn de acties die door EL&I, NWO en STW zijn ondernomen ten aanzien
van een heldere nationale en internationale positionering van STW sinds 2007
(wordt ook behandeld onder vraag 1)?
3.4 Wat zien de doelgroepen/stakeholders als de meerwaarde van STW?

Evaluatie STW 2005-2010

49

Voor de beantwoording van deze vraag wordt verwezen naar hoofdstuk 1 (subvraag
3.1), hoofdstuk 5.2 en 5.3 (subvraag 3.2), hoofdstuk 4.1 (subvraag 3.3) en hoofdstuk 3
(subvraag 3.4).
Hoofdvraag 4: Wat is – in de context van bovenstaande - de optimale positionering
van STW als organisatie te midden van overheid, wetenschap/innovatie en
bedrijfsleven?
4.1 Hoe is STW momenteel gepositioneerd?
4.2 Wat is de opinie van EL&I en NWO met betrekking tot de optimale
positionering van STW als organisatie, gezien het antwoord op hoofdvraag 3?
Voor deze vraag 4.1 wordt ook verwezen naar hoofdstuk 5.2 en 5.3 en naar de
aanbevelingen van de Evaluatiecommissie STW.

50

Evaluatie STW 2005-2010

Bijlage A Overzicht van geïnterviewde personen

R. Balkenende, Philips
T. Blokland, Gemeentewerken Rotterdam
M. Blom, Micronit
C. de Boer, STW
E.E.W. Bruins, STW (3 maal)
F. Couzy, Ministerie EL&I
J.H. de Groene, NWO
J. Haanstra, Rijkzwaan
H. Hemker, Synapse B.V.
R. Hofstra, Nederlands Centrum voor Laser Research
F. Jedema, NXP Semiconductors N.V.
R. Klusters, Shell
C. Krijger, NWO
C. Kronenburg, Merck
H. Krus, Cyclone
G. Meima, Dow
C.A.M. Mombers, STW
J. Nieuwenhuis, Ministerie EL&I
M.A. Oosterlaken-Dijksterhuis, STW
S. Poot, Betonson B.V.
J. Ripp, To-bbb
G. Schreppers, TNO Diana
P. Schuddeboom, STW
W. Segeth, STW
H. van der Valk, STW
H. van der Ven, Nationaal Lucht- en Ruimtevaartlaboratorium
B. Vreman, Vreman Research
S. van der Wal, DSM
G. Weyens, Ses van der Have
A. Wiegel, NWO
J. de Wit, Rijkzwaan

Evaluatie STW 2005-2010

51

Bijlage B Deelnemers aan rondetafeldiscussies STW

20 september 2011, Utrecht
Albert van den Berg, UT MESA+ en KNAW
Tjitske Bezema, ProRail
Gert-Jan Euverink, Wetsus
Tom Heskes, Radboud Universiteit Nijmegen
Jacques Joosten, Dutch Polymer Institute
Juliette Klaver, ProRail
Oscar Kuipers, Rijksuniversiteit Groningen
Jos Put, DSM
Theo Verrips, UU, ex-Unilever
Jacques de Wit, Rijkzwaan
27 september 2011, Eindhoven
Ton Backx, TU/e
Gerard Beenker , NXP
Jos Benschop, ASML
Jo de Boeck, IMEC
Raoul Bino, Wageningen UR
Wybren Jouwsma, Bronkhorst Hightech
Eduard Koenders, TU Delft
Jans Kruit, Paques
Herman Kuipers, Shell
Joop Sistermans, AWT
Maarten Steinbuch, TU/e

52

Evaluatie STW 2005-2010

Bijlage C Verantwoording enquête

Ten behoeve van de evaluatie van STW zijn twee enquêtes uitgevoerd:
•

Een enquête onder de GC-leden van projecten die in de periode 2005–2010 in
uitvoering waren;

•

Een enquête onder de projectleiders van projecten die in de periode 2005–2010 in
uitvoering waren.

Beide enquêtes zijn digitaal gehouden. De respondenten zijn medio juli, op basis van
door STW beschikbare projectdata, per e-mail uitgenodigd tot deelname aan de
enquête. De aantalen respondenten zijn in de onderstaande tabel weergegeven.
Tabel 6 Response rates enquêtes
Enquête

Verstuurd
(n)

Ongeldige emailadressen (n)

Ontvangen
(n)

Begonnen
(n / %)

Afgerond
(n / %)

GC-leden

4570

395

4175

1290 / 31%

1054 / 25%

Projectleiders

1660

87

1573

593 / 38%

507 / 32%

Bron: Technopolis (2011)
Binnen de enquêtes is gebruik gemaakt van een ‘routing systeem’ dat op basis van de
antwoorden van de respondenten met betrekking tot deelname aan de verschillende
STW-programma, enkel de vragen met betrekking op de STW-programma’s waaraan
de respondenten deel hebben genomen presenteert. Dit systeem is voor publicatie van
de enquête getest en effectief bevonden.
Het routing systeem is ontwerpen op basis van de aanname dat respondenten zouden
kunnen aangeven aan welke STW-programma’s (het OTP, het Perspectiefprogramma,
etc.) zij wel/niet hebben deelgenomen. Tijdens de analyse bleek echter dat de door de
respondenten gegeven antwoorden niet overeenkwamen met de door STW
beschikbaar gestelde projectdata. Doordat de respondenten op uitnodiging de enquête
hebben ingevuld, kon worden nagegaan in welke mate de antwoorden van de iedere
respondent overeenkomen met de projectdata van STW. Uit deze analyse bleek dat er
zowel respondenten zijn die aangeven dat zij aan bepaalde STW-programma’s hebben
deelgenomen terwijl dit niet uit de projectdata blijkt (de false-positives) als
respondenten die aangeven dat zij niet aan een bepaald STW-programma hebben
deelgenomen terwijl dit volgens de projectdata wel het geval zou moeten zijn (de falsenegatives). De aantallen false-positives en false-negatives zijn weergegeven in de
onderstaande tabel.
Tabel 7 Controle van projectdeelname
Gebruikerscommissie
Programma

Projectleiders

False Positives

False Negatives

False Positives

False Negatives

OTP

22,4%

67,8%

14,0%

15,7%

Perspectief

59,8%

81,5%

24,8%

43,3%

Partnership

98,4%

0,0%

87,5%

0,0%

Vernieuwingsimpuls

40,8%

40,8%

41,8%

5,9%

Valorisation Grant

-

-

15,4%

22,7%

Bron: Technopolis Analyse (2011)

Evaluatie STW 2005-2010

53

Vanwege het relatief grote aandeel van false-positives en false-negatives is besloten
dat de resultaten niet representatief zijn op het niveau van de STW-programma’s. De
resultaten van de enquêtes zijn daarom enkel op het niveau van STW als geheel
geanalyseerd en gepresenteerd in het eindrapport.
De vragen van de enquête zijn opvraagbaar bij Technopolis (info.nl@technopolisgroup.com).

54

Evaluatie STW 2005-2010

technopolis |group| The Netherlands
Herengracht 141
1015 BH Amsterdam
The Netherlands
T +31 20 535 2244
F +31 20 428 9656
E info.nl@technopolis-group.com
www.technopolis-group.com