Evaluatie van Nederlandse deelname aan
Eurostars, Eureka Clusters en JTI’s, 2013 - 2018

Amsterdam, mei 2020
In opdracht van het ministerie van Economische Zaken en Klimaat

Evaluatie van Nederlandse deelname aan
Eurostars, Eureka Clusters en JTI’s, 2013 - 2018

Tom Smits
Céline Odding
Nard Koeman
Gerben de Jong
Bas ter Weel

SEO Economisch Onderzoek - Roetersstraat 29 - 1018 WB Amsterdam - T (+31) 20 525 1630 - www.seo.nl - secretariaat@seo.nl
ABN-AMRO IBAN: NL14ABNA0411744356 BIC: ABNANL2A - ING: IBAN: NL96INGB0004641100 BIC: INGBNL2A
KvK Amsterdam 41197444 - BTW NL 003023965 B01

“De wetenschap dat het goed is”
SEO Economisch Onderzoek doet onafhankelijk toegepast onderzoek in opdracht van overheid en bedrijfsleven. Ons
onderzoek helpt onze opdrachtgevers bij het nemen van beslissingen. SEO Economisch Onderzoek is gelieerd aan de
Universiteit van Amsterdam. Dat geeft ons zicht op de nieuwste wetenschappelijke methoden. We hebben geen winstoogmerk en investeren continu in het intellectueel kapitaal van de medewerkers via promotietrajecten, het uitbrengen
van wetenschappelijke publicaties, kennisnetwerken en congresbezoek.

SEO-rapport nr. 2020-20
ISBN 978-90-5220-050-7
Informatie & Disclaimer
SEO Economisch Onderzoek heeft op de verkregen informatie en data geen onderzoek uitgevoerd dat het karakter draagt van een
accountantscontrole of due diligence. SEO is niet verantwoordelijk voor fouten of omissies in de verkregen informatie en data.
Copyright © 2020 SEO Amsterdam. Alle rechten voorbehouden. Het is geoorloofd gegevens uit dit rapport te gebruiken in artikelen,
onderzoeken en collegesyllabi, mits daarbij de bron duidelijk en nauwkeurig wordt vermeld. Gegevens uit dit rapport mogen niet voor
commerciële doeleinden gebruikt worden zonder voorafgaande toestemming van de auteur(s). Toestemming kan worden verkregen via
secretariaat@seo.nl.
SEO ECONOMISCH ONDERZOEK

EUROSTARS, EUREKA CLUSTERS EN JTI’S, 2013 - 2018

i

Samenvatting
Dit rapport evalueert de Nederlandse deelname aan Eureka Clusters, Eurostars en Joint Technology Initiatives (JTI’s) in periode 2013-2018. Deze subsidieregelingen hebben als doel om internationale samenwerking op het terrein van het ontwikkelen van nieuwe technologie en onderzoek en
ontwikkeling te stimuleren. Het doel van deze evaluatie is om het doelgroepbereik, de doeltreffendheid en de doelmatigheid van het beleid, en de doelmatigheid van de uitvoering in beeld te
brengen:
• Het doelgroepbereik van een regeling geeft onder andere aan in welke mate het instrument erin
slaagt zijn relevante doelgroep te bereiken en te betrekken bij de activiteiten;
• De doeltreffendheid en doelmatigheid van het beleid betreffen de bereikte effecten van het beleid in
relatie tot de ingezette middelen. De belangrijkste te onderzoeken effecten zijn hoe effectief de
instrumenten zijn in het stimuleren van R&D-inspanningen bij bedrijven en in het bevorderen
van meer en betere internationale samenwerkingsverbanden op het terrein van technologieontwikkeling en innovatie.
• De doelmatigheid van de uitvoering. Op welke manier zijn de subsidieregelingen uitgevoerd, en komt
deze uitvoering tot stand met zo weinig mogelijk middelen? Staan de kosten van de uitvoering
in verhouding tot de opbrengsten, ook in relatie tot andere regelingen om innovatie te stimuleren?
Er zijn verschillende onderzoeksmethoden toegepast om de onderzoeksvragen te beantwoorden.
Het onderzoek bestaat uit (i) een literatuurstudie, (ii) de resultaten van een serie diepte-interviews,
(iii) de inzichten uit een online enquête, (iv) een aantal descriptieve analyses voor alle regelingen en
(v) econometrische analyses over het Eurostars programma, waarbij gebruik is gemaakt van regression-discontinuity-design (RDD) en difference-in-differences (DID) analyses.
Voor de kwantitatieve analyse en enquête zijn naast alle subsidieaanvragen uit de periode 20132018, ook de aanvragen uit de periode 2008-2012 meegenomen, omdat een grotere steekproef het
mogelijk maakt om nauwkeuriger de effecten van de drie subsidieregelingen op innovatie-inspanningen en omzet te meten. Het is niet mogelijk om voor Eureka Clusters en JTI’s een betrouwbare
econometrische analyse uit te voeren, omdat het aantal waarnemingen beperkt is. De bevindingen
voor deze regelingen komen dan ook vooral voort uit de literatuurstudie, de descriptieve analyse,
de opbrengsten van de enquête en inzichten opgedaan tijdens interviews (zie Tabel S.1)
Tabel S.1

Gebruikte onderzoeksmethoden per regeling

Onderzoeksmethode
Literatuurstudie
Descriptieve analyse
Econometrie
Enquête / Interviews
Bron:

Eurostars

Eureka Clusters

JTI’s

√
√
√
√

√
√

√
√

√

√

SEO Economisch Onderzoek (2020)

SEO ECONOMISCH ONDERZOEK

ii

Het onderzoek leidt tot een aantal conclusies op het gebied van doelgroepbereik, doeltreffendheid
en doelmatigheid van het beleid en doelmatigheid van de uitvoering.
Doelgroepbereik
• Op basis van gegevens van RVO blijkt dat er in de periode 2013-2018 898 projectaanvragen
zijn gedaan voor Eurostars (gemiddeld bestond een aanvraag uit 1,5 Nederlandse organisaties
per project), 153 aanvragen voor Eureka Clusters (4,1 Nederlandse organisaties per project) en
146 JTI-aanvragen (5 Nederlandse organisaties per project).
• Voor elk van de regelingen wordt ongeveer een derde van de projectaanvragen toegewezen.
Een aanvraag kan worden afgewezen wanneer een projectplan niet voldoende scoort om in
aanmerking te komen voor een subsidie, maar ook wanneer het budget in een land waar één
van de deelnemende organisaties vandaan komt is uitgeput.
• In de periode 2008-2018 hebben 1.125 Nederlandse organisaties deelgenomen aan de regelingen, waarvan ongeveer 30 procent aan meerdere regelingen.
• Het aantal nieuwe deelnames bedroeg tussen de 28 en 33 procent per jaar in de periode 20102013 en is afgenomen tot 14 tot 22 procent per jaar in de periode 2015-2018.
• Een voorwaarde om deel te nemen aan de regelingen is dat organisaties voldoende in R&D
investeren. Het is niet mogelijk om met behulp van CBS-microdata een nauwkeurige doelgroep
af te bakenen op basis van deze voorwaarden. Wel blijkt uit analyse van de gebruikers van de
regelingen dat dit bijna altijd WBSO-bedrijven zijn met minimaal 200 R&D-uren per fte. Afgezet tegen de totale groep WBSO-bedrijven met minimaal 200 R&D-uren per fte, bedraagt het
aantal bedrijven dat in de periode 2008-2018 heeft deelgenomen aan Eurostars zo’n 3 procent,
en voor zowel Eureka Clusters als JTI’s 1,5 procent.
• Uit interviews blijkt dat de markt voor advies voor aanvragen, die bestaat uit organisaties die
betrokken zijn bij het opstellen en aanvragen van subsidies, vooral voor Eurostars is toegenomen. Bij aanvragen voor de regelingen Eureka Clusters en JTI’s is ook een toename zichtbaar.
• De regelingen richten zich op een internationale samenwerking bedrijven en (eventueel) kennisinstellingen. Van alle unieke organisaties die participeren in een Eurostarsaanvraag bestaat
ruim 80 procent uit mkb’ers. Bij Eureka Clusters en JTI’s, die zich in tegenstelling tot de Eurostarsregeling niet specifiek op het mkb richten, is dit circa 50 procent. De gemiddelde subsidiebedragen voor Eureka clusters en JTI’s zijn hoger dan bij Eurostars.
• Bedrijven die participeren in de regelingen verschillen gemiddeld genomen van WBSO-ondernemingen. Op basis van CBS-microdata blijkt dat de gemiddelde R&D-intensiteit, het gemiddelde opleidingsniveau en het percentage vrouwen hoger is. De gemiddelde leeftijd van de medewerkers ligt lager en zij hebben vaker een westerse migratieachtergrond (waaronder expats).
• Uit de enquête komt naar voren dat financiële ondersteuning bij de ontwikkeling van een product, dienst of proces de belangrijkste reden is voor bedrijven om deel te nemen, gevolgd door
de wens om meer internationaal samen te werken, te innoveren om concurrerend te blijven en
nieuwe samenwerkingspartners te leren kennen.
Doeltreffendheid van het beleid
• Met behulp van verschillende econometrische analyses zijn positieve effecten voor doeltreffendheid van de Eurostarsregeling gevonden. Voor Eureka Clusters en JTI’s was een betrouwbare econometrische analyse vanwege een beperkt aantal waarnemingen niet mogelijk.

SEO ECONOMISCH ONDERZOEK

SAMENVATTING

iii

• De Eurostarsregeling heeft een positief, statistisch significant effect op het aantal R&D-uren
per fte van deelnemende mkb-bedrijven in het jaar vóór aanvang, het jaar van aanvang en het
jaar ná aanvang van het project en bedragen 98 tot 128 extra R&D-uren per fte per jaar per
onderneming, of 353 R&D-uren per fte opgeteld over deze eerste drie jaar per onderneming.
• Als de groep bedrijven die een kansrijke Eurostarsaanvraag heeft ingediend wordt vergeleken
met de groep bedrijven die al in een eerste ronde zijn afgevallen wordt ook een positief effect
gevonden: 255 R&D-uren per fte opgeteld over de eerste drie jaar. Binnen de groep bedrijven
die een kansrijke aanvraag heeft ingediend, verschilt het aantal R&D-uren per fte van bedrijven
met een toe- en afwijzing niet significant van elkaar. Het lijkt erop dat het opstellen en indienen
van een kansrijke aanvraag belangrijker is voor de bestede R&D-tijd in de jaren daarna dan het
wel of niet ontvangen van een subsidie.
• Er is geen statistisch bewijs gevonden voor de aanwezigheid van effecten op de productiviteit
(gemeten als omzet per fte) en betere bedrijfsprestaties (groei van de omzet, en toename van
het aantal fte) in bredere zin. Omdat deze derde-orde-effecten pas na afronding van het project
kunnen worden onderzocht, zijn er minder waarnemingen beschikbaar voor het uitvoeren van
de empirische analyse waardoor het beeld minder betrouwbaar is. Ook is het denkbaar dat effecten op productiviteit en bedrijfsprestaties niet al meteen na afronding van het project plaatsvinden, maar pas enkele jaren later, waardoor ze buiten de periode vallen die kan worden waargenomen.
• Op basis van de resultaten uit de enquête zijn de percepties over innovatie-inspanningen (eerste-orde-effecten) positief voor bedrijven met een toegewezen aanvraag. Deelname aan de regelingen is volgens toegewezen aanvragers vooral bevorderlijk voor internationale R&D-samenwerking. Respondenten geven aan door deelname kennis te hebben gemaakt met internationale organisaties. Ten opzichte van deelnemers aan Eurostars, zijn deelnemers aan de Eureka
Clusters en JTI’s over het algemeen iets vaker zeer positief over de eerste-orde-effecten.
• Over tweede-orde-effecten (het verwerven van nieuwe technologische kennis, een versnelling
in de doorlooptijd van innovaties en het beter kunnen benutten van schaalvoordelen in innovatieactiviteiten) zijn respondenten eveneens positief. Respondenten zijn hierbij het meest overtuigd van effecten op het verwerven van nieuwe technologische kennis. Er zijn hierbij geen
grote verschillen in percepties tussen gebruiker van de verschillende regelingen.
• De ervaringen met verbeterde bedrijfsprestaties en productiviteit zijn ook overwegend positief,
maar er heerst hierover wel meer onzekerheid. Mogelijk heeft dit te maken met de grotere
onzekerheid of de derde-orde-effecten te relateren zijn aan deelname aan de regeling, of met de
langere termijn waarop deze effecten optreden. Deelnemers aan JTI’s zijn over het algemeen
positiever over de groei in de omzet uit nieuwe/verbeterde producten in vergelijking met deelnemers aan de andere subsidieregelingen.
• Vooral toegewezen aanvragers geven aan dat hun innovatieproject ook bij het uitblijven van de
subsidie alsnog zou zijn uitgevoerd of dat de voor dit project bestemde financiële middelen dan
in andere R&D-activiteiten zouden zijn geïnvesteerd. Iets minder dan de helft van de afgewezen
aanvragers geeft aan dat het project na afwijzing niet is uitgevoerd, maar ook hier wordt een
gedeelte van de vrijgemaakte financiële middelen uiteindelijk weer toegewezen aan andere
R&D-activiteiten.
• Daartegenover staat dat zowel toe- als afgewezen projecten bij het uitblijven van de subsidie
vrijwel nooit ongewijzigd (zouden) worden uitgevoerd. In deze zin maken de regelingen projecten mogelijk die zonder subsidie niet tot stand zouden kunnen komen.

SEO ECONOMISCH ONDERZOEK

iv

• Zowel ‘leidende’ (grotere) bedrijven als ‘volgende’ (kleinere) bedrijven geven in interviews aan
dat deelname aan Eureka Clusters of de JTI’s leidt tot betere internationale samenwerking. Wel
geven ‘volgende’ bedrijven vaker aan dat er na afronding van de subsidie minder contact is
(verwaterde contacten) dan ‘leidende’ bedrijven.
• Eureka Clusters en de JTI’s sluiten volgens de geïnterviewden goed aan bij de behoefte van hun
industrie en op andere initiatieven, met als belangrijk pluspunt de mogelijkheid om zelf de juiste
partijen te kunnen selecteren om mee samen te werken en zo goed aan te sluiten op de huidige
industriële doelen.
• Volgens de geïnterviewden spelen de Eureka Clusters onvoldoende in op veranderingen binnen
het politieke landschap, omdat de Clusters voor een langere periode vast staan. Hierdoor ontbreekt in de praktijk soms aansluiting bij de actualiteit, zoals op het gebied van artificiële intelligentie. De geïnterviewden zijn niet eenduidig over de vraag in hoeverre JTI’s adequaat inspelen
op dergelijke veranderingen.
Doelmatigheid van het beleid
• Voor de Eurostarsregeling kan de doelmatigheid van de regeling op een kwantitatieve manier
worden vastgesteld. Uitgaande van het gemiddelde R&D-uurtarief levert elke euro subsidie €
0,91 aan R&D-activiteiten op (bang-for-the-buck). Voor Eureka Clusters en JTI’s is een bang-forthe-buck-berekening niet mogelijk, maar zijn wel de administratieve lasten voorafgaand, tijdens
en na afloop van de subsidies in kaart gebracht.
• In de econometrische analyses is alleen naar R&D-uren gekeken, terwijl het aannemelijk is dat
er ook positieve effecten zijn op R&D-niet-loonkosten. Bij de evaluaties van andere innovatieregelingen, zoals het Innovatiekrediet, werd deze aanname ook gehanteerd.
• In ruimere zin kan gesproken worden van een bang-for-the-buck van € 1,44 per verstrekte euro
subsidie binnen Eurostars, omdat blijkt dat afgewezen projecten deels ook nog worden uitgevoerd. Het is echter onduidelijk of deze projecten uiteindelijk deels met privaat geld of deels
met andere publieke middelen worden bekostigd.
• In de econometrische analyse van de Eurostarsregeling is geen statistisch bewijs voor derdeorde-effecten gevonden. Het is daarom onduidelijk wat de subsidie heeft opgeleverd in termen
van productiviteit en bedrijfsprestaties bij de deelnemers in bredere zin.
• Uit de enquête volgt dat organisaties 200, 242 en 680 uur kwijt zijn aan administratieve lasten
die gepaard gaan met een deelname aan respectievelijk Eurostars, Eureka Clusters of JTI’s,
oftewel 2,4 procent, 1,4 procent en 6,0 procent van het Nederlandse subsidiebedrag. De administratieve lasten van JTI’s zijn hoger dan bij de vorige evaluatie, maar vergelijkbaar met andere
innovatiesubsidieregelingen.
Doelmatigheid van de uitvoering
• De totale uitvoeringslasten voor RVO bedroegen in 2018 3,9 procent van het totale subsidiebedrag, vergelijkbaar met de vorige evaluatie (4,4 procent). Deze lasten zijn sinds 2014 sterk
afgenomen door enkele efficiëntieslagen. Zo maakt RVO nu bijvoorbeeld gebruik van een contactcentrum en centraal bedrijfsregister voor klantcontact, terwijl klantcontact voorheen door
de administratie werd opgevangen.
• Wanneer de uitvoeringslasten en de administratielasten bij elkaar worden opgeteld zijn de totale
lasten van Eurostars 6,3 procent, van Eureka Clusters 5,3 procent en van JTI’s 9,9 procent. Dit

SEO ECONOMISCH ONDERZOEK

SAMENVATTING

v

is laag in vergelijking met andere innovatieregelingen als de WBSO (9 procent) en het Innovatiekrediet (15,5 procent), en vergelijkbaar met de vorige evaluatie (5 tot 7,2 procent).
• Organisaties die gebruik hebben gemaakt van Eureka Clusters of Eurostars zijn positief over
de manier waarop RVO ondersteuning biedt, de bereikbaarheid, de behulpzaamheid en het
persoonlijk contact.
• Voor alle drie de regelingen meldt circa een derde van de aanvragers dat zij tijdens de aanvraagprocedure gebruik hebben gemaakt van een intermediair of subsidieadviseur.

SEO ECONOMISCH ONDERZOEK

vi

Summary
This report evaluates the Dutch participation in Eureka Clusters, Eurostars and Joint Technology
Initiatives (JTIs) in the period 2013-2018. These programmes aim to stimulate international cooperation in the field of new technology development and research and development. The aim of this
evaluation is to identify target group coverage, the effectiveness and efficiency of the programmes,
and the efficiency of its implementation:
• The target group coverage of a programme indicates, among other things, the extent to which the
instrument succeeds in reaching and involving its relevant target group in the activities;
• The effectiveness and efficiency of the policy concerns the effects of the policy in relation to the resources deployed. The main effects to be investigated are how effective the instruments are in
stimulating R&D efforts in companies and in promoting more and better international partnerships in the field of technology development and innovation.
• The efficiency of the implementation. In what way have the programmes been implemented, and is
this implementation carried out with as few resources as possible? Are the costs of implementation in proportion to the revenues, also in relation to other measures and policy instruments
to stimulate innovation?
A number of different research methods have been applied to answer these research questions.
The research consists of (i) a literature study and survey, (ii) the results of a series of in-depth
interviews with experts, applicants and policy makers, (iii) the insights from an online survey among
companies that have submitted proposals, (iv) a number of descriptive analyses for all programmes
to document and interpret the results of the programmes and (v) econometric analyses on the
Eurostars programme, using a regression discontinuity design (RDD) and difference-in-differences (DID)
analyses.
For the quantitative analysis and survey, in addition to all subsidy applications from the period of
2013-2018, the applications from the period of 2008-2012 were also included, because a larger
sample makes it possible to measure the effects of the three subsidy schemes on innovation efforts
and turnover more accurately. It is impossible to carry out a sound econometric analysis for Eureka
Clusters and JTIs because the number of observations is too limited. Therefore, findings for these
programmes derive mainly from the literature study, the descriptive analysis of the data, the results
of the survey and insights gained during interviews (see Table S.1).
Table S.1

Survey methods used per scheme

Research method
Literature study
Descriptive analysis
Econometrics
Survey / Interviews
Source: SEO Amsterdam Economics (2020)

SEO ECONOMISCH ONDERZOEK

Eurostars

Eureka Clusters

JTIs

√
√
√
√

√
√

√
√

√

√

SUMMARY

vii

The study leads to a number of conclusions in terms of target group coverage, effectiveness and
efficiency of policy and efficiency of implementation.
Target group coverage
• Based on data from Netherlands Enterprise Agency (RVO), it appears that 898 project applications were submitted for Eurostars in the period of 2013-2018 (an application consisted of
1.5 Dutch organisations per project on average), 153 applications for Eureka Clusters (4.1
Dutch organisations per project) and 146 JTI applications (5 Dutch organisations per project).
• Approximately one third of the project applications is approved in each of the programmes.
An application may be rejected if a project plan does not score sufficiently high to be eligible
for a grant, but also if the budget in a country from which one of the participating organisations
originates has been exhausted.
• In the period of 2008-2018, 1,125 Dutch organisations participated in the programmes, approximately 30 percent of which participated in several schemes.
• The number of new participations was between 28 and 33 percent per year in the period of
2010-2013 and decreased to 14 to 22 percent per year in the period of 2015-2018.
• A condition for participating in the programmes is that organisations invest sufficiently in research and development. It is impossible to define an accurate target group based on these
conditions using microdata from the statistical office of the Netherlands (CBS). However, analysis of the users of the programmes shows that these are almost always companies with a minimum of 200 R&D hours per FTE and who receive tax credits for research and development
(WBSO). Compared to the total group of WBSO companies with a minimum of 200 R&D
hours per FTE, the number of companies that participated in Eurostars in the period 20082018 was about 3 percent, and for both Eureka Clusters and JTIs 1.5 percent.
• Interviews show that the market for advice on applications, which consists of organisations
involved in preparing and applying for grants, has increased, especially for Eurostars. Applications for the Eureka Clusters and JTI programmes also show an increase.
• The programmes focus on international cooperation between companies and (possibly)
knowledge institutions. Of all the unique organisations that participate in a Eurostar application,
more than 80 percent are SMEs. For Eureka Clusters and JTIs, which in contrast to the Eurostars scheme do not specifically focus on SMEs, this is about 50 percent. The average grant
amounts for Eureka clusters and JTIs are higher than for Eurostars.
• Companies participating in the programmes are on average different from WBSO companies.
Based on CBS microdata, it appears that the average R&D intensity, the average level of education and the percentage of women is higher. The average age of employees is lower and they
are more likely to have a Western migration background (including expatriates).
• The survey shows that financial support for the development of a product, service or process
is the main reason for companies to participate, followed by the desire to cooperate more internationally, to innovate in order to remain competitive and to get to know new cooperation
partners.

SEO ECONOMISCH ONDERZOEK

viii

Policy effectiveness
• Using various econometric analyses, positive effects on the effectiveness of the Eurostars
scheme have been found. For Eureka Clusters and JTIs a reliable econometric analysis was
impossible due to a limited number of observations.
• The Eurostars programme has a positive, statistically significant effect on the number of R&D
hours per FTE of participating SMEs already in the year before the start, the year in which the
subsidy starts and the year after the start of the project, amounting to 98 to 128 additional R&D
hours per FTE per year per company, or 353 R&D hours per FTE in these first three years per
company.
• Comparing the group of companies that have submitted a promising Eurostar application with
the group of companies that have already dropped out in a first round, a positive effect is also
found: 255 R&D hours per FTE cumulated over the first three years. Within the group of
companies that submitted a promising application, the number of R&D hours per FTE does
not differ significantly between companies with an approval and a rejection. It seems that preparing and submitting a promising application is more important for the R&D time spent in
the following years than whether or not a subsidy has been received.
• No statistical evidence was found for the presence of effects on productivity (measured as turnover per FTE) and better business performance (growth in turnover, and increase in the number of FTEs) in a broader sense. Because these third-order effects can only be investigated after
the completion of the project, fewer observations are available to perform the empirical analysis, making the picture less precisely measured. It also appears that effects on productivity and
business performance do not occur immediately after completion of the project, but only a few
years later, which means that they fall outside the period that can be observed.
• Based on the survey results, perceptions of innovation efforts (first-order effects) are positive
for companies with an approved application. Participation in the programmes is, according to
approved applicants, particularly conducive to international R&D collaboration. Respondents
indicate that they have become acquainted with international organisations through participation. Compared to Eurostars participants, participants in Eureka Clusters and JTIs are slightly
more likely to be very positive about first-order effects.
• Respondents in the survey were also positive about second-order effects (acquiring new technological knowledge, accelerating the lead time of innovations and being able to make better
use of economies of scale in innovation activities). Respondents are most convinced of effects
on the acquisition of new technological knowledge. There are no major differences in perceptions between users of the different schemes.
• Experiences of improved business performance and productivity are also predominantly positive, but there is more uncertainty about this. This may have to do with the greater uncertainty
as to whether the third-order effects can be related to participation in the scheme, or with the
longer term in which these effects occur. Participants in JTIs are generally more positive about
the growth in turnover from new/improved products compared to participants in the other
subsidy schemes.
• Awarded applicants in particular indicate that, even in the absence of the grant, their innovation
project would still have been carried out or the financial resources earmarked for this project
would have been invested in other R&D activities. Slightly less than half of the rejected applicants indicate that the project was not carried out after the rejection, even though a part of the
vacated financial resources are being reassigned to other R&D activities as well.

SEO ECONOMISCH ONDERZOEK

SUMMARY

ix

• On the other hand, in the absence of the subsidy, both approved and rejected projects would
hardly ever be (or would never be) implemented as submitted. In this sense, the schemes enable
projects to be carried out which would not be possible without a subsidy.
• Both 'leading' (larger) companies and 'following' (smaller) companies indicate in interviews that
participation in Eureka Clusters or the JTIs leads to better international cooperation. However,
'following' companies more often indicate that there is less contact after completion of the
subsidy (diluted contacts) than 'leading' companies.
• Eureka Clusters and the JTIs fit in well with the needs of their industry and other initiatives
according to the interviewees, with the important advantage of being able to select the right
parties to cooperate with and thus fit in well with current industrial goals.
• According to the interviewees, the Eureka Clusters insufficiently respond to changes within the
political landscape, because the Clusters are fixed for a longer period of time. As a result, in
practice there is sometimes a lack of alignment with current affairs, such as in the field of artificial intelligence. The interviewees are ambiguous about the extent to which JTIs respond adequately to such changes.
Policy efficiency
• For the Eurostars programme, the effectiveness of the programme can be established in a quantitative way. Based on the average R&D hourly rate, every granted euro provides € 0.91 in R&D
activities (bang for the buck). For Eureka Clusters and JTIs, a bang-for-the-buck calculation is impossible, but the administrative costs before, during and after the subsidies have been identified.
• The econometric analyses only looked at R&D hours, while it is plausible that there are also
positive effects on non-wage R&D costs. This assumption was also used in the evaluations of
other innovation programmes, such as the Innovation Credit Scheme.
• In a broader sense, the bang-for-the-buck equals € 1.44 for every granted euro subsidy provided
within Eurostars, because it appears that a proportion of the rejected projects is still being
implemented. However, it is unclear whether these projects are ultimately partly financed with
private money or other public funds.
• In the econometric analysis of the Eurostars programme, no statistical evidence of third-order
effects was found. It remains unclear what the programme has generated in terms of productivity and business performance among participants in the broader sense.
• The survey shows that organisations spend 200, 242 and 680 hours on the administrative tasks
involved in participating in Eurostars, Eureka Clusters or JTIs respectively, corresponding to
2.4 percent, 1.4 percent and 6.0 percent of the Dutch grant amount. The administrative costs
of JTIs is higher than in the previous evaluation, but comparable to other innovation subsidy
schemes.
Efficiency of implementation
• The total implementation costs for RVO in 2018 amounted to 3.9 percent of the total grant
amount, comparable to what was found in the previous evaluation (4.4 percent). These costs
have decreased significantly since 2014 due to a number of efficiency improvements. For example, RVO now uses a contact centre and central business register for customer contact,
whereas customer contact was previously handled by the administration department.

SEO ECONOMISCH ONDERZOEK

x

• Adding up the execution and administration costs, the total costs for Eurostars are 6.3 percent,
for Eureka Clusters 5.3 percent and for JTIs 9.9 percent. This is low compared to other innovation programmes such as the WBSO R&D tax credit (9 percent) and the Innovation Credit
Scheme (15.5 percent), and comparable to the previous evaluation (5 to 7.2 percent).
• Organisations that have made use of Eureka Clusters or Eurostars are positive about the way
RVO offers support, the accessibility, the helpfulness and the personal contact.
• For all three schemes, approximately one third of the applicants report that they made use of
an intermediary or grant adviser during the application procedure.

SEO ECONOMISCH ONDERZOEK

EUROSTARS, EUREKA CLUSTERS EN JTI’S, 2013 - 2018

Inhoud
Samenvatting........................................................................................................................ i
Summary ............................................................................................................................ vi
1

Inleiding ....................................................................................................................1

2

Conceptueel kader .................................................................................................... 3

3

4

5

6

2.1

De instrumenten .................................................................................................................... 3

2.2

Beleidstheorie .......................................................................................................................10

2.3

Literatuur ..............................................................................................................................13

Doelgroepanalyse .................................................................................................... 21
3.1

Aanvragen 2008-2018 .........................................................................................................21

3.2

Kenmerken van de aanvragers ..........................................................................................25

3.3

Aanvragers versus niet-aanvragers....................................................................................29

3.4

Potentiële doelgroep ...........................................................................................................31

3.5

Bevindingen uit enquête .....................................................................................................32

3.6

Deelconclusies doelgroepanalyse ......................................................................................33

Doeltreffendheid van het beleid.............................................................................. 37
4.1

Econometrische analyse .....................................................................................................37

4.2

Bevindingen enquête...........................................................................................................48

4.3

Deelconclusies doeltreffendheid .......................................................................................53

Doelmatigheid ........................................................................................................ 55
5.1

Doelmatigheid van het beleid ............................................................................................55

5.2

Doelmatigheid van de uitvoering......................................................................................57

5.3

Conclusies doelmatigheid ...................................................................................................62

Conclusies ............................................................................................................... 65

Literatuur .......................................................................................................................... 69
Bijlage A

Onderzoeksvragen ......................................................................................... 71

Bijlage B

Verantwoording enquête .............................................................................. 73

B.1

Opzet en respons enquête .................................................................................................73

B.2

Vragenlijst enquête ..............................................................................................................74

Bijlage C

Additionele tabellen en figuren .................................................................... 83

Bijlage D

Econometrische methoden ........................................................................... 91

Bijlage E

Additionele modelschattingen...................................................................... 95

Bijlage F

Descriptives Econometrie ........................................................................... 107

Bijlage G

Interviews .................................................................................................... 119

Bijlage H

Begeleidingscommissie ............................................................................... 123

SEO ECONOMISCH ONDERZOEK

EUROSTARS, EUREKA CLUSTERS EN JTI’S, 2013 - 2018

1

1 Inleiding
Dit rapport evalueert de Nederlandse deelname aan Eureka Clusters, Eurostars en Joint Technology Initiatives.
Het doel is om het doelgroepbereik, de doeltreffendheid en de doelmatigheid van het beleid, en de doelmatigheid van
de uitvoering in beeld te brengen.
Aanleiding en doel
Het ministerie van Economische Zaken en Klimaat (EZK) laat de Nederlandse deelname aan Eurostars, Eureka Clusters en Joint Technology Initiatives (JTI’s) in de periode 2013-2018 evalueren. 1
De subsidieregelingen hebben als doel om internationale samenwerking op het terrein van het ontwikkelen van nieuwe technologie en onderzoek en ontwikkeling te stimuleren. Het doel van deze
evaluatie is om het doelgroepbereik, de doeltreffendheid en doelmatigheid van het beleid, en de
doelmatigheid van de uitvoering goed in kaart te brengen. 2 Hiermee geeft de evaluatie invulling aan
de wettelijke verplichtingen om het beleid periodiek door te lichten en stimuleert het beleidsleren
over een effectieve en efficiënte wijze van stimulering van innovatie door de overheid.
De Nederlandse deelname
In de periode 2008-2018 heeft Nederland deelgenomen aan negen programma’s (zie Figuur 1.1).
Deze programma’s hebben met elkaar gemeen dat zij gericht zijn op het ontwikkelen van nieuwe
technologieën. Ze verschillen op het gebied van aanvraagprocedure, onderzoeksveld, of het beleid
en de financiering onder Nederland of Europa vallen en de toekenningscriteria. Alle programma’s
zijn uitgevoerd door de Rijksdienst voor Ondernemend Nederland (RVO).
Figuur 1.1

In de periode 2008-2018 heeft Nederland deelgenomen aan negen programma’s
De Nederlandse
deelname aan
Eureka Clusters,
Eurostars en de JTI’s

Eureka Clusters

Eurostars

JTI’s

CATRENE
(2008-2015)

EUROSTARS 1
(2008-2013)

ENIAC
(2004-2014)

ITEA 2
(2006-2013)

EUROSTARS 2
(2014-2020)

ARTEMIS
(2004-2014)

PENTA
(2016-2021)

ECSEL
(2014-2020)

ITEA 3
(2014-2021)

Bron:

SEO Economisch Onderzoek op basis van RVO en www.eurekanetwork.org

1

In navolging van het advies van de Commissie Theeuwes in het rapport ‘Durf te meten’ (2012) is besloten
om de drie internationale beleidsinstrumenten gezamenlijk te evalueren. Dit omdat het beleidsdoel van de
instrumenten vergelijkbaar is.
Panteia (2014) heeft de Nederlandse deelname aan (o.a.) deze drie instrumenten eerder geëvalueerd voor
de periode 2008-2012.

2

SEO ECONOMISCH ONDERZOEK

2

HOOFDSTUK 1

Vraagstelling
De volgende drie thema’s komen aan bod:
• Het doelgroepbereik van een regeling geeft onder andere aan in welke mate het instrument erin
slaagt zijn relevante doelgroep te bereiken en te betrekken bij de activiteiten;
• De doeltreffendheid en doelmatigheid van het beleid betreffen de bereikte effecten van het beleid in
relatie tot de ingezette middelen. De belangrijkste te onderzoeken effecten zijn hoe effectief de
instrumenten zijn in het stimuleren van R&D-inspanningen bij bedrijven en in het bevorderen
van meer en betere internationale technologische samenwerkingen;
• De doelmatigheid van de uitvoering. Op welke manier zijn de subsidieregelingen uitgevoerd, en wordt
daarbij gebruikgemaakt van zo weinig mogelijk middelen? En staan de kosten in verhouding tot
de opbrengsten?
Het ministerie van EZK heeft bij deze drie thema’s een aantal onderzoeksvragen geformuleerd.
Deze onderzoeksvragen zijn in Bijlage A weergegeven en uitgesplitst naar subsidieregeling.
Methode
Het onderzoek bestaat uit (i) een literatuurstudie, (ii) diepte-interviews, (iii) een online enquête,
(iv) descriptieve analyses en (v) econometrische analyses, waarbij gebruik is gemaakt van een regression-discontinuity-design (RDD) en difference-in-differences (DID) analyses. Op verzoek van de opdrachtgever ligt (waar mogelijk) in dit rapport de nadruk op de resultaten uit de kwantitatieve ‘cijfermatige’
analyse. Deze resultaten zijn met behulp van kwalitatieve ‘subjectievere’ methoden verrijkt en geverifieerd.
Voor de kwantitatieve analyse en enquête zijn naast alle subsidieaanvragen uit de periode 20132018, ook de aanvragen uit de periode 2008-2012 meegenomen, omdat een grotere steekproef het
mogelijk maakt om nauwkeuriger het functioneren van de drie subsidieregelingen te meten. Desondanks is het niet mogelijk geweest om voor JTI’s en Eureka Clusters een betrouwbare econometrische analyse uit te voeren omdat het aantal waarnemingen beperkt is. De bevindingen voor
deze regelingen komen dan ook met name voort uit de andere onderzoeksmethoden (zie Tabel 1.1)
Tabel 1.1

Gebruikte onderzoeksmethoden per regeling

Onderzoeksmethode
Literatuurstudie
Descriptieve analyse
Econometrie
Enquête / Interviews
Bron:

Eurostars

Eureka Clusters

JTI’s

√
√

√
√

√
√

√
√

√

√

SEO Economisch Onderzoek (2020)

Leeswijzer
De resultaten van het onderzoek zijn in dit onderzoeksrapport beschreven. In hoofdstuk 2 zijn de
instrumenten beschreven, waarna een beleidstheorie is opgesteld en de relevante literatuur is geanalyseerd. Hoofdstuk 3 laat zien welk type organisatie tot de doelgroep van de regelingen behoort,
en welk type organisatie heeft deelgenomen. De hoofdstukken 4 en 5 geven antwoord op de vragen
in welke mate de regelingen respectievelijk doeltreffend en doelmatig zijn geweest en uitgevoerd.
Hoofdstuk 6 concludeert.

SEO ECONOMISCH ONDERZOEK

EUROSTARS, EUREKA CLUSTERS EN JTI’S, 2013 - 2018

2

3

Conceptueel kader

Dit hoofdstuk geeft een beschrijving van de drie te evalueren instrumenten, Eureka Clusters, Eurostars en de JTI’s.
De nadruk ligt op de beleidstheorie die verklaart waarom het beleid theoretisch effectief kan zijn. Daarnaast is de
literatuur bondig samengevat.

2.1 De instrumenten
De drie instrumenten hebben als gezamenlijk doel om de internationale technologische samenwerking en investeringen in onderzoek en ontwikkeling (R&D) te bevorderen. Hieronder volgt een
bondige omschrijving van de drie instrumenten. Paragraaf 2.1.1 tot en met 2.1.3 bevat een uitgebreidere omschrijving op instrumentniveau.
1.

Eurostars is een Europees innovatieprogramma en een initiatief van Eureka en de Europese
Commissie (EC). Het programma geeft projecten financiële ondersteuning via de nationale
overheid van ieder deelnemend land. Het subsidiebedrag hangt af van de projectactiviteiten,
de aard van de deelnemers en het land waarin men gevestigd is. Het programma helpt (kleinere)
organisaties om marktgerichte technologische ontwikkelingen uit te voeren.

2.

Eureka Clusters is een door de industrie geïnitieerd en aangestuurd onderzoeksprogramma.
Ieder cluster wordt ingedeeld op basis van thematiek. Nederland neemt momenteel deel aan
twee clusters, (i) micro- en nano-elektronica en (ii) software-intensieve systemen en diensten.
De Eureka Clusters zijn geheel vanuit middelen van de nationale overheden gesubsidieerd.
Zowel het klein-, midden-, als grootbedrijf komt in aanmerking voor subsidie.

3.

Met Joint Technology Initiatives (JTI’s) stimuleren de EC, het ministerie van EZK en de
nationale overheden die deelnemen, samenwerkingsvormen van publieke en private partijen
die een grensoverschrijdend onderzoeksprogramma uitvoeren. Net als bij Eureka Clusters
neemt de industrie het initiatief. De subsidie is gericht op bedrijven en kennisinstellingen.

2.1.1 Eurostars
Eurostars is een initiatief van Eureka en de EC om internationale samenwerking op het gebied van
innovatie te stimuleren. Het programma helpt (kleinere) organisatie in de hightech onderzoeks- en
ontwikkelingssector met het in samenwerkingsverband uitvoeren van markgerichte technologische
ontwikkelingen. Het doel is om internationale technologische samenwerking en investeringen in
onderzoek en ontwikkeling (R&D) te bevorderen. Dit wordt gedaan door projecten te voorzien
van financiële ondersteuning via de nationale overheid van de deelnemende landen. Nederland
heeft jaarlijks een budget van circa € 19 miljoen. 3 Het programma werd gepresenteerd in 2008 met
de Eurostars-1 regeling. Dit programma is inmiddels opgevolgd door Eurostars-2, dat loopt tot en
met 2020.

3

Zie: https://www.rvo.nl/subsidie-en-financieringswijzer/eurostars

SEO ECONOMISCH ONDERZOEK

4

HOOFDSTUK 2

Subsidiebedrag
De grootte van de toegekende subsidie is afhankelijk van de projectactiviteiten, de aard van de
deelnemers en in welke landen de betreffende bedrijven zijn gevestigd. De subsidie is een percentage van de totale subsidiabele kosten van de Nederlandse deelnemer(s). Voor bedrijven is dit percentage 35 procent voor onderzoeksactiviteiten en 25 procent voor ontwikkelingsactiviteiten. Voor
het midden- en kleinbedrijf geldt een additioneel percentage van 10 procent. Kennisinstellingen
kunnen respectievelijk 50 procent en 25 procent ontvangen voor deze activiteiten. Een project kan
maximaal € 500.000 subsidie krijgen voor alle Nederlandse deelnemers gezamenlijk.
Toekenningscriteria
De hoofddoelgroep van de regeling is het onderzoekuitvoerende midden- en kleinbedrijf. Een bedrijf is onderzoekuitvoerend als een bepaald deel van de omzet en/of het aantal medewerkers (fte’s)
wordt ingezet voor R&D. Hoeveel omzet of medewerkers het bedrijf dient in te zetten hangt af
van het aantal medewerkers dat het bedrijf heeft (zie Tabel 2.1). Het bedrijf moet ten minste aan
één van de drie voorwaarden voldoen. Een voorbeeld: indien een bedrijf zestig medewerkers heeft
dient het, om in aanmerking voor de subsidie te komen, minimaal tien procent van de omzet aan
R&D te besteden, óf minimaal vijf fte’s werkzaam in R&D in dienst hebben.
Tabel 2.1

Voorwaarden onderzoekuitvoerende midden- en kleinbedrijf
Minimum aantal fte’s
werkzaam in
R&D*

Minimum % fte’s
werkzaam in
R&D*

Minimum % omzet
besteed aan
R&D*

0 tot en met 100

5

10%

10%

101 tot 250

10

10%

10%

Mkb: aantal medewerkers

Bron:
*

SEO Economisch Onderzoek op basis van RVO.nl.
inzet specifiek deel van omzet of fte's: welke het laagst is

Aanvraagprocedure
Om een subsidie te krijgen vindt een tweedelige aanvraagprocedure plaats (zie Figuur 2.1). Deze
procedure bestaat uit een internationaal en nationaal gedeelte. Eerst moet het voorstel worden
goedgekeurd door onafhankelijke internationale experts, aangesteld door Eureka. 4 Deze experts
kennen een score toe aan elk ingediend project op basis van de algemene opbouw van het project,
technologische en innovatieve waarde en marktpotentieel, en concurrentievermogen. Op basis
hiervan vindt een eerste selectie plaats.
Terwijl de internationale jury de score toekent wordt de financiële levensvatbaarheid beoordeeld
door de nationale financieringsinstanties. In Nederland is dit RVO. Goede resultaten van het nationale onderzoek zijn geen toelatingsvoorwaarde voor de subsidie. Ze worden meegenomen in het
Independent Evaluation Panel (IEP), de volgende stap in de internationale beoordeling.
De voorstellen die door de internationale experts zijn goedgekeurd, worden beoordeeld door het
Independent Evaluation Panel (IEP). Dit panel selecteert de beste aanvragen door ze te ranken op
basis van een score. De score wordt gevormd aan de hand van dezelfde criteria die door de internationale experts worden gebruikt. Als de score beneden een bepaalde drempel valt voor de categorieën afzonderlijk zal deze kandidaat worden uitgesloten. Ook als de totale score te laag is zal dit
gebeuren. Het resultaat is een gerangschikte lijst van aanvragen boven een bepaald niveau, de drempelwaarde.
4

Zie https://www.eurostars-eureka.eu/eurostars-process-evaluation

SEO ECONOMISCH ONDERZOEK

CONCEPTUEEL KADER

5

Als het internationale panel de aanvraag heeft goedgekeurd moet het voorstel bij RVO worden
ingediend. De ranking lijst van IEP wordt aangehouden door RVO bij het toekennen van de subsidies, tot het nationale budget is uitgeput. 5 Dit betekent dat bij alle deelnemende landen geen
inhoudelijke beoordeling op nationaal niveau wordt uitgevoerd. Wel ondersteunt RVO tijdens de
aanvraagprocedure bedrijven in een adviserende rol, en is RVO na toekenning verantwoordelijk
voor het beheer en de (tussentijdse) evaluatie van het project.
Figuur 2.1

Bron:

Aanvraagprocedure Eurostars

SEO Economisch Onderzoek op basis van RVO.nl

2.1.2 Eureka Clusters
Het Eureka Clusters programma kent in de periode 2008 - 2018 zeven domeinen (zie Figuur 2.2).
Deze domeinen zijn geïnitieerd en aangestuurd door de industrie en bestaan uit diverse programma’s. De programma’s beogen de mondiale concurrentiekracht van de Europese industrie te
versterken. Dit doen ze door technologische samenwerking tussen organisaties (internationaal) te
stimuleren en door het ontwikkelen en implementeren van gezamenlijke oplossingen voor economische, strategische en maatschappelijke vraagstukken. De publiek-private onderzoeksprogramma’s gaan uit van het bottom-up principe, organisaties bepalen zelf de samenstelling van het
consortium en het onderwerp van het project.

5

Zie https://www.rvo.nl/sites/default/files/2014/02/Brochure%20Eurostars.pdf
SEO ECONOMISCH ONDERZOEK

6

HOOFDSTUK 2

Figuur 2.2

Bron:
Noot:

Eureka Clusters kent in de periode 2008 – 2018 zeven domeinen en elf programma’s

SEO Economisch Onderzoek op basis van RVO en www.eurekanetwork.org.
Deze studie evalueert de deelname aan Eureka Clusters in de periode 2013 – 2018. Voor deze figuur is
ervoor gekozen om in 2008 te starten met het tonen van de programma’s. Dit omdat deze waarnemingen
in de econometrische analyse zijn meegenomen. Nederlandse vlaggen in de figuur duiden een rijksbijdrage vanuit Nederland aan.

Nederland heeft middels een rijksbijdrage deelgenomen aan vier onderzoeksprogramma’s (zie de
vlaggetjes in Figuur 2.2). CATRENE en PENTA richten zich op het stimuleren van R&D-samenwerking in micro- en nano-elektronica. 6 ITEA2 en ITEA3 zijn Europese strategische onderzoeksprogramma’s voor de ontwikkeling van software-intensieve systemen en diensten. 7 Hieronder zijn
de vier onderzoeksprogramma’s nader toegelicht:
CATRENE en PENTA
CATRENE was een achtjarig programma dat is gestart in januari 2008 en liep tot eind 2015. 8 Het
Eureka-cluster steunde innovatieve R&D-projecten op het terrein van de nano-elektronica in Europese samenwerkingsverbanden van bedrijven, eventueel aangevuld met kennisinstellingen en
universiteiten. Het programma was opgezet om de mondiale concurrentiekracht van de Europese
nano-elektronica-industrie te versterken. In CATRENE nam de industrie het initiatief en bepaalde
de strategie, waardoor de kennisvraag goed was afgestemd op het bedrijfsleven. Het ging hierbij
om marktgericht/toegepast onderzoek, waarbij partijen uit diverse landen met elkaar samenwerken. PENTA 9 is als opvolger van CATRENE in 2015 gestart.

6
7
8
9

Zie http://catrene.org/ en https://www.penta-eureka.eu/
Zie https://itea3.org/
CATRENE staat voor Cluster for Application and Technology Research in Europe on Nanoelectronics.
Penta staat voor Pan European Partnership in micro and Nano-Technologies and Applications.

SEO ECONOMISCH ONDERZOEK

CONCEPTUEEL KADER

7

ITEA2 en ITEA3
Het Eureka-Cluster ITEA betreft Europese strategische onderzoeksprogramma’s voor de ontwikkeling van software intensieve systemen en diensten. 10 De programma’s zijn opgezet om de leidende Europese positie te versterken. Europese bedrijven werken hierbij samen, eventueel aangevuld met kennisinstellingen en universiteiten. De Europese overheden ondersteunen de projecten
met specifieke nationale instrumenten. ITEA2 liep van 2006 tot en met 2013. Het programma
ITEA3 is de opvolger en loopt van 2014 tot en met 2021.
Met de onderzoeksprogramma’s beoogt het ministerie van EZK de internationale concurrentiepositie van Nederlandse organisaties te versterken. De programma’s zijn een belangrijk onderdeel van
het innovatiecontract van de topsector Hightech Systemen en Materialen (HTSM). De Rijksdienst
voor Ondernemend Nederland is verantwoordelijk voor de uitvoering van de subsidieregeling.
Aanvraagprocedure
Organisaties die willen deelnamen aan Eureka Clusters dienen de volgende stappen te doorlopen:
1. Het Eureka Cluster organiseert een ‘Call’ op internationaal niveau;
2. Organisaties vormen een internationaal consortium en dienen een verkort projectvoorstel
(Project Outline) in;
3. Het verkorte projectvoorstel wordt beoordeeld door de industrie én de nationale overheden;
4. Organisaties die doorgaan verwerken het commentaar en dienen een volledig projectvoorstel
(Full Project Proposal) in;
5. Het volledige projectvoorstel wordt nogmaals beoordeeld en ontvangt al dan niet een label.
Deze labels worden door nationale overheden als voorwaarde gehanteerd voor het eventueel
ontvangen van subsidie. Nederland neemt dus een financieringsbeslissing over de gelabelde
projecten;
6. Nederlandse organisaties met een gelabeld projectvoorstel kunnen zich bij RVO melden. Hier
beoordeelt de Adviescommissie Internationaal Innoveren de Nederlandse projectdelen. Daarbij kijkt zij naar (i) de technologische innovatie, (ii) de kwaliteit van de samenwerking, (iii) het
economische perspectief, en (iv) de betrokkenheid van het MKB. Er volgt een ranking. 11 Organisaties met een ranking boven de drempelwaarde kunnen subsidie ontvangen. Daarbij is
het van belang dat voldoende leden uit het internationale consortium groen licht krijgen.

2.1.3 Joint Technology Initiatives (JTI’s)
Net als Eureka Clusters en Eurostars, zijn Joint Technology Initiatives (JTI’s) samenwerkingsvormen tussen publieke en private partijen. Het instrument stimuleert een grensoverschrijdend onderzoeksprogramma. Het doel is om innovaties op de markt te brengen, middels nieuw ontwikkelde
kennis en technologie. JTI’s worden gefinancierd door de Europese Commissie en soms ook door
nationale overheden. Private partijen zijn altijd de initiatiefnemer voor een JTI.
Er zijn zes verschillende JTI’s met alle een eigen doelstelling (zie Figuur 2.3). Het enige domein
waarbij de Nederlandse overheid middels een rijksbijdrage betrokken is geweest is ECSEL, een JTI
op het gebied van elektronische componenten en systemen. RVO behandelde ook de aanvragen
van de voorlopers van ECSEL, namelijk ENIAC en ARTEMIS. In 2013 zijn ENIAC en ARTEMIS samengegaan als ECSEL (zie Figuur 2.3). In ECSEL is ook het European Technology Platform on Smart Systems Integration (EpoSS) opgenomen.

10
11

ITEA staat voor Information Technology for European Advancement.
De gelabelde projecten concurreren zodoende met elkaar voor het beschikbare budget.
SEO ECONOMISCH ONDERZOEK

8

HOOFDSTUK 2

Figuur 2.3

In de periode 2008 – 2018 zijn zes verschillende JTI’s actief

Joint Technology Initiatives
Domein

Programma

1. Nano-elektronica

ENIAC
ECSEL
ARTEMIS

2. Embedded systemen

Clean Sky

Clean Sky 2

3. Luchtvaartproducten

IMI

IMI 2

4. Innovatieve medicijnen

Shift2Rail

5. Spoorwegproducten
BBI JU

2008
Bron:
Noot:

2013

6. Biobased industrie

2018

SEO Economisch Onderzoek op basis van RVO.nl
Voor deze figuur is ervoor gekozen om in 2008 te starten met het tonen van de programma’s. Dit omdat
deze waarnemingen in de econometrische analyse zijn meegenomen. Nederlandse vlaggen in de figuur
duiden een rijksbijdrage vanuit Nederland aan.

Subsidiebedrag
De subsidie is een percentage van de totale subsidiabele kosten van de Nederlandse deelnemer(s).
Het percentage verschilt per grootte van de deelnemende partij en de activiteiten (zie Tabel 2.2).
Een project kan maximaal € 5.000.000 subsidie krijgen voor alle Nederlandse deelnemers in totaal
van de rijksoverheid. Daarnaast kunnen bedrijven nog voor EU-contributie in aanmerking komen.
Tabel 2.2

Percentage subsidiabele kosten JTI’s
Grote bedrijven
en verenigingen
van ondernemingen

Middelgrote
bedrijven

Kleine bedrijven

Onderzoeksinstituten en
universiteiten

Fundamentele/ basis onderzoeksactiviteiten

0%

0%

0%

0%

Industriële/ toegepaste
onderzoeksactiviteiten

21%

26%

26%

24%

Ontwikkelingsactiviteiten

11%

16%

16%

11%

Bron:

ECSEL JOINT UNDERTAKING WORK PLAN 2019
Noot: Dit zijn de subsidiepercentages van de Nederlandse overheid, dus exclusief de subsidie van de
EU. De subsidiepercentages gelden vanaf call 3 van ECSEL. Daarvoor golden andere percentages.

Toekenningscriteria
De doelgroep van ECSEL zijn bedrijven en kennisinstellingen die zich bezighouden met wetenschappelijk onderzoek, technologische ontwikkeling en het ontwikkelen van embedded software, nanoelektronica en smart systems. Een voorwaarde voor het indienen van een aanvraag is dat er één of
meer Nederlandse partij(en) deelneemt/deelnemen aan het project, waarvan minimaal één industriële partij. In het geval dat er maar één Nederlandse partij is moet dit een midden- of kleinbedrijf
SEO ECONOMISCH ONDERZOEK

CONCEPTUEEL KADER

9

zijn. 12 Geïnterviewde midden- en of kleinbedrijven geven aan dat zij door een grotere partij zijn
benaderd om deel te nemen aan het programma.
Aanvraagprocedure
De aanvraag bestaat uit twee fases, de Project Outline (PO) en de Full Project Proposal (FPP) 13
(zie Figuur 2.4). In de eerste fase wordt een PO ingediend bij de Joint Undertaking. De aanvraag
wordt beoordeeld door een groep van minimaal twee experts. De PO krijgt een score op basis van
drie criteria. Er wordt gekeken naar de impact, kwaliteit en efficiëntie van de implementatie. Bij een
positieve beoordeling van de PO volgt de tweede fase waarbij er een Full Project Proposal (FPP)
moet worden ingediend, eveneens bij de Joint Undertaking. Op basis van dezelfde drie criteria
wordt (net als bij de PO-fase) een score toegekend door een groep van experts. De aanvragen
binnen dezelfde “call” worden op basis van deze score gerankt. Aanvragen met gelijke scores worden door een panelreview gerangschikt. Uiteindelijk leidt het proces tot twee lijsten die aanvragen
bevatten met scores onder en boven de drempelwaarde. 14 De innovatieprojecten boven de drempelwaarde kunnen subsidie ontvangen van RVO, afhankelijk van beschikbare budgetten en nationale toekenningsvereisten.
Figuur 2.4

Noot:

Bron:

12
13
14

Aanvraagprocedure JTI’s

Voordat organisaties hun PO indienen kunnen zij gebruik maken van een ‘roadmap’ opgesteld door de
‘Competitiveness Council’. Het doel van deze routekaart is om organisaties inzicht te geven in de ‘sleutels
voor succes’. Zo kunnen organisaties zien op welke manier ze beoordeeld gaan worden en waar zij rekening mee moeten houden bij het opstellen van hun PO.
SEO Economisch Onderzoek op basis van RVO.nl

Zie ECSEL JOINT UNDERTAKING WORK PLAN 2019
Zie https://www.rvo.nl/subsidies-regelingen/aanvragen-jti-ecsel
De rangschikking is input voor een vergadering van de Public Authorities Board, waarin besloten wordt
welke projecten die boven de drempelwaarde scoren worden geselecteerd voor financiering, welke niet en
welke eventueel op een reserve lijst komen. De geselecteerde projecten kunnen subsidie ontvangen van
RVO.
SEO ECONOMISCH ONDERZOEK

10

HOOFDSTUK 2

2.2 Beleidstheorie
Doel
Voor beleidsmakers is het van belang om te weten of regelingen doeltreffend en doelmatig zijn.
Het opstellen van een beleidstheorie helpt deze vraag te beantwoorden. De beleidstheorie beschrijft
de vooraf opgestelde theoretische onderbouwing van het te voeren beleid met behulp van een
doelenboom. Er wordt beschreven hoe de middelen (input) theoretisch leiden tot het behalen van
de doelstellingen (impact). De activiteiten beschrijven de handelingen die in het kader van het beleid
worden uitgevoerd, de output bestaat uit de eerste directe resultaten van het beleid en de outcome
beschrijft de gewenste maatschappelijke effecten (zie Figuur 2.5). De impact bestaat uit de gevolgen
van de subsidieregeling.
Figuur 2.5

Een schematische weergave van een doelenboom
Beoogde effecten van het beleid

Beleidsinstrumenten
Input

Bron:

Activiteiten

Output

Outcome

Impact

SEO Economisch Onderzoek (2019)

Bij het opstellen van de doelenboom hoort een kritische analyse van de voorwaarden waaronder
de interventies het verwachte doel kunnen bereiken. Daarnaast zijn indicatoren nodig voor het meten
van de output en de outcome. Het doel van de beleidsevaluatie is om na te gaan in hoeverre deze
relaties worden bevestigd door het onderzoek. Voor het beantwoorden van deze vraag zijn de
deelvragen die het ministerie EZK heeft geformuleerd en die zijn opgenomen in Bijlage A van
belang. In de beleidstheorie is dan ook naar deze deelvragen verwezen.
Reconstructie
De beleidstheorie van de subsidieregelingen is vooraf niet expliciet uiteengezet en is daarom gereconstrueerd op basis van beleidsdocumenten, zoals jaarverslagen en interne nota’s. Daarnaast is de
beleidstheorie naar aanleiding van interviews waar nodig gecorrigeerd en aangevuld. Ten slotte is
de website RVO.nl gebruikt voor het in kaart brengen van de beoogde doelen.
De beleidstheorie
De beleidstheorie geeft de beoogde werking van de subsidieregelingen weer. Het ministerie van
EZK stelt jaarlijks een budget en menskracht (input) beschikbaar om de Nederlandse deelname aan
de subsidieregelingen mogelijk te maken. In opdracht van EZK voert RVO de subsidieregelingen
uit. RVO helpt organisaties onder andere met het vormgeven van het project, het vormen van
consortia, het vinden van geschikte financieringsbronnen, het vaststellen van de toekenningscriteria
en het verstrekken van de subsidies (activiteiten). De output die zij levert bestaat uit een aantal gesubsidieerde innovatieprojecten/organisaties. Deze output kan gemeten worden. Hierbij kunnen de volgende vragen worden gesteld (zie ook Bijlage A, vraag A1 t/m A4):
• Hoeveel bedrijven en hoeveel ((semi-)publieke) kennisinstellingen zijn jaarlijks bereikt?
• Welk bedrag heeft RVO aan deze organisaties uitgekeerd? En wat waren de administratieve
verplichtingen?
• Hoe groot is het MKB-aandeel in de regelingen?
• Wat is de mate van verversing van het klantenbestand van RVO?

SEO ECONOMISCH ONDERZOEK

CONCEPTUEEL KADER

11

SEO ECONOMISCH ONDERZOEK

12

HOOFDSTUK 2

De outcome beschrijft de gewenste maatschappelijke effecten. Doordat de overheid bedrijven en
kennisinstellingen met subsidie ondersteunt, hoopt zij de volgende effecten terug te zien:
• Additionaliteit betreft de mate waarin het aannemelijk is dat het innovatieproject slechts met
behulp van een subsidie kan worden uitgevoerd. Als een innovatieproject kan worden gefinancierd met eigen geld, een commerciële lening of middels een ander overheidsinstrument dan is
de subsidie niet additioneel, maar een substituut voor andere middelen. De subsidieregeling
dient private financiering niet te verdringen, immers is dat te classificeren als ondoelmatig. Met
behulp van interviews, deskresearch en een enquête onder bedrijven en kennisinstellingen
wordt de additionaliteit van de subsidieregeling getoetst. Er kan daarbij onderscheid worden
gemaakt tussen drie vormen van additionaliteit:
• Input-additionaliteit bepaalt of de overheidssubsidie een positieve impact heeft op de onderzoeks- en innovatiebestedingen van de organisatie;
• Output-additionaliteit bepaalt of een bedrijf dankzij de subsidies extra output genereert die
zonder de innovatiesteun niet tot stand zou zijn gekomen;
• Gedrags-additionaliteit bepaalt de impact van subsidies op gedragsveranderingen binnen
een organisatie resulterend in een innovatievere omgeving.
• De eerste-orde-effecten zijn de effecten waar de subsidieregelingen zich direct op richten (innovatieinspanningen), bijvoorbeeld de mate waarin de subsidie leidt tot (i) meer en betere internationale
technologische samenwerking, (ii) hogere R&D-uitgaven of (iii) een betere strategische positionering van Nederlandse deelnemers in Europese samenwerkingsverbanden. De CBS-microdata
bevatten informatie over organisaties die gebruikmaken van de Wet Bevordering Speur- en
Ontwikkelingswerk (hierna WBSO). Met behulp van deze database kan worden bepaald of organisaties meer uren hebben gespendeerd aan R&D wat gezien kan worden als een proxy voor
hogere R&D-uitgaven. In een door ons uitgezette enquête is gevraagd naar de internationale
technologische samenwerking en strategische positionering. Het is theoretisch aannemelijk dat
deelnemende organisaties meer internationaal samenwerken omdat de subsidie alleen verstrekt
wordt indien sprake is van een internationaal consortium. Ook is het theoretisch aannemelijk
dat organisaties die subsidie ontvangen voor een project hogere R&D-uitgaven hebben;
• De tweede-orde-effecten zijn de effecten die indirect op de innovatie-inspanningen volgen, via doorwerking van de eerste-orde-effecten. Het gaat hier om (i) de effectievere en efficiëntere inzet
van R&D-uitgaven, (ii) meer innovativiteit en (iii) een kortere time-to-market. Alle drie deze effecten komen in de enquête, interviews en deskresearch aan bod. De beleidstheorie stelt dat er
een theoretisch verband bestaat tussen internationale samenwerking en effectievere en efficiëntere inzet van R&D-uitgaven. Theoretisch is het mogelijk dat het vormen van een consortium
bestaande uit diverse disciplines leidt tot specialisatie en kennisdeling wat op zijn beurt kan
bijdragen aan de doeltreffendheid en doelmatigheid van de subsidie. Ook kan de subsidie leiden
tot efficiëntere inzet van R&D, met mogelijk een neerwaarts effect hiervan op de R&D-uitgaven
van een bedrijf. Daarnaast is het theoretisch mogelijk dat de subsidie zorgt voor financiële zekerheid van het project, wat ten goede komt aan de continuïteit van het project met als gevolg
een hogere snelheid van innoveren en een kortere time-to-market;
• De derde-orde-effecten zijn de effecten die indirect op de bedrijfsprestaties worden bereikt via de
tweede-orde-effecten. Dat betreft bijvoorbeeld een hogere productiviteit of sterkere groei van de
werkgelegenheid of toegevoegde waarde bij organisaties. De derde-orde-effecten worden econometrisch bestudeerd met behulp van de btw-aangifte als proxy voor de omzet van organisaties en
de polisadministratie als proxy voor de werkgelegenheid. Deze effecten zijn zichtbaar indien
organisaties innovatie waarmee zij de markt kunnen betreden, omzetten in bedrijfsresultaten.

SEO ECONOMISCH ONDERZOEK

CONCEPTUEEL KADER

13

Indien de organisaties door de innovatie een comparatief voordeel hebben kan dat zichtbaar
zijn in de bedrijfsresultaten Van de derde-orde-effecten mag verwacht worden dat deze (op zijn
vroegst) pas optreden na afronding van het project.

2.3 Literatuur
Uit literatuuronderzoek blijkt dat er geen éénduidig antwoord is op de vraag of de drie regelingen (en R&D-subsidies
in het algemeen) als doeltreffend en doelmatig zijn te classificeren. Recente literatuur, waar econometrische onderzoeksmethoden geïmplementeerd zijn, stelt dat er nog onvoldoende robuust, generaliseerbaar en causaal bewijs is.
Ander onderzoek, waar minder harde methoden zijn geïmplementeerd, geeft aan dat deelname leidt tot impact.

2.3.1 Vorige evaluatie
In 2014 heeft Panteia een evaluatie naar Eurostars, Eureka Clusters en de JTI’s verricht (Panteia).
• Met betrekking tot het gebruik en doelgroepbereik geeft Panteia aan dat in de periode 2008-2012
174 Nederlandse projecten zijn ondersteund door de regelingen. 15 Het verversingspercentage,
de mate waarin nieuwe deelnemers gebruikmaken van de subsidieregelingen, ligt relatief hoog. 16
Daarnaast is het aandeel MKB-bedrijven ruim vertegenwoordigd. 17 Het doelgroepbereik 18 varieert tussen 0,51 procent voor de Eureka Clusters tot en met 0,63 procent voor Eurostars;
• Met betrekking tot de doeltreffendheid geeft Panteia aan dat de empirische effectanalyses geen
éénduidige uitkomst biedt, er lijkt geen samenhang te bestaan tussen het ontvangen van de
subsidie en de hoogte van de S&O-loonuitgaven. Panteia biedt vier mogelijke verklaringen:
(i) het aantal beschikbare waarnemingen is relatief klein, zeker wanneer de analyses worden uitgevoerd op het niveau van de individuele instrumenten, (ii) de relatief korte evaluatieperiode
(2008-2012) maakt het moeilijk om een goed beeld te krijgen van de stand van zaken vóór en
na het verkrijgen van de subsidie, (iii) de subsidies worden toegekend op projectniveau, terwijl
de kwantitatieve analyses zich richten op organisatieniveau, en (iv) projecten met een afgewezen
subsidieaanvraag in de praktijk alsnog vaak doorgaan. 19 Uit een telefonische enquête komt een
rooskleuriger beeld. Deelnemers onderschrijven een (i) positieve ontwikkeling van innovatie en
R&D, (ii) snellere time-to-market en (iii) positieve impact tot verwerving van waardevolle nieuwe
kennis en verbreding van technologische toepassingen;
• Met betrekking tot de uitvoering en administratieve verplichtingen geeft Panteia aan dat (i) bedrijven
positief zijn over de uitvoering door RVO, (ii) in beperkte mate gebruik is gemaakt van intermediairs, (iii) de uitvoeringskosten overheid 4,4 procent van het totale subsidiebudget bedragen,
(iv) de administratieve verplichtingen variëren tussen 0,6 procent voor de Eureka Clusters, 0,8
procent voor de JTI’s en 2,8 procent voor Eurostars, en (v) de administratieve verplichtingen
van Eurostars in de periode 2009-2012 fors zijn gedaald.

15
16
17
18
19

88 projecten door Eurostars, 36 projecten door Eureka Clusters en 50 projecten door de JTI’s.
85 procent voor Eurostars, 59 procent voor Eureka Clusters en 66 procent voor de JTI’s.
80 procent voor Eurostars, 55 procent voor Eureka Clusters en 54 procent voor de JTI’s.
Panteia (2014) definieert het doelgroepbereik als het aantal deelnemers gedeeld door het aantal internationaal actieve WBSO-gebruikers.
In dit onderzoek is er voor gekozen om naast alle subsidieaanvragen in de periode 2013-2018 ook de aanvragen uit de periode 2008-2012 mee te nemen. Op deze manier is zowel de steekproefomvang als de
evaluatieperiode omvangrijker dan in voorgaand onderzoek.

SEO ECONOMISCH ONDERZOEK

14

HOOFDSTUK 2

2.3.2 Wetenschappelijke literatuur
Het bestuderen van de (wetenschappelijke) literatuur leidt tot een aantal aanvullende bevindingen.
Hierbij wordt onderscheid gemaakt tussen de wetenschappelijke literatuur, evaluaties in opdracht
van de Europese commissie en evaluaties in opdracht van deelnemende landen.
1. Het financieringsmechanisme van de Eurostars-regeling heeft politieke voordelen, maar kent economische nadelen.
Hünermund en Czarnitzki (2019) tonen in hun onderzoek aan dat de manier waarop Eurostarsprojecten worden gefinancierd ertoe leidt dat de best beoordeelde subsidievoorstellen niet altijd
worden gehonoreerd (zie Box 1). 20 Met behulp van variatie in de toekenning van de subsidie tonen
zij causaal aan dat de regeling (gemiddeld genomen) geen significant effect heeft gehad op de bedrijfsprestaties, gemeten in het creëren van werkgelegenheid en het bevorderen van verkoopcijfers.
Wel is er een significant effect gevonden bij de hoger beoordeelde subsidievoorstellen. Dit is een
belangrijke constatering. Het impliceert dat een andere manier van financiering van de Eurostarsprojecten ertoe leidt dat de doeltreffendheid en doelmatigheid van de subsidieregeling zullen toenemen.
Hünermund en Czarnitzki stellen dat indien de hoogst beoordeelde subsidievoorstellen worden
gehonoreerd de impact van de subsidieregeling fors zal toenemen, 53 procent voor de werkgelegenheid en 48 procent voor de verkoopcijfers. Het onderzoek sluit af met twee constateringen:
• Het onderzoek stelt dat ondanks de huidige manier van financiering die duidelijke politieke
voordelen kent, het ten koste gaat van de doeltreffendheid van de regeling. Hünermund en Czarnitzki geven aan dat er andere manieren van financiering (mixed-mode) mogelijk zijn die de doeltreffendheid verhogen en de duidelijke politieke voordelen (grotendeels) behouden;
• Het onderzoek stelt dat Eurostars-projecten heterogeen zijn. Dit vormt een bijzondere uitdaging voor evaluatiestudies die effecten lokaal inschatten op een smalle marge (zoals met behulp
van een regression discontinuity design). 21
In Nederland worden de best beoordeelde voorstellen bijna altijd toegekend Cijfers van het RVO
tonen aan dat de afgelopen tien calls tussen de 92 en 100 procent van de vijftig best beoordeelde
subsidievoorstellen zijn toegekend (zie Tabel 2.3). Hieraan liggen twee oorzaken ten grondslag.
Sommige voorstellen zijn teruggetrokken door de deelnemers zelf, terwijl andere voorstellen zijn
afgewezen omdat er onvoldoende (internationale) financiering mogelijk was. Daarnaast geeft RVO
in een interview aan dat ook bij de JTI’s de best beoordeelde voorstellen niet altijd diegene zijn die
worden toegekend. Soms is het budget van een participerend land ontoereikend, dit is een nadeel
van een internationaal beleidsinstrument. Bij Eureka Clusters speelt dit probleem minder, mogelijk
omdat in tegenstelling tot de JTI’s en Eurostars bij Eureka Clusters de nationale overheden al
gedurende de aanvraagprocedure (vanaf het opstellen van een Project Outline) worden geraadpleegd. Het is dan vaak vóór de definitieve beoordeling al duidelijk of de deelnemende landen al
dan niet voornemens zijn om financiering te verstrekken.

20

21

Op dit moment zijn Eurostars-projecten nationaal gefinancierd. Indien één organisatie uit een internationaal consortium de subsidie niet ontvangt, bijvoorbeeld omdat het nationaal budget ontoereikend is, gaat
het innovatieproject vaak niet door. Het beschikbare budget gaat dan naar een lager beoordeeld subsidievoorstel.
Dit onderzoek maakt daarom ook gebruik van een DID-design, interviews, enquête en deskresearch.

SEO ECONOMISCH ONDERZOEK

CONCEPTUEEL KADER

Tabel 2.3

15

Eurostars: 92-100% van de 50 best beoordeelde subsidievoorstellen is gehonoreerd
in de afgelopen tien Calls (kolommen 1 t/m 10)

Percentage toegekend

1

2

3

4

5

6

7

8

9

10

50 best beoordeelde voorstellen

92%

98%

94%

100%

98%

100%

98%

98%

98%

100%

Voorstellen boven drempelwaarde

83%

80%

90%

100%

79%

79%

67%

61%

72%

68%

Bron:

SEO Economisch Onderzoek op basis van RVO

Box 2.1

De huidige manier van financiering leidt er niet altijd toe dat de hoogst beoordeelde
subsidieaanvragen worden gehonoreerd

Quality Rank

Consortium

VCP

RCP

1

A, B, B

√

√

2

B, B, C

3

A, C

4

A, B, C, D

5

C, D, D

√
√

√

√

Uit onderzoek van Hünermund en Czarnitzki blijkt dat de manier waarop op dit moment Eurostars-projecten
worden gefinancierd ertoe leidt dat de best beoordeelde subsidievoorstellen niet altijd worden gehonoreerd.
Box 1 illustreert dit met behulp van een voorbeeld. Kolom 1 bevat een rankschikking van alle beoordeelde
subsidieaanvragen, waarbij in ‘1’ de hoogst beoordeelde is en ‘5’ de laagst beoordeelde subsidieaanvraag.
Kolom 2 toont het land van herkomst van de organisaties. In dit voorbeeld bestaat het best beoordeelde consortium uit een organisatie uit land A en twee organisaties uit land B. Kolom 3 bevat de huidige manier van
financiering, waarbij landen Eurostars-projecten financieren totdat het nationaal budget op is. Kolom 4 bevat
de hypothetische situatie waarin de beste beoordeelde subsidieaanvragen gehonoreerd worden tot het gezamenlijk budget van de landen op is.
In dit voorbeeld gaan we ervan uit dat elk land beschikt over voldoende budget om twee organisaties te subsidiëren. Onder de huidige manier van financieren (VCP) wordt de best beoordeelde subsidieaanvraag gehonoreerd, waarna het nationale budget van land B op is. Omdat land B geen budget meer heeft om nog een
organisatie te subsidiëren wordt de op-één-na best beoordeelde subsidieaanvraag afgewezen. Onder het hypothetische scenario (RCP) zou deze subsidieaanvraag wel worden gehonoreerd. Onder de huidige manier
van financiering kan het voorkomen dat hoog beoordeelde subsidieaanvragen geen financiering krijgen omdat
het nationale budget van één of meerdere van de landen van herkomst van de samenwerkende organisatie
ontoereikend is.
Bron:

SEO Economisch Onderzoek op basis van Hünermund en Czarnitzki (2019).

2. Overheidsingrijpen is gelegitimeerd, maar de manier waarop zij ingrijpt staat ter discussie.
Bij het bestuderen van de drie subsidieregelingen is het van belang om aan te tonen dat overheidsingrijpen economisch gelegitimeerd is. Dit is bijvoorbeeld het geval wanneer de overheid zaken
uitvoert die als primaire overheidstaak worden beschouwd (zoals het verstrekken van collectieve
goederen) of wanneer sprake is van marktfalen. Een klassiek resultaat in innovatie-economie stelt
dat organisaties de neiging hebben om te weinig te investeren in onderzoek en ontwikkeling vergeleken met een maatschappelijk optimaal niveau. R&D wordt in deze studies deels als publiek goed
gezien. Het ontwikkelen van een publiek goed is voor organisaties in deze studies vaak niet rendabel, omdat na de veelal hoge ontwikkelingskosten zij niet in staat zijn om het volledige rendement

SEO ECONOMISCH ONDERZOEK

16

HOOFDSTUK 2

van het innovatieproject zich toe te eigenen (Arrow, 1962). Hünermund en Czarnitzki (2019) stellen dat de meeste landen om dit marktfalen te voorkomen beleid hebben ingericht dat innovatie
stimuleert 22, als:
• bijdragen aan onderwijs en onderzoek aan de universiteit;
• wet- en regelgeving, zoals patenten en octrooien;
• belastingvoordelen die innovatiekosten voor organisaties verminderen; en
• subsidieregelingen met als doel om ontwikkeling te stimuleren.
Meer recente literatuur (na 1962) stelt dat sprake is van marktfalen, maar de beste manier waarop
de overheid ingrijpt, hangt van de doelen van het beleid en het ingezette instrument af. David et
al. (2000) hebben onderzoek verricht naar de vraag of publieke subsidieregelingen ten behoeve van
R&D private investeringen verdringen. De onderzoekers vinden geen eenduidig antwoord op deze
vraag, wat volgens hen subsidieregelingen ten behoeve van R&D ter discussie stelt. Daarnaast is
onduidelijk in hoeverre de subsidieregelingen doeltreffend zijn. Recente literatuur (na 2018) waarin
econometrische onderzoeksmethoden zijn toegepast, lijkt positieve effecten te vinden, maar de
mate waarin de innovatieregelingen bijdragen varieert sterk. Volgens Hünermund en Czarnitzki
ontbreekt er bij het vaststellen van de impact voldoende robuust, generaliseerbaar en causaal bewijsmateriaal (2019).
Ook zijn er redenen waarom vrije marktwerking niet zorgt voor een optimaal niveau aan internationale samenwerking, zoals bijvoorbeeld informatieasymmetrie en externaliteiten. De beleidsinterventies helpen organisaties uit verschillende landen elkaar te vinden en afspraken te maken over
samenwerking. Deze partijen hadden elkaar mogelijk niet gevonden zonder de subsidieregelingen.
Theoretisch zou men daarom kunnen stellen dat de subsidieregelingen het voor Nederlandse organisaties mogelijk maken om een geschiktere samenwerkingspartners te vinden. Daarnaast bevordert internationale samenwerking cohesie tussen de deelnemende landen, een externaliteit die organisaties waarschijnlijk niet (volledig) zullen meenemen in de beslissing om met bepaalde partijen
samen te werken. Ook vanuit dit perspectief is overheidsingrijpen gelegitimeerd.
3. Deelname aan Eureka heeft impact op bedrijfsprestaties, bedrijfsinvesteringen en werkgelegenheid.
In de studie van Cincera & Toyem (2018) is het effect van deelname aan Eureka Clusters voor
mkb’s bestudeerd (2005-2015) voor alle deelnemende landen. Met behulp van een difference-in-differences regression laat de studie zien dat deelname een positief effect heeft op werkgelegenheid en
verkoopcijfers van de bedrijven. Daarnaast geeft de studie aan dat (i) kleinere consortia in staat zijn
om het innovatieproject sneller op de markt te brengen en dat (ii) grotere consortia met name
zorgen voor werkgelegenheidsgroei. De innovatieregeling heeft de hoogste impact op projecten
met een kortere looptijd (onder de twee jaar).
De “impact assessment” van Eureka (2017) laat zien dat één jaar na het voltooien van het project,
deelnemende bedrijven aan Eureka Clusters een hogere omzet, meer werkgelegenheid en een verbeterde economische positie hebben. Met betrekking tot het gebruik en doelgroepbereik van de regeling
geven de onderzoekers de mogelijkheid aan om meer te focussen op korter durende projecten met
minder deelnemers. Deze projecten kennen een kortere time-to-market. Met betrekking tot de uitvoering van de regeling geven de onderzoekers aan dat het proces van toekenning beter moet worden

22

Dit beeld wordt bevestigd door Hall en Rosenberg (2010)

SEO ECONOMISCH ONDERZOEK

CONCEPTUEEL KADER

17

afgestemd tussen de deelnemende landen. Het gebrek hieraan creëert onzekerheid voor de deelnemers en zorgt in sommige gevallen voor een hoger uitvalpercentage.
Het Eureka secretariaat (2013) stelt dat de flexibiliteit van Eureka Clusters essentieel is in het huidige innovatieve landschap. Verder wordt er geconcludeerd dat het instrument de concurrentiepositie van de deelnemende bedrijven versterkt.
Gayer et al. (2011) onderzochten het effect van de deelname aan Eureka op de bedrijfsprestatie.
Door middel van matchingtechnieken worden twee groepen van bedrijven met elkaar vergeleken.
De onderzoekers concluderen dat bedrijven die deelnemen aan het instrument een hogere omzet
en meer werkgelegenheid hebben dan wanneer ze niet deelnemen. Het effect op werkgelegenheid
is groter voor grote bedrijven dan voor mkb’s.
Bayona-Sáez en García-Marco (2010) hebben onderzoek gedaan naar de doeltreffendheid van de Eureka-regelingen. Zij concluderen dat deelname aan een Eureka-project van invloed is op de bedrijfsprestaties, het rendement op geïnvesteerd vermogen ligt hoger bij deelnemende organisaties.
Voor productiebedrijven is de impact van de regeling na één jaar na voltooiing van het programma
zichtbaar. Voor bedrijven die (nog) geen omzet hebben is de impact al binnen één jaar na voltooiing
zichtbaar. Voor dit onderzoek zijn 284 Europese organisaties in de periode 1994-2003 onderzocht.
4. Het oprichten van ENIAC heeft geleid tot verandering in het portfolio van CATRENE.
In het eindrapport CATRENE (2016) wordt gesteld dat het een succesvol Eureka Cluster was.
Volgens de studie laten diverse evaluaties van het programma (uitgevoerd door Denemarken, Nederland, Zweden en EUREKA) zien dat deelname aan het programma impact had op de omzet en
werkgelegenheid. De komst van ENIAC (JTI) heeft geleid tot verandering in het portfolio van
CATRENE. De reden hiervoor was dat het bij ENIAC mogelijk is grote pan-Europese projecten
uit te voeren, waardoor grote projecten werden uitgevoerd door ENIAC in plaats van CATRENE.
In een interview geeft RVO aan dat ENIAC is ingericht naar het voorbeeld van CATRENE. Hierdoor waren projecten in het begin veelal uitwisselbaar. Na verloop van tijd kregen beide regelingen
alsnog hun eigen soort projecten.
5. Algemeen: De impact van deelname aan een innovatieregeling is pas na verloop van tijd zichtbaar.
PREST (2002) benadrukt dat het (voor het in kaart brengen van de impact van innovatieregelingen)
van belang is welke waarnemingen worden meegenomen. De studie geeft aan dat de impact van de
regelingen pas enkele jaren na het ontvangen van de subsidie zichtbaar is; met andere woorden
innovatie heeft tijd nodig om zich uit te betalen op de markt. Dit is in lijn met de verwachting voor
de te onderzoeken derde-orde-effecten van Eurostars, Eureka Clusters en JTI’s, waar rekening
wordt gehouden met effecten die pas na afronding van projecten optreden. Daarnaast benadrukt
PREST (2002) (i) dat innovatieregelingen zowel op bedrijfs-, landelijk- als Europeesniveau bijdragen aan het versterken van de concurrentiekracht, (ii) het belang van evalueren met meerdere onderzoeksmethoden, en (iii) dat er weinig zicht is op de additionaliteit van de regelingen.
6. Algemeen: deelname aan een innovatieregeling leidt tot hogere arbeidsproductiviteit, winstgroei blijft achter.
Uit de studie van Aguiar en Gagnepain (2017) blijkt dat innovatieregelingen substantieel bijdragen
aan de arbeidsproductiviteit. De bijdrage van deelname aan de winst van de organisaties is beperkter
van omvang. Daarnaast blijkt uit het onderzoek dat bedrijfsgrootte een belangrijke factor is in de
keuze voor deelname. Organisaties waarvoor hoge innovatiekosten een belangrijk component zijn
voor de keuze om deel te nemen zijn vooral kleine organisaties die voor de eerste keer meedoen.

SEO ECONOMISCH ONDERZOEK

18

HOOFDSTUK 2

Door een deel van deze kosten te financieren neemt voor deze organisaties de drempel om internationaal samen te werken aanzienlijk af. Volgens Fisher et al. (2009) zijn organisaties die voor de
eerste keer deelnemen degene die het meest profiteren van de regeling wat betreft innovatie. Ook
Barajas et al. (2011) kwamen met het voorstel om een onderscheid te maken tussen deelnemers
met ervaring op het gebied van internationale samenwerking en deelnemers zonder deze ervaring.

2.3.3 Onderzoek in opdracht van de Europese Commissie
7. Deelname aan Eurostars heeft impact, maar er is spanning tussen Europees en nationaal belang.
Makarow et al. (2014) geven aan dat Eurostars een succesvol programma is en dat het overheidsgeld van de EU en participerende landen welbesteed is. Volgens de onderzoekers heeft het programma bijgedragen aan (i) het genereren van werkgelegenheid, (ii) een verbeterde concurrentiepositie van deelnemers op de markt en (iii) een betere uitrol van nieuwe (of verbeterde) producten en
diensten. Zij adviseren dan ook om het programma met een ruimer budget voort te zetten.
• Met betrekking tot het gebruik en doelgroepbereik van de regeling geven de onderzoekers aan dat
er meer aandacht dient te zijn voor het bereiken van het MKB zonder reeds bestaande internationale banden. Het grootste gedeelte van de organisaties had vooraf al internationale banden.
• Met betrekking tot de doeltreffendheid van de regeling geven de onderzoekers (waaronder Czarnitzki, zie hierboven) aan dat het mechanisme waarop Eurostars-projecten worden gefinancierd
ertoe leidt dat de best beoordeelde subsidievoorstellen niet altijd worden gehonoreerd.
• Met betrekking tot de uitvoering van de regeling geven de onderzoekers aan dat de geografische
spreiding van de onafhankelijk experts die de subsidieaanvragen beoordelen scheef verdeeld is
over de deelnemende landen. Daarnaast is het aantal experts (nog) te beperkt.
In opdracht van de Europese Commissie heeft EY (2017) de effecten van voltooide Eurostars-1
projecten geanalyseerd. De effecten werden onderzocht door middel van deskresearch, interviews
en een data-analyse. Door data-gerelateerde problemen was het lastig om de impact van het instrument te bepalen. Op een sample van 182 projecten werd gevonden dat 88 procent van de deelnemende bedrijven een ontwikkeld product, ontwikkelde dienst of ontwikkeld proces op de markt
hebben gebracht. Uit de interviews blijkt dat deelname aan Eurostars-1 een positief effect heeft in
termen van kennis, netwerk, reputatie, concurrentiepositie en internationalisering. Echter werden
er ook belemmeringen ondervonden in de aanvraagfase, de projectimplementatie en de commercialisatiefase. In de aanvraagprocedure was dit op politiek, financieel, technisch en administratief
gebied, maar er waren ook partner-gerelateerde obstakels.
De Europese Commissie (2017) stelt in de tussentijdse evaluatie van Eurostars-2 dat er een aantal
punten voor verbetering is. Ten eerste kunnen sommige projecten niet deelnemen vanwege uitputting van het landelijke budget van één van de bedrijven uit het consortium. Verder zit er veel heterogeniteit in de duur van de aanvraagprocedure en zijn de procedures niet gesynchroniseerd tussen
de deelnemende landen.

SEO ECONOMISCH ONDERZOEK

CONCEPTUEEL KADER

19

Samenvattend lijkt spanning te bestaan tussen Europees en nationaal belang. Dit uit zich in: (i) het
financieringsmechanisme, (ii) de geografische spreiding van experts, (iii) de verschillen in aanvraagprocedure tussen deelnemende landen, (iv) de doelstelling 23, en (v) de verschillen tussen landen in
beschikbaar budget. De beleidsdoorlichting van begrotingsartikel 12 (Dialogic, 2015) ondersteunt
dit beeld. De studie stelt dat de aansluiting tussen nationaal R&D-beleid en Europees onderzoeksen innovatiebeleid explicieter gemaakt kan worden, wat mogelijk kan leiden tot doelmatiger beleid.
8. Bij JTI ECSEL ontbreken passende indicatoren voor evaluatie.
Lora-Tamayo et al. (2017) hebben namens de Europese Commissie een tussentijds onderzoek
(2014-2016) verricht naar JTI ECSEL. De onderzoekers geven voorbeelden van ECSEL-projecten
die een bepalende rol hebben gespeeld voor de ontwikkeling van micro- en nano-elektronica. Zij
stellen dat er passende indicatoren moeten worden ingevoerd om de impact van de projecten te
beoordelen en om de financieringsverplichtingen van de EU, de lidstaten en de industrie te rechtvaardigen. Daarnaast is het nodig om de regels voor deelname, de financieringspercentages en de
procedures internationaal te synchroniseren.

2.3.4 Onderzoek door deelnemende landen
9. Frankrijk: deelname aan Eureka leidt tot productiviteitswinst.
De studie van Sissoko (2013) toont samenhang aan tussen al dan niet gesubsidieerde organisaties
en productiviteit. Met behulp van een empirische effectanalyse onderzoekt Sissoko de productiviteit van 207 Franse organisaties die tussen 1998 en 2004 hebben deelgenomen aan de Eurekaregelingen. Uit de resultaten blijkt dat (i) gesubsidieerde organisaties gemiddeld vier jaar na ontvangst een gemiddelde productiviteitswinst van 18 procent hebben, (ii) met name de minder productieve organisaties profijt hebben van deelname, en (iii) gesubsidieerde bedrijven hogere R&Duitgaven hebben gedurende de jaren van deelname.
10. Finland: deelname aan Eureka bevordert internationale samenwerking
Kanninen et al. (2006) onderzochten middels een enquête het effect van Eureka Clusters in Finland. Er werd geconcludeerd dat het instrument de internationale R&D-samenwerking bevordert
en kosteneffectief is. Wel geven de auteurs aan dat JTI’s voordelen hebben ten opzichte van Eureka
Clusters. Onder de JTI’s is de projectfinanciering en besluitvorming tussen de deelnemende landen
beter gesynchroniseerd dan bij Eureka. Zo kan het bij Eureka-projecten voorkomen dat sommige
organisaties al subsidie hebben ontvangen, en organisaties uit hetzelfde consortium, maar een ander
land nog niet. Dit belemmert een snelle productontwikkeling.
11. Zweden: Eureka is een cruciale component in het verbeteren van producten en processen.
Hedin et al. (2012) hebben onderzoek verricht naar de Zweedse deelname aan Eureka Clusters in
de periode 2001-2009. De resultaten laten zien dat Eureka een cruciaal component is in het verbeteren van producten en processen. Ook speelt het programma een rol in het versnellen van de
projecten.
• Met betrekking tot het gebruik wordt geconcludeerd dat deelnemers vaak ook mee hebben gedaan aan soortgelijke regelingen.

23

Sommige artikelen geven aan dat het doel van de subsidieregeling is om de Europese innovatiemarkt verder
te integreren, terwijl andere papers spreken over het ondersteunen van het innovatief nationaal MKB.

SEO ECONOMISCH ONDERZOEK

20

HOOFDSTUK 2

•

Met betrekking tot de doeltreffendheid wordt geconcludeerd dat de projectpartners vaak niet
nieuwe, maar al bestaande relaties zijn met als gevolg dat de impact van het programma op het
netwerk van de deelnemende bedrijven klein is.

12. Nederland en Denemarken: Deelname aan Eureka leidt tot omzetstijging en meer export.
DAMVAD (2012) heeft namens Agentschap NL 24 de Nederlandse deelname aan Eureka onderzocht. Op basis van een difference-in-differences model wordt geconcludeerd dat de deelnemende bedrijven een significante stijging in omzet hebben ten opzichte van soortgelijke niet-deelnemers.
Verder wordt de export bestudeerd. Drie jaar na deelname is de groei in export twee keer zo groot
voor de deelnemers. Er wordt geen significant effect in de productiviteit gevonden. DAMVAD
(2011) deed ook onderzoek naar de Deense deelname aan Eureka. Deze studie resulteerde in soortgelijke bevindingen als het Nederlandse onderzoek, alleen werd er wel een significante verandering
in productiviteit gevonden.

24

Agentschap NL was een agentschap van het ministerie van Economische Zaken. Sinds 1 januari 2014 is zij
gefuseerd met de Dienst Regelingen tot Rijksdienst voor Ondernemend Nederland (RVO).

SEO ECONOMISCH ONDERZOEK

EUROSTARS, EUREKA CLUSTERS EN JTI’S, 2013 - 2018

3

21

Doelgroepanalyse

Dit hoofdstuk geeft inzicht in bedrijven die meedoen met Eurostars, Eureka Clusters en JTI’s. Hoeveel bedrijven
doen een aanvraag voor de regelingen en wat zijn de kenmerken van deze bedrijven? Hoe verhouden deze bedrijven
zich tot andere innovatieve bedrijven en welk deel van de innovatieve bedrijven doet een aanvraag?
Eurostars, Eureka Clusters en JTI’s stimuleren alle innovatieve, internationale samenwerkingen op
internationaal niveau. Een voorwaarde om deel te nemen aan een van deze regelingen is dan ook
dat organisaties in R&D investeren. Voor Eurostars gelden toekenningscriteria (zie Tabel 2.1),
waardoor een specifieke groep organisaties die in aanmerking komt voor de regelingen kan worden
afgebakend. 25 Bedrijven zouden bijvoorbeeld wel in aanmerking kunnen komen voor WBSO-financiering, maar niet voor Eurostars, Eureka Clusters of JTI’s. Voor Eureka Clusters en JTI’s geldt
daarnaast dat zij thematisch gericht zijn.
Deze toekenningscriteria kunnen, in combinatie met WBSO-gebruik in de CBS-microdata, echter
niet gebruikt worden om een doelgroep af te bakenen. WBSO-deelname is namelijk geen voorwaarde om R&D-activiteiten uit te voeren: bedrijven zouden aan de voorwaarden voor R&D kunnen voldoen zonder tegemoetkoming voor (een bepaalde hoeveelheid) R&D-uren via de WBSO.
Om de potentiële doelgroep van de regelingen toch in kaart te brengen, analyseert dit hoofdstuk
de kenmerken van aanvragers van de regelingen en vergelijkt deze met niet-aanvragers. Ook is het
voor het meten van de doeltreffendheid en doelmatigheid van belang om de kenmerken van aanvragers van de regelingen in kaart te brengen.
Paragraaf 3.1 analyseert organisaties die een aanvraag hebben gedaan voor één van de regelingen.
Paragraaf 3.2 gaat specifiek in op de kenmerken van deze organisaties, terwijl in paragraaf 3.3 verschillende groepen (organisaties met een al dan niet toegekende aanvraag en niet-aanvragers) met
elkaar worden vergeleken. Op basis hiervan brengt paragraaf 3.4 de potentiële doelgroep in kaart:
welke organisaties schrijven zich in en/of komen in aanmerking voor deze regelingen? In paragraaf
3.5 worden de bevindingen in de enquête uiteengezet en paragraaf 3.6 concludeert.

3.1 Aanvragen 2008-2018
Ten behoeve van deze evaluatie heeft RVO een bestand geleverd met informatie over alle Nederlandse deelnamen aan Eurostars, Eureka Clusters en JTI’s in de periode 2008-2018. Hoewel de te
evalueren periode 2013-2018 betreft, levert het bekijken van een langere periode mogelijk meer
informatie op over langetermijneffecten van de regeling. Deze effecten konden in de vorige evaluatie mogelijk door het beperkte aantal waarnemingen en de korte evaluatieperiode niet worden
gevonden.
In totaal heeft RVO informatie geleverd over 1.774 projecten waarvoor een subsidie is aangevraagd. De verdeling van deze projecten over verschillende jaren is weergegeven in Tabel 3.1. Ten
25

Voor het MKB geldt dat of minimaal 10 fte (5 fte bij minder wanneer de MKB kleiner is dan 100 fte)
werkzaam moet zijn in R&D, of 10 procent van de fte’s of werkzaam is in R&D of 10 procent van de
omzet aan R&D wordt besteed (zie ook Tabel 2.1).

SEO ECONOMISCH ONDERZOEK

22

HOOFDSTUK 3

behoeve van het doel van dit onderzoek is hierbij onderscheid gemaakt tussen de periode 20082012 en de periode 2013-2018. Tussen haakjes staat het percentages mkb-bedrijven vermeld.
Tabel 3.1

Het aantal (gehonoreerde) aanvragen op projectniveau
2008 – 2012

2013 – 2018

Aanvragen

Toegewezen

Afgewezen

Aanvragen

Toegewezen

Afgewezen

Eureka Clusters

95 (37%)

40 (28%)

55 (44%)

153 (39%)

59 (35%)

94 (42%)

- CATRENE

31 (27%)

17 (26%)

14 (28%)

29 (31%)

13 (28%)

16 (33%)

- PENTA

0 (0%)

0 (0%)

0 (0%)

23 (47%)

10 (40%)

13 (53%)

- ITEA 2

64 (42%)

23 (29%)

41 (49%)

27 (46%)

10 (44%)

17 (47%)

- ITEA 3

0 (0%)

0 (0%)

0 (0%)

74 (37%)

26 (34%)

48 (39%)

Eurostars

324 (77%)

101 (74%)

223 (78%)

898 (73%)

294 (70%)

604 (74%)

JTI’s

158 (32%)

67 (36%)

91 (29%)

146 (31%)

45 (27%)

101 (32%)

- ENIAC

87 (29%)

42 (34%)

45 (24%)

18 (18%)

7 (19%)

11 (18%)

- ARTEMIS

71 (36%)

25 (40%)

46 (34%)

9 (26%)

4 (17%)

5 (33%)

- ECSEL

0 (0%)

0 (0%)

0 (0%)

119 (33%)

34 (29%)

85 (34%)

Totaal

577 (58%)

208 (53%)

369 (61%)

1197 (63%)

398 (60%)

799 (65%)

Bron:

SEO Economisch Onderzoek (2019) op basis van cijfers RVO
Noot: tussen haakjes het percentage mkb

De meeste projecten (1.222 van de 1.774) zijn binnen Eurostars uitgevoerd, waarvan het grootste
deel (898) in de periode 2013-2018 heeft plaatsgevonden. Ook doen mkb-bedrijven relatief vaker
mee aan Eurostars dan aan Eureka Clusters en JTI. Gemiddeld zijn drie van de vier bedrijven die
meedoen aan een Eurostars-project een mkb-bedrijf. Eurostarsprojecten zijn vaak kleiner van omvang. Tabel 3.2 laat zien hoe de totale en gemiddelde subsidiebedragen van de programma’s zich
tot elkaar verhouden.
Tabel 3.2

Toegekende subsidiebedragen per project
2008 – 2012

2013 – 2018

Gemiddeld

Totaal*

Eureka Clusters

€ 3,9 mln.

- CATRENE

.

Gemiddeld

Totaal*

€ 139,6 mln.

€ 2,4 mln.

€ 123,5 mln.

€ 5,5 mln.

€ 85,3 mln.

€ 1,7 mln.

€ 20,4 mln.

- PENTA

-

-

€ 3,4 mln.

€ 28,6 mln.

- ITEA 2

€ 2,7 mln.

€ 54,3 mln.

€ 2,2 mln.

€ 20,3 mln.

- ITEA 3

-

-

€ 2,5 mln.

€ 54,1 mln.

Eurostars

€ 0,3 mln.

€ 29,8 mln.

€ 0,4 mln.

€ 119,3 mln.

JTI’s

€ 1,5 mln.

€ 101,4 mln.

€ 2,0 mln.

€ 87,6 mln.

- ENIAC

€ 1,8 mln.

€ 75,5 mln.

€ 3,1 mln.

€ 22,0 mln.

- ARTEMIS

€ 1,0 mln.

€ 25,9 mln.

€ 2,4 mln.

€

-

-

€ 1,7 mln.

€ 58,0 mln.

- ECSEL

€ 270,8 mln.

Totaal
Bron:

.

7,6 mln.

€ 330,4 mln.

SEO Economisch Onderzoek (2019) op basis van cijfers RVO
* Van circa 3% van de projecten is de funding onbekend (Eurostars 1%, JTI’s 3%, Eureka Clusters 11%,
gewogen naar aantal deelnemers in project). De totaalbedragen in deze tabel zijn daarom een (lichte)
onderschatting

SEO ECONOMISCH ONDERZOEK

DOELGROEPANALYSE

23

Elk project binnen Eurostars, Eureka Clusters of JTI’s is een samenwerking tussen één of meerdere
Nederlandse en één of meerdere buitenlandse organisaties. Vooral bij Eureka Clusters en JTI nemen vaak meerdere Nederlandse organisaties tegelijk deel aan een project. Tabel 3.3 laat zien hoeveel verschillende Nederlandse organisaties gemiddeld deelnemen aan een samenwerkingsproject.
Hierin valt op dat projecten binnen Eureka Clusters en JTI’s niet alleen uit grotere consortia bestaan, maar ook dat de bedragen per organisatie groter zijn.
Tabel 3.3

Gemiddeld aantal deelnemende Nederlandse organisatie bij toegewezen en afgewezen projecten, en toegewezen subsidiebedragen per organisatie
2008 – 2012

2013 – 2018

Aantal org.
toegewezen
projecten

Aantal org.
afgewezen
projecten

Toegewezen
bedrag per
organisatie

Aantal org.
toegewezen
projecten

Aantal org.
afgewezen
projecten

Eureka Clusters

4,1

4,9

€

- CATRENE

4,3

- PENTA
- ITEA 2

Toegewezen
bedrag per
organisatie

855.000

3,7

4,8

€

568.000

5,1

€ 1.171.000

3,0

3,3

€

523.000

-

-

-

3,7

5,3

€

775.000

3,9

4,7

4,2

5,0

€

480.000

€

601.000

3,8

5,3

€

546.000

1,4

€

208.000

1,4

1,5

€

287.000

3,6

4,1

€

419.000

5,1

4,9

€

385.000

- ENIAC

3,3

4,6

€

546.000

4,3

5,7

€

734.000

- ARTEMIS

4,2

3,4

€

250.000

7,8

5,8

€

245.000

- ECSEL

-

-

-

4,9

4,6

€

349.000

Totaal

2,6

3,0

494.000

2,2

2,3

€

384.000

- ITEA 3

-

-

Eurostars

1,4

JTI’s

Bron:

-

€

SEO Economisch Onderzoek (2019) op basis van cijfers RVO
Noot: subsidiebedragen betreffen alleen de Nederlandse bijdrage

Voor Eurostars en Eureka Clusters is ook informatie beschikbaar over de doorlooptijd van de
projecten, waaruit blijkt dat de meeste projecten een looptijd hebben van 2 of 3 jaar (Figuur 3.1).
Figuur 3.1

Bron:

De meeste Eurostars- en Eurekaprojecten hebben een looptijd van 2 tot 3 jaar

SEO Economisch Onderzoek (2019) op basis van cijfers RVO

De gegevens die RVO heeft geleverd over projecten en bijbehorende Nederlandse organisaties zijn
gekoppeld met CBS-microdata. Door de koppeling met het algemene bedrijvenregister kunnen niet
alleen kenmerken van deelnemende bedrijven in kaart worden gebracht, maar kan ook worden
geanalyseerd welke bedrijven aan meerdere programma’s meedoen en hoe vaak. Hieruit blijkt dat
bedrijven vaak meerdere, en voor meerdere programma’s, aanvragen doen (Figuur 3.2).

SEO ECONOMISCH ONDERZOEK

24

HOOFDSTUK 3

Figuur 3.2

Bron:

Een deel van de bedrijven heeft in de periode 2008-2018 aan meerdere programma’s
meegedaan

SEO Economisch Onderzoek (2020) op basis van cijfers van RVO

Niet alleen nemen bedrijven vaak aan meerdere programma’s deel, ook doen deze bedrijven vaak
meerdere aanvragen binnen hetzelfde programma in de periode 2008-2018. Tabel 3.4 laat dit zien.
Hierin is bijvoorbeeld te zien dat de 113 organisaties die voor alle programma’s een aanvraag hebben gedaan, gemiddeld ruim 20 aanvragen hebben gedaan in de periode 2008-2018 (6,7 voor Eurostars, 6,1 voor Eureka Clusters en 8 voor JTI’s).
Tabel 3.4

Gemiddeld nemen bedrijven deel aan 3,6 projecten (Eurostars: 1,5 projecten, Eureka
Clusters 0,9 en JTI’s 1,2)
Gemiddeld aantal projecten

Deelname aan

Aantal
Bedrijven

Eurostars

Eureka Clusters

JTI’s

Alleen Eurostars

483

1.4

0.0

0.0

Alleen Eureka Clusters

137

0.0

1.2

0.0

Alleen JTI’s

171

0.0

0.0

1.3

Eurostars en Eureka Clusters

102

2.0

1.4

0.0

Eurostars en JTI’s

85

1.6

0.0

1.8

Eureka Clusters en JTI’s

34

0.0

1.7

1.7

Alle drie

113

6,7

6,1

8,0

Totaal

1125

1,5

0,9

1,2

Bron:

SEO Economisch Onderzoek (2020) op basis van cijfers van RVO

SEO ECONOMISCH ONDERZOEK

DOELGROEPANALYSE

25

Tot slot kan naar het verversingspercentage van de regelingen worden gekeken. Dit wordt per
deelname 26 per regeling gedaan en laat zien dat deelnames 27 steeds vaker geen nieuwe deelnames
zijn. Vooral na 2013 is het aantal nieuwe deelnames afgenomen. Procentueel gezien schommelde
het aantal nieuwe deelnames tussen de 28 en 33 procent in de periode 2010 t/m 2013 en is dit
afgenomen naar 14 tot 22 procent in de periode 2015 t/m 2018.
Gekeken naar de afzonderlijke regelingen valt op dat zowel absoluut als relatief veel van de nieuwe
deelnames voor Eurostars zijn. Bij deze afzonderlijke regelingen kan bovendien onderscheid worden gemaakt tussen een eerdere deelname aan de regeling of een eerdere deelname aan één van de
andere twee regelingen. Zo is te zien dat voor Eureka Clusters in 2018 er 4 bedrijven waren die
nog niet eerder aan Eureka Clusters hadden deelgenomen, en ook niet aan Eurostars of JTI’s.
Daarnaast hadden 7 bedrijven nog niet aan Eureka Clusters deelgenomen, maar wel aan Eurostars
of JTI’s. Voor overige 79 deelnames gold dat er al eerder aan Eureka Clusters was deelgenomen.
Tabel 3.5

Nieuwe deelnames aan Eurostars, Eureka Clusters en JTI’s per jaar

Nieuwe deelnames

2008

2009

2010

2011

2012

2013

2014

2015

2016

2017

2018

- Nieuwe deelname

115

118

104

98

118

154

77

52

95

119

68

- Eerder deelgenomen aan
één van de regelingen

46

133

213

253

262

316

236

331

410

414

338

- Nieuwe deelname

35

25

45

52

58

110

49

23

48

78

51

- Eerder deelgenomen aan
Eureka Clusters of JTI's

0

3

11

28

22

26

21

26

21

36

15

- Eerder deelgenomen aan
Eurostars

0

12

28

60

77

113

144

117

105

171

129

- Nieuwe deelname

38

41

25

22

37

19

28

10

18

21

4

- Eerder deelgenomen aan
Eurostars of JTI's

3

10

14

11

9

11

8

10

11

21

7

- Eerder deelgenomen aan
Eureka Clusters

21

35

30

60

39

42

63

66

113

74

79

- Nieuwe deelname

42

52

34

24

23

25

0

19

29

20

13

- Eerder deelgenomen aan
Eurostars of Eureka Clusters

7

8

12

7

9

26

0

12

18

16

7

- Eerder deelgenomen aan
JTI's

15

65

118

87

106

98

0

100

142

96

101

Alle regelingen

Eurostars

Eureka Clusters

JTI's

Bron:

SEO Economisch Onderzoek (2020) op basis van cijfers van RVO. Noot: een eerdere deelname kan ook
in hetzelfde jaar hebben plaatsgevonden. Dit verklaart dat er voor zowel Eureka Clusters- als JTI’s-deelnames in 2008 al eerdere deelnames in de tabel staan

3.2 Kenmerken van de aanvragers
Om meer inzicht te krijgen in de organisaties die gebruikmaken van de regelingen zijn enkele kenmerken van deze organisaties in kaart gebracht. Figuur 3.3 laat zien dat meer dan de helft van
26
27

Bedrijven komen in deze tabel dus meerdere keren voor.
Hierbij is eveneens naar aanvragen gekeken, dus zowel toekenningen als afwijzingen.

SEO ECONOMISCH ONDERZOEK

26

HOOFDSTUK 3

organisaties die in de periode 2008-2018 hebben deelgenomen mkb-bedrijven betreft. Bij Eurostars
is dit zelfs tachtig procent.
Figuur 3.3:

Bron:

Ruim 80 procent van de organisaties in Eurostarprojecten is een mkb-bedrijf

SEO Economisch Onderzoek (2019) op basis van cijfers RVO

Via de CBS-microdata is deze grote groep mkb-bedrijven nader uitgelicht. Figuur 3.4 laat zien in
welke (top)sectoren de mkb-bedrijven die aan Eurostars hebben deelgenomen actief zijn.
Figuur 3.4:

Bron:

Een groot deel van de mkb-bedrijven die Eurostarsprojecten doen, is actief in de topsector Hightech systemen en materialen en Life sciences & health

SEO Economisch Onderzoek (2019) op basis van data RVO en CBS
Noot: niet-topsectoren zijn uitgesplitst in Industrie (sbi-sector C), Research & Development (sbi-sector
72), Overige specialistische zakelijke dienstverlening (sbi-sector M, m.u.v. sector 72, ICT (sbi-sector I) en
Overig (een restcategorie)

Hierin is te zien dat bedrijven vooral uit topsectoren Hightech systemen en materialen en Life
sciences & health afkomstig zijn. Ook is een deel van de bedrijven niet actief in een topsector. Zij
vallen dan onder andere in sectoren als Industrie, Specialistische zakelijke dienstverlening (waaronder Research & Development) en ICT. Bij Eureka Clusters en JTI doen vooral bedrijven uit de

SEO ECONOMISCH ONDERZOEK

DOELGROEPANALYSE

27

topsector Hightech systemen en materialen een aanvraag (Figuur 3.5). Ook hier valt een deel buiten
de topsectoren, maar dit deel is vanwege de lage aantallen niet verder uitgesplitst. De sterke concentratie in de sector Hightech systemen en materialen heeft te maken met de thematische gerichtheid van Eureka Clusters en JTI’s op onderwerpen in deze topsector. Ook vormen bedrijven uit
deze topsector een relatief grote groep binnen de WBSO in vergelijking met andere topsectoren.
Figuur 3.5

Bron:

Ook bij Eureka Clusters en JTI’s zijn veel mkb-bedrijven uit de topsector Hightech systemen en materialen actief

SEO Economisch Onderzoek (2019) op basis van data RVO en CBS

Met behulp van CBS-microdata is ook onderzocht hoe groot deze bedrijven zijn in termen van
omzet. In de vorige paragraaf was bijvoorbeeld zichtbaar dat de subsidiebedragen bij Eurostars
gemiddeld kleiner zijn dan bij Eureka Clusters en JTI’s. Figuur 3.6 toont echter dat er maar in
beperkte mate verband is tussen de omzet van bedrijven en de (aangevraagde) subsidiebedragen.
Figuur 3.6

Er is geen sterk verband tussen subsidies en omvang (fte) van de Eurostarsbedrijven

SEO ECONOMISCH ONDERZOEK

28

Bron:

HOOFDSTUK 3

SEO Economisch Onderzoek (2019) op basis van data RVO en CBS

Bij Eureka Clusters en JTI’s zijn de aantallen te klein om dergelijke verbanden te laten zien. Figuur
3.7 laat zien wat de verdeling van het aantal werkzame personen is bij deze bedrijven. Hieruit blijkt
dat het bij Eureka Clusters en JTI’s om wat grotere bedrijven gaat dan bij Eurostars.
Figuur 3.7

Bron:

Deelnemers aan de Eurostarsregeling hebben vaker een klein aantal werknemers

SEO Economisch Onderzoek (2019) op basis van data RVO en CBS

Een andere manier om naar de omvang van bedrijven te kijken is via de omzet. Figuur 3.8 toont
hoe de omzet van mkb-bedrijven die aan de verschillende regelingen deelnemen is verdeeld.
Figuur 3.8

Bron:

Bedrijven die deelnemen aan JTI’s hebben vaker een omzet boven de € 1 miljoen

SEO Economisch Onderzoek (2019) op basis van data RVO en CBS

Tot slot kan ook worden gekeken naar WBSO-gebruik van de bedrijven. Hoewel er eisen worden
gesteld aan het uitvoeren van R&D-activiteiten voor deelname aan de regeling, is deelname aan de
WBSO geen vereiste. Figuur 3.9 laat zien dat een klein deel van de bedrijven inderdaad geen

SEO ECONOMISCH ONDERZOEK

DOELGROEPANALYSE

29

WBSO-bedrijven zijn. Verder valt op dat dit vaker voorkomt bij bedrijven met een afwijzing dan
bij bedrijven met een toewijzing.
Figuur 3.9

Bron:

De deelname aan WBSO is hoog, en relatief hoger bij bedrijven met een toewijzing
dan bij bedrijven met een afwijzing

SEO Economisch Onderzoek (2019) op basis van data RVO en CBS

3.3 Aanvragers versus niet-aanvragers
Figuur 3.9 liet zien dat er verschillen bestaan tussen toe- en afgewezen bedrijven in de mate van
WBSO-gebruik. Verschillen in de samenstelling van de bedrijven met toe- en afwijzing zijn belangrijk voor het bepalen van de doeltreffendheid en doelmatigheid van de regelingen, wanneer deze
respectievelijk als experiment- en controlegroep worden gebruikt in een econometrische analyse.
Deze paragraaf gaat daarom dieper in op de verschillen tussen deze groepen bedrijven. Niet alleen
toe- en afgewezen bedrijven worden met elkaar vergeleken.
Binnen afgewezen bedrijven wordt een verdere uitsplitsing gemaakt naar bedrijven met en zonder
een beoordelingsscore. Bedrijven met een beoordelingsscore zijn verder gekomen met hun aanvraag dan bedrijven zonder score, wat een indicatie voor kansrijke en kansarme aanvragen is. Paragraaf 2.1 beschrijft deze aanvraagprocedures (zie bijvoorbeeld Figuur 2.1 voor Eurostars en Figuur 2.4 voor JTI’s). Daarnaast worden ook WBSO-bedrijven die niet hebben deelgenomen ook
vergeleken met de bedrijven met een toe- of afwijzing (al dan niet met score).

SEO ECONOMISCH ONDERZOEK

30

HOOFDSTUK 3

Tabel 3.6

Verschillen tussen bedrijven met een toewijzing, afwijzing en geen deelname aan een
Eurostarsproject
toegewezen

afgewezen

afgewezen
met score

afgewezen
zonder score

geen
deelname*

Hoogopgeleid

58%

59%

61%

55%

40%

Middelbaar opgeleid

13%

15%

14%

18%

22%

Laag opgeleid

4%

3%

3%

4%

6%

Opleiding onbekend

25%

22%

22%

22%

32%

% man

76%

76%

76%

78%

84%

% jonge medewerker ( < 35 jaar)

45%

43%

43%

42%

32%

% oudere medewerker ( > 55 jaar)

10%

10%

9%

13%

32%

gemiddelde leeftijd

38,2

38,6

38,4

39,1

41,0

geen migratieachtergrond

69,9%

75,4%

74,3%

78,2%

84,6%

niet-westerse migratieachtergrond**

9,0%

9,0%

9,2%

8,4%

5,4%

westerse migratieachtergrond

20,9%

15,7%

16,5%

13,4%

10,0%

227

383

270

113

157.134

N
Bron:

SEO Economisch Onderzoek (2019) op basis van data RVO en CBS.
* Bedrijven die gebruikmaken van de WBSO, maar niet aan een van de regelingen. Bedrijven die wel aan
Eureka Clusters of JTI hebben deelgenomen, maar niet aan Eurostars zijn eveneens buiten de groep
‘geen deelname’ gelaten
** Inclusief medewerkers met een Turkse, Marokkaanse, Surinaamse of Antilliaanse migratieachtergrond.

De tabel laat zien dat kenmerken van bedrijven met een toewijzing op het eerste oog niet sterk
verschillen van die met een afwijzing. Wanneer de groep afgewezen bedrijven wordt uitgesplitst in
afgewezen met score en afgewezen zonder score, worden verschillen wel zichtbaar: bedrijven met
een afwijzing met score (kansrijke aanvraag) lijken sterker op bedrijven met een toewijzing dan
bedrijven met een afwijzing zonder score (kansarmere aanvraag). Bij bedrijven met een aanvraag
zonder score is het opleidingsniveau lager, het percentage vrouwen lager, de gemiddelde leeftijd
hoger en het aantal medewerkers met een westerse migratieachtergrond (waaronder expats) lager.
Dezelfde verschillen, maar dan in grotere mate, zijn er ook wanneer toegewezen bedrijven worden
vergeleken met bedrijven uit de WBSO die niet deelnemen aan een van de regelingen.
In bijlage C.3 zijn de vergelijkingen voor Eureka Clusters en JTI opgenomen. Hieruit volgt een
vergelijkbaar beeld: WBSO-bedrijven wijken op bovengenoemde kenmerken af van de bedrijven
die een aanvraag hebben gedaan voor Eurostars, Eureka Clusters en JTI. Ook zitten er (in beperktere mate) verschillen tussen bedrijven met een toewijzing, een afwijzing met score en een afwijzing
zonder score.
Ten slotte is ook gekeken of er verschillen bestaan in de mate van WBSO-gebruik. Figuur 3.10
toont bij Eurostarsbedrijven (vóór aanvraag) een hogere R&D-intensiteit (R&D-uren per fte) dan
het gemiddelde WBSO-bedrijf. Vooral de groep met een relatief lage R&D-inzet (minder dan 200
R&D-uren per fte) is bij de gemiddelde WBSO-onderneming een stuk groter. Ditzelfde geldt ook

SEO ECONOMISCH ONDERZOEK

DOELGROEPANALYSE

31

voor bedrijven die aan Eureka Clusters en JTI’s deelnemen, waarin WBSO-bedrijven eveneens
relatief vaak in de laagste categorie vallen (Figuur 3.11).
Figuur 3.10

Bron:

SEO Economisch Onderzoek (2019) op basis van data RVO en CBS

Figuur 3.11

Bron:

De R&D-intensiteit (R&D-uren per fte) van Eurostarsbedrijven ten opzichte van de gemiddelde WBSO-onderneming is relatief hoog

Ook bij bedrijven met een aanvraag bij Eureka Clusters en JTI’s is de R&D-intensiteit
hoog ten opzichte van de gemiddelde WBSO-onderneming

SEO Economisch Onderzoek (2019) op basis van data RVO en CBS. Noot: om onthulling te voorkomen
zijn andere categorieën gekozen dan bij Figuur 3.10

3.4 Potentiële doelgroep
In de eerste paragrafen van dit hoofdstuk is onderzocht dat bedrijven die een aanvraag doen voor
de regeling gebruikmaken van de internationale samenwerkingssubsidies in grote mate gebruikmaken van de WBSO. Hoewel bedrijven moeten voldoen aan bepaalde voorwaarden om aan de regelingen te kunnen deelnemen (o.a. een minimale hoeveelheid R&D-activiteiten), is het met behulp
van CBS-statistieken niet mogelijk een doelgroep af te bakenen op basis van deze voorwaarden.

SEO ECONOMISCH ONDERZOEK

32

HOOFDSTUK 3

Wel is duidelijk te zien dat voor bedrijven die een aanvraag doen het aantal R&D-uren per fte vaak
hoger ligt dan de gemiddelde WBSO-onderneming. In Figuur 3.10 is bijvoorbeeld te zien dat het
aantal R&D-uren per fte voor bijna alle Eurostarsbedrijven hoger dan 200 is, terwijl voor de gehele
WBSO dit maar voor iets meer dan de helft (58 procent) van de bedrijven zo is. Afgezet tegen deze
groep WBSO-bedrijven bedraagt het aantal bedrijven dat deelneemt aan Eurostars zo’n 3 procent,
en voor zowel Eureka Clusters als JTI’s 1,5 procent. Mogelijk bereiken de regelingen meer bedrijven,
maar besluiten deze uiteindelijk geen aanvraag te doen.
In Figuur 3.4 werd daarnaast duidelijk dat bedrijven die een aanvraag doen voor Eurostars vooral
uit topsectoren Hightech systemen en materialen en Life sciences & health afkomstig zijn. Dat veel
bedrijven uit de sector Hightech systemen en materialen komen is niet verbazingwekkend: dit is
een relatief grote topsector waarin aanzienlijk meer WBSO-bedrijven actief zijn dan in andere topsectoren. Opvallend is wel het grote aantal aanvragen in de topsector Life sciences & health: ongeveer een kwart van de WBSO-bedrijven die actief zijn in deze sector heeft een aanvraag gedaan
voor Eurostars. Vergeleken met Eurostars weten bedrijven uit Life sciences & health Eureka Clusters en JTI’s minder goed te vinden, mogelijk omdat deze regelingen minder goed aansluiten bij de
activiteiten van deze bedrijven: Eureka Clusters en JTI’s kennen een thematiek die zich richt op
onderwerpen binnen de sector Hightech systemen en materialen.
In een interview bevestigt RVO dat vooral organisaties in de biotechnologie en de ICT-sector de
subsidieregelingen goed weten te vinden. Op de vraag welke organisaties nu geen gebruikmaken
maar wellicht wel in aanmerking zouden kunnen komen, geeft RVO aan dat er relatief weinig zelfstandige uitvinders zijn die hun idee op de markt willen brengen en weinig organisaties die actief
zijn in de circulaire economie. De subsidies zijn er ook voor hen.

3.5 Bevindingen uit enquête
In de enquête zijn aanvragers gevraagd naar hun reden om deel te nemen aan de regelingen (zie
Figuur 3.12). Financiële ondersteuning bij de ontwikkeling van een product, dienst of proces is de
vaakst genoemde reden (80 procent), gevolgd door de wens om meer internationaal samen te werken (56 procent), te innoveren om concurrerend te blijven (44 procent) en nieuwe samenwerkingspartners te leren kennen (42 procent). Toetreden tot een nieuwe markt wordt slechts door 22 procent genoemd als reden voor het aanvragen van een subsidie. Tot slot gaven enkele respondenten
redenen op die niet in deze categorieën te plaatsen waren; het ging hier bijvoorbeeld om het financieren van wetenschappelijk onderzoek of om organisaties die door partners benaderd waren om
aan de regelingen deel te nemen. 28

28

Figuur C.1 in Bijlage C toont de redenen uitgesplitst naar subsidieregeling. De ordening van redenen is min
of meer gelijk binnen elke regeling. Wel valt op dat financiële ondersteuning met name bij Eurostars boven
de andere redenen uitsteekt, terwijl dit minder het geval is bij Eureka Clusters en JTI’s.

SEO ECONOMISCH ONDERZOEK

DOELGROEPANALYSE

Figuur 3.12

Bron:
Noot:

33

Financiële ondersteuning vaakst genoemde reden voor indienen subsidieaanvraag

SEO Economisch Onderzoek (2019)
Deze vraag is voorgelegd aan alle respondenten (n = 289). Respondenten konden meerdere antwoorden
geven

In de verdere toelichting geven enkele aanvragers aan dat de regelingen met name goed passen bij
R&D-projecten waarvoor het door risico’s en/of onzekerheid lastig is om op een andere manier
financiering te vinden. Ook is uit de toelichting af te leiden dat organisaties niet in alle gevallen
expliciet voor de betreffende regelingen kiezen en tegelijkertijd aanvragen indienen voor andere
subsidies en bronnen van financiering. Uit de interviews komt een ander beeld naar voren. Organisaties geven aan dat zij kiezen voor de subsidieregeling die het best aansluit. Zij dienen het innovatieproject slechts bij één subsidievorm in. Als de subsidieaanvraag niet wordt gehonoreerd dan
wordt opnieuw gekeken of het project ook aan de voorwaarden van een andere subsidieregeling
voldoet. Wel maken sommige bedrijven voor verschillende innovatieprojecten gebruik van verschillende subsidieregelingen tegelijkertijd.

3.6 Deelconclusies doelgroepanalyse
Eurostars, Eureka Clusters en JTI’s stimuleren alle drie innovatieve samenwerkingen op internationaal niveau. In de periode 2013-2018 zijn er 898 projectaanvragen gedaan voor Eurostars (gemiddeld 1,5 Nederlandse organisaties per project), 153 aanvragen voor Eureka Clusters (4,1 bedrijven) en 146 JTI-aanvragen (5 Nederlandse organisaties per project) (Onderzoeksvraag C1). In de
periode 2008-2018 hebben 1125 Nederlandse organisaties deelgenomen aan de regelingen, waarvan
ongeveer 30 procent aan meerdere regelingen heeft deelgenomen. Ook doen bedrijven vaak meerdere keren mee aan een programma. Het aantal nieuwe deelnames bedroeg tussen de 28 en 33
procent in de periode 2010 t/m 2013 en is afgenomen tot 14 tot 22 procent in de periode 2015
t/m 2018 (onderzoeksvraag A4).
Een voorwaarde om deel te nemen aan de regelingen is dat organisaties voldoende in R&D investeren. Criteria die hiervoor gelden kunnen op basis van CBS-microdata niet nauwkeurig getoetst
worden, omdat WBSO-deelname geen voorwaarde is om R&D-activiteiten uit te voeren. Hierdoor
is het niet mogelijk een nauwkeurige doelgroep af te bakenen op basis van deze voorwaarden (Onderzoeksvraag A1).

SEO ECONOMISCH ONDERZOEK

34

HOOFDSTUK 3

Om de potentiële doelgroep van de regelingen toch in kaart te brengen, analyseert dit hoofdstuk
de kenmerken van aanvragers van de regelingen en vergelijkt deze met niet-aanvragers. Hieruit
blijkt dat aanvragers bijna altijd WBSO-bedrijven zijn met minimaal 200 R&D-uren per fte. Afgezet
tegen deze groep WBSO-bedrijven bedraagt het aantal bedrijven dat in de periode 2008-2018 heeft
deelgenomen aan Eurostars zo’n 3 procent, en voor zowel Eureka Clusters als JTI’s 1,5 procent.
Mogelijk bereiken de regelingen meer bedrijven, maar besluiten deze uiteindelijk geen aanvraag te
doen (Onderzoeksvraag A2).
Het percentage deelnemers aan Eureka Clusters en JTI’s is ook binnen de groep bedrijven uit de
sector Hightech systemen en materialen, waar de thematiek binnen deze regelingen zich op richt,
circa 1,5 procent. Weliswaar vormen bedrijven uit deze topsector een grote groep binnen de deelnemers aan Eureka Clusters en JTI’s, maar dat geldt ook voor de WBSO: de meeste bedrijven in
de WBSO zijn actief in de topsector Hightech systemen en materialen.
Over de vraag of hoeveel adviesbedrijven van de potentiële doelgroep de regelingen kennen is
weinig bekend. RVO gaf tijdens een interview wel aan dat de markt voor adviesbedrijven die betrokken zijn bij aanvragen voor Eurostars, Eureka Clusters en JTI’s is toegenomen, maar dat er
geen overzicht beschikbaar is van relevante adviesbedrijven (onderzoeksvraag A3). De markt is
volgens RVO vooral toegenomen voor Eurostars.
Van alle organisaties die meedoen met een Eurostarsaanvraag is ruim 70 procent een mkb-bedrijf.
Bij Eureka Clusters en JTI’s zijn deze percentages lager: respectievelijk circa 40 procent en 30 procent. Wanneer er na koppeling met CBS-microdata naar unieke bedrijven is gekeken nemen deze
percentages toe tot 80 procent voor Eurostars en circa 50 procent voor Eureka Clusters en JTI’s,
omdat kennisinstellingen en grote bedrijven vaker deelnemen (Onderzoeksvraag A4).
Bij het nader belichten van de deelnemende mkb-bedrijven valt op dat zij vooral actief zijn in de
topsectoren Hightech materialen (alle regelingen) en Life sciences & health (Eurostars). Het grote
aandeel bedrijven in de sector Hightech materialen is een logisch gevolg van de thematiek binnen
Eureka Clusters en JTI’s en het feit dat deze bedrijven ook verreweg de grootste groep is binnen
de WBSO. Het aantal Eurostarsdeelnemingen van bedrijven binnen de Life sciences en health is
wel relatief hoog afgezet tegen het aantal WBSO-bedrijven dat in deze sector actief is. Subsidiebedragen voor Eureka Clusters en JTI’s zijn per bedrijf hoger dan bij Eurostars, hetgeen ervoor zorgt
dat deelnemende bedrijven in termen van werkgelegenheid en omzet ook gemiddeld groter zijn bij
eerstgenoemde regelingen (onderzoeksvraag C2).
Wanneer andere kenmerken van de regelingen worden bekeken valt op dat er verschillen bestaan
tussen bedrijven die deelnemen en andere WBSO-ondernemingen wat betreft opleidingsniveau,
leeftijd en migratieachtergrond van de medewerkers. Tussen bedrijven met toe- en afgewezen aanvragen zijn ook (beperktere) verschillen waarneembaar. Deze verschillen zijn relevant voor de analyse van de doeltreffendheid en doelmatigheid van de regelingen.
In de enquête zijn aanvragers gevraagd naar hun reden om deel te nemen aan de regelingen. Financiële ondersteuning bij de ontwikkeling van een product, dienst of proces is de vaakst genoemde
reden (80 procent), gevolgd door de wens om meer internationaal samen te werken (56 procent),

SEO ECONOMISCH ONDERZOEK

DOELGROEPANALYSE

35

te innoveren om concurrerend te blijven (44 procent) en nieuwe samenwerkingspartners te leren
kennen (42 procent).

SEO ECONOMISCH ONDERZOEK

EUROSTARS, EUREKA CLUSTERS EN JTI’S, 2013 - 2018

4

37

Doeltreffendheid van het beleid

Dit hoofdstuk beschrijft de doeltreffendheid van het beleid. Een econometrische analyse van de Eurostarsregeling
levert aanwijzingen op voor de aanwezigheid van eerste-orde-effecten. Voor derde-orde-effecten is geen bewijs gevonden.
Aanvragers van de regelingen zijn daarnaast positief over eerste-, tweede- en derde-orde-effecten voor bedrijven met
een toegewezen aanvraag, maar op basis van de enquête kunnen deze effecten niet hard gemaakt worden.

4.1 Econometrische analyse
Om de doeltreffendheid van de regelingen te onderzoeken worden twee econometrische modellen
gebruikt: een difference-in-differences estimation (DID) en een regression discontinuity design
(RDD). Met deze methodes wordt het effect van de regeling op verschillende uitkomstmaten bekeken. Wat betreft de eerste-orde-effecten wordt gekeken naar het effect van de financiële instrumenten op R&D-uren, R&D-uren per fte en log(R&D-uren) 29. Daarnaast worden de derde-ordeeffecten onderzocht. Dit wordt gedaan door te kijken of er betere bedrijfsprestaties worden behaald, in de vorm van omzet per fte, omzet, log(omzet)29, fte en log(fte)29.
De zuiverste manier om de doeltreffendheid van de regelingen te onderzoeken is met een regression
discontinuity design (RDD), omdat aanvragen die net wel subsidie hebben ontvangen worden vergeleken met aanvragen die het net niet gehaald hebben. De vergelijking bestaat dus uit aanvragen die
nagenoeg aan elkaar gelijk zijn maar waarbij de uitkomst anders is. In dit geval gaat het om aanvragen die een beoordeling hebben ontvangen in de vorm van een score die bepaalt of een aanvraag
wel of niet is gehonoreerd. Door naar bedrijven te kijken met dergelijke aanvragen en ze te vergelijken op de relevante uitkomstmaten kan een kwantitatief beeld worden gegeven van de effectiviteit van de regelingen. Een nadeel van deze methode is dat alleen op de marge van net wel of net
niet krijgen van een subsidie nauwkeurig kan worden gemeten, en dat alleen aanvragen kunnen
worden meegenomen die in een dusdanig vergevorderd stadium zijn gekomen dat zijn een beoordelingsscore hebben gekregen.
Omdat het aantal waarnemingen mogelijk te beperkt is om nauwkeurige resultaten te meten met
een RDD, zijn als alternatief ook difference-in-differences-analyses (DID) uitgevoerd op andere samples
(paragraaf 4.1.2). Het gaat bij deze methode om het vinden van een controlegroep: een groep bedrijven die lijkt op de groep bedrijven die aanvraagt, maar geen aanvraag doet. Voor de vorming
van deze controlegroep bestaan meerdere mogelijkheden, die in paragraaf 4.1.2 en 4.1.3 worden
besproken. Daarnaast is voor beide methoden een set gevoeligheidsanalyses uitgevoerd. Deze analyses zijn opgenomen in Bijlage E. Omdat voor Eureka Clusters en JTI’s een beperkt aantal waarnemingen beschikbaar is, zijn de econometrische analyses alleen uitgevoerd voor Eurostars. 30
29

30

Log-modellen, waarbij het logaritme van de uitkomstmaat als de te verklaren variabele wordt gekozen,
zorgen ervoor dat grotere en kleinere bedrijven beter onderling vergelijkbaar zijn. Bij andere uitkomstmaten, zoals R&D/fte en omzet per fte, worden modellen al geschaald naar hun omvang (in termen van
werkgelegenheid). Voor deze uitkomstmaten wordt daarom niet ook nog eens een logaritmische variant
geschat.
Eurostars: 227 bedrijven met toewijzing; 270 afgewezen met score; 113 afgewezen zonder score
Eureka clusters: 49 bedrijven met toewijzing; 48 afgewezen met score; 48 afgewezen zonder score
JTI’s: 55 bedrijven met toewijzing; 64 afgewezen met score; 37 afgewezen zonder score.

SEO ECONOMISCH ONDERZOEK

38

HOOFDSTUK 4

In de analyses wordt de laatste aanvraag van bedrijven als leidend genomen. Om uit te sluiten dat
deze keuze invloed heeft op de resultaten zijn in een gevoeligheidsanalyse ook analyses uitgevoerd
waarin uitgegaan wordt van de eerste aanvraag van een bedrijf en van een willekeurig gekozen
aanvraag.

4.1.1 Regression discontinuity design
De zuiverste manier om het effect van de deelname aan Eurostars te onderzoeken is door middel
van een regression discontinuity design (RDD). De RDD-methode vergelijkt de groep die een toewijzing
heeft gekregen voor de projectaanvraag met de bedrijven die net zijn afgewezen. Daarnaast wordt
de score van het project meegenomen in de analyse, wat zorgt voor een correctie voor de kwaliteit
van het project. Voor toekenning van een financieel instrument geldt elk jaar een grens. Deze grens
is het afkappunt voor het wel of niet verkrijgen van een subsidie. Bijlage D.1 geeft een uitgebreide
beschrijving van de RDD-methode.
Met de RDD-methode worden zowel eerste-orde- als derde-orde-effecten onderzocht. Bij het meten van de eerste-orde-effecten worden bedrijven met een toewijzing vergeleken met bedrijven met
een afwijzing op het moment dat zij een aanvraag doen. Bij de derde-orde-effecten vindt de vergelijking plaats na afronding van het project, omdat de verwachting is dat de derde-orde-effecten dan
pas optreden.
Eerste-orde-effecten
Tabel 4.1 laat de resultaten zien van de schattingen van de eerste-orde-effecten, met schuingedrukt
het effect van een toewijzing voor Eurostars ten opzichte van een afwijzing. De tabel laat zien dat
de toewijzing bij geen van de uitkomstmaten statistisch significant is. Dit betekent dat er geen effect
zichtbaar is van deelname aan het instrument op het aantal R&D-uren per fte, noch op (het logaritme van) het aantal R&D. Ook valt op dat de score van het project maar in zeer beperkte mate
lijkt samen te hangen met het aantal R&D-uren dat wordt besteed.
Tabel 4.1

Uit de RDD-analyse volgt geen bewijs voor eerste-orde-effecten van Eurostars
R&D uren/fte

Log(R&D-uren)

R&D-uren

650,2
***(123,2)***

7,1
***(0,8)***

10755
***(4136)***

Toewijzing Eurostars

-14,1(264,5)

-0,9(1,6)

-617(8801)

Score

0,9
(3,9)

0,0
(0,0)

68
(129)

N

215

235

235

R²

0,001

0,029

0,006

Constante

Bron:

SEO Economisch Onderzoek (2020)
*** 1% significant; ** 5% significant; * 10% significant. Standaardfout tussen haakjes

SEO ECONOMISCH ONDERZOEK

DOELTREFFENDHEID VAN HET BELEID

39

Derde-orde-effecten
Naast de eerste-orde-effecten zijn ook de derde-orde-effecten statistisch onderzocht (Tabel 4.2).
Bij de derde-orde-effecten vindt de vergelijking plaats na afronding van het project, en wordt gekeken naar de effecten op productiviteit (omzet per fte), de omzet en de werkgelegenheid. Voor
zowel omzet als fte zijn ook log-modellen geschat.
Tabel 4.2

Uit de RDD-analyse volgt geen bewijs voor derde-orde-effecten van Eurostars
Omzet / fte
(x € 1000)

Log(Omzet)

Log(fte)

Omzet
(x € 1000)

fte

141,6
***(38,6)***

11,3
***(1,3)***

3,0
***(0,4)***

3576
**(1430)**

47,6
***(16,9)***

Toewijzing Eurostars

-59,0(80,3)

0,8
(2,8)

-1,3(0,9)

-43(2992)

-29,2(35,1)

Score

1,0
(1,0)

0,0
(0,0)

0,0
(0,0)

4
(39)

0,6
(0,5)

N

106

113

106

113

106

R²

0,008

0,003

0,021

0,000

0,016

Constante

Bron:

SEO Economisch Onderzoek (2020)
*** 1% significant; ** 5% significant; * 10% significant. Standaardfout tussen haakjes

Om de robuustheid van deze resultaten te toetsen, zijn tevens enkele gevoeligheidsanalyses uitgevoerd. In de varianten die hierboven zijn beschreven is een selectie gehanteerd, waardoor alleen
bedrijven zijn meegenomen met een score dicht bij het afkappunt waarop een project wel of geen
toewijzing krijgt. In Bijlage E.1 zijn ook resultaten opgenomen van schattingen waarin alle bedrijven zijn meegenomen. Het voordeel van deze variant is dat de verklaringskracht groter is door het
groter aantal waarnemingen. Een nadeel is dat dat het effect minder zuiver wordt gemeten. Uit
deze schattingen volgen eveneens geen statistisch significante effecten.
Daarnaast zijn er schattingen uitgevoerd waarin op verschillende momenten gemeten is: vanaf een
jaar voor de aanvraag tot 4 jaar na de beëindiging van het project. Ook is getest of het opnemen
van achtergrondkenmerken andere resultaten oplevert. Bij geen van deze modellen worden echter
statistisch significante effecten gevonden. Deze modellen zijn niet opgenomen in de bijlage.

4.1.2 Difference-in-differences
Een alternatieve methode om effecten te kunnen schatten is met difference-in-differences (DID). Met
deze methode worden (constante) verschillen tussen behandelde en niet-behandelde groepen expliciet gemodelleerd, om zo verschillen tussen deze groepen ‘uit’ het échte effect te ‘filteren’. Een
voordeel van deze methode ten opzichte van de RDD is dat er verschillende controlegroepen kunnen worden onderzocht. Zo kan er ook worden gekeken wat het effect is van toegewezen aanvragen ten opzichte van aanvragen die geen beoordelingsscore hebben gekregen (en dus in een eerder
stadium zijn afgewezen). Bijlage D.2 geeft een beschrijving van de DID-analyse.
Eerste-orde-effecten
In Tabel 4.3 zijn de resultaten van de DID-modellen weergegeven, waarbij vier verschillende combinaties van behandel- en controlegroepen zijn onderzocht. Door deze modellen te vergelijken kan
worden achterhaald of er verschillen zijn wanneer er van verschillende controlegroepen gebruik

SEO ECONOMISCH ONDERZOEK

40

HOOFDSTUK 4

wordt gemaakt. In de RDD-analyse konden alleen bedrijven met een afwijzing met score als controlegroep worden gebruikt, maar met een DID-analyse kan worden onderzocht of deze groep
bedrijven anders is dan de groep bedrijven die een afwijzing zonder score heeft gehad.
De tabel laat zien wat het effect is van het aantal R&D-uren per fte in het jaar voor aanvraag, het
jaar van aanvraag en de daaropvolgende jaren dat het project nog loopt. 31 De dikgedrukte coëfficiënten geven deze effecten op R&D-uren per fte weer. Daarnaast zijn ook de coëfficiënten van
de voor een DID-analyse benodigde controlevariabelen (de constante, verschil tussen behandelen controlegroep en het algemene verloop van R&D-uren tijdens de looptijd van de projecten)
opgenomen in de tabel.
Tabel 4.3

De DID-analyses tussen verschillende experiment- en controlegroepen tonen geen
effecten op R&D-uren per fte, maar laten belangrijke verschillen tussen groepen zien

Uitkomstmaat:
R&D-uren / fte

Toegewezen vs.
afgewezen

Toegewezen vs.
afg. met score

Toegewezen vs.
afg. zonder score

Score vs.
geen score

Constante

502,2 (13,2)***

519,2 (15,0)***

456,2 (26,2)***

456,2 (25,4)***

Behandelgroep

66,8 (21,7)***

49,8 (22,5)**

112,8 (31,7)***

85,2 (27,9)***

-1 jaar

77,1 (32,8)**

95,6 (37,6)**

31,8 (64,2)

31,8 (62,2)

0 jaar

63,1 (31,4)**

79,6 (35,8)**

19,2 (62,1)

19,2 (60,3)

1 jaar

12,1 (33,9)

13,7 (38,5)

6,3 (68,0)

6,3 (65,9)

2 jaar

-35,5 (41,1)

-57,7 (46,2)

26,7 (85,1)

26,7 (82,5)

3 jaar

-5,6 (68,7)

36,2 (75,5)

-176,6 (152,9)

-176,6 (148,3)

4 jaar

34,9 (236,0)

152,2 (256,9)

-456,2 (543,7)

-456,2 (527,4)

-1 jaar

8,1 (53,0)

-10,4 (55,3)

53,4 (77,1)

60,0 (68,4)

0 jaar

42,8 (50,7)

26,2 (52,8)

86,6 (74,5)

73,4 (66,0)

1 jaar

41,4 (55,4)

39,8 (57,5)

47,2 (81,6)

25,5 (72,2)

2 jaar

26,7 (65,4)

49,0 (67,7)

-35,4 (100,0)

-60,5 (89,5)

3 jaar

-88,2 (93,9)

-130,0 (97,9)

82,8 (166,5)

142,1 (156,3)

4 jaar

-263,2 (285,0)

-380,5 (300,3)

227,9 (568,1)

343,6 (544,7)

N

4.585

3.816

2.393

4.585

R²

0,011

0,011

0,019

0,011

Aantal jaar vanaf aanvraag

Effect behandelgroep

Bron:
Noot:

SEO Economisch Onderzoek (2020)
*** 1% significant; ** 5% significant; * 10% significant. Standaardfout tussen haakjes
Er zijn aparte effecten geschat voor het jaar vóór aanvang tot en met het einde van het project (maximaal
4 jaar). Daarnaast is getest op joint signifcance: één effect vanaf het jaar vóór aanvang tot zo lang het
project loopt. Ook hierbij zijn geen significante effecten gevonden. De oplopende standaardfouten in jaar
3 en 4 worden veroorzaakt door het kleiner aantal projecten dat zo lang doorloopt.

Te zien is dat de coëfficiënten van het effect het kleinst zijn wanneer bedrijven met een toegewezen
aanvraag worden vergeleken met bedrijven met een afwijzing met score (kolom 2). Dit zijn de twee

31

De langste looptijd van de projecten die in 2008-2018 zijn uitgevoerd was 4 jaar

SEO ECONOMISCH ONDERZOEK

DOELTREFFENDHEID VAN HET BELEID

41

groepen die ook in het RDD-model met elkaar worden vergeleken. Wanneer toegewezen aanvragen met de volledige groep bedrijven met een afwijzing (met én zonder score) worden vergeleken
(kolom 1), zijn de effecten iets groter, maar niet statistisch significant.
In kolom 3 zijn bedrijven met een toewijzing vergeleken met bedrijven met een afwijzing zonder
score. Dit zijn bedrijven die een relatief kansarme aanvraag hebben gedaan en dus in een vroeg
stadium zijn afgehaakt. De effecten zijn dan een stuk groter over de gehele periode na (en net voor)
de aanvraag en in elke periode positief, maar niet statistisch significant. Dit beeld blijft overeind als
in de experimentgroep ook afgewezen bedrijven met score worden meegenomen (kolom 4).
Uit deze vier schattingen kan worden geconcludeerd dat de groep bedrijven met een toegewezen
aanvraag erg lijkt op de groep afgewezen bedrijven die zo ver in de aanvraagprocedure zijn gekomen dat ze een beoordelingsscore hebben gekregen. Het effect van de deelname aan de Eurostarsregeling lijkt zich hiermee niet te beperken tot bedrijven met een toegewezen aanvraag: ook in
bedrijven met een kansrijke aanvraag (met score) die uiteindelijk wordt afgewezen is een verhoging
van het bestede aantal R&D-uren waar te nemen in de jaren na het indienen van de aanvraag.
Echter zijn geen van deze effecten statistisch significant, waardoor er op basis van deze schattingen
geen kwantitatief bewijs is voor de effectiviteit van de regelingen als het gaat om extra R&D-investeringen.
Naast R&D-uren per fte is ook (het logaritme van) het aantal R&D-uren als uitkomstmaat gebruikt
voor het toetsen van de eerste-orde-effecten. Deze schattingen zijn opgenomen in Bijlage E.2.
Hieruit volgen eveneens geen statistisch significante effecten of nadere conclusies.
Derde-orde-effecten
Er zijn ook analyses uitgevoerd voor het in beeld brengen van mogelijke derde-orde-effecten. Tabel
4.4 toont deze analyses met omzet per fte als uitkomstmaat, waarbij de dikgedrukte coëfficiënten
de effecten weergeven in de jaren na afronding van het project. Bijlage E.2 toont de schattingen die
zijn uitgevoerd met (het logaritme van) omzet en fte als uitkomstmaat. Deze resultaten zijn vergelijkbaar en leveren geen statistisch significante effecten of andere conclusies op.
Er is bij de analyses in Bijlage E.2, net als bij de analyses in Tabel 4.4, ook getest op joint significance:
één effect vanaf het jaar van afronding tot aan het eind van de meting. Daarbij komen bij enkele
schattingen wel positief significante effecten naar voren. Met omzet als uitkomstmaat, en bedrijven
met een toewijzing als behandelgroep (de eerste drie kolommen) is er sprake van joint significance.
Hierbij houdt de common-trend-aanname echter geen stand. Bij log(omzet) is deze joint significance er niet. Met fte als uitkomstmaat is er eveneens geen sprake van joint significance. Met
log(fte) als uitkomstmaat is sprake van joint significance als toegewezen bedrijven worden vergeleken met afgewezen bedrijven met een score (de tweede kolom). De common-trend-aanname houdt
bij deze analyse wel stand. Er zijn dus aanwijzingen voor positieve effecten, maar deze zijn niet
eenduidig.
Omdat derde-orde-effecten pas na afronding van het project kunnen worden onderzocht, zijn er
minder waarnemingen beschikbaar voor het uitvoeren van de analyse, wat het beeld mogelijk minder precies maakt. Ook is het denkbaar dat deze effecten niet meteen na afronding van het project

SEO ECONOMISCH ONDERZOEK

42

HOOFDSTUK 4

plaatsvinden, maar nog weer enkele jaren later, waardoor ze buiten de periode vallen die kan worden waargenomen.
Tabel 4.4

Ook derde-orde-effecten (omzet per fte) worden niet gevonden met de DID-analyses
tussen verschillende experiment- en controlegroepen

Uitkomstmaat:
Omzet / fte

Toegewezen vs.
afgewezen

Toegewezen vs.
afg. met score

Toegewezen vs.
afg. zonder score

Score vs.
geen score

Constante

193,7 (11,0)***

198,6 (13,4)***

181,8 (11,6)***

181,8 (20,5)***

Behandelgroep

-69,7 (17,3)***

-74,6 (19,1)***

-57,8 (13,9)***

-19,8 (22,5)

0 jaar

14,1 (38,4)

-1,7 (44,9)

61,9 (44,9)

61,9 (79,1)

1 jaar

5,7 (41,1)

-10,0 (46,9)

61,9 (52,2)

61,9 (92,1)

2 jaar

-3,0 (46,9)

-20,6 (53,4)

63,8 (60,9)

63,8 (107,5)

3 jaar

-17,9 (57,6)

-54,3 (64,5)

154,1 (80,0)*

154,1 (141,0)

4+ jaar

-39,0 (59,6)

-44,5 (64,0)

-21,0 (112,5)

-21,0 (198,4)

0 jaar

2,3 (68,7)

18,1 (73,5)

-45,5 (55,3)

-47,6 (86,5)

1 jaar

38,3 (74,6)

53,9 (79,0)

-17,9 (63,0)

-42,3 (99,2)

2 jaar

40,1 (89,8)

57,7 (94,6)

-26,8 (74,8)

-53,0 (115,8)

3 jaar

26,5 (118,6)

62,9 (124,0)

-145,4 (99,3)

-174,8 (151,0)

4+ jaar

32,3 (121,7)

37,8 (125,9)

14,3 (127,6)

3,9 (205,6)

N

4.585

3.816

2.393

4.585

R

0,005

0,005

0,016

0,001

Aantal jaar vanaf aanvraag

Effect behandelgroep

2

Bron:
Noot:

SEO Economisch Onderzoek (2020)
*** 1% significant; ** 5% significant; * 10% significant. Standaardfout tussen haakjes
Er zijn aparte effecten geschat voor het jaar van afronding van het project tot en met het einde van de
meting (2018). Daarnaast is getest op joint signifcance: één effect vanaf het jaar van afronding tot aan
het eind van de meting. Ook hierbij zijn geen significante effecten gevonden.

4.1.3 Difference-in-differences met matching
Als alternatief op de schattingen die zijn uitgevoerd in bovenstaande paragraaf, kan er ook een
controlegroep worden samengesteld op basis van bedrijven die niet hebben deelgenomen aan de
regelingen, maar wel lijken op bedrijven in de experimentgroep. Een voordeel hiervan is dat de
groep bedrijven met een gehonoreerde aanvraag niet vergeleken wordt met een groep bedrijven
die een (kansarme) aanvraag heeft gedaan, en tijdens of na deze aanvraag misschien ook meer tijd
in R&D heeft gestoken, maar met een groep bedrijven die helemaal geen aanvraag heeft gedaan
voor de Eurostarsregeling. 32 Deze bedrijven kunnen bijvoorbeeld worden geselecteerd uit de groep
bedrijven die WBSO-uren heeft toegekend gekregen. In hoofdstuk 3 is zichtbaar dat er verschillen
zijn tussen bedrijven die een aanvraag doen voor een van de regelingen en het ‘gemiddelde’ WBSObedrijf, wat een belangrijk nadeel van deze methode aangeeft.

32

Ook bedrijven die een aanvraag hebben gedaan voor Eureka Clusters en JTI zijn buiten de controlegroep
gelaten.

SEO ECONOMISCH ONDERZOEK

DOELTREFFENDHEID VAN HET BELEID

43

Om zo goed mogelijk te corrigeren voor verschillen tussen de twee groepen bedrijven is gebruikgemaakt van matching, waarbij voor elk bedrijf uit de experimentgroep één of meerdere bedrijven
worden gezocht die lijken op WBSO-bedrijven. Dit is een tweede voordeel van deze methode ten
opzichte van die in paragraaf 4.1.2: de matching zorgt ervoor dat bedrijven in de controlegroep in
ieder geval op een aantal kenmerken sterk lijken op de bedrijven waarvoor het effect dient te worden gemeten. Bedrijven in de controlegroep zijn op de volgende kenmerken geselecteerd:
• topsector;
• fte;
• aandeel man;
• aandeel laagopgeleid, middelbaar opgeleid, hoogopgeleid personeel; en
• aandeel van jonge en oude werknemers.
De analyse in paragraaf 4.1.2 liet zien dat bedrijven met een afgewezen aanvraag met score (en dus
pas laat in het beoordelingsproces zijn gestrand), sterk lijken op bedrijven met een toewijzing,
waardoor het niet ondenkbaar is dat er bij al deze bedrijven effecten van de regelingen waarneembaar zijn. Daarom zijn, naast de schattingen met als experimentgroep de toegewezen aanvragen,
ook de schattingen uitgevoerd met als experimentgroep alle bedrijven met een score (zowel toegewezen en afgewezen).
Voor twee verschillende uitkomstmaten worden de bedrijven in de experimentgroep vergeleken
met de controlegroep die gevormd is middels de matching. Het effect van het instrument op R&Duren per fte en omzet per fte wordt bestudeert.
Eerste-orde-effecten
Als eerste wordt er gekeken naar de eerste-orde-effecten door middel van R&D-uren per fte,
log(R&D-uren) en R&D-uren. Tabel 4.5 laat de schattingsresultaten van de eerste twee uitkomstmaten zien. In de eerste twee kolommen zijn bedrijven met een toegewezen aanvraag vergeleken
met een controlegroep van bedrijven die niet hebben deelgenomen. De tweede kolom vergelijkt
bedrijven met een beoordelingsscore voor de aanvraag (zowel toegewezen als afgewezen bedrijven)
met een controlegroep van bedrijven die niet deelnamen. Met andere woorden, zowel het effect
van toekenning van de subsidie, als het effect van het indienen van een kansrijke aanvraag wordt
met deze analyses onderzocht.
Er wordt gekeken naar effecten op verschillende momenten: vanaf een jaar voorafgaand aan de
aanvraag tot het einde van het project. De dikgedrukte getallen geven het effect weer per jaar. De
overige coëfficiënten zijn controlevariabelen voor een algemene trend in deze periode en voor
algemene verschillen tussen de behandel- en controlegroep, waarbij voor R&D-uren per fte opvalt
dat de behandelgroepen in beide schattingen sowieso al meer aan R&D doen dan vergelijkbare
bedrijven (d.w.z. vergelijkbaar op basis van kenmerken waarop de matching heeft plaatsgevonden)
in de controlegroepen.

SEO ECONOMISCH ONDERZOEK

44

HOOFDSTUK 4

Tabel 4.5

Voor zowel bedrijven met een toegewezen aanvraag, als bedrijven met een score heeft
de subsidie een statistisch significant positieve eerste-orde-effecten.
toegewezen

score

R&D-uren / fte

Log(R&D-uren)

R&D-uren / fte

Log(R&D-uren)

Constante

462,7 (12,4)***

8,1 (0,1)***

424,4 (8,2)***

8,0 (0,0)***

Behandelgroep

101,4 (18,9)***

-1,2 (0,1)***

113,6 (12,7)***

-1,5 (0,1)***

-1 jaar

-37,7 (27,7)

-0,2 (0,2)

1,8 (19,0)

-0,2 (0,1)

0 jaar

-16,8 (24,7)

-0,4 (0,1)**

-14,4 (17,1)

-0,4 (0,1)***

1 jaar

-39,5 (28,6)

-0,3 (0,2)

-12,0 (20,0)

-0,1 (0,1)

2 jaar

-37,1 (36,0)

0,0 (0,2)

-35,9 (25,7)

-0,1 (0,2)

3 jaar

-38,2 (53,8)

0,2 (0,3)

-34,4 (44,4)

0,1 (0,3)

4 jaar

-239,3 (444,0)

0,3 (2,6)

-72,3 (263,4)

-0,4 (1,6)

-1 jaar

127,8 (44,6)***

0,4 (0,3)*

93,5 (30,9)***

0,3 (0,2)

0 jaar

127,5 (41,6)***

0,9 (0,2)***

110,5 (28,9)***

0,7 (0,2)***

1 jaar

97,9 (46,6)**

0,8 (0,3)***

51,0 (32,4)

0,4 (0,2)**

2 jaar

41,3 (56,4)

0,2 (0,3)

14,1 (40,4)

0,2 (0,2)

3 jaar

-54,8 (80,9)

-0,7 (0,5)

11,7 (67,4)

-0,2 (0,4)

-7,2 (3,6)**

-91,0 (526,7)

-1,5 (2,5)

Aantal jaar vanaf aanvraag

Effect behandelgroep

4 jaar
N

4297

4433

9591

9920

R²

0,030

0,040

0,027

0,057

Bron:
Noot:

SEO Economisch Onderzoek (2020)
*** 1% significant; ** 5% significant; * 10% significant. Standaardfout tussen haakjes
Er zijn aparte effecten geschat voor het jaar vóór aanvang tot en met het einde van het project (maximaal
4 jaar). Daarnaast is getest op joint signifcance: één effect vanaf het jaar vóór aanvang tot zolang het
project loopt. Deze zijn voor alle schattingen significant. De oplopende standaardfouten in jaar 3 en 4
worden veroorzaakt door het kleiner aantal projecten dat zo lang doorloopt. Voor R&D-uren / fte valt bij
toegewezen aanvragen het effect zelfs weg door de kleine aantallen.

De schattingsresultaten suggereren dat in bedrijven met toegewezen aanvragen een significante
stijging in het aantal R&D-uren per fte heeft plaatsgevonden, vergeleken met de controlegroep.
Ook voor de aanvragen met score is er een vergelijkbaar effect te zien ten opzichte van de controlegroep. In bedrijven met toegewezen aanvragen wordt vanaf het jaar voor de aanvraag tot 1 jaar
na de aanvraag meer geïnvesteerd in R&D-uren dan ervoor. In bedrijven met aanvragen met een
score is het effect op R&D-investeringen significant in het jaar voor en het jaar van de aanvraag.
Ook het effect op log(R&D-uren) is significant positief.
De schattingen op basis van R&D-uren als uitkomstmaat leveren een positief significant effect op
in jaar 0 voor bedrijven met een score als behandelgroep. Wanneer op joint significance wordt getest
is het effect ook positief significant voor de schatting met bedrijven met een score als behandelgroep (zie Bijlage E.3). De bevinding dat er effecten op R&D-investeringen per fte en op de log

SEO ECONOMISCH ONDERZOEK

DOELTREFFENDHEID VAN HET BELEID

45

van het aantal R&D-uren zichtbaar zijn en in mindere mate op het aantal R&D-uren suggereert dat
vooral kleinere bedrijven hun R&D-investeringen opvoeren of bedrijven die voorafgaand aan de
aanvraag een relatief geringe R&D-inspanning verrichtten (binnen de kaders van de criteria om te
mogen deelnemen).
Voor de effecten die al een jaar vóór aanvraag optreden zijn meerdere interpretaties mogelijk. De
Eurostarsregeling zou er toe kunnen leiden dat bedrijven in anticipatie op het indienen van de
aanvraag al meer investeren in R&D. In dit geval is er een causaal effect van de regeling op het
aantal R&D-uren: de regeling zorgt ervoor dat bedrijven meer in R&D investeren. Het kan echter
ook zo zijn dat bedrijven die een (succesvolle) aanvraag doen juist de bedrijven zijn die al investeerden in R&D, en dat zij (succesvol) een aanvraag doen in het Eurostarsprogramma voor deze
investering. 33 In dat geval is de causaliteit andersom en kan er niet worden gesproken van een effect
van de regeling op R&D-uren.
Er is expliciet voor gekozen ook te kijken naar bedrijven die een afwijzing met score hebben gekregen, omdat uit modellen in paragraaf 4.1.2 blijkt het gedrag van alle bedrijven die een score
hebben ontvangen vergelijkbaar is. Het lijkt erop dat een verhoogd aantal R&D-uren al optreedt
door alleen het doen van een kansrijke aanvraag, waarbij het toewijzen of afwijzen van de aanvraag
minder belangrijk is voor de R&D-tijd die er in de jaren daarna in wordt gestoken.
Derde-orde-effecten
Voor derde-orde-effecten zijn eveneens schattingen voor twee verschillende groepen uitgevoerd:
de bedrijven met een toegewezen aanvraag en de bedrijven met een score (zowel toe- als afgewezen
aanvragen). De resultaten voor omzet per fte, log(omzet) en log(fte) zijn opgenomen in Tabel 4.6.
In Bijlage E.3 zijn daarnaast schattingen opgenomen met omzet en fte als uitkomstmaat. De derdeorde-effecten worden bestudeerd vanaf het eind van het project tot het meest recente jaar waarover
informatie beschikbaar is (2018).
De tabel laat zien dat er geen aanwijzing is dat een toewijzing van een Eurostarssubsidie effect
heeft op de omzet per fte, omzet of fte in de bestudeerde periode. Wel is er een positief effect
gevonden op log(fte) voor alle bedrijven met een score in het jaar van en het jaar na afronding van
het project., maar uit de common-trend-analyses 34 (zie Bijlage F) blijkt dat de common-trend-aanname niet geldt: de trendmatige ontwikkeling tussen de controle- en experimentgroep lijkt dusdanig
anders te zijn, zodat het gemeten effect niet kan worden gezien als het causale effect van de regeling
op de omzetontwikkeling.

33

34

Omdat naar de laatste aanvraag wordt gekeken kan deze eerdere investering in R&D-uren ook bestaan uit
eerdere aanvragen voor Eurostars (of Eureka Clusters of JTI’s). In een gevoeligheidsanalyse verderop in
dit hoofdstuk (en bijlage E) is gekeken naar de laatste aanvraag. De resultaten zijn dan vergelijkbaar, maar
de significantie in het jaar vóór aanvraag valt dan wel weg.
Een difference-in-differences-analyse veronderstelt dat de trend in de uitkomstmaat voor de eerste-orde-effecten
bij de behandel- en de controlegroep vóór het moment van aanvraag gelijk was. Als dit niet het geval is, is
de vergelijking tussen controle- en behandelgroep onnauwkeurig.

SEO ECONOMISCH ONDERZOEK

46

HOOFDSTUK 4

Tabel 4.6

De DID levert geen bewijs op voor derde-orde-effecten ten opzichte van bedrijven zonder deelname
toegewezen

score

Omzet / fte

Log(Omzet) Log(fte)

Omzet / fte

Log(omzet)

Log(fte)

Constante

114,9 (6,8)***

12,4 (0,2)***

Behandelgroep

24,9 (10,0)**

0,0 (0,3)

0,0 (0,1)

-10,1 (13,0)

-0,9 (0,1)*** -0,2 (0,0)***

2,5 (0,1)*** 172,8 (10,5)*** 13,1 (0,1)*** 2,4 (0,0)***

Aantal jaar vanaf eind project
0 jaar

2,4 (14,7)

-0,2 (0,5)

-0,3 (0,2)*

-5,2 (23,3)

-0,2 (0,2)

-0,3 (0,1)***

1 jaar

6,9 (17,6)

0,1 (0,6)

0,0 (0,2)

-14,8 (27,4)

0,4 (0,3)

0,0 (0,1)

2 jaar

28,5 (21,3)

0,4 (0,7)

0,1 (0,2)

-14,4 (35,2)

0,4 (0,4)

0,1 (0,1)

3 jaar

18,1 (29,9)

0,2 (1,0)

0,3 (0,2)

-17,1 (45,2)

0,8 (0,5)*

0,0 (0,1)

4+ jaar

2,2 (36,3)

0,0 (1,2)

0,9 (0,3)***

34,4 (43,8)

1,3 (0,5)***

0,2 (0,1)

0 jaar

16,3 (24,6)

0,7 (0,8)

0,3 (0,3)

26,6 (38,3)

0,6 (0,4)

0,5 (0,1)***

1 jaar

-6,4 (29,0)

-0,4 (0,9)

0,1 (0,3)

37,8 (44,3)

0,1 (0,5)

0,4 (0,2)***

2 jaar

-39,8 (36,1)

1,1 (1,2)

0,1 (0,3)

-16,0 (54,6)

0,5 (0,6)

0,3 (0,2)

3 jaar

-35,0 (50,9)

-0,5 (1,6)

0,5 (0,4)

-15,1 (71,2)

0,1 (0,7)

0,3 (0,2)

4+ jaar

-24,7 (53,0)

2,7 (1,7)

0,0 (0,4)

-41,7 (69,6)

0,4 (0,7)

0,4 (0,2)*

N

1419

1432

1560

5821

6124

6520

R²

0,008

0,006

0,018

0,001

0,015

0,009

Effect behandelgroep

Bron:
Noot:

SEO Economisch Onderzoek (2020)
*** 1% significant; ** 5% significant; * 10% significant. Standaardfout tussen haakjes.
Er zijn aparte effecten geschat voor het jaar van afronding van het project tot en met het einde van de
meting (2018). Daarnaast is getest op joint signifcance: één effect vanaf het jaar van afronding tot aan
het eind van de meting. Hierbij zijn schattingen in de laatste twee kolommen (alle bedrijven met een score,
met log(omzet) en log(fte) als uitkomstmaat) positief significant. Naast log(fte), waarvoor zowel joint significance als losse significante effecten in jaar jaar 0 en 1 worden gevonden, is er dus ook sprake van
joint significance voor log(omzet) als uitkomstmaat (voorlaatste kolom). De common-trend-aanname van
deze schatting (figuur F.10 in bijlage F) lijkt echter geen stand te houden.

Gevoeligheidsanalyses
Om de robuustheid van de gevonden effecten te toetsten zijn enkele gevoeligheidsanalyses uitgevoerd. In bovenstaande analyses wordt de laatste aanvraag van bedrijven als leidend genomen. Om
uit te sluiten dat deze keuze invloed heeft op de resultaten zijn er ook analyses gedaan voor de
eerste aanvraag van een bedrijf, en voor een willekeurig gekozen aanvraag (zie bijlage E). De schattingen hiervan zijn uitgevoerd voor zowel eerste- als derde-orde- effecten, en leiden in kwalitatieve
zin tot dezelfde conclusies. Er worden significant positieve effecten gevonden voor R&D-uren per
fte en log(R&D)-uren die in dezelfde orde van grootte zijn. Ook worden er voor enkele uitkomstmaten significant positieve derde-orde-effecten gevonden, maar voor deze analyses blijkt de common-trendaanname geen stand te houden.

4.1.4 Conclusies econometrische analyse
Bovenstaande resultaten laten zien dat er aanwijzingen zijn voor eerste-orde-effecten van de Eurostarsregeling. Met verschillende methoden is dit onderzocht en op verschillende samples op basis

SEO ECONOMISCH ONDERZOEK

DOELTREFFENDHEID VAN HET BELEID

47

van waar bedrijven in het proces van een Eurostarsaanvraag zijn gestrand. Om precies te zijn is er
een significant effect zichtbaar in het aantal R&D-uren per fte voor bedrijven met een toewijzing,
vergeleken met een controlegroep van vergelijkbare bedrijven die geen aanvraag heeft ingediend.
De effecten zijn statistisch significant aanwezig voor het jaar vóór aanvang, het jaar van aanvang
en het jaar daarna. In deze jaren zorgt een toewijzing dan wel kansrijke aanvraag voor een Eurostarsproject voor 98 tot 128 extra R&D-uren per fte. Opgeteld over deze drie jaren gaat het op 353
R&D-uren per fte.
Omdat uit de RDD-analyses en de DID-analyses blijkt dat er geen grote verschillen bestaan tussen
bedrijven met een toegewezen aanvraag en bedrijven met een afgewezen aanvraag met score (kansrijke aanvraag), is ook gekeken of alle bedrijven met een kansrijke aanvraag (toewijzing en afwijzing
met score) vergeleken kunnen worden met een vergelijkbare groep bedrijven die geen aanvraag
heeft gedaan. Uit deze analyse volgen statistisch significante effecten van 94 en 111 R&D-uren per
fte in het jaar voor en het jaar van aanvraag. Samen met het (net) niet statistisch significante effect 35
van het jaar na aanvraag gaat het hierbij om 255 R&D-uren per fte.
De resultaten suggereren dat de effecten op R&D uren per fte al bij het jaar vóór aanvraag optreden, hetgeen duidt op anticipatie van het aanvragen van de subsidies, wat ook geldt voor bedrijven
met een afgewezen aanvraag in een vergevorderd stadium (kansrijke, afgewezen aanvragen). Dit
roept de vraag op in hoeverre de Eurostarsregeling leidt tot additionele investeringen in R&D. Het
kan zijn dat bedrijven die een aanvraag indienen al van plan waren te investeren in R&D, waardoor
de regeling niet additioneel werkt, maar het kan ook zijn dat bedrijven met een afwijzing juist dóór
het doen van de aanvraag alsnog via een andere weg proberen het project uit te voeren wat additionaliteit suggereert. Met behulp van de enquête en interviews wordt dit additionaliteitsvraagstuk
nader onderzocht (zie hoofdstuk 4.2).
Voor de analyses is per bedrijf gekeken naar de laatste aanvraag. Om te toetsten hoe dit de uitkomst
van beïnvloedt zijn ook analyses uitgevoerd die naar de eerste aanvraag, een willekeurige aanvraag
of alleen naar bedrijven met maar één aanvraag kijken. De resultaten van deze analyses zijn consistent met de analyses van de laatste aanvraag en leveren in kwalitatieve zin dezelfde conclusies op.
Wel valt de significantie in het jaar vóór aanvraag weg wanneer naar de eerste aanvraag wordt
gekeken, hetgeen zou kunnen impliceren dat de effecten in het jaar voor aanvraag geen anticipatieeffecten zijn maar kunnen worden veroorzaakt door eerdere deelnames aan Eurostars (of Eureka
Clusters of JTI’s) van dezelfde bedrijven.
Om te onderzoeken of er derde-orde-effecten zijn, is gekeken naar de bedrijfsprestaties (productiviteit, omzet en werkgelegenheid) na afronding van het project. Er zijn voor enkele uitkomstmaten
statistisch significante positieve effecten gevonden, maar het blijkt dat de common-trendaanname
alleen bij log(fte) als uitkomstmaat stand houdt wanneer bedrijven met een toewijzing worden vergeleken met afgewezen bedrijven met een score. Omdat derde-orde-effecten pas na afronding van
het project kunnen worden onderzocht, zijn er minder waarnemingen beschikbaar voor het uitvoeren van de analyse wat het beeld mogelijk minder precies maakt. Ook is het denkbaar dat deze
effecten niet meteen na afronding van het project plaatsvinden, maar nog weer enkele jaren later,
waardoor ze buiten de periode vallen die kan worden waargenomen.
35

Wanneer de coëfficiënt van het jaar voor, het jaar van en het jaar na aanvraag samen worden gevoegd in de
analyse, blijken deze (gezamenlijk) significant te zijn.

SEO ECONOMISCH ONDERZOEK

48

HOOFDSTUK 4

4.2 Bevindingen enquête
4.2.1 Eerste-orde-effecten: innovatie-inspanningen
Respondenten met toegewezen subsidieaanvragen hebben positieve percepties over de gehele linie
van de eerste-orde-effecten (zie Figuur 4.1). Deelname aan de regeling is volgens toegewezen aanvragers met name bevorderlijk voor internationale R&D-samenwerking. Er wordt zowel meer (28
procent zeer mee eens; 56 procent mee eens) en beter (22 procent zeer mee eens; 56 procent mee
eens) internationaal samengewerkt op het gebied van R&D. Toegewezen aanvragers geven aan
door deelname kennis te hebben gemaakt met internationale organisaties (28 procent zeer mee
eens; 46 procent mee eens) en nu beter gepositioneerd te zijn om internationaal samen te werken
(19 procent zeer mee eens; 48 procent mee eens). Ook geeft een grote groep aanvragers aan dat
deelname aan de regeling heeft geleid tot het aantrekken van nieuwe R&D-medewerkers (17 procent zeer mee eens; 47 procent mee eens). 36
Figuur 4.1

Bron:
Noot:

Toegewezen aanvragers zijn zeer positief over eerste-orde-effecten van de regelingen

SEO Economisch Onderzoek (2019)
Deze stellingen zijn voorgelegd aan alle respondenten met een toegewezen subsidieaanvraag (n = 187)

De percepties van toegewezen aanvragers over toegenomen internationale R&D-samenwerking
worden niet ondersteund door robuust bewijs voor verschillen in internationale R&D-samenwerking tussen organisaties met een toe- of afgewezen aanvraag (zie Bijlage C). 37 Deze verschillen
vormen geen causaal bewijs voor effectiviteit van de regelingen op dit vlak. Zo zijn er geen statis-

36

37

Figuur C.2 in Bijlage C toont de perceptie over eerste-orde-effecten uitgesplitst naar subsidieregeling. Ten
opzichte van deelnemers aan Eurostars, zijn deelnemers aan de Eureka Clusters en JTI’s over het algemeen
iets vaker zeer positief over de eerste-orde-effecten.
In deze (en de hierna volgende) verschillenanalyses wordt uitgegaan van ruwe verschillen tussen organisaties met een toe- versus afgewezen aanvraag. Dit kan niet geïnterpreteerd worden als het causale effect van
de regelingen, omdat organisaties al voor het moment van de subsidieaanvraag kunnen verschillen in hun
innovatie-inspanningen en -prestaties. Het ligt echter voor de hand dat organisaties die meer inspanningen
leveren en/of beter presteren op het gebied van innovatie een grotere kans maken op toewijzing van hun
subsidieaanvraag. De ruwe verschillen tussen organisaties met een toe- versus afgewezen aanvraag geven
onder deze aanname eerder een over- dan een onderschatting van het effect van de regelingen. Dat we
desondanks geen statistische significante verschillen vinden, kan dan ook geïnterpreteerd worden als conservatief bewijs voor het ontbreken van verschillen in innovatie-inspanningen en -prestaties die veroorzaakt
zijn door deelname aan de regelingen.

SEO ECONOMISCH ONDERZOEK

DOELTREFFENDHEID VAN HET BELEID

49

tisch significante verschillen in het aantal Europese R&D-samenwerkingspartners, het aantal verschillende landen waar deze partners uit afkomstig zijn en de afstand van deze landen ten opzichte
van Nederland.

4.2.2 Tweede-orde-effecten: innovatieprestaties
Toegewezen aanvragers zijn ook positief over de tweede-orde-effecten van de regeling, maar er is
wel een duidelijk onderscheid tussen scope- en acceleratie-effecten enerzijds en schaaleffecten anderzijds (zie Figuur 4.2). Bijna alle toegewezen aanvragers zijn het ermee eens dat deelname aan de
regeling heeft geleid tot het verwerven van nieuwe technologische kennis (36 procent zeer mee
eens; 52 procent mee eens) en een meerderheid ziet een versnelling in de doorlooptijd van innovaties (27 procent zeer mee eens; 47 procent mee eens). Het percentage toegewezen aanvragers die
van mening zijn dat deelname aan de regeling heeft geleid tot het beter kunnen benutten van schaalvoordelen in innovatieactiviteiten is aanzienlijk lager, maar nog steeds overwegend positief (7 procent zeer mee eens; 40 procent mee eens). 38
Figuur 4.2

Bron:
Noot:

Toegewezen aanvragers positiever over scope- en acceleratie-effecten, dan over
schaal-effecten

SEO Economisch Onderzoek (2019)
Deze stellingen zijn voorgelegd aan alle respondenten met een toegewezen subsidieaanvraag (n = 187),
met uitzondering van de stelling gerelateerd aan omzet, die enkel is voorgelegd aan bedrijven (n = 135)

De enquête levert geen statistisch significant bewijs van verschillen in innovativiteit bij organisaties
met een toegewezen aanvraag (zie Tabel C.1 en Tabel C.2 in Bijlage C). De verschillen in het aantal
product-, dienst- en procesinnovaties tussen organisaties met een toe- versus afgewezen aanvraag
is in alle gevallen niet statistisch significant. Ditzelfde geldt voor het verschil in het aantal octrooien
en publicaties, het aantal organisaties dat is toegetreden tot nieuwe buitenlandse markten en het
aantal organisaties dat zich tijdens de evaluatieperiode is gaan bezighouden met nieuwe technologieën.

4.2.3 Derde-orde-effecten: bedrijfsprestaties
Percepties van toegewezen aanvragers over derde-orde-effecten zijn over het algemeen positief,
hoewel er ook een grote groep is die een neutrale mening heeft over het al dan niet optreden van
derde-orde-effecten (zie Figuur 4.3). Mogelijk heeft dit te maken met de grotere onzekerheid of de
derde-orde-effecten te relateren zijn aan deelname aan de regelingen, of met de langere termijn
38

Figuur C.3 in Bijlage C toont de perceptie over tweede-orde-effecten uitgesplitst naar subsidieregeling. Er
zijn geen noemenswaardige verschillen in percepties over tweede-orde-effecten tussen de regelingen.

SEO ECONOMISCH ONDERZOEK

50

HOOFDSTUK 4

waarop deze effecten optreden. Desondanks is een grote groep toegewezen aanvragers van mening
dat deelname heeft geleid tot betere bedrijfsprestaties (4 procent zeer mee eens; 38 procent mee
eens) en productiviteitsgroei (4 procent zeer mee eens; 36 procent mee eens). Ook signaleert ongeveer de helft van de toegewezen aanvragers een groei in de omzet uit nieuwe/verbeterde producten (10 procent zeer mee eens; 42 procent mee eens). 39
Figuur 4.3

Bron:
Noot:

Toegewezen aanvragers overwegend onzeker over derde-orde-effecten

SEO Economisch Onderzoek (2019)
De stelling gerelateerd aan productiviteitsgroei is voorgelegd aan alle respondenten met een toegewezen
subsidieaanvraag (n = 187); de stelling gerelateerd aan omzet is enkel voorgelegd aan bedrijven (n =
135)

De perceptie van toegewezen aanvragers over toegenomen omzet uit nieuwe/verbeterde producten en diensten wordt niet gestaafd door statistische verschillen tussen organisaties met een toeversus afgewezen aanvraag. Organisaties met een afgewezen aanvraag melden zelfs een statistisch
significant hoger percentage van de omzet uit nieuwe/verbeterde producten en diensten in 2018
dan organisaties met een toegewezen aanvraag – 61 versus 45 procent (zie Bijlage C). Uit de antwoorden op de open vragen blijkt echter dat veel gesubsidieerde projecten nog in de ontwikkelfase
zitten en dat er nog geen sprake is van (grootschalige) commercialisering. Mogelijk dat derde-ordeeffecten op de omzet en andere bedrijfsprestaties pas op langere termijn optreden. Het aantal respondenten met een aanvraag uit eerdere jaren (d.w.z. de vorige evaluatieperiode) is echter te gering
om lange termijn analyses zinvol uit te voeren. Geïnterviewden geven aan dat zij (onder andere) de
subsidie gebruiken om de ontwikkelingskosten te dekken. Zij geven daarbij aan dat innovatie nodig
is om (internationaal) te kunnen blijven concurreren in de markt. Daarentegen geven zij ook aan
dat afronding van het innovatieproject niet altijd betekent dat een product ook direct gereed is voor
(grootschalige) commercialisering. Vaak zijn hiervoor verdere ontwikkelslagen nodig (zie Bijlage
G).

4.2.4 Bredere economische impact
Alle respondenten kregen tijdens de enquête enkele stellingen over de bredere economische impact
van de subsidieregelingen voorgelegd (zie Figuur 4.4). Respondenten zijn het bijna unaniem eens
met de stellingen dat de regelingen leiden tot meer internationale samenwerking van Nederlandse
organisaties (42 procent zeer mee eens; 40 procent mee eens) en dat die de concurrentiekracht van
de Nederlandse en Europese industrie versterkt (39-40 procent mee eens; 40-42 procent mee eens).
39

Figuur C.4 in Bijlage C toont de perceptie over derde-orde-effecten uitgesplitst naar subsidieregeling. Deelnemers aan JTI’s zijn over het algemeen positiever over de groei in de omzet uit nieuwe/verbeterde producten in vergelijking met deelnemers aan de andere subsidieregelingen.

SEO ECONOMISCH ONDERZOEK

DOELTREFFENDHEID VAN HET BELEID

51

Respondenten geven blijk van iets meer onzekerheid over of Nederlandse organisaties door de
regelingen actiever zijn op het gebied van R&D, beter in staat zijn in te spelen op maatschappelijke
uitdagingen (energietransitie, digitalisering etc.) en of zij meer financiële middelen toekennen aan
R&D-activiteiten. Desondanks is een meerderheid van de respondenten het eens dan wel zeer eens
met elk van deze stellingen. 40
Figuur 4.4

Bron:
Noot:

Respondenten zijn van mening dat regelingen bredere economische impact hebben

SEO Economisch Onderzoek (2019)
Deze stellingen zijn voorgelegd aan alle respondenten (n = 289)

4.2.5 Additionaliteit
In de enquête is tevens gevraagd tot in welke mate de subsidies bepalend zijn voor het uitvoeren
van de projecten waarvoor subsidie is aangevraagd.
Respondenten van wie de subsidieaanvraag is toegewezen kregen de vraag voorgelegd wat er met
het project gebeurd zou zijn indien er geen subsidie was toegewezen (zie Figuur 4.5). Het merendeel
van de toegewezen projecten zou al dan niet vertraagd (37 procent), afgeslankt (34 procent) of met
andere partners 41 (11 procent) zijn uitgevoerd. Ook geeft een gedeelte van de subsidieaanvragers
aan dat het project bij afwijzing in een latere fase nogmaals zou zijn ingediend (24 procent). Ongeveer een derde van de projecten zou bij uitblijven van de subsidie in zijn geheel niet meer zijn
uitgevoerd (32 procent). Ruim 60 procent van de respondenten die aangeven dat hun project bij
uitblijven van de subsidie niet zou zijn uitgevoerd, geeft echter aan dat de middelen in dit geval in
andere R&D-activiteiten zouden zijn geïnvesteerd. Een mogelijke verklaring hiervoor is dat bedrij-

40

41

Figuur C.5 in Bijlage C toont de antwoorden op de stellingen met betrekking tot bredere economische
impact uitgesplitst naar subsidieregeling. Aanvragers van de Eurostars regeling zijn over het algemeen iets
minder positief over de bredere economische impact dan aanvragers van de andere regelingen. Figuur C.6
toont de antwoorden op de stellingen uitgesplitst naar aanvraagstatus. Zowel toe- als afgewezen aanvragers
zijn het overwegend eens met de stellingen; wel is het zo dat toegewezen aanvragers over de gehele linie
positiever zijn dan afgewezen aanvragers.
Respondenten geven aan dat dit niet in alle gevallen buitenlandse partners betreft. Oftewel, deze projecten
zouden wel zijn uitgevoerd, maar niet in een internationaal samenwerkingsverband.

SEO ECONOMISCH ONDERZOEK

52

HOOFDSTUK 4

ven een R&D-strategie hebben, die ze ongeacht het krijgen van een subsidie uitvoeren. Daartegenover staat dat het aantal projecten dat alsnog ongewijzigd zou zijn uitgevoerd zeer gering is (3
procent). Ook uit de interviews blijkt dat de subsidieregelingen bijdragen aan het verkorten van de
time-to-market, en dat er bij het uitblijven van subsidies andere keuzes worden gemaakt. 42
Figuur 4.5

Bron:
Noot:

Merendeel van de toegewezen projecten zou ook zonder subsidie zijn uitgevoerd

SEO Economisch Onderzoek (2019)
Deze vraag is voorgelegd aan alle respondenten met een toegewezen subsidieaanvraag (n = 187). Respondenten konden meerdere antwoorden aanvinken

Respondenten met een afgewezen subsidieaanvraag is gevraagd wat er met het project is gebeurd
na afwijzing van de subsidie (zie Figuur 4.6). De meest genoemde consequentie van een afwijzing
is dat het project niet is uitgevoerd (52 procent). Voor de niet-uitgevoerde projecten geldt dat de
voor deze projecten bestemde financiële middelen in ongeveer de helft van de gevallen uiteindelijk
aan andere R&D-activiteiten zijn toegekend. Ongeveer een derde van de afgewezen projecten is
uiteindelijk alsnog vertraagd (13,5 procent), in afgeslankte vorm (13,5 procent) of met andere partners (5 procent) uitgevoerd. Tevens valt op dat geen van de afgewezen projecten uiteindelijk alsnog
ongewijzigd is uitgevoerd. 43

42

43

Figuur C.7 in Bijlage C toont de antwoorden van toegewezen aanvragers op de vragen met betrekking tot
additionaliteit uitgesplitst naar subsidieregeling. Voor aanvragers van de Eureka Clusters regeling geldt dat
het niet uitvoeren van het project het vaakst genoemd wordt als de consequentie in het geval dat zij geen
subsidie hadden gekregen.
Figuur C.8 in Bijlage C toont de antwoorden van afgewezen aanvragers op de vragen met betrekking tot
additionaliteit uitgesplitst naar subsidieregeling. De aantallen afgewezen respondenten bij, met name, Eureka Clusters en JTI’s zijn te laag om zinvolle uitspraken over verschillen te kunnen doen.

SEO ECONOMISCH ONDERZOEK

DOELTREFFENDHEID VAN HET BELEID

Figuur 4.6

Bron:
Noot:

53

Ongeveer de helft van afgewezen projecten is uiteindelijk niet uitgevoerd

SEO Economisch Onderzoek (2019)
Deze vraag is voorgelegd aan alle respondenten met een afgewezen subsidieaanvraag (n = 102). Respondenten konden meerdere antwoorden aanvinken

4.3 Deelconclusies doeltreffendheid
Uit de econometrische analyses volgen aanwijzingen over de aanwezigheid van eerste-orde-effecten: er is een stijging zichtbaar in het aantal R&D-uren per fte bij bedrijven die een toewijzing
hebben gehad, vergeleken met een controlegroep van vergelijkbare bedrijven die niet hebben deelgenomen aan de regeling. De effecten zijn alleen (sterk) statistisch significant aanwezig in het jaar
vóór aanvang, het jaar van aanvang en het jaar na aanvang van het project en bedragen 98 tot 128
extra R&D-uren per fte per jaar, of 353 R&D-uren per fte opgeteld over deze eerste drie jaar
(onderzoeksvraag B2). Ook is er een effect gevonden voor de totale groep die een kansrijke
aanvraag doet: 255 R&D-uren per fte opgeteld over de eerste drie jaar.
Er is geen bewijs gevonden voor de aanwezigheid van effecten op productiviteit (omzet per fte) en
betere bedrijfsprestaties (omzet, fte) in bredere zin (onderzoeksvragen B8, B9). Omdat derdeorde-effecten pas na afronding van het project kunnen worden onderzocht, zijn er minder waarnemingen beschikbaar voor het uitvoeren van de analyse. Ook is het denkbaar dat deze effecten
ook niet na afronding van het project plaatsvinden, maar nog weer enkele jaren later, waardoor ze
buiten de periode vallen die kan worden waargenomen.
Vanuit de enquête zijn de percepties over eerste-, tweede- en derde-orde-effecten positief voor
bedrijven met een toegewezen aanvraag. Toegewezen aanvragers melden vooral een toename in de
innovatie-inspanningen en -prestaties (meer/betere internationale R&D-samenwerking, aantrekken nieuwe R&D-medewerkers, verwerven van nieuwe technologische kennis en versnellen van
het innovatietraject) (onderzoeksvraag B1 t/m B7). Ervaringen met verbeterde bedrijfsprestaties
en productiviteit zijn ook overwegend positief, maar er heerst hierover wel meer onzekerheid (onderzoeksvragen B8, B9).

SEO ECONOMISCH ONDERZOEK

54

HOOFDSTUK 4

De percepties van toegewezen aanvragers worden niet gestaafd door statistisch significante verschillen in innovatie-inspanningen en -uitkomsten tussen organisaties met een toe- versus afgewezen aanvraag. 44 Bij de interpretatie van deze verschillen is het belangrijk om in het oog te houden
dat hier wordt uitgegaan van ruwe verschillen. Het is goed mogelijk dat er voor het moment van
de subsidieaanvraag al verschillen waren in de innovatie-inspanningen en -uitkomsten van organisaties waarvan later de aanvraag toe- dan wel afgewezen werd. De verschillen zijn dus niet per
definitie het gevolg van een toewijzing dan wel afwijzing.
De afwezigheid van statistisch significante verschillen wordt mogelijk veroorzaakt doordat organisaties meerdere aanvragen indienen waarvan sommige worden toegewezen en andere worden afgewezen, terwijl de analyse uitgaat van de status van de laatste subsidieaanvraag. Daarnaast kan er
sprake zijn van meetfouten in de zelfgerapporteerde data, waardoor de effecten van een toegewezen subsidieaanvraag moeilijker te detecteren zijn.
Zowel leidende bedrijven als volgende bedrijven geven in interviews aan (zie bijlage G) dat deelname aan Eureka Clusters of de JTI’s leidt tot betere internationale samenwerking. Wel geven volgende bedrijven aan dat er na afronding van de subsidie minder contact is (verwateren) dan leidende
bedrijven (onderzoeksvraag B12). Eureka Clusters en de JTI’s sluiten volgens de geïnterviewden
goed aan bij de behoefte van hun industrie en op andere initiatieven, met als belangrijk pluspunt
de mogelijkheid om zelf de juiste partijen kunnen selecteren om mee samen te werken en zo goed
aan te sluiten op de huidige industriële doelen (onderzoeksvraag B13). Volgens de geïnterviewden
spelen de Eureka Clusters niet in goed op veranderingen binnen het politieke landschap, omdat de
Clusters voor een langere periode vast staan. Hierdoor ontbreekt in de praktijk soms aan aansluiting
bij de actualiteit, zoals op het gebied van artificiële intelligentie. De geïnterviewden waren niet eenduidig over de vraag of JTI’s inspelen op dergelijke veranderingen (onderzoeksvraag B14).
Met name toegewezen aanvragers geven aan dat hun innovatieproject ook bij uitblijven van de
subsidie alsnog zou zijn uitgevoerd of dat de voor dit project bestemde financiële middelen dan in
andere R&D-activiteiten zouden zijn geïnvesteerd. Iets minder dan de helft van de afgewezen aanvragers geeft aan dat het project na afwijzing niet is uitgevoerd, maar ook hier wordt een gedeelte
van de vrijgemaakte financiële middelen uiteindelijk weer toegewezen naar andere R&D-activiteiten (onderzoeksvraag B10, B11). Daartegenover staat dat zowel toe- als afgewezen projecten bij
het uitblijven van de subsidie vrijwel nooit ongewijzigd (zouden) worden uitgevoerd. In deze zin
maken de regelingen projecten mogelijk die zonder subsidie niet tot stand zouden kunnen komen.

44

Deze verschillen blijven statistisch insignificant wanneer we ons enkel focussen op bedrijven (excl. kennisinstellingen) of organisaties met een aanvraag in de huidige evaluatieperiode.

SEO ECONOMISCH ONDERZOEK

EUROSTARS, EUREKA CLUSTERS EN JTI’S, 2013 - 2018

5

55

Doelmatigheid

De doelmatigheid van de regelingen wordt op basis van de kwantitatieve analyse en de resultaten afkomstig uit de
enquête in beeld gebracht. De Eurostarsregeling heeft een positief effect het aantal R&D-uren wat vertaald naar een
bang-for-the-buck redenering leidt tot 27 tot 42 extra R&D-uren per € 1.000 subsidie. De administratieve lasten
zijn in termen van het subsidiebedrag 2,4 procent voor Eurostars, 1,4 procent voor Eureka clusters en 6,0 procent
voor JTI’s. Dit is vergelijkbaar met andere innovatieregelingen. De uitvoeringskosten van RVO zijn sinds 2014
gedaald en bedragen in 2018 3,9 procent van de verstrekte subsidiebedragen. Deelnemers aan de regelingen zijn
tevreden over de ondersteuning van RVO.
In dit hoofdstuk wordt de doelmatigheid van de regelingen in beeld gebracht (paragraaf 5.1). Voor
de Eurostarsregeling is het mogelijk om een berekening te maken van de extra R&D-uren per €
1.000 subsidie. Voor alle regelingen is het mogelijk een berekening te maken van de administratieve
lasten voor bedrijven voorafgaand, tijdens en na afloop van de subsidies.
Om de doelmatigheid van de uitvoering in kaart te brengen zijn bij RVO gegevens opgevraagd
over de uitvoeringskosten van de regelingen (paragraaf 5.2). Aangevuld met informatie uit interviews levert dit de volgende bevindingen op aangaande de uitvoeringskosten van RVO.

5.1 Doelmatigheid van het beleid
Op basis van de gevonden effecten voor R&D per fte kan worden berekend hoeveel extra R&Duren er zijn toe te schrijven aan de verleende subsidies. Het voorgaande hoofdstuk liet zien dat er
positieve effecten zijn van de Eurostarssubsidie op het aantal R&D-uren. De doelmatigheid van de
Eurostarsregeling kan worden uitgerekend door de totale subsidie die is gemoeid met deze regeling
te relateren aan het aantal extra R&D-investeringen. Een gebruikelijke manier om deze berekening
te maken is via de bang-for-the-buck. Met deze manier wordt het aantal R&D-uren per euro subsidie
uitgedrukt.
Tabel 4.5 laat zien dat bedrijven die een Eurostarsaanvraag toegewezen hebben gekregen, of ver
kwamen in het proces van aanvraag en uiteindelijk geen subsidie hebben gekregen, meer R&Duren per fte realiseerden dan vergelijkbare bedrijven die geen aanvraag hebben ingediend. Het gaat
hierbij per fte om in totaal 353 uur in het jaar voor, het jaar van en het jaar na de aanvraag. Voor
de jaren daarna zijn de effecten niet statistisch significant. Om te berekenen met hoeveel subsidie
deze extra gerealiseerde uren gepaard zijn gegaan, wordt dit opgetelde aantal uren vermenigvuldigd
met het aantal bedrijven met een toewijzing én met het gemiddelde aantal fte (22 fte) bij die bedrijven.
353 𝑅𝑅&𝐷𝐷-𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢 𝑝𝑝𝑝𝑝𝑝𝑝 𝑓𝑓𝑓𝑓𝑓𝑓 × 22 𝑓𝑓𝑓𝑓𝑓𝑓 𝑝𝑝𝑝𝑝𝑝𝑝 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏 ≈
7700 𝑅𝑅&𝐷𝐷-𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢 𝑝𝑝𝑝𝑝𝑝𝑝 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏
Door dit te delen door het gemiddelde subsidiebedrag van € 287.000 per bedrijf kan worden bepaald hoeveel extra R&D-uren er zijn ontstaan met één euro subsidie (of per € 1.000 subsidie):

SEO ECONOMISCH ONDERZOEK

56

HOOFDSTUK 5

7700 𝑅𝑅&𝐷𝐷-𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢
≈ 0,027 = 27 𝑅𝑅&𝐷𝐷-𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢 𝑝𝑝𝑝𝑝𝑝𝑝 € 1000 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠45
€ 287.000

Per € 1.000 subsidie resulteert dit in 27 extra R&D-uren. In de analyses van hoofdstuk 4 zijn tevens
aanwijzingen dat ook afgewezen bedrijven met een score voor hun aanvraag extra investeren in
R&D, zonder dat deze bedrijven uiteindelijk subsidie ontvangen via het Eurostarsprogramma. De
gevonden effecten voor de groep bedrijven met toewijzing óf afwijzing met score van de subsidie
bedraagt in totaal 255 uur per fte in het jaar voor, het jaar van en het jaar na de aanvraag.
255 𝑅𝑅&𝐷𝐷-𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢 𝑝𝑝𝑝𝑝𝑝𝑝 𝑓𝑓𝑓𝑓𝑓𝑓 × 22 𝑓𝑓𝑓𝑓𝑓𝑓 𝑝𝑝𝑝𝑝𝑝𝑝 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏 ≈
5600 𝑅𝑅&𝐷𝐷-𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢 𝑝𝑝𝑝𝑝𝑝𝑝 𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏

De groep bedrijven met een afgewezen aanvraag met score is groter dan de groep bedrijven met
een toegewezen score, waardoor het effect voor 2,2 keer zoveel bedrijven geldt dan waarvoor subsidie is verleend:
2,2 ×

5600 𝑅𝑅&𝐷𝐷-𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢
≈ 0,042 = 42 𝑅𝑅&𝐷𝐷-𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢 𝑝𝑝𝑝𝑝𝑝𝑝 € 1000 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠46
€ 287.000

Met deze wijze van bereken resulteren 42 extra R&D-uren per € 1.000 subsidie. De veronderstelling
bij deze berekening is dat er geen publieke middelen zijn gemoeid met het bereiken van deze R&Dinvestering. Het is echter niet duidelijk hoe deze projecten (die blijkbaar via een andere weg toch
tot uitvoering worden gebracht) uiteindelijk worden gefinancierd. Wanneer dit ook deels met publiek geld gebeurt, geldt dit positieve effect op R&D-uren in mindere mate. Wanneer het effect
volledig tot stand komt doordat bedrijven met een afgewezen aanvraag gebruikmaken van andere
subsidies is het effect nul en keren we terug bij de eerste berekening van 27 extra R&D-uren per
fte.
De bang-for-the-buck van de Eurostarsregeling komt dus uit op 27 R&D-uren per € 1.000 subsidie
voor toegewezen aanvragen. In ruimere zin kan gesproken worden van een bang-for-the-buck van 42
R&D-uren, mits afgewezen projecten uiteindelijk met privaat geld doorgang vinden. Op basis van
de enquête zijn er aanwijzingen dat ongeveer de helft van de afgewezen projecten doorgang vindt,
al is het niet duidelijk of dit met of zonder een subsidie uit een andere regeling of programma
gebeurt.
De bang-for-the-buck kan tevens in euro’s worden uitgedrukt, door voor een R&D-uur het gemiddelde WBSO-uurloon (€ 34) 47 te hanteren. Dit resulteert in een bedrag van € 0,91 per euro verstrekte subsidie. In ruimere zin, mits ook afgewezen projecten uiteindelijk met privaat geld nog
doorgang vinden, komt de bang-for-the-buck uit op € 1,44 per verstrekte euro. Deze resultaten bevinden zich aan de bovenkant van wat er wordt gevonden voor andere innovatieregelingen, zoals het
Innovatiekrediet (bang-for-the-buck van € 0,60 - € 0,90 per verstrekte euro) en de WBSO (op korte
termijn € 0,70 en lange termijn € 0,90). In de vorige evaluatie van Eurostars, Eureka clusters en
JTI’s werden geen eenduidige effecten gevonden.
45
46
47

Of: € 37 per gesubsidieerd R&D-uur.
Of: € 24 per gesubsidieerd R&D-uur.
Gewogen gemiddelde S&O-uurloon in de periode 2015-2018.

SEO ECONOMISCH ONDERZOEK

DOELMATIGHEID

57

In de evaluatie van het Innovatiekrediet, waarin positieve effecten zijn gevonden van het krediet
op de R&D-loonkosten, werden ook positieve effecten van de regeling op R&D-niet-loonkosten
verondersteld. Omdat ook de Eurostarssubsidie door deelnemende organisaties kan worden ingezet voor de financiering van R&D-niet-loonkosten, is het aannemelijk dat een deelname aan Eurostars niet alleen effect heeft op R&D-uren, maar ook op R&D-niet-loonkosten.
In de econometrische analyse zijn geen statistisch significante derde-orde-effecten gevonden. Het
is daarom niet duidelijk wat de subsidie heeft opgeleverd in termen van productiviteit en bedrijfsprestaties bij de deelnemers in bredere zin. Het is mogelijk dat deze effecten pas enkele jaren later
na afronding zichtbaar worden (en er dus wél een bang-for-the-buck is in termen van productiviteit
en bedrijfsprestaties) maar nu buiten de periode vallen die kan worden waargenomen.

5.2 Doelmatigheid van de uitvoering
5.2.1 Uitvoeringskosten RVO
1. De uitvoeringskosten voor RVO zijn sinds 2014 zowel absoluut als relatief gedaald.
De totale uitvoeringskosten voor RVO zijn sinds 2014 in zowel absolute bedragen als in verhouding tot de ingezette beleidsgelden gedaald (zie Tabel 5.1). De kosten voor RVO bedragen over
2018 circa € 2 miljoen, in 2014 was dit met € 3,2 miljoen substantieel meer. In 2018 is de omvang
van de totale uitvoeringskosten voor RVO als percentage van de ingezette beleidsgelden 3,9 procent (€ 0,04 per euro subsidie). In 2014 lag dit percentage op circa 8,1 procent (€ 0,08 per euro
subsidie). Zowel RVO als het ministerie van EZK geeft aan dat de daling die sindsdien is ingezet
het gevolg is van enkele efficiëntieslagen. Zo maakt RVO nu bijvoorbeeld gebruik van een contactcentrum en centraal bedrijfsregister voor klantcontact, terwijl klantcontact voorheen door de
administratie werd opgevangen.
De uitgaven en ontvangsten van de Nederlandse deelname aan Eurostars, Eureka Clusters, en de
JTI’s zijn gedeeltelijk 48 opgenomen in de jaarverslagen van het ministerie van EZK. 49 Tabel 5.1
geeft een overzicht van de drie subsidieregelingen. Op basis van openbare gegevens is het niet
mogelijk om een verdere uitsplitsing te maken tussen Eureka Clusters en JTI’s. Daarnaast bevat
Tabel 5.1 de totale uitvoeringskosten van RVO. Het administratiesysteem van RVO maakt geen
verdere uitsplitsing naar subsidieregeling mogelijk.

48

49

Eurostars staat individueel vermeld, Eureka Clusters en JTI vallen onder een de post ‘Internationaal innoveren’, waar ook andere regelingen onder vallen. Het ministerie van EZK heeft deze post zelf uitgesplitst,
waardoor wel inzicht is in de kosten per regeling.
Daarnaast is voor Eurostars in de jaarverslagen een indicator opgenomen die door het ministerie gebruikt
wordt voor de beleidsverantwoording. Voor Eureka Clusters en de JTI’s zijn geen indicatoren en streefwaarden opgenomen in de jaarverslagen. Zonder deze streefwaarden is onduidelijk wat het doel van het
beleid is en kan niet worden gemeten of dit doel bereikt is. Bij de streefwaarden van Eurostars is het opvallend dat deze regelmatig fors worden bijgesteld. Na het niet behalen van de streefwaarden in 2015 zijn
de streefwaarden van 2016 fors aangepast.

SEO ECONOMISCH ONDERZOEK

58

HOOFDSTUK 5

Tabel 5.1

Een overzicht van de Nederlandse uitgaven aan de drie instrumenten (× € 1.000)

Eurostars

Uitgaven
Ontvangsten

2013

2014

2015

2016

2017

2018

6.949

7.299

8.531

12.044

13.325

15.432

104

248

112

2.437

1.629

586

Totaal

6.845

7.051

8.419

9.607

11.696

14.846

Eureka Clusters

Uitgaven

26.119

30.342

36.534

38.847

41.094

35.542

en de JTI's

Ontvangsten

288

275

0

47

68

350

25.831

30.067

36.534

38.800

41.026

35.192

-*

3.289

2.399

2.047

2.050

2.031

32.676

40.407

47.352

50.454

54.772

52.069

-*

8,1%

5,1%

4,1%

3,7%

3,9%

Totaal
Uitvoeringskosten RVO

Uitgaven

Ingezette beleidsgelden
Uitvoeringskosten RVO (%)
Bron:
*

De uitgaven en ontvangsten Eurostars zijn gebaseerd op de jaarverslagen 2016 en 2018;
De uitgaven en ontvangsten Eureka Clusters en de JTI’s zijn aangeleverd door het ministerie van EZK;
De uitvoeringskosten RVO zijn aangeleverd door RVO
RVO geeft aan sinds 2014 te beschikken over een nieuw administratiesysteem, hierdoor zijn de uitgaven
over 2013 moeilijk te achterhalen. Zodoende zijn deze niet in dit onderzoeksrapport opgenomen

De uitvoeringslasten zijn vergelijkbaar met de lasten in de vorige evaluatie. Die bedroegen 4,4 procent, inclusief flankerend beleid. De uitvoeringslasten bij andere innovatieregelingen lopen uiteen:
voor de WBSO zijn die 2 procent, terwijl voor het Innovatiekrediet de lasten 10,5 procent van de
verstrekte subsidies bedragen.
2. Organisaties zijn erg te spreken over de manier waarop RVO ondersteuning bij Eureka projecten biedt.
Uit klanttevredenheidsonderzoek uitgevoerd door Blauw blijkt dat organisaties die een aanvraag
hebben ingediend voor Eureka Clusters of Eurostars erg te spreken zijn over de manier waarop
RVO ondersteuning biedt (Blauw, 2019). De voorlichtingsbijeenkomsten worden als informatief
beschouwd, de feedback op het conceptplan wordt als prettig ervaren en het advies is bruikbaar
om de aanvraag te verbeteren. Daarnaast is men tevreden over de bereikbaarheid, de behulpzaamheid en het persoonlijk contact van RVO. De RVO-website wordt genoemd als verbeterpunt. Zo
wordt aangegeven dat sommige subsidieprogramma’s op de website onvolledig zijn en veel afkortingen bevatten.
3. Geïnterviewden geven aan dat de tussentijdse verplichtingen vanuit RVO bij JTI’s van toegevoegde waarde zijn.
Geïnterviewden geven aan dat zij de tussentijdse verplichtingen van toegevoegde waarde vinden.
Met behulp van een aantal tussentijdse evaluaties bekijkt RVO of het project nog op schema loopt.
Organisaties geven aan dat RVO in deze fase met de organisaties meedenkt, ze attendeert en helpt
om eventuele onregelmatigheden op te lossen. Met behulp van een aantal checks and balances, waaronder een periodiek overzicht van de financiële administratie wordt de kwaliteit van de uitvoering
door RVO volgens organisaties voldoende geborgd. Daarbij is de hoeveelheid uur die aan de verplichtingen wordt besteed in balans met het verantwoorden van de door de organisatie ondernomen activiteiten. Bijlage G voor een overzicht van de bevindingen uit de interviews.

5.2.2 Bevindingen enquête
In de enquête is aan alle respondenten gevraagd om een inschatting te maken van het aantal uren
administratieve verplichtingen dat zij besteed hebben voor aanvang van het project (zie Figuur 5.1).

SEO ECONOMISCH ONDERZOEK

DOELMATIGHEID

59

Aan toegewezen aanvragers en aanvragers met een afgerond project is tevens gevraagd naar de
administratieve verplichtingen gedurende het project en na de afronding.
Figuur 5.1

Bron:
Noot:

Administratieve lasten treden met name op voor aanvang en tijdens het project

SEO Economisch Onderzoek (2019)
Het aantal administratieve uren voor aanvang van project is gevraagd aan alle respondenten (n = 289);
tijdens uitvoering van project is gevraagd aan respondenten met een toegewezen subsidieaanvraag (n =
187); na afronding van project is gevraagd aan respondenten met een afgerond project (n = 72)

Het indienen van een aanvraag kost een organisatie gemiddeld 144 uur. Aangezien dit gemiddelde
sterk wordt beïnvloed door enkele uitschieters naar boven, is het zinniger om uit te gaan van de
mediaan van 80 uur administratieve verplichtingen voor aanvang van het project. Tijdens de uitvoering van het project besteden organisaties gemiddeld 205 uur (mediaan: 100 uur) aan administratieve verplichtingen. De administratieve verplichtingen na afronding van het project zijn aanzienlijk lager op gemiddeld 69 uur (mediaan: 40 uur).
De administratieve lasten verschillen over de regelingen (zie Tabel 5.2). Respondenten die hebben
deelgenomen aan JTI’s rapporteren de hoogste administratieve lasten (mediaan: 680 uur). Ongeveer twee derde van deze lasten manifesteren zich gedurende de uitvoering van het project. Deelnemers aan de Eureka Clusters en Eurostars rapporteren aanzienlijk lagere administratieve lasten
(mediaan Eureka Clusters: 242 uur / mediaan Eurostars: 200 uur).

SEO ECONOMISCH ONDERZOEK

60

HOOFDSTUK 5

Tabel 5.2

Administratieve lasten JTI zijn ongeveer drie keer zo hoog als de andere regelingen
Eurostars

Eureka Clusters

JTI’s

Voor aanvang project

80 uur (184)

100 uur (72)

160 uur (33)

Tijdens uitvoering project

80 uur (108)

120 uur (50)

420 uur (29)

Na afronding project

40 uur (43)

22 uur (17)

100 uur (12)

Totaal

200 uur

242 uur

680 uur

Bron:
Noot:

SEO Economisch Onderzoek (2019)
De in de tabel getoonde uren vertegenwoordigen de mediaan. Tussen haakjes staat het aantal observaties waarover deze mediaan berekend is

Om de administratieve lasten als een percentage van het subsidiebedrag te kunnen berekenen, dienen de lasten in euro’s te worden uitgedrukt. Omdat daadwerkelijke uurtarieven onbekend zijn
wordt hiervoor het gemiddelde WBSO-uurloon (€ 34) 50 als schatting gebruikt. De totale administratieve lasten voor, na en tijdens een toegewezen project komen dan uit op € 6.800 voor Eurostars, € 8.200 voor Eureka Clusters en € 23.100 voor JTI’s. Als percentage van de gemiddelde (Nederlandse) subsidie per bedrijf (zie Tabel 3.3) zijn de administratieve lasten 2,4 procent voor Eurostars, 1,4 procent voor Eureka Clusters en 6,0 procent voor JTI’s.
De administratieve lasten voor Eurostars, Eureka Clusters en JTI’s kwamen in de vorige evaluatie
respectievelijk uit op 2,8 procent, 0,6 procent en 0,8 procent van het (Nederlandse) subsidiebedrag.
De administratieve lasten voor Eureka Clusters en met name JTI’s zijn dus hoog in vergelijking
met de vorige evaluatie, maar niet in vergelijking met andere innovatiesubsidieregelingen (WBSO:
7 procent, Innovatiekrediet: 5 procent).
In de enquête is de respondenten gevraagd om hun mening te geven over de ondersteuning van
RVO bij hun deelname aan de regelingen (zie Figuur 5.2). Over het algemeen zijn respondenten
tevreden over de dienstverlening van RVO. Ook de vaardigheden, kennis en de uitleg van RVO
over de subsidieregelingen zijn overwegend positief beoordeeld. De begeleiding bij de subsidieaanvraag en de eenvoud van de aanvraagprocedure scoren relatief gezien het laagst. Toch blijft het
percentage respondenten dat hier ontevreden over is in beide gevallen gering.

50

Gewogen gemiddelde S&O-uurloon in de periode 2015-2018

SEO ECONOMISCH ONDERZOEK

DOELMATIGHEID

Figuur 5.2

Bron:
Noot:

61

Twee derde van de respondenten is tevreden over de dienstverlening van RVO

SEO Economisch Onderzoek (2019)
Deze stellingen zijn voorgelegd aan alle respondenten (n = 289)

Over de helderheid van de voorwaarden en beoordelingscriteria zijn de respondenten verdeeld. De
ene helft van de aanvragers geeft te kennen deze grotendeels tot volledig helder te vinden, terwijl
de andere helft blijft steken op enigszins, nauwelijks of niet helder. Respondenten die hebben deelgenomen aan andere programma’s binnen het Horizon 2020 programma, beoordelen de aanvraagprocedure voor deze andere programma’s wel vaker als ingewikkelder (38 procent) dan eenvoudiger (16 procent) in vergelijking met de onderhavige regelingen. Ook in de antwoorden op open
vragen naar mogelijke verbeterpunten voor de uitvoering van de regelingen komt een aantal keer
naar voren dat de aanvraagprocedure ten opzichte van andere programma’s relatief eenvoudig is.
Ook geïnterviewden geven aan dat de aanvraagprocedure ten opzichte van andere subsidies relatief
eenvoudig is. Zij geven aan dat dit goed aansluit bij de doelgroep van de subsidieregeling, het mkb.
Daarnaast geven enkele geïnterviewden aan dat bij de JTI’s de subsidieaanvraag omvangrijker is
geworden. Dit omdat er naast alleen een nationale begroting, conform Horizon 2020 regelgeving,
nu ook een internationale begroting moet worden ingediend (zie Bijlage G voor een overzicht van
de bevindingen uit de interviews).
Een derde van de aanvragers meldt dat zij tijdens de aanvraagprocedure gebruik hebben gemaakt
van een intermediair of subsidieadviseur. 51 Intermediairs of subsidieadviseurs worden ongeveer
even vaak ingezet door aanvragers wiens aanvraag wordt toegewezen versus aanvragers waarvan
de aanvraag wordt afgewezen. Redenen voor het inzetten van een intermediair of subsidieadviseur
zijn verhogen van de slaagkans, snelheid en efficiëntie, ervaring en kennis van de intermediair en
uitbesteding van werkzaamheden die door de organisaties niet tot hun corebusiness worden gerekend. Geïnterviewden geven aan dat de toegevoegde waarde van een intermediairs of subsidieadviseur bij Eurostars en JTI’s het hoogst is bij de eerste deelname. “De aanvraagprocedure is niet
ingewikkeld, je moet het alleen één keer hebben gezien”. Zie bijlage G voor een overzicht van de
bevindingen uit de interviews.
51

Dit is nagenoeg gelijk aan het percentage aanvragers dat in de vorige evaluatieperiode aangaf gebruik te
maken van een intermediair of subsidieadviseur (Panteia, 2014).

SEO ECONOMISCH ONDERZOEK

62

HOOFDSTUK 5

Zowel toe- als afgewezen aanvragers geven in de toelichting te kennen dat zij graag zien dat de
afstemming tussen deelnemende landen verbetert. De complexiteit en onzekerheid van deze procedure leidt in een aantal gevallen tot frustraties – bij afwijzing van nationale financiering, na een
goedkeuring in de Europese selectieronde – of vertraagde projecten – wegens het niet gelijktijdig
beschikbaar komen van nationale financiering. Ook geïnterviewden herkennen zich in deze bevinding. Sommige organisaties geven aan dat hun innovatieproject na goedkeuring in een Europese
selectieronde, alsnog niet doorging vanwege (ten minste) een nationale financiering. Hun nieuwe
‘strategie’ is om vooraf te inventariseren uit welke Europese landen de andere deelnemers uit het
consortium komen om zo hun kans te vergroten (zie ook Bijlage G).

5.3 Conclusies doelmatigheid
Op basis van de gevonden effecten voor R&D-uren per fte kan worden berekend hoeveel extra
R&D-uren er zijn toe te schrijven aan de verleende subsidies. Er zijn voor de Eurostarsregeling op
basis van de econometrische analyse aanwijzingen voor een positief effect van de subsidie op het
aantal R&D-uren, maar het bewijs hiervoor is niet eenduidig en hangt af van de gekozen methode
en vergelijkingsgroepen. De bang-for-the-buck van de Eurostarsregeling komt op basis van de meest
positieve schattingen uit hoofdstuk 4 uit op 27 R&D-uren per € 1.000. In ruimere zin is het mogelijk dat een bang-for-the-buck van 42 R&D-uren per € 1.000 wordt bereikt, omdat blijkt dat afgewezen
projecten deels ook nog worden uitgevoerd. Deze berekening is gebaseerd op de veronderstelling
dat afgewezen aanvragen geheel privaat worden uitgevoerd. Het is onduidelijk of deze afgewezen
projecten uiteindelijk met privaat geld of deels met andere publieke middelen worden bekostigd.
Voor Eureka clusters en JTI’s is het onmogelijk gebleken om op basis van een valide econometrische analyse een dergelijke som te maken (onderzoeksvraag B2).
In de econometrische analyse van de Eurostarsregeling zijn geen significante derde-orde-effecten
gevonden. Het is daarom onduidelijk wat de subsidie heeft opgeleverd in termen van extra productiviteit en betere bedrijfsprestaties bij bedrijven die een subsidie hebben ontvangen. Het is mogelijk
dat deze effecten pas enkele jaren later na afronding zichtbaar worden (en er dus op langere termijn
wel een bang-for-the-buck is in termen van productiviteit en bedrijfsprestaties) maar nu buiten de
periode vallen die kan worden waargenomen met de beschikbare data. Opnieuw is een dergelijke
analyse niet mogelijk gebleken voor de andere twee programma’s (onderzoeksvragen B8, B9).
Uit de enquête volgt dat organisaties 200, 242 en 680 uur kwijt zijn aan administratieve lasten die
gepaard gaan met een deelname aan respectievelijk Eurostars, Eureka Clusters of JTI’s. Als percentage van de gemiddelde subsidie per bedrijf zijn de administratieve lasten 2,4 procent voor Eurostars, 1,4 procent voor Eureka Clusters en 6,0 procent voor JTI’s. De administratieve lasten van
JTI’s zijn aanzienlijk hoger dan bij de vorige evaluatie, maar vergelijkbaar met andere innovatiesubsidieregelingen (onderzoeksvraag C5). RVO gaf aan dat bij het JTI-programma ECSEL er naast
regels voor de Nederlandse subsidie aanvullende regels gelden voor de EU-subsidie, terwijl dit bij
de voorgangers van deze JTI (Artemis en ENIAC) dit niet zo was. Dit heeft geleid tot meer administratieve lasten.

SEO ECONOMISCH ONDERZOEK

DOELMATIGHEID

63

De totale uitvoeringskosten voor RVO zijn sinds 2014 in zowel absolute bedragen als in verhouding tot de ingezette beleidsgelden gedaald. De kosten voor RVO bedragen over 2018 circa € 2 miljoen, in 2014 was dit € 3,2 miljoen. De uitvoeringskosten bedroegen in 2018 3,9 procent van het
totale subsidiebedrag, vergelijkbaar met de vorige evaluatie (4,4 procent). Voor andere innovatiesubsidieregelingen loopt dit percentage uiteen van 2 procent (WBSO) tot 10,5 procent (Innovatiekrediet) (onderzoeksvraag C3).
Wanneer de uitvoeringslasten en de administratielasten (zie hoofdstuk 5) bij elkaar worden opgeteld zijn de totale lasten van Eurostars 6,3 procent, van Eureka Clusters 5,3 procent en van JTI’s
9,9 procent. Dit is laag in vergelijking met andere innovatieregelingen als de WBSO (9 procent) en
het Innovatiekrediet (15,5 procent), en vergelijkbaar met de vorige evaluatie (5 tot 7,2 procent)
(onderzoeksvraag C7).
Organisaties die gebruik hebben gemaakt van de regelingen zijn bovendien erg te spreken over de
manier waarop RVO ondersteuning biedt, de bereikbaarheid, de behulpzaamheid en het persoonlijk contact. Hierbij waren gebruikers van Eureka Clusters of Eurostars het meest positief (onderzoeksvraag C4). Een derde van de aanvragers meldt daarnaast dat zij tijdens de aanvraagprocedure
gebruik hebben gemaakt van een intermediair of subsidieadviseur (onderzoeksvraag C6).

SEO ECONOMISCH ONDERZOEK

EUROSTARS, EUREKA CLUSTERS EN JTI’S, 2013 - 2018

6

65

Conclusies

In de periode 2008-2018 heeft Nederland deelgenomen aan de subsidieregelingen Eurostars, Eureka clusters en JTI’s. De drie instrumenten hebben als gezamenlijk doel om de internationale
technologische samenwerking en investeringen in onderzoek en ontwikkeling (R&D) te bevorderen. In deze periode zijn een kleine 1.800 projecten met subsidie uit één van deze regelingen uitgevoerd waar Nederlandse organisaties aan deelnamen, waarvan zo’n tweederde binnen het Eurostarsprogramma. Van alle organisaties die meedoen met een Eurostarsaanvraag is ruim 70 procent
een mkb’er. Bij Eureka clusters en JTI’s zijn deze percentages lager: respectievelijk circa 40 en 30
procent.
De regelingen slagen erin hun relevante doelgroep te bereiken en te betrekken bij de activiteiten.
Mkb-ondernemingen die een subsidieaanvraag doen in het kader van Eurostars, Eureka clusters of
JTI’s nemen voor het overgrote gedeelte (70-80 procent) ook deel aan de WBSO, en ook bijna
altijd met minimaal 200 R&D-uren per fte. Van het totaal aantal WBSO-bedrijven met minimaal
200 R&D-uren per fte heeft zo’n 3 procent deelgenomen aan Eurostars, 1,5 procent aan Eureka
clusters en 1,5 procent aan JTI’s. Aan Eurostars nemen relatief veel bedrijven uit de topsector Life
science & Health deel aan de regelingen, een kwart van de WBSO-bedrijven uit die sector. De
regeling sluit goed aan bij bedrijven in deze sector.
De instrumenten zijn doeltreffend in het stimuleren van R&D-inspanningen bij bedrijven en in het
bevorderen van meer en betere internationale samenwerkingsverbanden (eerste-orde-effecten). Bedrijven zijn positief over het effect van de regelingen op internationale R&D-samenwerking en
geven aan door deelname kennis te hebben gemaakt met internationale organisaties. Met behulp
van econometrische analyses zijn in een aantal specificaties positieve effecten voor doeltreffendheid van de Eurostarsregeling gevonden als het gaat om investeringen in R&D. De analyses laten
een stijging zien van het aantal R&D-uren per fte bij bedrijven die een toewijzing hebben gehad,
vergeleken met een controlegroep van vergelijkbare bedrijven die niet heeft deelgenomen aan de
regeling. De effecten zijn alleen statistisch significant aanwezig in het jaar vóór aanvang, het jaar
van aanvang en het jaar na aanvang van het project en bedragen 98 tot 128 extra R&D-uren per fte
per jaar, of 353 R&D-uren per fte bij elkaar opgeteld in deze drie jaar.
In de econometrische analyses van de Eurostarsregeling is daarnaast een en bijna even groot effect
gevonden wanneer ook bedrijven, die een kansrijke aanvraag hebben gedaan, maar niet hebben
deelgenomen aan de regelingen, worden meegenomen in de analyse: 255 R&D-uren per fte in totaal
in het jaar vóór aanvang, het jaar van aanvang en het jaar na aanvang van het project. Het lijkt erop
dat een verhoogd aantal R&D-uren al optreedt door alleen het doen van een kansrijke aanvraag,
waarbij het toewijzen of afwijzen van de aanvraag minder belangrijk is voor de R&D-tijd die er in
de jaren daarna in wordt gestoken. Deze conclusie moet met de nodige voorzichtigheid worden
bezien, omdat het ook mogelijk is dat bedrijven die in staat zijn een kansrijke aanvraag in te dienen
het project ook zonder subsidie zouden uitvoeren. Uit de enquêteresultaten komt namelijk naar
voren dat een deel van de projecten ook zonder subsidie wordt uitgevoerd, hoewel voornamelijk
in aangepaste vorm.

SEO ECONOMISCH ONDERZOEK

66

HOOFDSTUK 6

Uit literatuuronderzoek blijkt dat er geen eenduidig antwoord is op de vraag of de drie regelingen
(en R&D-subsidies in het algemeen) als doeltreffend zijn te classificeren. Recente literatuur, waar
econometrische onderzoeksmethoden geïmplementeerd zijn, stelt dat er nog onvoldoende robuust,
generaliseerbaar en causaal bewijs is voor effectiviteit waardoor ook doelmatigheid moeilijk vast te
stellen is. Ander onderzoek, waar minder harde methoden zijn geïmplementeerd, geeft aan dat
deelname leidt tot impact.
De doeltreffendheid van de instrumenten in het verwerven van nieuwe technologische kennis, een
versnelling in de doorlooptijd van innovaties en het beter kunnen benutten van schaalvoordelen in
innovatieactiviteiten (tweede-orde-effecten) is voornamelijk met de enquête in kaart gebracht. Respondenten zijn hierover positief, en het meest overtuigd van effecten op het verwerven van nieuwe
technologische kennis. Er zijn hierbij geen grote verschillen in percepties tussen gebruiker van de
verschillende regelingen.
Over de effectiviteit van de instrumenten op productiviteit (omzet per fte) en betere bedrijfsprestaties (omzet, fte) heerst meer onzekerheid. Er is voor de Eurostarsregeling geen statistisch significant bewijs gevonden voor de aanwezigheid van deze derde-orde-effecten. Omdat derde-ordeeffecten pas na afronding van het project kunnen worden onderzocht, zijn er minder waarnemingen beschikbaar voor het meten van dergelijke effecten. Het is bovendien denkbaar dat deze effecten ook niet meteen na afronding van het project plaatsvinden, maar nog weer enkele jaren later,
waardoor ze buiten de periode vallen die kan worden waargenomen.
Ook uit de literatuur volgt dat de impact van de regelingen pas enkele jaren na het ontvangen van
de subsidie zichtbaar is. Met andere woorden, innovatie heeft tijd nodig om zich uit te betalen op
de markt. Enkele studies vinden effecten van deelname aan innovatieregelingen in het algemeen
op de arbeidsproductiviteit. Bedrijven zelf zijn ook meer onzeker over de derde-orde-effecten van
de regelingen, alhoewel ervaringen met verbeterde bedrijfsprestaties en productiviteit zijn wel overwegend positief zijn. Deelnemers aan JTI’s zijn over het algemeen positiever over de groei in de
omzet uit nieuwe/verbeterde producten in vergelijking met deelnemers aan de andere subsidieregelingen.
De doelmatigheid van de regelingen is op basis van de kwantitatieve analyse en de resultaten afkomstig uit de enquête in beeld gebracht. Hieruit volgt dat de doelmatigheid van de regelingen
vergelijkbaar is met andere subsidieregelingen. De Eurostarsregeling heeft een positief effect het
aantal R&D-uren wat vertaald naar een bang-for-the-buck redenering leidt tot 27 tot 42 extra R&Duren per € 1.000 subsidie. Uitgaande van het gemiddelde R&D-uurtarief levert elke euro subsidie
€ 0,91 aan R&D-activiteiten op, vergelijkbaar met andere innovatiesubsidieregelingen. In ruimere
zin kan gesproken worden van een bang-for-the-buck van € 1,44 per verstrekte euro subsidie, indien
blijkt dat afgewezen projecten worden uitgevoerd met private middelen. Als dat volledig opgaat is
de bang-for-the-buck van € 1,44 valide. Het is echter onduidelijk of deze projecten uiteindelijk volledig
met privaat geld, deels met andere publieke middelen worden bekostigd of in aangepaste en kleinere
vorm worden uitgevoerd.
De administratieve lasten zijn ten opzichte van het Nederlandse subsidiebedrag 2,4 procent voor
Eurostars, 1,4 procent voor Eureka clusters en 6,0 procent voor JTI’s. Dit is vergelijkbaar met

SEO ECONOMISCH ONDERZOEK

CONCLUSIES

67

andere innovatieregelingen. De relatief hoge administratieve lasten voor JTI’s zijn opvallend, aangezien deze in de vorige evaluatie slechts 0,8 procent bedroegen. RVO gaf aan dat bij het JTIprogramma ECSEL er naast regels voor de Nederlandse subsidie aanvullende regels gelden voor
de EU-subsidie, terwijl dit bij de voorgangers van deze JTI (Artemis en ENIAC) dit niet zo was.
Dit heeft geleid tot meer administratieve lasten.
De doelmatigheid van de uitvoering is hoog in vergelijking tot andere innovatieregeling en vergelijkbaar met de vorige evaluatie van Eurostars, Eureka Clusters en JTI’s. De totale uitvoeringslasten
voor RVO bedroegen in 2018 3,9 procent van het totale subsidiebedrag, vergelijkbaar met de vorige
evaluatie (4,4 procent). Deze lasten zijn sinds 2014 sterk afgenomen. Wanneer de uitvoeringslasten
en de administratielasten bij elkaar worden opgeteld zijn de totale lasten van Eurostars 6,3 procent,
van Eureka clusters 5,3 procent en van JTI’s 9,9 procent. Dit is laag in vergelijking met andere
innovatieregelingen als de WBSO (9 procent) en het Innovatiekrediet (15,5 procent), en vergelijkbaar met de vorige evaluatie (5 tot 7,2 procent).

SEO ECONOMISCH ONDERZOEK

EUROSTARS, EUREKA CLUSTERS EN JTI’S, 2013 - 2018

69

Literatuur
Aguiar, L., & Gagnepain, P. (2017). European cooperative R&D and firm performance: Evidence
based on funding differences in key actions. International Journal of Industrial Organization, 53,
1-31.
Arrow, K. (1962), “Economic welfare and the allocation of resources for invention”, in Nelson,
R., editor, The rate and direction of inventive activity: economic and social factors: 609–
625. Princeton University Press.
Barajas, A., Huergo, E., & Moreno, L. (2012). Measuring the economic impact of research joint
ventures supported by the EU Framework Programme. The Journal of Technology Transfer, 37(6), 917-942.
Bayona-Sáez, C., & García-Marco, T. (2010). Assessing the effectiveness of the Eureka Program.
Research Policy, 39(10), 1375-1386.
Bernotat, W. H., de Prost, C., Eckstein, E., Georghiou, L., Luukkonen, T., Malcolm, B. & Sangiovanni-Vincentelli, A. (2010). First Interim Evaluation of the ARTEMIS and ENIAC
Joint Technology Initiatives.
Catrene (2016), Catrene Final Report (2016)
Cincera, M., & Toyem, G. E. F. (2018). The impact of EUREKA projects on the economic performance of
R&D SMEs (No. 2018-027). ULB--Universite Libre de Bruxelles.
Commissie Theeuwes (2012). Durf te meten. Eindrapport Expertwerkgroep Effectmeting, Den
Haag: Ministerie van Economische Zaken.
DAMVAD (2011), Economic Impact of International Research and Innovation Cooperation. Pre-pared by
DAMVAD for the Danish Agency for Science, Technology and Innovation.
DAMVAD (2012), The Impact of EUREKA in the Netherlands Prepared by DAMVAD for Agentschap
NL.
David, P.A., Hall, B.H., Toole, A.A., 2000. Is public R&D a complement or substitute for private
R&D? A review of the econometric evidence. Res. Policy 29, 497–529.
Dialogic (2015). Innoveren en ondernemen met beleid. Analytische achtergrondstudie van de beleidsdoorlichting artikel 12 (innovatie) en 13 (ondernemingsklimaat). 2014.094-1504.
EUREKA Secretariat (2013), EUREKA Clusters - Essential instruments for global competitiveness.
EUREKA Secretariat (2017), Impact Assessment of EUREKA Network Projects and Cluster
Projects.
EY (2017). Analysis of impact of completed Eurostars-1 Projects, Final report. In opdracht van
de Europese Commissie.
Europese Commissie (2017) Interim Evaluation of the Eurostars-2 Joint Programme.

SEO ECONOMISCH ONDERZOEK

70

HOOFDSTUK 6

Fisher, R., Polt, W., Vonortas, N. S., & Bach, L. (2009). The impact of publicly funded research on innovation: An analysis of European Framework Programmes for Research and Development. Office for
Official Publications of the European Communities
Götzeler. M., W. Arden, J. Dormoy, M. Jansz, T. Luukkonen, C. de Prost, A. Sangiovanni-Vincentelli, & C.D. Wright (2013), Second Interim Evaluation of the ARTEMIS and ENIAC
Joint Technology Initiatives, May 2013.
Gayer, K., Lach, S., & Wasserteil, D. (2011). Estimating the Effect of Participating in Eureka on
Firm Performance.
Hall, B. H., & Rosenberg, N. (Eds.). (2010). Handbook of the Economics of Innovation (Vol. 1).
Elsevier.
Hünermund, P., & Czarnitzki, D. (2019) Estimating the causal effect of R&D subsidies in a panEuropean program. Research Policy, 48(1), 115-124.
Hünermund, P., & Czarnitzki, D. (2019) Innovation Policy and Causality, working paper.
Panteia (2014), Evaluatie Eurostars en Eureka 2008-2012, Panteia-Rapport 2014, Zoetermeer.
Kanninen, S.; Kutinlahti, P.; Luukkonen, T.; Oksanen, J. and Lemola, T. (2006). Finnish national
evaluation of Eureka and Cost. Technology Programme Report 13/2006. Helsinki
Lora-Tamayo, E., Damm, C. W., Dormoy, J. L., Hobbs, L., Jansz, M., Kosmider, T., & Pribyl, W.
(2017). Interim Evaluation of the ECSEL Joint Undertaking (2014-2016) Operating under
Horizon 2020.
Makarow, M., Licht, G., Caetano, I., Czarnitzki, D., Elçi, S., 2014. Final Evaluation of Eurostars
Joint Programme. Final report, European Commission. Ref. Ares (2014) 3906990 –
24/11/2014.
PREST (2002). Assessing the socio-economic impacts of the Framework Programme. Manchester.
Sissoko, A. (2011). R&D subsidies and firm-level productivity: Evidence from France. IRES-Institut
de Recherches Economiques et Sociales working paper, Université Catholique de Louvain.

SEO ECONOMISCH ONDERZOEK

EUROSTARS, EUREKA CLUSTERS EN JTI’S, 2013 - 2018

71

Eurostars

Eureka

JTI's

Bijlage A Onderzoeksvragen

A1

Hoe groot is de potentiële doelgroep die aan de criteria van de regeling voldoet, dat wil zeggen: hoeveel bedrijven en hoeveel ((semi-)publieke) kennisinstellingen voldoen jaarlijks aan de criteria om deel te nemen aan de regeling?

√

√

√

A2

Hoeveel bedrijven en hoeveel ((semi-)publieke) kennisinstellingen in deze potentiële doelgroep worden jaarlijks bereikt?
Weer te geven in absolute getallen en in verhouding tot de potentiële doelgroep.

√

√

√

A3 Hoeveel procent van de relevante adviesbedrijven van de potentiële doelgroep kent de regelingen?

√

√

√

A4 Hoe groot is het MKB-aandeel in de regelingen en wat is de mate van verversing van het klantenbestand?

√

√

√

√

√

√

√

√

√

√

√

Doelgroepbereik

Doeltreffendheid en doelmatigheid van het beleid
B1

Leidt het beleid tot meer (aantal projecten, deelnemers) en/of betere (kwaliteit, meer middelen) internationale technologische samenwerking voor de deelnemers?

B2 Leidt het beleid tot hogere R&D-uitgaven bij deelnemers?
Leidt het beleid tot de strategische positionering van Nederlandse partijen in Europese (strategische, technische en econoB3
mische) samenwerkingsverbanden voor de deelnemers?
B4 Leidt het beleid tot effectievere en/of efficiëntere inzet van R&D-uitgaven?

√

√

√

B5 Leidt het beleid tot meer innovativiteit bij deelnemers? (tweede-orde-effect)?

√

√

√

B6 Leidt het beleid tot een snellere time-to-market van innovaties voor de deelnemers?

√

√

√

B7 Leidt het beleid tot het versnellen van innovatie voor de deelnemers?

√

√

√

B8 Leidt het beleid tot een hogere productiviteit voor de deelnemers?

√

√

√

B9 Leidt het beleid tot betere bedrijfsprestaties bij de deelnemers in bredere zin?

√

√

√

Wat is de impact van de indirecte invloeden (effectievere en efficiëntere inzet van R&D-uitgaven) en van de directe invloed
B10
van de subsidie op de uiteindelijke totale R&D-uitgaven?

√

√

√

In hoeverre is de financiële ondersteuning in de vorm van een subsidie bepalend geweest voor deelname aan het project?
B11 In hoeverre zouden de door deelnemers in Eurostars geïnvesteerde middelen zonder subsidie in andere R&D-activiteiten
zijn geïnvesteerd? In hoeverre zouden dit R&D-activiteiten in internationale samenwerkingsverbanden zijn geweest?

√

√

√

B12

In hoeverre is er een relevant verschil van de voordelen van betere internationale samenwerking tussen grote/leidende
bedrijven en kleinere/volgende bedrijven? In hoeverre is er een verschil vast te stellen in het effect van de financiële ondersteuning in de vorm van een subsidie op deelname aan het project tussen grote/leidende bedrijven en kleinere/volgende
bedrijven?

√

√

B13

Is de thematiek van de Eureka Clusters en JTI’s nog actueel, gezien de huidige industriële doelen en behoeftes in Nederland en Europa?

√

√

Kunnen de Eureka Clusters en JTI’s inspelen op veranderingen binnen het politieke landschap? Is er voldoende mogelijkB14 heid voor politieke inbreng/sturing, zodat er voldoende draagvlak blijft bestaan bij deelnemende landen? Is de (internationale) governance van Eureka Clusters efficiënt ingericht, met verschillende organisaties en uitvoering per cluster?

√

√

Doelmatigheid van de uitvoering
C1

Hoeveel projecten zijn ondersteund vanuit de regelingen? Hierbij wordt onderscheid gemaakt naar: type projecten en type
van technologische innovaties ondersteund vanuit de projecten.

√

√

√

C2

Hoeveel deelnemers zijn op welke wijze betrokken bij de regelingen? Hierbij wordt onderscheid gemaakt naar type deelnemers en indeling van deelnemers naar economische sectoren.

√

√

√

C3

Wat zijn de (uitvoeringskosten voor RVO en hoe ontwikkelen deze zich in de tijd? Weer te geven in absolute bedragen en
in verhouding tot de ingezette beleidsgelden (subsidiebudget) door EZK?

√

√

√

C4

Wat is de kwaliteit van de uitvoering door RVO (o.a. de ondersteuning aan bedrijven en instellingen, risicoanalyse, controlesystematiek en eventuele onregelmatigheden)?

√

√

√

Wat zijn de totale administratieve lasten voor de deelnemers aan de regelingen? Weer te geven in absolute bedragen en in
C5 verhouding tot de ingezette beleidsgelden (subsidiebudget) door EZK? Maak hierbij ook onderscheid tussen MKB, grootbedrijf en kennisinstellingen.

√

√

√

C6 In welke mate is er bij aanvragen gebruikgemaakt van adviesbedrijven (consultants of subsidieadviseurs)?

√

√

√

Wat zijn de totale kosten verbonden aan het gebruik en de uitvoering van de regelingen (totaal van administratieve lasten
C7 bedrijven en uitvoeringskosten overheid)? Weer te geven in absolute bedragen en in verhouding tot de ingezette beleidsgelden (subsidiebudget) door EZK.

√

√

√

Bron:

Het ministerie van EZK (2018).

SEO ECONOMISCH ONDERZOEK

EUROSTARS, EUREKA CLUSTERS EN JTI’S, 2013 - 2018

73

Bijlage B Verantwoording enquête
B.1 Opzet en respons enquête
De enquête is in december 2019 uitgezet onder alle organisaties die in de periode van 2008 – 2018
een aanvraag hebben ingediend en waarvan de contactgegevens bij RVO.nl bekend waren. 52 Zowel
bedrijven als kennisinstellingen behoren tot de benaderde doelgroep. 53 Organisaties die meerdere
aanvragen hebben ingediend zijn meerdere keren benaderd, mits er voor elk project een verschillende contactpersoon bekend was. Deze contactpersonen zijn met een persoonlijke e-mail uitgenodigd om een bijdrage te leveren aan de evaluatie middels het invullen van een vragenlijst.
In totaal zijn er 1825 contactpersonen benaderd. Hiervan hebben er 289 een complete vragenlijst
ingevuld (~16% respons). De vragenlijsten zijn doorgaans ingevuld door de directeur/eigenaar of
het hoofd/medewerker R&D. De complete vragenlijsten zijn afkomstig van 216 unieke organisaties. Omdat sommige analyses worden uitgevoerd op aanvragersniveau en andere op organisatieniveau, creëren we een dataset met alle unieke aanvragers (d.w.z. respondenten) en een dataset met
unieke organisaties. Bij de dataset op organisatieniveau gaan we uit van de meest recente aanvraag
per organisatie.
Tabel B.1 geeft een overzicht van de verdelingen over type organisaties, regelingen, de aanvraagperiode, status van de aanvraag/project en de geografische markt waarin de organisatie actief is.
De eerste kolom geeft de verdelingen weer in de data op aanvragersniveau en de tweede kolom op
organisatieniveau.

52
53

Deze evaluatie heeft betrekking op de periode 2013 – 2018. Om de respons te verhogen, worden echter
ook aanvragers uit de vorige evaluatieperiode (2008 – 2012) meegenomen.
Enkele vragen in de enquête (bijv. met betrekking tot omzet) zijn niet getoond aan respondenten afkomstig
van kennisinstellingen.

SEO ECONOMISCH ONDERZOEK

74

BIJLAGE B

Tabel B.1

Frequentietabellen voor respondenten en organisaties
Aanvragers

Organisaties

Bedrijf

212 (73,4%)

190 (88,0%)

Kennisinstelling

77 (26,6%)

26 (12,0%)

Type organisatie

Regeling
Eurostars

184 (63,7%)

41 (19,0%)

Eureka Clusters

72 (24,9%)

153 (70,8%)

JTI

33 (11,4%)

22 (10,2%)

Aanvraagperiode
2008 – 2012

35 (12,1%)

24 (11,1%)

2013 – 2018

254 (87,9%)

192 (88,9%)

Toegewezen

187 (64,7%)

132 (61,1%)

Afgewezen

102 (35,3%)

84 (38,9%)

Afgerond

72 (38,5%)

52 (39,4%)

Lopend

115 (61,5%)

80 (60,6%)

Status aanvraag

Status project

Geografische markt
Lokaal / regionaal

12 (4,2%)

5 (2,3%)

Nationaal

53 (18,3%)

34 (15,7%)

Europees

64 (22,1%)

55 (25,5%)

Globaal

160 (55,4%)

122 (56,5%)

289

216

Totaal aantal
Bron:

SEO Economisch Onderzoek (2019). Noot: het aantal aanvragers ligt hoger dan het aantal organisaties,
omdat van sommige organisaties meerdere personen hebben gerespondeerd voor verschillende aanvragen. Vooral bij kennisinstellingen komt dit veel voor.

B.2 Vragenlijst enquête
Welkom
Hartelijk welkom bij de enquête naar de Nederlandse deelname aan Europese subsidieprogramma’s gericht op het stimuleren van internationale samenwerking bij innovatie (waaronder
[% instrumentnaam %] [% programmanaam %]). Deze enquête wordt in opdracht van het
ministerie van Economische Zaken en Klimaat uitgevoerd door SEO Economisch Onderzoek. Voor meer informatie over de achtergrond van deze enquête, verwijzen wij naar de uitnodigingsmail. Alvast dank voor uw medewerking aan het onderzoek.

SEO ECONOMISCH ONDERZOEK

VERANTWOORDING ENQUÊTE

75

Uw bijdrage is van belang
Wij verzoeken u om de enquête uiterlijk op 1 januari 2020 in te vullen.
Invullen van de enquête vergt u maximaal 10 minuten.
Hoe worden mijn data verwerkt?
De onderzoekers gaan zorgvuldig om met uw antwoorden en verwerken alle gegevens conform de door de Wet gestelde eisen. De verwerking van de gegevens in het onderzoek zal op
geaggregeerd niveau plaatsvinden en zijn niet te herleiden naar één persoon of organisatie. Uw
ingevulde enquête wordt op een afgeschermde server bewaard en slechts voor dit onderzoek
benut.
Vragen of opmerkingen?
Indien u vragen over deze enquête heeft dan kunt u een e-mail sturen naar: innovatie@seo.nl.
Start enquête
Klik op ‘Volgende’ om de enquête te starten.
V1

Heeft uw organisatie moeder- of dochterondernemingen?

1

Ja

2

Nee

T1

Onderstaande vragen gaan over uw organisatie exclusief moeder- en dochterondernemingen.

Programmeur:
Indien: V1 == 1

V2

Mijn organisatie is een…

1

bedrijf

2

kennisinstelling (universiteit, academisch ziekenhuis, etc. )

V3

Is uw organisatie de penvoerder voor subsidieaanvraag: [% instrumentnaam %] [% programmanaam %] [% projectnaam %]?

1

Ja

2

Nee

3

Weet ik niet / wil ik niet zeggen

V4

Klopt het dat uw subsidieaanvraag voor [% instrumentnaam %] [% programmanaam %] [%
projectnaam %] is [% status %]?

1

Ja

2

Nee

Contact

SEO ECONOMISCH ONDERZOEK

76

BIJLAGE B

T2

U heeft aangegeven dat uw subsidieaanvraag genaamd [% instrumentnaam %] [% programma-

Programmeur:

naam %] [% projectnaam %] niet is [% status %]. Dit komt niet overeen met onze administratie. Wij

Indien: V4 == 2

gaan dit voor u uitzoeken en zullen u een gecorrigeerde vragenlijst toesturen.
Indien u op ‘Volgende’ klikt worden uw antwoorden verzonden.

V5

Wat was voor uw organisatie de reden om de subsidieaanvraag in te dienen?
(Toelichting: meerdere antwoorden mogelijk).

1

Mijn organisatie wilde graag (meer) internationaal samenwerken

2

Mijn organisatie wilde graag financiële ondersteuning bij het ontwikkelen van een product, dienst of proces

3

Mijn organisatie wilde nieuwe samenwerkingspartners leren kennen

4

Mijn organisatie wilde toetreden tot een nieuwe markt

5

Mijn organisatie wilde innoveren om beter te kunnen concurreren

6

Anders, namelijk…

Open

7

Weet ik niet / wil ik niet zeggen

Exclusief

V6

Wat is de huidige status van het innovatieproject ([% instrumentnaam %] [% programmanaam

Programmeur:

%] [% projectnaam %])?

Aanvraag = toegewezen

1

Het project is afgerond

2

Het project is (nog) niet afgerond

V7A

Kunt u aangeven wat er zou zijn gebeurd met het innovatieproject ([% instrumentnaam %] [%

Programmeur:

programmanaam %] [% projectnaam %]) indien u geen subsidie had ontvangen? (Toelichting:

Aanvraag = toegewezen

meerdere antwoorden mogelijk).
1

Het project zou ongewijzigd zijn uitgevoerd

Exclusief

2

Het project zou in afgeslankte vorm zijn uitgevoerd

3

Het project zou vertraagd zijn uitgevoerd

4

Het project zou met andere partners zijn uitgevoerd

5

Het project zou niet zijn uitgevoerd

6

Het project zou later nogmaals zijn ingediend

7

Anders, namelijk …

Open

8

Weet ik niet / wil ik niet zeggen

Exclusief

V7B

Kunt u aangeven wat er is gebeurd met het innovatieproject ([% instrumentnaam %] [% pro-

Programmeur:

grammanaam %] [% projectnaam %]) na de afwijzing? (Toelichting: meerdere antwoorden

V3 == afgewezen

Exclusief

mogelijk).
1

Het project is ongewijzigd uitgevoerd

2

Het project is in afgeslankte vorm uitgevoerd

3

Het project is vertraagd uitgevoerd

4

Het project is met andere partners uitgevoerd

5

Het project is niet uitgevoerd

6

Het project is later nogmaals ingediend

7

Anders, namelijk …

Open

8

Weet ik niet / wil ik niet zeggen

Exclusief

SEO ECONOMISCH ONDERZOEK

Exclusief

Exclusief

VERANTWOORDING ENQUÊTE

V8A

77

U heeft aangegeven dat het project ([% instrumentnaam %] [% programmanaam %] [% project-

Programmeur:

naam %]) niet zou zijn uitgevoerd indien u geen subsidie had ontvangen. Zouden de geïnvesteerde

V7A == 5

middelen in dat geval zijn toegekend aan andere R&D-activiteiten?
1

Ja

2

Nee

3

Weet ik niet/ wil ik niet zeggen

V8B

U heeft aangegeven dat het innovatieproject ([% instrumentnaam %] [% programmanaam %] [%

Programmeur:

projectnaam %]) na afwijzing niet is doorgegaan. Zijn de (voor dit project bestemde) financiële

V7B == 5

middelen wel toegekend aan andere R&D-activiteiten?
1

Ja

2

Nee

3

Weet ik niet/ wil ik niet zeggen

V9A

U heeft aangegeven dat, indien u geen subsidie had ontvangen, u het project ([% instrumentnaam

Programmeur:

%] [% programmanaam %] [% projectnaam %]) met andere partners zou hebben uitgevoerd. Zou-

V7A == 4

den daar buitenlandse organisaties bij betrokken zijn?
(Toelichting: indien van toepassing graag een afgerond cijfer invullen).
1

Ja, (verwacht) aantal buitenlandse organisaties: ..

2

Nee

V9b

U heeft aangegeven dat het innovatieproject ([% instrumentnaam %] [% programmanaam %] [%

Programmeur:

projectnaam %]) met andere partners is uitgevoerd. Waren daarbij ook buitenlandse organisaties

V7B == 4

betrokken? (Toelichting: indien van toepassing graag een afgerond cijfer invullen).
1

Ja, aantal buitenlandse organisaties: ..

2

Nee

V10

In hoeverre zijn onderstaande stellingen van toepassing op uw organisatie? De deelname

Programmeur:

aan [% instrumentnaam %] [% programmanaam %] [% projectnaam %] heeft geleid tot…

Vijfpuntsschaal (zeer mee
oneens, t/m zeer mee eens)

1

… een snellere doorlooptijd van het innovatieproject

[% status %] == toegewezen

2

… verwerving van waardevolle nieuwe technologische kennis

3

… benutten van schaalvoordelen in innovatieactiviteiten

4

… kennismaking met internationale organisaties die ik anders niet had gekend

5

… productiviteitsgroei binnen de organisatie

6

… betere bedrijfsprestaties in het algemeen (omzet, winst etc.)

7

… het aantrekken van nieuwe R&D-medewerkers

8

… meer omzet uit nieuwe en verbeterde producten en/of diensten

9

… meer internationaal R&D-samenwerking

10

… mijn organisaties beter gepositioneerd is om internationaal samen te werken

11

… betere internationale R&D-samenwerking

Indien V2 == 1
Indien V2 == 1

SEO ECONOMISCH ONDERZOEK

78

BIJLAGE B

V11

Met hoeveel Europese organisaties werkt uw organisatie tussen [% jaren %] samen op het gebied

Programmeur:

van R&D? (Toelichting: Het gaat hier om het totaal aantal organisaties (niet specifiek voor het

Numeriek

innovatieproject). Indien u dit niet weet volstaat een inschatting. Indien u dit niet wilt aangeven vult
u dan '-999' in).
V12

Uit welke Europese landen komen deze organisaties?
(Toelichting: meerdere antwoorden mogelijk).

1

België

16

Luxemburg

2

Bulgarije

17

Malta

3

Cyprus

18

Nederland

4

Denemarken

19

Oostenrijk

5

Duitsland

20

Polen

6

Estland

21

Portugal

7

Finland

22

Roemenië

8

Frankrijk

23

Slovenië

9

Griekenland

24

Slowakije

10

Hongarije

25

Spanje

11

Ierland

26

Tsjechië

12

Italië

27

Verenigd Koninkrijk

13

Kroatië

28

Zweden

14

Letland

29

Overig, namelijk …

15

Litouwen

30

Weet ik niet / wil ik niet zeggen

V13

Kunt u toelichten waarom u heeft gekozen om een aanvraag in te dienen voor [% instrumentnaam

Programmeur:

%] [% programmanaam %] en niet voor een andere manier van financiering? (Toelichting: beant-

Open vraag

woording van deze vraag is niet verplicht)

V14

Heeft uw organisatie gedurende de jaren [% jaren %] het volgende geïntroduceerd:

Programmeur:

1

Productinnovaties (nieuwe of sterk verbeterde producten)

2

Dienstinnovaties (nieuwe of sterk verbeterde diensten)

3

Procesinnovaties (nieuwe of sterk verbeterde manieren van werken)

V15

Hoeveel procent van de omzet van uw organisatie in 2018 komt voort uit nieuwe of sterk verbeterde

Programmeur:

producten/diensten? (Toelichting: een inschatting volstaat, gelieve een cijfer in te vullen. Indien u

Indien V2 == 1

dit niet weet of wilt delen vul dan ‘-999’ in).

Numerieke vraag

Hoe vaak heeft u gedurende de jaren [% jaren %] octrooi of patent aangevraagd?

Programmeur:

(Toelichting: Gelieve een afgerond getal in te vullen. Indien u dit niet weet of wilt delen vul dan ‘-

Numeriek, min = 0

Grid (Ja, Nee)

V16A

999’ in).

SEO ECONOMISCH ONDERZOEK

VERANTWOORDING ENQUÊTE

V16B

V17

79

Hoe vaak heeft u gedurende de jaren [2013 – 2018] met betrekking tot het innovatieproject ([%

Programmeur:

instrumentnaam %] [% programmanaam %] [% projectnaam %]) waar u subsidie voor heeft aan-

Numeriek, min = 0

gevraagd gepubliceerd? (Toelichting: Gelieve een afgerond getal in te vullen).

V2 = 2

Is uw organisatie gedurende de jaren [% jaren %] toegetreden tot nieuwe buitenlandse markten?
(Toelichting: indien van toepassing graag de landen invullen, bijvoorbeeld 'Duitsland, Spanje').

1

Ja, tot de volgende buitenlandse markt(en):

2

Nee

Open

V18

Is uw organisatie gedurende de jaren [% jaren %] zich gaan bezighouden met de volgende technologieën’?
(Toelichting: Meerdere antwoorden mogelijk).

1

Robotica

2

Kunstmatige intelligentie

3

Internet der dingen

4

Big data

5

3D-printing

6

Anders, namelijk …

Open

7

Geen van bovenstaande

Exclusief

V19

In hoeverre bent u het met onderstaande stellingen eens?

Programmeur:
Vijfpuntsschaal
(zeer mee oneens,

Door de subsidieregeling ([% instrumentnaam %][% programmanaam %])…

t/m zeer mee eens)

1

… wordt de concurrentiekracht van de Nederlandse industrie versterkt

2

… wordt de concurrentiekracht van de Europese industrie versterkt

3

… wordt er door Nederlandse organisaties meer samengewerkt met buitenlandse partners

4

… is Nederland beter in staat om te gaan met maatschappelijke uitdagingen (energietransitie, digitalisering, etc.)

5

… zijn Nederlandse organisaties actiever op het gebied van R&D

6

… geven Nederlandse organisaties meer geld uit aan R&D-activiteiten

V20

Ziet u kansen of verbeterpunten voor de subsidieregeling ([% instrumentnaam %][% programma-

Programmeur:

naam %])? (Toelichting: beantwoording van deze vraag is niet verplicht)

Open vraag

Kunt u een inschatting maken hoeveel uur administratieve verplichtingen uw organisatie heeft be-

Programmeur:

steed aan:

Numeriek

V21A

Min = 0
Voor aanvang project ([% projectnaam %])?
(Toelichting: Administratieve verplichtingen zijn administratieve handelingen die verplicht zijn om
te voldoen aan de regeling. Voorbeelden zijn het verzamelen van informatie, het ter beschikking
stellen van informatie via het invullen van formulieren en verslaglegging via rapportages. Een inschatting volstaat, graag antwoorden met afgeronde cijfers. Indien u dit niet weet of niet wilt delen
vul dan '-999' in).

SEO ECONOMISCH ONDERZOEK

80

BIJLAGE B

V21B

Kunt u een inschatting maken hoeveel uur administratieve verplichtingen uw organisatie heeft be-

Programmeur:

steed aan:

Numeriek
Min = 0

Tijdens de uitvoering van het project ([% projectnaam %])?

Subsidie gekregen

(Toelichting: Administratieve verplichtingen zijn administratieve handelingen die verplicht zijn om
te voldoen aan de regeling. Voorbeelden zijn het verzamelen van informatie, het ter beschikking
stellen van informatie via het invullen van formulieren en verslaglegging via rapportages. Een inschatting volstaat, graag antwoorden met afgeronde cijfers. Indien u dit niet weet of niet wilt delen
vul dan '-999' in).
V21C

Kunt u een inschatting maken hoeveel uur administratieve verplichtingen uw organisatie heeft be-

Programmeur:

steed aan:

Numeriek
Min = 0

Na afronding van het project ([% projectnaam %])?

Project afgerond

(Toelichting: Administratieve verplichtingen zijn administratieve handelingen die verplicht zijn om
te voldoen aan de regeling. Voorbeelden zijn het verzamelen van informatie, het ter beschikking
stellen van informatie via het invullen van formulieren en verslaglegging via rapportages. Een inschatting volstaat, graag antwoorden met afgeronde cijfers. Indien u dit niet weet of niet wilt delen
vul dan '-999' in).

V22

Als u terugdenkt aan de ondersteuning van RVO bij uw innovatieproject: ([% projectnaam %]),

Programmeur:
Vijfpuntsschaal

In hoeverre bent u het dan eens met onderstaande stellingen:

(zeer mee oneens,
t/m zeer mee eens,
nvt)

1

Ik ben in het algemeen tevreden over de dienstverlening van RVO

2

RVO had voldoende vaardigheden en/of kennis van zaken

3

RVO gaf goede uitleg over de subsidiemaatregelen

4

RVO heeft mijn subsidieaanvraag goed begeleid

5

De aanvraagprocedure bij RVO is eenvoudig

V23

Heeft uw organisatie voor het innovatieproject ([% projectnaam %]) gebruikgemaakt van een inter-

Programmeur:

mediair of subsidie-adviseur om uw aanvraag in te dienen?
1

Ja, op basis van inspanningsverplichting

2

Ja, op basis van no cure no pay

3

Nee

V24

Kunt u toelichten waarom uw organisatie ervoor heeft gekozen om een intermediair of subsidie-

Programmeur:

adviseur in te schakelen? (Toelichting: beantwoording van deze vraag is niet verplicht).

Open vraag
V23 == 1,2

SEO ECONOMISCH ONDERZOEK

VERANTWOORDING ENQUÊTE

V25

V26

81

Wat waren (ongeveer) de kosten van deze intermediair of subsidie-adviseur?

Programmeur:

(Toelichting: Een inschatting volstaat, graag antwoorden met een afgerond cijfer. Indien u dit niet

Numerieke vraag

weet of wilt delen vul dan '-999' in).

V23 == 1,2

In hoeverre vindt u dat de voorwaarden en beoordelingscriteria bij de projectaanvraag van [% instru-

Programmeur:

mentnaam %] [% programmanaam %] helder zijn?

(niet,

nauwelijks,

enigszins, grotendeels, volledig)

V27

Heeft uw organisatie deelgenomen aan (andere) projecten binnen het Europese programma Hori-

Programmeur:

zon 2020?
1

Ja

2

Nee

V28

Beoordeelt u deze (andere Horizon 2020) aanvraagprocedure als eenvoudiger, vergelijkbaar of

Programmeur:

ingewikkelder ten opzichte van de aanvraagprocedure van [% instrumentnaam %] [% programma-

Indien V27 == 1

naam %]?
1

Eenvoudiger

2

Vergelijkbaar

3

Ingewikkelder

V29

Ziet u kansen of verbeterpunten voor de uitvoering van [% instrumentnaam %] [% program-

Programmeur:

manaam %]? (Toelichting: beantwoording van deze vraag is niet verplicht).

Indien toegewezen
Open vraag

V30

In het kader van dit onderzoek willen wij enkele organisaties nog enkele verdiepende vragen stellen
over hun ervaringen met [% instrumentnaam %] [% programmanaam %]. Zouden wij u eventueel
mogen benaderen om mee te doen aan een interview?

1

Ja, u kunt mij benaderen op het volgende mailadres:

2

Nee

V31

Wat is uw functie binnen de organisatie?

1

Directeur / eigenaar

2

Hoofd of medewerker financiële afdeling

3

Hoofd of medewerker R&D

4

Anders, namelijk…

V32

In welke van de volgende geografische gebieden is uw organisatie (zonder moeder- en dochterorganisaties) hoofdzakelijk actief?

1

Lokaal / regionaal

2

Nationaal

3

Europees

4

Wereldwijd

SEO ECONOMISCH ONDERZOEK

Programmeur:

82

BIJLAGE B

V33

V34

TEKST

Heeft u naar aanleiding van het ontvangen van de subsidieregeling ([% instrumentnaam %] [%

Programmeur:

programmanaam %]) een succesverhaal of een knelpunt dat wij eventueel mogen belichten in het

Open vraag

onderzoeksrapport? (Toelichting: Beantwoording van deze vraag is niet verplicht).

V3 == toegewezen

Heeft u naar aanleiding van deze enquête nog vragen of opmerkingen?

Programmeur:

(Toelichting: Beantwoording van deze vraag is niet verplicht).

Open vraag

Indien u op ‘Volgende’ klikt worden uw antwoorden verzonden.

SEO ECONOMISCH ONDERZOEK

EUROSTARS, EUREKA CLUSTERS EN JTI’S, 2013 - 2018

Bijlage C Additionele tabellen en figuren
C.1 Enquête
Figuur C.1

Bron:

SEO Economisch Onderzoek (2019)

Figuur C.2

Bron:
Noot:

Redenen voor deelname regelingen uitgesplitst naar regeling

Percepties over eerste-orde-effecten uitgesplitst naar regeling

SEO Economisch Onderzoek (2019)
Labels (percentages) van balkjes onder de 10 procent zijn niet weergegeven.

SEO ECONOMISCH ONDERZOEK

83

84

BIJLAGE C

Figuur C.3

Bron:
Noot:

SEO Economisch Onderzoek (2019) in figuur orde-effecten en Clusters
Labels (percentages) van balkjes onder de 10 procent zijn niet weergegeven

Figuur C.4

Bron:
Noot:

Percepties over tweede-orde-effecten uitgesplitst naar regeling

Percepties over derde-orde-effecten uitgesplitst naar regeling

SEO Economisch Onderzoek (2019)
Labels (percentages) van balkjes onder de 10 procent zijn niet weergegeven

SEO ECONOMISCH ONDERZOEK

ADDITIONELE TABELLEN EN FIGUREN

Tabel C.1

85

Ruwe verschillen tussen organisaties met toe- en afgewezen aanvraag (t-toetsen)
95% betrouwbaarheidsinterval
van het verschil

Gemiddelden
Afgewezen

Toegewezen

Onderkant

Bovenkant

Aantal Europese R&Dsamenwerkingspartners

36,68

25,06

-20,29

43,53

0,47

Aantal verschillende R&Dsamenwerkingslanden

5,75

5,83

-1,40

1,24

0,90

5220,40

5555,76

-2066,31

1395,59

0,70

Aantal octrooien

2,69

26,64

-67,79

19,89

0,28

Aantal publicaties

3,64

4,47

-5,28

3,61

0,70

61,07

44,90

4,87

27,48

0,01

𝒑𝒑-waarde

Eerste-orde-effecten

Afstand samenwerkingslanden tot thuisland
Tweede-orde-effecten

Derde-orde-effecten
Percentage
omzet
uit
nieuwe producten/diensten

Bron:

SEO Economisch Onderzoek (2019)

Tabel C.2

Ruwe verschillen tussen organisaties met toe- en afgewezen aanvraag (chi-kwadraat
toetsen)
Afgewezen
Wel

Toegewezen

Niet

Wel

Niet

𝒑𝒑-waarde

Eerste-orde-effecten
Tweede-orde-effecten
Productinnovaties geïntroduceerd

64

9

96

21

0,41

Dienstinnovaties geïntroduceerd

36

37

55

62

0,87

Procesinnovaties geïntroduceerd

39

34

66

51

0,80

Toegetreden tot nieuwe buitenlandse markten

49

35

65

67

0,24

Bezig gaan houden met nieuwe technologieën

65

19

104

28

0,94

Derde-orde-effecten
Bron:

SEO Economisch Onderzoek (2019)

SEO ECONOMISCH ONDERZOEK

86

BIJLAGE C

Figuur C.5

Bron:
Noot:

SEO Economisch Onderzoek (2019)
Deze stellingen zijn voorgelegd aan alle respondenten (n = 289) en vervolgens uitgesplitst naar subsidieregeling. Labels (percentages) van balkjes onder de 10 procent zijn niet weergegeven

Figuur C.6

Bron:
Noot:

Mening over bredere economische impact uitgesplitst naar regeling

Mening over bredere economische impact uitgesplitst naar aanvraagstatus

SEO Economisch Onderzoek (2019)
Deze stellingen zijn voorgelegd aan alle respondenten (n = 289) en vervolgens uitgesplitst naar aanvraagstatus. Labels (percentages) van balkjes onder de 10 procent zijn niet weergegeven.

SEO ECONOMISCH ONDERZOEK

ADDITIONELE TABELLEN EN FIGUREN

Figuur C.7

Bron:
Noot:

Additionaliteit toegewezen aanvragen uitgesplitst naar subsidieregeling

SEO Economisch Onderzoek (2019)
Deze vraag is voorgelegd aan alle respondenten met een toegewezen subsidieaanvraag (n = 187) en
vervolgens uitgesplitst naar subsidieregeling. Respondenten konden meerdere antwoorden aanvinken.

Figuur C.8

Bron:
Noot:

87

Additionaliteit afgewezen aanvragen uitgesplitst naar subsidieregeling

SEO Economisch Onderzoek (2019)
Deze vraag is voorgelegd aan alle respondenten met een afgewezen subsidieaanvraag (n = 102) en
vervolgens uitgesplitst naar subsidieregeling. Respondenten konden meerdere antwoorden aanvinken

SEO ECONOMISCH ONDERZOEK

88

BIJLAGE C

Figuur C.9

Bron:
Noot:

Mening over ondersteuning RVO uitgesplitst naar aanvraagstatus

SEO Economisch Onderzoek (2019)
Deze stellingen zijn voorgelegd aan alle respondenten (n = 289) en vervolgens uitgesplitst naar aanvraagstatus

SEO ECONOMISCH ONDERZOEK

ADDITIONELE TABELLEN EN FIGUREN

89

C.2 Doelgroepanalyse CBS-microdata
Tabel C.10

Verschillen tussen bedrijven met een toewijzing, afwijzing en geen deelname aan een
Eureka Clustersproject
toegewezen

afgewezen

afgewezen
met score

afgewezen
zonder score

geen
deelname*

Hoogopgeleid

65%

60%

60%

61%

40%

Middelbaar opgeleid

11%

14%

11%

16%

22%

Laag opgeleid

3%

1%

1%

1%

6%

Opleiding onbekend

21%

25%

28%

21%

32%

% man

85%

83%

81%

85%

84%

% jonge medewerker ( < 35 jaar)

37%

38%

37%

40%

32%

% oudere medewerker ( > 55 jaar)

8%

12%

16%

7%

32%

gemiddelde leeftijd

39,1

39,0

39,6

38,3

41,0

geen migratieachtergrond

76,5%

71,0%

69,9%

72,2%

84,6%

niet-westerse migratieachtergrond**

9,5%

8,8%

8,4%

9,3%

5,4%

westerse migratieachtergrond

13,9%

20,2%

21,8%

18,5%

10,0%

49

96

48

48

N
Bron:

SEO Economisch Onderzoek (2019) op basis van data RVO en CBS
* Bedrijven die gebruikmaken van de WBSO, maar niet van een van de regelingen. Bedrijven die wel aan
Eurostars of JTI hebben deelgenomen, maar niet aan Eureka clusters zijn eveneens buiten de groep
‘geen deelname’ gelaten
** Inclusief medewerkers met een Turkse, Marokkaanse, Surinaamse of Antilliaanse migratieachtergrond.

SEO ECONOMISCH ONDERZOEK

90

BIJLAGE C

Tabel C.11

Verschillen tussen bedrijven met een toewijzing, afwijzing en geen deelname aan een
JTI-project
toegewezen

afgewezen

afgewezen
met score

afgewezen
zonder score

geen
deelname*

Hoogopgeleid

57%

66%

65%

68%

40%

Middelbaar opgeleid

14%

11%

11%

11%

22%

Laag opgeleid

4%

3%

4%

2%

6%

Opleiding onbekend

25%

20%

20%

19%

32%

% man

83%

82%

81%

84%

84%

% jonge medewerker ( < 35 jaar)

39%

39%

40%

39%

32%

% oudere medewerker ( > 55 jaar)

12%

10%

11%

8%

32%

gemiddelde leeftijd

39,6

39,0

39,2

38,7

41,0

geen migratieachtergrond

76,3%

74,1%

70,8%

79,8%

84,6%

niet-westerse migratieachtergrond**

9,1%

6,4%

7,0%

5,4%

5,4%

westerse migratie achtergrond

14,6%

19,5%

22,2%

14,8%

10,0%

55

101

64

37

N
Bron:

SEO Economisch Onderzoek (2019) op basis van data RVO en CBS.
* Bedrijven die gebruikmaken van de WBSO, maar niet van een van de regelingen. Bedrijven die wel aan
Eureka Clusters of Eurostars hebben deelgenomen, maar niet aan JTI’s zijn eveneens buiten de groep
‘geen deelname’ gelaten
** Inclusief medewerkers met een Turkse, Marokkaanse, Surinaamse of Antilliaanse migratieachtergrond.

SEO ECONOMISCH ONDERZOEK

EUROSTARS, EUREKA CLUSTERS EN JTI’S, 2013 - 2018

91

Bijlage D Econometrische methoden
D.1 Regression discontinuity design
De zuiverste manier om het effect van de deelname aan Eurostars, Eureka Clusters en JTI’s te
onderzoeken is door middel van een regression discontinuity design (RDD). De RDD-methode
vergelijkt de groep die een toewijzing heeft gekregen voor de projectaanvraag met de bedrijven die
zijn afgewezen. Daarnaast wordt de score van het project meegenomen in de analyse, wat zorgt
voor een correctie voor de kwaliteit van het project. Voor toekenning van een financieel instrument
geldt elk jaar een grens. Deze grens is het afkappunt voor het wel of niet verkrijgen van een subsidie.
Figuur D.1:

Bron:

Illustratie RDD

SEO Economisch Onderzoek (2019)

In formulevorm kan de RDD-methode als volgt worden geschreven:
𝑦𝑦 = 𝛽𝛽0 + 𝛽𝛽1 𝐵𝐵 + 𝛽𝛽2 𝑆𝑆 + 𝛽𝛽3 (𝐵𝐵 × 𝑆𝑆) + 𝜀𝜀

waarin y de relevante uitkomstmaat is. B is een dummyvariabele voor bedrijven die een subsidie
hebben ontvangen en 𝑆𝑆 is de score van de projectaanvraag. Het effect van de subsidie wordt gemeten in 𝛽𝛽1 .

Modellen met verschillende uitkomstmaten op verschillende meetmomenten zijn geschat. Er wordt
gekeken of er een effect is 1 jaar vóór aanvraag tot en met 3 jaar na aanvraag. Op alle meetmomenten worden er geen significante effecten gevonden van de toekenning van het financieel instrument
op de genoemde uitkomstmaten.

SEO ECONOMISCH ONDERZOEK

92

BIJLAGE D

Het nadeel van een RDD model is dat de onderzochte groep alleen bestaat uit bedrijven die een
score hebben gekregen voor het projectvoorstel. Als gevolg worden de aanvragen zonder score
niet meegenomen in de analyse. Een goed alternatief is het gebruik van een DID-model, omdat er
meer controlegroepen mogelijk zijn.

D.2 Difference-in-differences
In een ‘difference-in-differences’-regressie worden (constante) verschillen tussen behandelde en
niet-behandelde groepen expliciet gemodelleerd, om zo verschillen tussen deze groepen ‘uit’ het
échte effect te ‘filteren’. Figuur D.2 illustreert hoe dit in zijn werk gaat. De uitkomstmaat voor de
controlegroep maakt een bepaalde trendmatige ontwikkeling door die niet kan worden veroorzaakt
door de interventie; deze groep krijgt immers geen subsidie. De uitkomstmaat voor de behandelgroep beweegt in dezelfde richting, maar stijgt na de subsidie bijvoorbeeld harder. Figuur D.2 laat
zien dat in de nulmeting al sprake was van een verschil tussen de interventie- en controlegroep (pijl
0). Het zou daarom onterecht zijn het verschil tussen de interventiegroep en de controlegroep in
de effectmeting (pijl 1) als effect te beschouwen. Een difference-in-differences analyse vergelijkt de ontwikkeling in de behandelgroep met de ontwikkeling in de controlegroep. Het verschil tussen de
twee (pijl 2), gecorrigeerd voor relevante samenstellingseffecten, kan als het effect van de interventie op de uitkomstmaat worden beschouwd.
Figuur D.2:

Bron:

Illustratie DID

SEO Economisch Onderzoek (2019)

In wiskundige termen, als we ondernemingen in groep T definiëren als ondernemingen die een
subsidie ontvangen en groep C als andere ondernemingen dan schatten we verschillende varianten
van de volgende vergelijking:
𝑦𝑦 = 𝛽𝛽0 + 𝛽𝛽1 𝐵𝐵 + 𝛽𝛽2 𝐷𝐷 + 𝛽𝛽3 (𝐵𝐵 × 𝐷𝐷) + 𝜀𝜀

SEO ECONOMISCH ONDERZOEK

ECONOMETRISCHE METHODEN

93

waarin y de relevante uitkomstmaat is. B is een dummyvariabele die mogelijke verschillen tussen de
groepen T en C voor verlening van een subsidie oppikt. D is een dummyvariabele voor de verschillen tussen de periode voor en de periode na de subsidie, die veranderingen in y oppikken die er ook
zonder verlening van een subsidie zouden zijn. Het product van B en D oftewel coëfficiënt 𝛽𝛽3 is
de effectmeting. Deze coëfficiënt geeft het verschil weer binnen de groepen voor (periode 1) en na
(periode 2) verlening van een subsidie en tussen de groepen T en C:
𝑏𝑏�3 = �𝑦𝑦�𝑇𝑇,2 − 𝑦𝑦�𝑇𝑇,1 � − (𝑦𝑦�𝐶𝐶,2 − 𝑦𝑦�𝐶𝐶,1 )

waarbij �𝑦𝑦�𝑇𝑇,2 − 𝑦𝑦�𝑇𝑇,1 � het verschil in ontwikkeling is binnen de groep bedrijven met een subsidie

over de tijd, en �𝑦𝑦�𝑇𝑇,2 − 𝑦𝑦�𝑇𝑇,1 � − (𝑦𝑦�𝐶𝐶,2 − 𝑦𝑦�𝐶𝐶,1 ) het verschil van het verschil met de controlegroep
(vanwaar de naam difference-in-differences).
Zoals eerder genoemd, kunnen bij een DID-model verschillende controlegroepen worden gedefinieerd. Zo kunnen we net als met de RDD de toegewezen en afgewezen met score met elkaar
vergelijken, maar kunnen ook de toegewezen worden vergeleken met de afgewezen zonder score.
Bij deze twee opties wordt er gekeken naar het effect van de toekenning van het financiële instrument. Echter is het ook interessant om te kijken of het doen van een aanvraag effect heeft op de
verschillende uitkomstmaten. Dit wordt gedaan door bedrijven zonder aanvraag in de controlegroep op te nemen. De drie verschillende definities van de controle groep worden hieronder beschreven.
Controle groep 3 bestaat uit een selectie van bedrijven die gebruikmaken van de WBSO-regeling.
De controlegroep wordt vergelijkbaar gemaakt met de behandelgroep door middel van een matching techniek. Hiervoor worden kenmerken gebruikt als het aandeel hoger opgeleiden, de grootteklasse en de gemiddelde leeftijd van werknemers. Het nadeel van het gebruik van een DID model is dan projecten van uiteenlopende kwaliteit “op één hoop” worden gegooid.

D.3 Difference-in-differences met matching
De controlegroep met bedrijven die geen aanvraag hebben gedaan wordt gevormd op basis van
matching. De controlegroep bestaat uit bedrijven uit de WBSO-regeling die het meest vergelijkbaar
zijn met de bedrijven die de subsidie hebben ontvangen.
De techniek die is gebruikt om de controlegroep te vormen heet propensity score matching. In de eerste
stap wordt met behulp van een logit model geschat welke kenmerken samenhangen met het deelnemen aan de regeling. Vervolgens wordt op basis van deze schatting een kans op het deelnemen
aan de regeling geplakt op alle bedrijven in de WBSO-populatie. De bedrijven die een aanvraag
hebben gedaan worden vervolgens ‘gematcht’ aan de bedrijven uit de WBSO-regeling op basis van
de kans op deelname. Per bedrijf in de behandelgroep worden 2 bedrijven uit de WBSO-regeling
geselecteerd. Hiervoor is gekozen omdat deze 1-op-1 matching leidt tot niet-robuuste resultaten.
De controlebedrijven worden zonder vervanging geselecteerd. Dit betekent dat bedrijven in de
controlegroep niet dubbel kunnen voorkomen.

SEO ECONOMISCH ONDERZOEK

EUROSTARS, EUREKA CLUSTERS EN JTI’S, 2013 - 2018

95

Bijlage E Additionele modelschattingen
E.1 RDD-analyses
Tabel E.1

Eerste-orde-effecten RDD-schattingen, waarin alle bedrijven zijn meegenomen
R&D-uren/fte

Log(R&D-uren)

R&D-uren

614,7
***(65,6)***

6,4
***(0,4)***

9509
***(2235)***

Toewijzing Eurostars

61,8
(117,7)

1,1
(0,7)

1379
(4011)

Score

0,0
(0,8)

0,0
(0,0)

9
(26)

N

367

401

401

R²

0,002

0,030

0,003

Constante

Bron:

SEO Economisch Onderzoek
*** 1% significant; ** 5% significant; * 10% significant. Standaardfout tussen haakjes

Tabel E.2

Derde-orde-effecten RDD-schattingen, waarin alle bedrijven zijn meegenomen
Omzet / fte
(x € 1000)

log(Omzet)

log(fte)

Omzet
(x € 1000)

fte

150,5
***(39,7)***

12,0
***(0,8)***

2,7
***(0,3)***

3017
***(840)***

43,8
***(15,0)***

Toewijzing Eurostars

-51,4(71,0)

-0,3(1,4)

-0,6(0,5)

503
(1516)

-19,1(26,8)

Score

0,1
(0,4)

0,0
(0,0)

0,0
(0,0)*

-0,3(8,8)

0,1
(0,2)

N

200

211

200

211

200

R²

0,003

0,007

0,017

0,001

0,003

Constante

Bron:

SEO Economisch Onderzoek
*** 1% significant; ** 5% significant; * 10% significant. Standaardfout tussen haakjes

SEO ECONOMISCH ONDERZOEK

96

BIJLAGE E

E.2 DID-analyses
Tabel E.3

De DID-analyses op R&D-uren tussen verschillende experiment- en controlegroepen
Toegewezen vs. afgewezen

Toegewezen vs. afg. Toegewezen vs. afg.
met score
zonder score

Score vs. geen
score

Constante

8759,9 (479,0)***

9295,2 (579,5)***

7345,7 (862,5)***

7345,7 (914,1)***

Behandelgroep

2286,2 (794,2)***

1750,9 (873,0)**

3700,4 (1049,4)***

2721,0 (1006,2)***

-1 jaar

-1353,9 (1179,2)

-1090,7 (1432,8)

-1972,9 (2099,8)

-1972,9 (2225,5)

0 jaar

-889,7 (1129,1)

-469,3 (1376,7)

-1838,3 (1994,0)

-1838,3 (2113,4)

1 jaar

-753,5 (1222,0)

-474,5 (1479,2)

-1482,4 (2197,9)

-1482,4 (2329,4)

2 jaar

175,5 (1498,9)

112,8 (1794,8)

227,8 (2777,7)

227,8 (2943,9)

3 jaar

2131,9 (2488,1)

3984,4 (2887,7)

-5493,1 (5112,8)

-5493,1 (5418,8)

4 jaar

-3988,1 (8950,4)

-3330,4 (10313,7)

-7345,7 (18875,9)

-7345,7 (20005,6)

-1 jaar

314,9 (1919,6)

51,7 (2118,8)

933,8 (2540,0)

941,0 (2449,9)

0 jaar

1077,5 (1855,7)

657,1 (2048,9)

2026,1 (2430,4)

1690,2 (2333,5)

1 jaar

2363,1 (2028,2)

2084,1 (2229,5)

3092,0 (2676,4)

1924,1 (2565,1)

2 jaar

364,9 (2382,0)

427,6 (2619,3)

312,6 (3281,2)

144,1 (3205,5)

3 jaar

-2524,3 (3432,1)

-4376,8 (3778,0)

5100,7 (5578,1)

7150,6 (5710,7)

4 jaar

106,7 (10667,4)

-551,0 (11922,4)

3464,3 (19654,1)

4143,7 (20624,3)

N

4886

4048

2671

4886

R²

0,005

0,003

0,014

0,005

Aantal jaar vanaf
aanvraag

Effect behandelgroep

Bron:
Noot:

SEO Economisch Onderzoek (2020)
*** 1% significant; ** 5% significant; * 10% significant. Standaardfout tussen haakjes
Er zijn aparte effecten geschat voor het jaar vóór aanvang tot en met het einde van het project (maximaal
4 jaar). Daarnaast is getest op joint signifcance: één effect vanaf het jaar vóór aanvang tot zo lang het
project loopt. Hierbij zijn geen significante effecten gevonden. De oplopende standaardfouten in jaar 3 en
4 worden veroorzaakt door het kleiner aantal projecten dat zo lang doorloopt.

SEO ECONOMISCH ONDERZOEK

ADDITIONELE MODELSCHATTINGEN

Tabel E.4

97

De DID-analyses op log(R&D-uren) tussen verschillende experiment- en controlegroepen
Toegewezen vs. af- Toegewezen vs. afg. Toegewezen vs. afg.
gewezen
met score
zonder score

Score vs. geen
score

Constante

5,9 (0,1)***

6,3 (0,1)***

4,8 (0,2)***

4,8 (0,2)***

Behandelgroep

1,0 (0,2)***

0,6 (0,2)***

2,1 (0,2)***

1,8 (0,2)***

-1 jaar

0,2 (0,2)

0,0 (0,3)

0,8 (0,4)*

0,8 (0,4)*

0 jaar

0,3 (0,2)

0,2 (0,3)

0,5 (0,4)

0,5 (0,4)

1 jaar

0,1 (0,2)

0,1 (0,3)

0,1 (0,5)

0,1 (0,5)

2 jaar

0,2 (0,3)

-0,1 (0,3)

0,9 (0,6)*

0,9 (0,6)

3 jaar

-0,2 (0,5)

0,0 (0,5)

-1,3 (1,1)

-1,3 (1,1)

4 jaar

0,9 (1,8)

2,2 (1,9)

-4,8 (3,9)

-4,8 (4,0)

-1 jaar

-0,1 (0,4)

0,2 (0,4)

-0,7 (0,5)

-0,7 (0,5)

0 jaar

0,3 (0,4)

0,4 (0,4)

0,0 (0,5)

-0,2 (0,5)

1 jaar

0,5 (0,4)

0,5 (0,4)

0,5 (0,6)

0,2 (0,5)

2 jaar

0,0 (0,5)

0,3 (0,5)

-0,8 (0,7)

-0,9 (0,6)

3 jaar

-0,1 (0,7)

-0,2 (0,7)

1,0 (1,2)

1,2 (1,1)

4 jaar

-2,7 (2,1)

-4,0 (2,3)*

2,9 (4,1)

4,1 (4,1)

N

4886

4048

2671

4886

R²

0,019

0,011

0,061

0,026

Aantal jaar vanaf
aanvraag

Effect behandelgroep

Bron:
Noot:

SEO Economisch Onderzoek (2020)
*** 1% significant; ** 5% significant; * 10% significant. Standaardfout tussen haakjes
Er zijn aparte effecten geschat voor het jaar vóór aanvang tot en met het einde van het project (maximaal
4 jaar). Daarnaast is getest op joint signifcance: één effect vanaf het jaar vóór aanvang tot zo lang het
project loopt. Hierbij zijn geen significante effecten gevonden. De oplopende standaardfouten in jaar 3 en
4 worden veroorzaakt door het kleiner aantal projecten dat zo lang doorloopt.

SEO ECONOMISCH ONDERZOEK

98

BIJLAGE E

Tabel E.5

De DID-analyses op omzet (x €1000) tussen verschillende experiment- en controlegroepen
Toegewezen vs afgewezen

Toegewezen vs.
afg. met score

Toegewezen vs.
afg. zonder score

Score vs. geen
score

Constante

4816,0 (497,9)***

5732,0 (647,7)***

2635,1 (418,8)***

2635,1 (915,8)***

Behandelgroep

-1439,4 (789,9)*

-2355,4 (931,5)**

741,5 (504,1)

1958,1 (1010,2)*

0 jaar

1740,6 (1731,3)

1492,1 (2188,4)

1919,2 (1574,1)

1919,2 (3441,8)

1 jaar

2333,9 (1867,3)

1746,4 (2293,4)

3220,7 (1877,3)*

3220,7 (4104,8)

2 jaar

840,8 (2155,8)

-407,2 (2640,8)

4349,8 (2186,3)**

4349,8 (4780,5)

3 jaar

-315,3 (2665,4)

-1220,3 (3250,9)

1820,3 (2746,4)

1820,3 (6005,1)

4 jaar

-1766,0 (2648,8)

-2799,7 (3088,5)

1317,9 (3529,1)

1317,9 (7716,5)

0 jaar

884,2 (3145,0)

1132,8 (3606,3)

705,7 (1980,1)

271,6 (3791,6)

1 jaar

5769,4 (3444,1)*

6356,9 (3904,0)

4882,6 (2297,3)**

1011,9 (4441,5)

2 jaar

4102,9 (4194,4)

5350,9 (4733,2)

593,9 (2736,8)

-2706,5 (5183,0)

3 jaar

6572,1 (5429,3)

7477,1 (6102,0)

4436,5 (3496,6)

-472,5 (6510,6)

4+ jaar

8629,2 (5508,7)

9663,0 (6111,0)

5545,3 (4163,9)

-1152,0 (8091,3)

N

4400

3641

2399

4400

R2

0,004

0,005

0,031

0,003

Aantal jaar vanaf
eind project

Effect behandelgroep

Bron:
Noot:

SEO Economisch Onderzoek (2020)
*** 1% significant; ** 5% significant; * 10% significant. Standaardfout tussen haakjes
Er zijn aparte effecten geschat voor het jaar van afronding van het project tot en met het einde van de
meting (2018). Daarnaast is getest op joint signifcance: één effect vanaf het jaar van afronding tot aan
het eind van de meting. Hierbij leveren de schattingen in kolom 1 t/m 3 positief significante resultaten op.
Alleen wanneer ‘score’ met ‘geen score’ wordt vergeleken (kolom 4) is er geen sprake van joint signifcance.

SEO ECONOMISCH ONDERZOEK

ADDITIONELE MODELSCHATTINGEN

Tabel E.6

99

De DID-analyses op log(omzet) tussen verschillende experiment- en controlegroepen
Toegewezen vs afgewezen

Toegewezen vs.
afg. met score

Toegewezen vs.
afg. zonder score

Score vs. geen
score

Constante

12,2 (0,1)***

12,2 (0,1)***

12,1 (0,2)***

12,1 (0,2)***

Behandelgroep

-0,2 (0,2)

-0,2 (0,2)

0,0 (0,2)

0,1 (0,2)

0 jaar

0,5 (0,3)

0,3 (0,4)

1,1 (0,7)*

1,1 (0,7)*

1 jaar

0,5 (0,4)

0,4 (0,4)

0,8 (0,8)

0,8 (0,8)

2 jaar

0,8 (0,4)*

0,5 (0,5)

1,6 (0,9)*

1,6 (0,9)*

3 jaar

1,0 (0,5)**

1,4 (0,6)**

-0,4 (1,2)

-0,4 (1,2)

4+ jaar

1,2 (0,5)**

1,1 (0,6)**

1,8 (1,5)

1,8 (1,5)

0 jaar

-0,3 (0,6)

0,0 (0,6)

-0,9 (0,9)

-0,8 (0,7)

1 jaar

-0,2 (0,7)

-0,1 (0,7)

-0,5 (1,0)

-0,4 (0,9)

2 jaar

0,8 (0,8)

1,0 (0,8)

-0,1 (1,2)

-0,8 (1,0)

3 jaar

0,0 (1,0)

-0,3 (1,1)

1,5 (1,5)

1,8 (1,2)

4+ jaar

0,5 (1,1)

0,6 (1,1)

0,0 (1,8)

-0,4 (1,6)

N

4400

3641

2399

4400

R2

0,006

0,006

0,007

0,007

Aantal jaar vanaf
eind project

Effect behandelgroep

Bron:
Noot:

SEO Economisch Onderzoek (2020)
*** 1% significant; ** 5% significant; * 10% significant. Standaardfout tussen haakjes
Er zijn aparte effecten geschat voor het jaar van afronding van het project tot en met het einde van de
meting (2018). Daarnaast is getest op joint signifcance: één effect vanaf het jaar van afronding tot aan
het eind van de meting. Hierbij zijn geen significante effecten gevonden.

SEO ECONOMISCH ONDERZOEK

100

BIJLAGE E

Tabel E.7

De DID-analyses op fte tussen verschillende experiment- en controlegroepen
Toegewezen vs afgewezen

Toegewezen vs.
afg. met score

Toegewezen vs.
afg. zonder score

Score vs. geen
score

Constante

21,2 (1,4)***

23,2 (1,8)***

16,3 (2,3)***

16,3 (2,6)***

Behandelgroep

5,6 (2,2)**

3,6 (2,5)

10,5 (2,7)***

8,7 (2,9)***

0 jaar

9,7 (4,8)**

9,6 (5,9)

9,1 (8,2)

9,1 (9,4)

1 jaar

14,8 (5,1)***

14,1 (6,2)**

15,5 (9,0)*

15,5 (10,3)

2 jaar

19,1 (5,6)***

16,1 (6,5)**

28,6 (11,6)**

28,6 (13,3)**

3 jaar

15,8 (6,4)**

10,1 (7,5)

37,2 (13,0)***

37,2 (14,9)**

4+ jaar

11,2 (5,7)**

9,3 (6,5)

15,4 (14,2)

15,4 (16,2)

0 jaar

2,6 (8,5)

2,7 (9,4)

3,2 (10,3)

1,1 (10,4)

1 jaar

0,8 (9,3)

1,5 (10,2)

0,1 (11,3)

-1,3 (11,3)

2 jaar

1,3 (10,0)

4,3 (10,9)

-8,2 (13,7)

-11,5 (14,2)

3 jaar

10,2 (12,8)

15,9 (13,8)

-11,2 (16,2)

-23,3 (16,0)

4+ jaar

33,9 (11,7)***

35,9 (12,5)***

29,8 (16,8)*

2,3 (17,0)

N

4495

3753

2464

4495

R2

0,015

0,013

0,031

0,013

Aantal jaar vanaf
eind project

Effect behandelgroep

Bron:
Noot:

SEO Economisch Onderzoek (2020)
*** 1% significant; ** 5% significant; * 10% significant. Standaardfout tussen haakjes
Er zijn aparte effecten geschat voor het jaar van afronding van het project tot en met het einde van de
meting (2018). Daarnaast is getest op joint signifcance: één effect vanaf het jaar van afronding tot aan
het eind van de meting. Hierbij zijn geen significante effecten gevonden.

SEO ECONOMISCH ONDERZOEK

ADDITIONELE MODELSCHATTINGEN

Tabel E.8

101

De DID-analyses op log(fte) tussen verschillende experiment- en controlegroepen
Toegewezen vs. afgewezen

Toegewezen vs. afg. Toegewezen vs. afg.
met score
zonder score

Score vs. geen
score

Constante

2,0 (0,0)***

2,1 (0,0)***

1,7 (0,1)***

1,7 (0,1)***

Behandelgroep

0,3 (0,1)***

0,2 (0,1)***

0,5 (0,1)***

0,4 (0,1)***

0 jaar

0,3 (0,1)**

0,2 (0,1)

0,4 (0,2)

0,4 (0,2)

1 jaar

0,4 (0,1)***

0,3 (0,1)**

0,3 (0,3)

0,3 (0,2)

2 jaar

0,5 (0,1)***

0,4 (0,1)***

0,6 (0,3)*

0,6 (0,3)*

3 jaar

0,4 (0,2)**

0,3 (0,2)*

0,7 (0,4)**

0,7 (0,4)**

4+ jaar

0,4 (0,1)***

0,3 (0,1)*

0,8 (0,4)*

0,8 (0,4)*

0 jaar

0,1 (0,2)

0,1 (0,2)

0,0 (0,3)

-0,1 (0,3)

1 jaar

0,1 (0,2)

0,1 (0,2)

0,1 (0,3)

0,0 (0,3)

2 jaar

-0,1 (0,2)

0,0 (0,2)

-0,2 (0,4)

-0,3 (0,3)

3 jaar

0,5 (0,3)

0,6 (0,3)*

0,1 (0,5)

-0,3 (0,4)

4+ jaar

0,7 (0,3)***

0,9 (0,3)***

0,4 (0,5)

-0,3 (0,4)

N

4495

3753

2464

4495

R2

0,022

0,018

0,041

0,021

adjusted R2

0,020

0,015

0,037

0,018

Aantal jaar vanaf
eind project

Effect behandelgroep

Bron:
Noot:

SEO Economisch Onderzoek (2020)
*** 1% significant; ** 5% significant; * 10% significant. Standaardfout tussen haakjes
Er zijn aparte effecten geschat voor het jaar van afronding van het project tot en met het einde van de
meting (2018). Daarnaast is getest op joint signifcance: één effect vanaf het jaar van afronding tot aan
het eind van de meting. Hierbij is er een positief significant effect gevonden wanneer ‘toegewezen’ met
‘afgewezen met score’ wordt vergeleken (kolom 2). Bij de overige schattingen (kolommen 1, 3 en 4) is er
geen sprake van joint signifcance.

SEO ECONOMISCH ONDERZOEK

102

BIJLAGE E

E.3 DID-analyses met matching
Tabel E.9

Eerste-orde-effecten DID met matching (uitkomstmaat R&D)
toegewezen

score

R&D

R&D

Constante

8161,4 (628,2)***

8165,9 (362,1)***

Behandelgroep

2772,7 (946,7)***

1843,6 (554,5)***

-1 jaar

-2547,5 (1410,0)*

-1719,2 (843,0)**

0 jaar

-3116,8 (1261,6)**

-2590,0 (758,4)***

1 jaar

-2485,6 (1456,6)*

-1591,4 (887,3)*

2 jaar

-709,9 (1840,4)

-1287,1 (1142,4)

3 jaar

2567,6 (2746,4)

-517,5 (1977,8)

4 jaar

-3636,4 (22695,1)

-5597,6 (11725,5)

-1 jaar

1620,4 (2220,1)

744,7 (1336,7)

0 jaar

3416,5 (2090,6)

2499,2 (1256,6)**

1 jaar

4207,2 (2341,5)*

2176,9 (1407,5)

2 jaar

1526,1 (2812,4)

2192,1 (1758,1)

3 jaar

-1958,5 (4059,8)

2332,4 (2926,9)

4 jaar

-7297,7 (32097,4)

534,1 (18539,0)

N

4433

9920

R²

0,010

0,006

Bron:

SEO Economisch Onderzoek (2020)
*** 1% significant; ** 5% significant; * 10% significant. Standaardfout tussen haakjes
Er zijn aparte effecten geschat voor het jaar vóór aanvang tot en met het einde van het project (maximaal
4 jaar). Daarnaast is getest op joint signifcance: één effect vanaf het jaar vóór aanvang tot zo lang het
project loopt. Hierbij is de schatting in kolom 2 (‘score’) significant positief. De oplopende standaardfouten
in jaar 3 en 4 worden veroorzaakt door het kleiner aantal projecten dat zo lang doorloopt.

Aantal jaar vanaf aanvraag

Effect behandelgroep

Noot:

SEO ECONOMISCH ONDERZOEK

ADDITIONELE MODELSCHATTINGEN

Tabel E.10

103

Derde-orde-effecten DID met matching (uitkomstmaten omzet en fte)
Toegewezen

score

omzet

fte

omzet

fte

Constante

6729,3 (1059,9)***

50,6 (4,7)***

6121,3 (583,8)***

34,0 (2,0)***

Behandelgroep

-1505,1 (1561,5)

-15,8 (7,0)**

-1493,5 (713,6)**

-8,4 (2,5)***

0 jaar

-467,6 (2293,8)

-11,8 (10,2)

-74,9 (1297,0)

-1,0 (4,3)

1 jaar

1970,6 (2742,0)

-9,1 (11,2)

370,6 (1521,3)

1,8 (4,8)

2 jaar

6522,6 (3342,6)*

4,0 (12,7)

1498,3 (1948,7)

2,8 (5,7)

3 jaar

11444,9 (4687,0)**

8,4 (15,5)

-1095,1 (2515,9)

8,7 (7,1)

4 jaar

15187,3 (5691,2)***

42,6 (18,2)**

4987,5 (2437,1)**

2,1 (6,2)

0 jaar

6451,9 (3853,9)*

17,7 (17,1)

3978,1 (2094,7)*

12,5 (7,0)*

1 jaar

-62,2 (4507,7)

19,4 (18,1)

3307,9 (2418,5)

14,3 (7,7)*

2 jaar

-1579,1 (5647,6)

11,4 (21,0)

-127,4 (3010,9)

9,6 (8,9)

3 jaar

-7105,3 (7645,7)

24,5 (27,3)

2289,7 (3847,8)

7,2 (11,0)

4 jaar

-13060,5 (8299,3)

-11,5 (26,9)

-5198,5 (3779,3)

16,2 (9,8)*

N

1432

1560

6124

6520

R²

0,016

0,011

0,003

0,005

Aantal jaar vanaf eind project

Effect behandelgroep

Bron:
Noot:

SEO Economisch Onderzoek. Standaardfout tussen haakjes
*** 1% significant; ** 5% significant; * 10% significant
Er zijn aparte effecten geschat voor het jaar van afronding van het project tot en met het einde van de
meting (2018). Daarnaast is getest op joint signifcance: één effect vanaf het jaar van afronding tot aan
het eind van de meting. Hierbij is schatting in de laatste kolom (alle bedrijven met een score, fte als
uitkomstmaat) positief significant. De schattingen voor de eerste drie kolommen leveren geen joint significance op.

SEO ECONOMISCH ONDERZOEK

104

BIJLAGE E

Tabel E.11

Eerste-orde-effecten van eerste aanvraag van een bedrijf. Uitkomstmaten R&D-uren
per fte en log(R&D-uren)
Toegewezen

score

R&D / fte

log R&D

R&D / fte

log R&D

Constante

464,3 (14,7)***

8,0 (0,0)***

425,2 (8,4)***

8,0 (0,0)***

Behandelgroep

103,7 (22,2)***

0,8 (0,1)***

104,9 (13,0)***

0,7 (0,0)***

-1 jaar

-14,3 (32,8)

-0,1 (0,1)

27,1 (19,7)

-0,1 (0,1)**

0 jaar

-62,1 (28,8)**

-0,4 (0,1)***

9,8 (17,2)

-0,3 (0,1)***

1 jaar

-38,9 (32,0)

-0,2 (0,1)**

21,2 (19,5)

0,0 (0,1)

2 jaar

-50,1 (39,0)

-0,1 (0,1)

-3,5 (24,6)

0,0 (0,1)

3 jaar

-57,4 (60,1)

0,1 (0,2)

18,2 (38,5)

0,2 (0,1)**

4 jaar

-100,8 (261,1)

-0,8 (0,7)

88,1 (315,4)

0,0 (0,8)

-1 jaar

57,3 (53,3)

-0,1 (0,2)

30,5 (32,2)

0,0 (0,1)

0 jaar

189,0 (48,3)***

0,4 (0,1)**

113,1 (29,1)***

0,3 (0,1)***

1 jaar

147,2 (51,6)***

0,4 (0,2)**

52,5 (31,2)*

0,1 (0,1)

2 jaar

139,9 (60,0)**

0,4 (0,2)**

61,0 (38,1)

0,2 (0,1)*

3 jaar

61,4 (88,0)

0,3 (0,3)

72,3 (60,2)

0,2 (0,2)

4 jaar

315,2 (412,8)

1,4 (1,2)

164,2 (446,0)

0,7 (1,2)

N

3344

3136

9065

8417

R²

0,038

0,120

0,025

0,087

Aantal jaar vanaf aanvraag

Effect behandelgroep

Bron:
Noot:

SEO Economisch Onderzoek. Standaardfout tussen haakjes
*** 1% significant; ** 5% significant; * 10% significant
Er zijn aparte effecten geschat voor het jaar vóór aanvang tot en met het einde van het project (maximaal
4 jaar). Daarnaast is getest op joint signifcance: één effect vanaf het jaar vóór aanvang tot zolang het
project loopt. Deze zijn voor alle schattingen significant. De oplopende standaardfouten in jaar 3 en 4
worden veroorzaakt door het kleiner aantal projecten dat zo lang doorloopt.

SEO ECONOMISCH ONDERZOEK

ADDITIONELE MODELSCHATTINGEN

Tabel E.12

105

Derde-orde-effecten van eerste aanvraag van een bedrijf. Uitkomstmaten omzet per
fte, log(omzet) en log(fte)
toegewezen

Constante
Behandelgroep

score

omzet / fte

log omzet

log fte

omzet / fte

log omzet

log fte

126,0 (8,7)***

14,0 (0,1)*** 2,4 (0,1)*** 142,2 (7,0)*** 14,0 (0,1)*** 2,4 (0,0)***

7,7 (13,2)

0,1 (0,1)

0,2 (0,1)

12,0 (9,2)

-0,5 (0,1)*** -0,3 (0,0)***

0 jaar

16,7 (18,9)

-0,2 (0,2)

-0,3 (0,2)**

-4,1 (15,2)

-0,2 (0,1)

-0,3 (0,1)***

1 jaar

50,3 (22,9)**

0,1 (0,2)

-0,1 (0,2)

1,9 (17,8)

0,0 (0,1)

-0,1 (0,1)

2 jaar

95,4 (27,9)***

0,3 (0,3)

-0,1 (0,2)

-2,3 (21,5)

0,1 (0,2)

0,0 (0,1)

3 jaar

124,0 (33,5)***

0,3 (0,4)

0,1 (0,2)

16,1 (26,8)

0,3 (0,2)

0,2 (0,1)

4 jaar

-5,5 (36,8)

0,4 (0,4)

0,2 (0,2)

51,5 (24,2)**

0,6 (0,2)***

0,3 (0,1)***

0 jaar

-20,2 (31,8)

0,4 (0,4)

0,3 (0,3)

9,2 (25,1)

0,6 (0,2)***

0,6 (0,1)***

1 jaar

-75,4 (37,3)**

0,1 (0,4)

0,1 (0,3)

5,9 (28,7)

0,5 (0,2)**

0,5 (0,1)***

2 jaar

-128,1 (45,2)***

-0,3 (0,5)

0,1 (0,3)

-31,1 (33,5)

0,3 (0,2)

0,3 (0,2)**

3 jaar

-161,4 (53,4)***

-0,7 (0,6)

0,2 (0,4)

-62,6 (41,1)

-0,1 (0,3)

0,3 (0,2)

4 jaar

-52,3 (55,5)

-0,5 (0,6)

0,2 (0,3)

-75,8 (38,3)**

0,1 (0,3)

0,5 (0,2)***

N

1532

1402

1695

6302

6019

7031

R²

0,021

0,005

0,011

0,002

0,018

0,015

Aantal jaar vanaf eind project

Effect behandelgroep

Bron:
Noot:

SEO Economisch Onderzoek (2020)
*** 1% significant; ** 5% significant; * 10% significant. Standaardfout tussen haakjes.
Er zijn aparte effecten geschat voor het jaar van afronding van het project tot en met het einde van de
meting (2018). Daarnaast is getest op joint signifcance: één effect vanaf het jaar van afronding tot aan
het eind van de meting. Hierbij zijn is schatting in de eerste kolom (bedrijven met een toewijzing, met
omzet / fte als uitkomstmaat) negatief significant en zijn de schattingen in de laatste twee kolommen (alle
bedrijven met een score, met log(omzet) en log(fte) als uitkomstmaat) positief significant.

SEO ECONOMISCH ONDERZOEK

EUROSTARS, EUREKA CLUSTERS EN JTI’S, 2013 - 2018

107

Bijlage F Descriptives Econometrie
F.1 Descriptives RDD en DID zonder matching
Tabel F.1

Uitkomstmaten RDD-modellen
toegewezen

afgewezen

669

625

uitkomstmaat eerste-orde
SO-uren per fte
SO-uren
log(SO-uren)
fte
log(fte)

gem.
st.dev.

679

505

gem.

13040

10142

st.dev.

23724

19310

gem.

7,53

7,20

st.dev.

3,37

3,55

gem.

26,04

19,82

st.dev.

63,47

32,91

gem.

2,20

2,14

st.dev.

1,44

1,35

100

115

gem.

3414561

4145377

st.dev.

5549217

6186822

gem.

105205

126106

st.dev.

158099

144684

gem.

11,37

12,37

st.dev.

5,65

5,07

gem.

40,15

30,46

st.dev.

83,76

44,70

gem.

2,39

2,45

st.dev.

1,74

1,62

51

55

N
uitkomstmaat derde-orde
Omzet
Omzet per fte
log(omzet)
fte
log(fte)

N
Bron:

SEO Economisch Onderzoek (2019) op basis van data RVO en CBS

SEO ECONOMISCH ONDERZOEK

108

BIJLAGE F

Tabel F.2

Uitkomstmaten DID-modellen zonder matching
toegewezen

afgewezen

afgewezen met
score

afgewezen zonder score

gem.

673

565

599

475

st.dev.

584

515

525

477

gem.

11821

8773

9641

6448

st.dev.

18877

17563

18413

14896

gem.

7,74

6,76

7,05

5,98

st.dev.

3,14

3,70

3,59

3,88

216

342

249

93

gem.

3793886

5914339

6815891

3472160

st.dev.

8640940

29101069

33784422

6723582

gem.

119244

226974

241428

187820

st.dev.

166863

855281

976066

367031

gem.

11,92

12,65

12,77

12,34

st.dev.

4,98

4,06

3,93

4,38

gem.

28,19

24,63

26,95

18,36

st.dev.

58,03

69,25

77,88

36,52

gem.

2,35

2,00

2,09

1,75

st.dev.

1,40

1,56

1,53

1,62

176

293

214

79

uitkomstmaat eerste-orde
SO-uren per fte
SO-uren
log(SO-uren)

N
uitkomstmaat derde-orde
Omzet
Omzet per fte
log(omzet)
fte
log(fte)

N
Bron:

SEO Economisch Onderzoek (2019) op basis van data RVO en CBS

F.2 Common trend (descriptives DID met matching)
Een difference-in-differences-analyse veronderstelt dat de trend in de uitkomstmaat voor de eersteorde-effecten bij de behandel- en de controlegroep vóór het moment van aanvraag gelijk was. Voor
de derde-orde-effecten wordt gekeken naar een gelijke trend in de uitkomstmaat vóór het moment
van beëindiging van het project. Dit wordt de ‘common trend’ aanname genoemd. De aanname is
getoetst door te kijken of in voorgaande jaren de trend voor de behandel- en controlegroep gelijk
is. Als dit niet het geval is de controlegroep geen goede groep om de behandelgroep mee te vergelijken.

SEO ECONOMISCH ONDERZOEK

DESCRIPTIVES ECONOMETRIE

Figuur F.1

Toelichting:

Bron:

Figuur F.2

Toelichting:

Bron:

109

Trend in R&D uren per fte voor de groep die deelneemt aan Eurostars vs.
de gematchte controlegroep, laatste aanvraag

Dit figuur geeft het gemiddelde van het aantal R&D-uren per fte per jaar weer. Tijd nul is het
jaar van aanvraag. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn is het
gemiddelde +- de standaarddeviatie.
De verticale lijn bij -1 slaat op het feit dat er vanaf 1 jaar voor aanvraag effecten te zien zijn.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

Trend in R&D-uren per fte voor de groep die een score hebben
gekregen op de aanvraag bij Eurostars vs. de gematchte controle groep,
laatste aanvraag

Dit figuur geeft het gemiddelde van het aantal R&D-uren per fte per jaar weer. Tijd nul is het
jaar van aanvraag. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn is het
gemiddelde +- de standaarddeviatie.
De verticale lijn bij -1 slaat op het feit dat er vanaf 1 jaar voor aanvraag effecten te zien zijn.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

SEO ECONOMISCH ONDERZOEK

110

Figuur F.3

Toelichting:

Bron:

Figuur F.4

Toelichting:

Bron:

BIJLAGE F

Trend in log(R&D uren) voor de groep die deelneemt aan Eurostars vs.
de gematchte controlegroep, laatste aanvraag

Dit figuur geeft het gemiddelde van het logaritme van aantal R&D uren per jaar weer. Tijd nul
is het jaar van aanvraag. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn
is het gemiddelde +- de standaarddeviatie.
De verticale lijn bij -1 slaat op het feit dat er vanaf 1 jaar voor aanvraag effecten te zien zijn.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

Trend in log(R&D uren) voor de groep die een score hebben gekregen
op de aanvraag bij Eurostars vs. de gematchte controlegroep, laatste aanvraag

Dit figuur geeft het gemiddelde van het logaritme van aantal R&D uren per jaar weer. Tijd nul
is het jaar van aanvraag. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn
is het gemiddelde +- de standaarddeviatie.
De verticale lijn bij -1 slaat op het feit dat er vanaf 1 jaar voor aanvraag effecten te zien zijn.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

SEO ECONOMISCH ONDERZOEK

DESCRIPTIVES ECONOMETRIE

Figuur F.5

Toelichting:

Bron:

Figuur F.6

Toelichting:

Bron:

111

Trend in R&D-uren voor de groep die deelneemt aan Eurostars vs.
de gematchte controlegroep, laatste aanvraag

Dit figuur geeft het gemiddelde van het aantal R&D uren per jaar weer. Tijd nul is het jaar van
aanvraag. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn is het gemiddelde +- de standaarddeviatie.
De verticale lijn bij -1 slaat op het feit dat er wordt gekeken naar effecten vanaf 1 jaar voor
aanvraag. Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

Trend in R&D-uren voor de groep die een score hebben gekregen
op de aanvraag bij Eurostars vs. de gematchte controlegroep, laatste aanvraag

Dit figuur geeft het gemiddelde van het aantal R&D uren per jaar weer. Tijd nul is het jaar van
aanvraag. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn is het gemiddelde +- de standaard deviatie.
De verticale lijn bij -1 slaat op het feit dat er wordt gekeken naar effecten vanaf 1 jaar voor
aanvraag. Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

SEO ECONOMISCH ONDERZOEK

112

Figuur F.7

Toelichting:

Bron:

Figuur F.8

Toelichting:

Bron:

BIJLAGE F

Trend in omzet voor de groep die deelneemt aan Eurostars vs.
de gematchte controlegroep, laatste aanvraag

Dit figuur geeft het gemiddelde van omzet per jaar weer. Tijd nul is het jaar afronding van het
project. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn is het gemiddelde
+- de standaarddeviatie.
De verticale lijn bij 0 slaat op het feit dat er wordt gekeken of er effecten zijn vanaf afronding.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

Trend in omzet voor de groep die een score hebben gekregen
op de aanvraag bij Eurostars vs. de gematchte controlegroep, laatste aanvraag

Dit figuur geeft het gemiddelde van omzet per jaar weer. Tijd nul is het jaar afronding van het
project. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn is het gemiddelde
+- de standaarddeviatie.
De verticale lijn bij 0 slaat op het feit dat er wordt gekeken of er effecten zijn vanaf afronding.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

SEO ECONOMISCH ONDERZOEK

DESCRIPTIVES ECONOMETRIE

Figuur F.9

Toelichting:

Bron:

113

Trend in logaritme van omzet voor de groep die deelneemt aan Eurostars vs.
de gematchte controlegroep, laatste aanvraag

Dit figuur geeft het gemiddelde van het logaritme van omzet per jaar weer. Tijd nul is het jaar
afronding van het project. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn
is het gemiddelde +- de standaarddeviatie.
De verticale lijn bij 0 slaat op het feit dat er wordt gekeken of er effecten zijn vanaf afronding.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

Figuur F.10

Trend in logaritme van omzet voor de groep die een score hebben
gekregen op de aanvraag bij Eurostars vs. de gematchte controlegroep, laatste aanvraag

Toelichting:

Dit figuur geeft het gemiddelde van het logaritme van omzet per jaar weer. Tijd nul is het jaar
afronding van het project. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn
is het gemiddelde +- de standaarddeviatie.
De verticale lijn bij 0 slaat op het feit dat er wordt gekeken of er effecten zijn vanaf afronding.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

Bron:

SEO ECONOMISCH ONDERZOEK

114

Figuur F.11

Toelichting:

Bron:

Figuur F.12

Toelichting:

Bron:

BIJLAGE F

Trend in omzet per fte voor de groep die deelneemt aan Eurostars vs.
de gematchte controlegroep, laatste aanvraag

Dit figuur geeft het gemiddelde van omzet per fte per jaar weer. Tijd nul is het jaar afronding
van het project. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn is het
gemiddelde +- de standaarddeviatie.
De verticale lijn bij 0 slaat op het feit dat er wordt gekeken of er effecten zijn vanaf afronding.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

Trend in omzet per fte voor de groep die een score hebben gekregen
op de aanvraag bij Eurostars vs. de gematchte controlegroep, laatste aanvraag

Dit figuur geeft het gemiddelde van omzet per fte per jaar weer. Tijd nul is het jaar afronding
van het project. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn is het
gemiddelde +- de standaarddeviatie.
De verticale lijn bij 0 slaat op het feit dat er wordt gekeken of er effecten zijn vanaf afronding.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

SEO ECONOMISCH ONDERZOEK

DESCRIPTIVES ECONOMETRIE

Figuur F.13

Toelichting:

Bron:

Figuur F.14

Toelichting:

Bron:

115

Trend in fte voor de groep die deelneemt aan Eurostars vs.
de gematchte controlegroep, laatste aanvraag

Dit figuur geeft het gemiddelde fte per jaar weer. Tijd nul is het jaar afronding van het project.
Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn is het gemiddelde +- de
standaarddeviatie.
De verticale lijn bij 0 slaat op het feit dat er wordt gekeken of er effecten zijn vanaf afronding.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

Trend in fte voor de groep die een score hebben gekregen op de
aanvraag bij Eurostars vs. de gematchte controlegroep, laatste aanvraag

Dit figuur geeft het gemiddelde van fte per jaar weer. Tijd nul is het jaar afronding van het
project. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn is het gemiddelde
+- de standaarddeviatie.
De verticale lijn bij 0 slaat op het feit dat er wordt gekeken of er effecten zijn vanaf afronding.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

SEO ECONOMISCH ONDERZOEK

116

Figuur F.15

Toelichting:

Bron:

Figuur F.16

Toelichting:

Bron:

BIJLAGE F

Trend in logaritme van fte voor de groep die deelneemt aan Eurostars vs.
de gematchte controlegroep, laatste aanvraag

Dit figuur geeft het gemiddelde van het logaritme van fte per jaar weer. Tijd nul is het jaar
afronding van het project. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn
is het gemiddelde +- de standaarddeviatie.
De verticale lijn bij 0 slaat op het feit dat er wordt gekeken of er effecten zijn vanaf afronding.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

Trend in logaritme van fte voor de groep die een score hebben
gekregen op de aanvraag bij Eurostars vs. de gematchte controlegroep,
laatste aanvraag

Dit figuur geeft het gemiddelde van logaritme van fte per jaar weer. Tijd nul is het jaar afronding van het project. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn is
het gemiddelde +- de standaarddeviatie.
De verticale lijn bij 0 slaat op het feit dat er wordt gekeken of er effecten zijn vanaf afronding.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

SEO ECONOMISCH ONDERZOEK

DESCRIPTIVES ECONOMETRIE

Figuur F.17

Toelichting:

Bron:

Figuur F.18

Toelichting:

Bron:

117

Trend in R&D-uren per fte voor de groep die deelneemt aan Eurostars vs.
de gematchte controlegroep, eerste aanvraag (robuustheidsanalyse)

Dit figuur geeft het gemiddelde van het aantal R&D uren per fte per jaar weer. Tijd nul is het
jaar van aanvraag. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn is het
gemiddelde +- de standaarddeviatie.
De verticale lijn bij -1 slaat op het feit dat er vanaf 1 jaar voor aanvraag effecten te zien zijn.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

Trend in R&D-uren per fte voor de groep die een score hebben
gekregen op de aanvraag bij Eurostars vs. de gematchte controlegroep,
eerste aanvraag (robuustheidsanalyse)

Dit figuur geeft het gemiddelde van het aantal R&D uren per fte per jaar weer. Tijd nul is het
jaar van aanvraag. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn is het
gemiddelde +- de standaarddeviatie.
De verticale lijn bij -1 slaat op het feit dat er vanaf 1 jaar voor aanvraag effecten te zien zijn.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

SEO ECONOMISCH ONDERZOEK

118

Figuur F.19

Toelichting:

Bron:

Figuur F.20

Toelichting:

Bron:

BIJLAGE F

Trend in R&D-uren per fte voor de groep die deelneemt aan Eurostars vs.
de gematchte controlegroep, random aanvraag (robuustheidsanalyse)

Dit figuur geeft het gemiddelde van het aantal R&D uren per fte per jaar weer. Tijd nul is het
jaar van aanvraag. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn is het
gemiddelde +- de standaarddeviatie.
De verticale lijn bij -1 slaat op het feit dat er vanaf 1 jaar voor aanvraag effecten te zien zijn.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

Trend in R&D-uren per fte voor de groep die een score hebben
gekregen op de aanvraag bij Eurostars vs. de gematchte controlegroep,
random aanvraag (robuustheidsanalyse)

Dit figuur geeft het gemiddelde van het aantal R&D uren per fte per jaar weer. Tijd nul is het
jaar van aanvraag. Het gaat hier om de laatste aanvraag per bedrijf. De gestreepte lijn is het
gemiddelde +- de standaarddeviatie.
De verticale lijn bij -1 slaat op het feit dat er vanaf 1 jaar voor aanvraag effecten te zien zijn.
Voor dit moment moet de trend gelijk zijn tussen de behandel- en controlegroep
SEO Economisch Onderzoek (2020) op basis van data RVO en CBS

SEO ECONOMISCH ONDERZOEK

EUROSTARS, EUREKA CLUSTERS EN JTI’S, 2013 - 2018

119

Bijlage G Interviews
Als aanvullende methode van dit onderzoek zijn er in totaal negen interviews gehouden. Geprobeerd is om een zo breed mogelijk beeld weer te geven. De partijen waarmee gesproken is, zijn:
• het ministerie van EZK, directie Innovatie en Kennis, en het EUREKA voorzitterschap;
• een wetenschappelijk onderzoeker op het gebied van innovatie en ondernemerschap;
• RVO, de uitvoeringsorganisatie van Eureka Clusters, Eurostars en JTI’s;
• zes deelnemende organisaties aan Eureka Clusters, Eurostars of JTI’s. Voor elke subsidieregeling is één organisatie uitgenodigd die de subsidie heeft ontvangen en één organisatie die wel
een aanvraag heeft gedaan, maar de subsidie niet heeft ontvangen. Ook is er bij de selectie van
de bedrijven naar gekeken dat we zowel een klein, midden- als grootbedrijf hadden en er een
kennisinstelling tussen zat.
Hieronder zijn de belangrijkste punten uit de interviews genoteerd:
• Eureka Clusters: de subsidieregeling sluit goed aan bij de behoefte van de industrie en andere
initiatieven. De kracht van de subsidieregeling zit hem volgens de geïnterviewden in het ‘bottom-up’-principe (dit geldt ook voor Eurostars en de JTI’s), organisaties bepalen zelf de samenstelling van het consortium en het gebied waarop ze willen innoveren. Wel lijkt er (i) behoefte
te zijn aan een nieuw cluster op het gebied van artificiële intelligentie (en meer in het algemeen
meer flexibiliteit tussen de domeinen), (ii) sprake te zijn van eilandvorming binnen de diverse
clusters. Hier ligt (voor Europa) ruimte voor verbetering;
• Eurostars: het ministerie van EZK geeft aan dat het programma succesvol is. Als er meer budget zou zijn zou dat nog beter ingevuld kunnen worden. Ook zijn er verbeterpunten: (i) de
doelgroep kan verbreed worden: van hightech naar innovatief mkb, (ii) de time-to-funding van
deelnemende landen kan beter worden gesynchroniseerd, (iii) de manier van financiering van
het instrument staat ter discussie, en (iv) er is onduidelijkheid of het een Europees programma
wordt of dat het vanuit de nationale overheden georganiseerd zal blijven;
• Internationale samenwerking: subsidieregelingen zijn voor veel organisaties een ingang om internationale samenwerkingsverbanden op te zetten. Het netwerkelement is de grootste economische waarde van de instrumenten. De toegevoegde waarde van Eurostars is dat bedrijven
worden gematcht;
• Financiering. Mogelijke nadelen van het huidige financieringsmechanisme zijn voor Nederland
niet al te groot. Er worden doorgaans geen projecten met een hoge score afgewezen door een
gebrek aan financieringsmiddelen. Er is een politiek voordeel aan de huidige manier van financiering. Dit zorgt ervoor dat landen sneller willen deelnemen;
• Aanvraagprocedure JTI’s: RVO geeft aan dat door een verandering in de aanvraagprocedure
bij de JTI’s het ingewikkelder is geworden om een subsidieaanvraag te doen. Er dienen nu twee
begrotingen te worden ingediend i.p.v. één. De geïnterviewde bedrijven geven aan dat zij hier
geen last van hebben ondervonden;
• Evaluatie: met betrekking tot de evaluatie worden de volgende adviezen gegeven: (i) gooi niet
alle subsidieregelingen op één hoop bij de econometrische analyses, ondanks een gemeenschappelijk doel verschillen ze wezenlijk, (ii) kwantitatieve analyse van Eureka Clusters en de JTI’s
zal moeilijk zijn, deze regelingen worden namelijk ook door zeer grote organisaties gebruikt;

SEO ECONOMISCH ONDERZOEK

120

•

•

•

•

•

•

BIJLAGE G

RVO: organisaties zijn (zeer) tevreden over de rol van RVO. Volgens de organisaties helpt de
uitvoerende dienst gedurende het gehele traject, van subsidieaanvraag tot en met de evaluatie.
Vijf van de zes organisaties zien weinig verbeterpunten. Zo geven de organisaties aan dat RVO
(i) makkelijk benaderbaar is, (ii) concrete afspraken maakt en die ook nakomt, (iii) voldoende
ondersteuning biedt indien samenwerking binnen het consortium niet soepel verloopt, (iv) een
juiste balans weet te vinden tussen het waarborgen van de beoogde planning en het bereiken
van een mooi eindproduct, en (v) in staat is om overheidsbeleid goed te vertalen naar het bedrijfsleven. Een organisatie benoemt dat RVO meer mag helpen bij het vormen van het consortium. Deze partij geeft aan dat als de juiste landen vertegenwoordigd zijn in jouw consortium, de kans op een succesvolle subsidieaanvraag toeneemt. Daarnaast is het belangrijk dat je
als aanvrager doorhebt met welk belang bedrijven in het consortium zitten (publicaties, patenten, marktontplooiing etc.);
Noord-Europese samenwerking: organisaties geven aan met name graag samen te werken met
organisaties uit Noord-Europese landen. Deze landen werken volgens de geïnterviewden op
een vergelijkbare wijze, wat als prettig wordt ervaren;
Intermediairs en de subsidieaanvraag: organisaties geven aan dat zij regelmatig worden benaderd door organisaties die aanbieden om te helpen met het aanvragen van de subsidies. Het
gaat hier om intermediairs die vaak op no-cure-no-pay basis werken. Hoewel de bijdrage van
zo’n derde partij (met name de eerste subsidieaanvraag) waardevol kan zijn, lijken organisaties
toch liever zelf het heft in eigen handen te nemen. Organisaties (JTI’s) geven daarnaast aan dat
de aanvraagprocedure vergeleken met andere subsidieaanvragen relatief behapbaar is;
Technology Readiness level: organisaties onderscheiden vier fases van technologische ontwikkeling, (i) idee, (ii) ontwikkeling, (iii) demonstratie, en (iv) implementatie. Bedrijven geven aan
tussen de eerste en tweede fase te besluiten om een innovatieproject in te dienen;
Europese bescherming van de markt: diverse partijen geven aan dat de subsidieregeling het
mogelijk maakt om adequaat te concurreren op het gebied van innovatie met Amerikaanse en
Chinese organisaties;
Impact JTI’s: projecten worden beoordeeld op impact waardoor grotere projecten meer kans
hebben. Hierdoor zijn er minder kleinere projecten met een succesvolle aanvraag. Het gevolg
is dat mkb’s nu alleen aansluiten en er minder initiatief vanuit het mkb komt.

Op basis van de interviews kunnen de volgende onderzoeksvragen worden beantwoord:
Onderzoeksvraag B12. Zowel grote/leidende bedrijven als kleine/volgende bedrijven geven
aan dat deelname aan Eureka Clusters of de JTI’s leidt tot betere internationale samenwerking.
Wel geven kleinere/volgende bedrijven aan dat er na afronding van de subsidie minder contact
is dan grotere/leidende bedrijven. Betere internationale samenwerking wordt veelal geïnterpreteerd als contact hebben, en elkaar op de hoogte houden van relevante innovaties, of het delen
van technologische kennis. Slechts zelden gaat het om economische activiteiten. Kleine/volgende organisaties geven aan dat het zonder financiële ondersteuning voor hen vaak niet mogelijk is om te innoveren. ‘De financiële ondersteuning zorgde ervoor dat wij meer risico konden nemen’. Voor grote/leidende bedrijven is er geen éénduidige uitspraak mogelijk. Zij worden uit meerdere bronnen gefinancierd;
• Onderzoeksvraag B13. Eureka Clusters en de JTI’s sluiten volgens de geïnterviewden goed aan
bij de behoefte van hun industrie en op andere initiatieven. De kracht van de subsidieregelingen
zit hem volgens de geïnterviewden in het ‘bottom-up’-principe. Dit principe houdt in dat organisaties zelf bepalen met welke partijen en op welk thema ze willen innoveren. Geïnterviewden
•

SEO ECONOMISCH ONDERZOEK

INTERVIEWS

121

geven aan dat ze hierdoor zelf de juiste partijen kunnen selecteren om mee samen te werken en
goed aansluiten op de huidige industriële doelen. Opvallend is wel dat geïnterviewden er moeite
mee lijken te hebben om deze industriële doelen en de behoeftes van Nederland en Europa
verder te concretiseren. Vaak vermelden ze dat de subsidieregeling bijdraagt aan het waarborgen
van voldoende innovatie ten opzichte van andere continenten zoals China en Noord-Amerika.
Met name op het gebied van artificiële intelligentie lijken we achter te lopen. Volgens de geïnterviewden ligt hier (voor Europa) ruimte voor verbetering;
• Onderzoeksvraag B14. Volgens de geïnterviewden spelen de Eureka Clusters niet goed in op
veranderingen binnen het politieke landschap. Dit komt omdat de Clusters voor een langere
periode vast staan (7 jaar). Hierdoor ontbreekt in de praktijk soms aansluiting bij de actualiteit
(zoals bijvoorbeeld op het gebied van artificiële intelligentie). Ook is de (internationale) governance van Eureka Clusters niet efficiënt ingericht. Meerdere geïnterviewden geven aan dat de
Eureka Clusters te vergelijken zijn met “eigen koninkrijkjes”, ze hebben allemaal hun eigen
hoofdkantoor, administratie, ICT-systemen en best-practices. Voor de JTI’s is er op basis van
de interviews geen éénduidige uitspraak mogelijk.

SEO ECONOMISCH ONDERZOEK

EUROSTARS, EUREKA CLUSTERS EN JTI’S, 2013 - 2018

Bijlage H Begeleidingscommissie
Deze evaluatie werd begeleid door een begeleidingscommissie, bestaande uit:
• Kees de Gooijer (voorzitter, TKI Agri & Food / BBE)
• Martin Carree (Universiteit Maastricht)
• Jan Reint Smit (RVO.nl)
• Marielle Non (CPB)
• Thomas Grosfeld (VNO-NCW)
• Odilia Knap (EZK)
• Jan-Tjibbe Steeman (EZK, secretaris)
• Piet Donselaar (EZK, plaatsvervangend secretaris)

SEO ECONOMISCH ONDERZOEK

123