Critical review van het rapport
“Het experiment Promotieonderwijs: een tussenevaluatie”
(2019, juni)
Nel Verhoeven & Wilfried Admiraal
31 januari 2020
Advies
In onze opdracht van het Ministerie van OCW wordt gevraagd antwoord te geven op de vraag of de
tussenevaluatie op een wetenschappelijk verantwoorde wijze is uitgevoerd. Ons antwoord daarop is
daarop is “ja”. Wij delen de hoofdconclusie van de onderzoekers dat er geen zodanige negatieve
gevolgen worden geconstateerd dat het experiment moet worden bijgestuurd, opgeschort of gestopt.
Ons advies is om de conclusies die getrokken zijn in de tussenevaluatie te interpreteren als conclusies
die specifiek betrekking hebben op de groepen onderzochte promovendi (en begeleiders). Uitspraken
over promovendi en hun begeleiders elders kunnen niet worden gedaan. Tevens willen wij enkele
kanttekeningen zetten bij het uitgevoerde onderzoek en de rapportage. Dat doen we in de vorm van
het nalopen van de door de onderzoekers getrokken conclusies. Na een inleiding in het experiment en
de tussenevaluatie, bespreken we kort onze aanpak en vervolgens onze conclusies.
Inleiding
Sinds 2016 vindt een experiment plaats met een nieuwe vorm van promotieonderwijs. Aan dit
experiment nemen de Rijksuniversiteit Groningen en de Erasmus Universiteit in Rotterdam deel. In het
Besluit experiment promotieonderwijs (2015) wordt vermeld: “Twee jaar na de start van het
experiment vindt een tussenevaluatie plaats. Indien de tussenevaluatie laat zien dat er ernstige
nadelige gevolgen zijn voor het onderzoeksklimaat dan kan dat aanleiding zijn om het experiment
geheel of gedeeltelijk te stoppen. Bij de tussenevaluatie wordt in elk geval gemeten of het aantal
promovendi ten opzichte van de situatie op 1 september 2016 verschilt wat betreft type, land van
herkomst en onderwijsgebied, of promotieonderwijs effect heeft gehad op de verdeling van
doceertaken bij de universiteit en het effect op de werking van het profileringsfonds en worden
promotiestudenten bevraagd over de mogelijkheid om zelf een promotieonderwerp te kiezen en hoe
verschillende soorten promovendi hun status binnen de universiteit ervaren. Bij de tussenevaluatie
wordt ook nagegaan of de deelnemende universiteiten als werkgever goed met promotieonderwijs
omgaan en het niet als kostenbesparend instrument gebruiken.”.
Conform dit besluit is in juni 2019 het rapport van de tussenevaluatie gepresenteerd. Dit
betreft een tussenevaluatie van het experiment met promotiestudenten aan de RUG en de EUR. De
RUG is universiteitsbreed gestart met promotiestudenten en heeft hiervoor tevens extra budget
uitgetrokken. Ook is beleid geformuleerd dat alle promovendi die worden bekostigd uit de
eerstegeldstroom promotiestudenten zijn en geen werknemerpromovendi. Bij de EUR is op
bescheiden schaal gestart met promotiestudenten bij één instituut. Het experiment is gestart in
september 2016 en loopt tot september 2024 (maximaal 8 jaar). De tussenevaluatie is uitgevoerd eind
2018, met als doel te checken of er zodanige problemen in deze eerste fase van het experiment naar
voren komen, dat deze tot bijsturing dan wel stopzetting zouden kunnen leiden.
Het rapport van deze tussenevaluatie leidde tot een aantal Kamervragen, maar ook tot
reacties van organisaties zoals het Promotienetwerk Nederland. De vragen richtten zich met name op
de kwaliteit van het uitgevoerde onderzoek. Daarop heeft de Minister van Onderwijs, Cultuur en
Wetenschap in de beantwoording van de vragen aangegeven een onafhankelijke partij te vragen om
na te gaan of de tussenevaluatie op een wetenschappelijk verantwoorde wijze is uitgevoerd. Met deze
critical review geven wij een antwoord op deze vraag.
Onze aanpak van de critical review
Teneinde een antwoord op de vraag te kunnen geven, hebben wij bureauonderzoek gedaan. Voor het
bureauonderzoek hebben wij twaalf relevante documenten bestudeerd, zoals opgenomen in de

bijgevoegde bronnenlijst. Verder is een gesprek gehouden met de onderzoekers van CHEPS die de
tussenevaluatie hebben uitgevoerd. Als input voor dit gesprek diende een conceptverslag van de
critical review dat een week voorafgaand aan het gesprek is opgestuurd naar de onderzoekers. In het
gesprek zelf heeft wederhoor van de onderzoekers plaatsgevonden en is op verzoek aanvullende
informatie gegeven om gehanteerde procedures in de tussenevaluatie te verduidelijken. Hierna is
deze critical review opgesteld.
Conclusies
De rapportage over de tussenevaluatie is over het algemeen volledig en adresseert de meeste
belangrijke punten voor deze tussenevaluatie voor zowel de RUG als de EUR. Echter, het geeft op
sommige plekken onvoldoende informatie om de wetenschappelijke kwaliteit goed te kunnen
inschatten, met name missen wij transparantie ten aanzien van de data die betrekking hebben op de
RUG. Het gesprek met de onderzoekers heeft geholpen bij het verhelderen en aanvullen van deze
informatie en daarmee met de navolgbaarheid van de aanpak van de onderzoekers. De onderzoekers
hebben de afweging gemaakt om hetzij gebruik te maken van de reeds verzamelde data bij de RUG en
aanvullende analyses te vragen (ondanks onvolkomenheden in deze data), hetzij om zelf een
vragenlijst uit te zetten met een hoge kans op een lage respons vanwege de timing. Wij begrijpen hun
uiteindelijke keus voor de eerste optie (gebruik maken van de bij de RUG verzamelde data), gezien het
genoemde argument van timing en de verwachte lage respons bij het uitzetten van een eigen
enquête.
Hieronder bespreken we de acht conclusies uit het rapport (antwoorden op de acht
afgesproken onderzoeksvragen).
1. Nadelige effecten op het onderzoeksklimaat
De onderzoekers concluderen terecht dat er geen ernstige nadelige effecten op het onderzoeksklimaat lijken te zijn als gevolg van de invoering van het experiment met promotiestudenten.
2. Aanleiding tot deelname
De onderzoekers concluderen dat de aanleiding om mee te doen het verhogen van het aantal
promoties is, waarbij ook wordt gesteld dat de RUG extra investeert. De conclusie dat kosten of
kostenbesparing geen reden waren om mee te doen, zou wat afgezwakt moeten worden gezien het
interviewcitaat waarin aangegeven wordt dat “je met hetzelfde geld meer promotiestudenten kan
aanstellen dan werknemerpromovendi”. Dus de conclusie dat de aanleiding tot deelname met name
het verhogen van het aantal promovendi is lijkt ons terecht.
3. Verandering in achtergrond van de promovendi
De onderzoekers concluderen dat er weinig veranderingen zijn in achtergrond, behalve de herkomst
van promovendi: het aantal promovendi met een Nederlandse achtergrond is ongeveer gelijk
gebleven, terwijl het aantal promovendi met een buitenlandse achtergrond is gegroeid. Hierbij is van
belang dat buitenlandse studenten een aanvulling krijgen op hun beurs (zgn. top-up promovendi).
Zoals door de onderzoekers vermeld, zijn de promotiestudenten bij de EUR allen promovendi met een
buitenlandse achtergrond. De conclusie dat er weinig veranderingen in achtergrond zijn, behalve (bij
de RUG) nationaliteit, lijkt ons terecht.
4. Ervaren status in de universiteit
De onderzoekers concluderen dat promotiestudenten net als de andere promovendi goed zijn
ingebed in de onderzoeksgroep. De gemelde gevoelens van ongelijkheid van promotiestudenten
betreffen uitsluitend de onderzochte Nederlandse promotiestudenten omdat zij zich met de
werknemerpromovendi vergelijken. Begeleiders zijn zich vaak niet bewust van verschillen tussen de
verschillende typen promovendi. Deze conclusies lijken ons terecht.

5. Verdringing
De onderzoekers concluderen dat er geen sprake is van verdringing bij de RUG omdat het al bij
aanvang van het experiment gekozen is geen werknemerpromovendi meer aan te stellen op
eerstegeldstroom, maar uitsluitend promotiestudenten. We begrijpen dat verdringing een begrip is
dat op vele manieren kan worden uitgelegd, gedefinieerd en dus onderzocht, en dat onderzoekers dus
een heldere definitie hebben gehanteerd. Omdat hun definitie is ingebakken in de beleidskeuze van
de RUG, leidt nader onderzoek naar deze manier van verdringing per definitie niet tot andere
inzichten. Echter, in de onderzoeksdata zitten wel gegevens die een genuanceerder beeld kunnen
geven over andere vormen van verdringing, zoals de relatieve achteruitgang van het aantal
promovendi met een Nederlandse herkomst. Tevens zouden de bevindingen uit de interviews met
externen hierin betrokken kunnen worden, dan wel worden aangegeven dat deze interviews geen
bruikbare gegevens hebben opgeleverd. De conclusie dat er geen sprake is van verdringing volgens de
gekozen definitie is correct, maar was gezien deze definitie bij aanvang van het onderzoek al
beantwoord.
6. Keuzevrijheid
De onderzoekers concluderen dat de promotiestudenten meer vrijheid hebben in keuze van
onderwerp in vergelijking met werknemerpromovendi, en dat er over het algemeen een trend is dat
promotiestudenten meer vrijheid ervaren (wat betreft inrichten van het onderzoek, volgen van
cursussen, bezoeken conferenties, etc.). Hierbij moet vermeld worden dat de werknemerpromovendi
promovendi zijn die worden gefinancierd uit de tweede- of derdegeldstroom, waarbij het gebruikelijk
is dat dergelijke financiën worden verkregen op basis van een uitgebreid onderzoeksplan. Daarmee
vormt deze groep van werknemerpromovendi geen goede vergelijkingsgroep als het gaat om vrijheid
in keuze van onderwerp. Tevens moet vermeld worden dat de uitspraak over de trend over meer
vrijheid is gebaseerd op de interviews en focusgroepbijeenkomst, en dat de kwantitatieve gegevens
geen verschil laten zien. Onze conclusie zou zijn dat er geen verschillen zijn in vrijheid tussen de
groepen promovendi voor zover de vergelijking dit toelaat.
7. Onderwijstaken
Met betrekking tot onderwijstaken binnen de universiteit concluderen de onderzoekers dat het
vervangen van werknemerpromovendi door promotiestudenten (die niet verplicht zijn onderwijs te
geven, maar het wel mogen) leidt tot een afname van onderwijscapaciteit. Dit lijkt een conclusie te
zijn die is gebaseerd op de regels van het experiment, niet op ervaringen van de betrokkenen. Ook
wordt elders genoemd dat begeleiders geen onderscheid maken in promovendi, dat sommige
promotiestudenten zich onder druk gezet voelen om onderwijs te geven en dat andere
promotiestudenten graag onderwijs geven (en hun soms wordt verteld dat dat niet mag). We
ondersteunen de conclusie van de onderzoekers dat het experiment kan leiden tot een afname in
onderwijscapaciteit, maar dat dit in de praktijk nog niet is gebleken.
8. Profileringsfonds
De onderzoekers hebben terecht geconcludeerd dat er geen effecten zijn op het profileringsfonds
omdat het (verhoogde) budget een apart compartiment in het fonds betreft.
Bronnenlijst
Besluit experiment promotieonderwijs (2015, 23 december). Geraadpleegd op 29 december 2019 via
https://wetten.overheid.nl/BWBR0037507/2016-01-09.
De Vries, A. & Broekstra, R. (2019, 19 juni). We hebben helemaal niet meer (student)promovendi
nodig. ScienceGuide.
Jongbloed, B. & Kaiser, F. (2019, 15 juli). Kritiek op evaluatie studentpromovendi ongefundeerd en
voortijdig. ScienceGuide.
Jongbloed, B., Kaiser, F. & Kottmann, A. (2019, juni). Het experiment Promotieonderwijs: een
tussenevaluatie (rapport nummer C19BJ014). Enschede: Center for Higher Education Policy
Studies, Universiteit Twente.

Lavrakas, P.J., Kennedy, C., De Leeuw, E., West, B.T., Holbrook, A.L., & Traugott, M.W. (2019).
Probability Survey-Based Experimentation and the Balancing of Internal and External Validity
Concerns. In P. J. Lavrakas, M. W. Traugott, C. Kennedy, A. L. Holbrook, E. de Leeuw, and B. T.
West (Eds.), Experimental methods in survey research: Techniques that combine random
sampling with random assignment (pp. 1-26). New York, NY: Wiley.
Promovendi Netwerk Nederland (2019, 3 juli). Reactie PNN op tussenevaluatie experiment
promotieonderwijs. Verkregen op 30 december 2019 via
/https://www.hetpnn.nl/2019/07/03/reactie-pnn-op-tussenevaluatie-experimentpromotieonderwijs/.
Tweede Kamer (2019). Vragen gesteld door de leden der Kamer, met de daarop door de regering
gegeven antwoorden (ah-tk-20182019-3468). Den Haag: Tweede Kamer der Staten-Generaal.
Van Engelshoven, I. (2019a, 28 juni). Experiment promotieonderwijs. Den Haag: ministerie van
Onderwijs, Cultuur en Wetenschap.
Van Engelshoven, I. (2019b, 22 oktober). Beantwoording feitelijke vragen aangaande de
tussenevaluatie experiment promotieonderwijs. Den Haag: ministerie van Onderwijs, Cultuur
en Wetenschap.
Van Heest, F. (2018, 13 september). Minister zet stop op het aantal promotiestudenten. ScienceGuide.
Van Rooij, E., Jansen, E., Fokkens-Bruinsma, M., van der Meer, Y. (2019, February). A comparison
between employed PhD students and PhD scholarship students; Results from two cohorts.
Groningen: Faculty of Behavioural and Social sciences, University of Groningen.
Van de Schoot, R. & Jaffe, R. (2019, 22 november). Het promotiestelsel verdient beter. ScienceGuide.