tei- ZonMw

ffo

NEDERLANDSE FEDERATIE VAN
A k NEDE
UNIVERSITAIR MEDISCHE CENTRA

Nederlandse organisatie voor
gezondheidsonderzoek en
zorginnovatie
Laan van Nieuw Oost-lndië 334
2593 CE Den Haag
Postbus 93245

SCANPLAZA
Aan de Minister voor Medische Zorg en Sport
De heer mr. drs. Bruno J. Bruins
Postbus 20350
2500 EJ DEN HAAG

2509 AE Den Haag
Telefoon 070 349 51 11
Fax 070 349 51 00
www.zonmw.nl
info@zonmw.nl
Dossiernummer

80-83920-21
Kenmerk ZonMw
2019/04835/ZONMW
Kenmerk NFU
NFU-19.1966

Onderwerp
aanbieding eindevaluatie Citrienfonds

Datum
21 februari 2019
Contactpersoon
Kees-Jan den Heijer

Geachte heer Bruins,
In 2014 heeft minister Schippers het Citrienfonds ingesteld met als doel om bij te
dragen aan de toekomstbestendigheid van de zorg: de juiste zorg met de juiste
informatie, op de juiste plek tegen betaalbare kosten. De eerste fase van het
Citrienfonds (2014-2018) is nu afgerond en geëvalueerd. Met veel genoegen bieden
wij u het evaluatierapport aan, dat is opgesteld door Twynstra Gudde. Dit rapport is
een vervolg op de tussenevaluatie die u op 31 oktober 2017 is aangeboden.
Focus evaluatie
De vraagstelling van de eindevaluatie spitst zich toe op de vraag: Hoe hebben de
umc's en de NFU er, via het Citrienfonds samen voor gezorgd dat de kwaliteit van de
zorg goed blijft, of zelfs verbetert èn in de toekomst betaalbaar blijft? Ook de rollen
van de NFU en ZonMw zijn geëvalueerd. De NFU is verantwoordelijk voor de
strategische sturing en inhoudelijke coördinatie van de gekozen thema's; de umc's
voeren de programma's uit. ZonMw is verantwoordelijk voor de kwaliteitsbeoordeling
en monitoring. De evaluatie richt zicht op de Citrienfonds thema's: Registratie aan de
Bron, Naar regionale Oncologienetwerken, Doen of Laten, Ehealth en Sturen op
Kwaliteit.
Resultaten en vervolg
Het eindrapport geeft inzicht in waar de vijf Citrienfonds thema's momenteel staan en
hoe ze daar zijn gekomen. Het rapport concludeert dat de umc's onderling en met de
NFU nauw hebben samengewerkt op de vijf thema's om tot een blijvende verbetering
van kwaliteit en betaalbaarheid van zorg te komen. Hoewel de thema's nog lopen,
zijn de eerste resultaten zichtbaar en externe partijen erkennen de toegevoegde
waarde ervan. Het geeft aan dat een goede basis is gelegd om draagvlak en
inhoudelijke verbinding tot stand te brengen, een belangrijke voorwaarde voor de
borging van resultaten via verdere opschaling. ZonMw en de NFU zijn hier trots op.
Tegelijkertijd delen wij de constatering van Twynstra Gudde dat bredere opschaling
en implementatie van de resultaten nodig is om deze impact ook in de praktijk te
gaan 'verzilveren'. Draagvlak op inhoud alleen is daarbij niet voldoende. Investering
in tijd en geld, ook buiten het Citrienfonds, is nodig om brede implementatie en
toepassing te realiseren.

1/3

Onze hoofdopdrachtgevers zijn VWS en NWO

Telefoon 070 34 95 476
citrienfonds@zonmw.nl

t«4 ZonMw

iff^k
NFU

NEDERLANDSE FEDERATIE VAN
UNIVERSITAIR MEDISCHE CENTRA

Dossiernummer
80-83920-21
Kenmerk ZonMw
2019/04835/ZONMW
Kenmerk NFU
NFU-19.1966

Hierop zal door alle betrokkenen actief worden ingezet. Een gezamenlijke aanpak
met de NFU en ZonMw zal dit bevorderen. ZonMw en de NFU zien dan ook uit naar
een vruchtbaar vervolg.
Met vriendelijke groet,
namens het bestuur ZonMw,

namens het NFU-bestuur,

Henk J. Smid
directeur

Willy J.M. Spaan
voorzitter

Bijlage

Eindevaluatie Citrienfonds 2014-2018

3/3

Datum
21 februari 2019

14

ZonMw

m
NEDERLANDSE FEDERATIE VAN
UNIVERSITAIR MEDISCHE CENTRA

Dossiernummer
80-83920-21
Kenmerk ZonMw
2019/04835/ZONMW
Kenmerk NFU
NFU-19.1966

Nu het vervolg van het Citrienfonds in het hoofdlijnakkoord is opgenomen, hebben
ZonMw en de NFU voorbereidingen getroffen voor een soepele overgang naar een
volgende fase van de thema's, gericht op meer opschaling en samenwerking.
Aanbevelingen
Twynstra Gudde beveelt aan dat in het vervolg Citrienfonds scherpere keuzes
gemaakt moeten worden en dat er duidelijker wordt omschreven wat van een
programma aan resultaten verwacht mag worden en wat niet. ZonMw en de NFU
hebben al na de tussenevaluatie inspanningen geleverd om invulling te geven aan
deze aanbevelingen. Een programmatische aanpak voor de programma's die een
vervolg krijgen is daarvan het resultaat. Kenmerkend is een duidelijke fasering met
concrete doelen en resultaten.
Een andere aanbeveling gaat over het expliciteren van de verantwoordelijkheden.
Met versterkte samenwerking en een gezamenlijke govemance notitie Citrienfonds
hebben ZonMw en de NFU al een belangrijke stap gezet in het verduidelijken van de
rollen en verantwoordelijkheden onderling. Bovendien wordt de gezamenlijkheid nog
verder versterkt door de afstemming tussen de ZonMw commissie en de NFU
regiegroep voorafgaand aan relevante besluiten over de voortgang.
Twynstra Gudde wijst er tevens op dat de implementatie van resultaten buiten de
umc's niet alleen tot de verantwoordelijkheid van de NFU en de umc's gerekend kan
worden. Actieve medewerking van ketenpartijen is hiervoor essentieel. Het rapport
stelt dat voor een succesvolle zorgbrede implementatie de doelen en opdrachten
voor de verschillende partijen in de zorgketen gespecificeerd zullen moeten worden.
Elk van de bij de keten betrokken partijen kan en moet daarmee zijn eigen
verantwoordelijkheid nemen. Bij de samenstelling van de stuurgroepen in het vervolg
van het Citrienfonds wordt dit meegenomen. Dit kan bijdragen aan het vergroten van
het bewustzijn over eigen verantwoordelijkheid. Met het oog op de borging en
implementatie buiten de umc's zal ZonMw in het vervolg van het Citrienfonds hierop
toezien.
Begeleidingscommissie
De ZonMw begeleidingscommissie voor de evaluatie onderschrijft de conclusies en
aanbevelingen van het evaluatierapport en benadrukt in aanvulling daarop het
belang van de implementatie en de maatschappelijke impact van het Citrienfonds.
Voor het vervolg ziet deze commissie de verbinding en verbreding, en de
betrokkenheid van patiëntenorganisaties daarbij als belangrijke aandachtspunten.
ZonMw en de NFU hebben deze punten grotendeels al uitgezet bij het opstellen van
de programmaplannen voor de komende vier jaar. Ook zal ZonMw daar bij de
monitoring van de programma's nog strikter op letten. ZonMw en de NFU
onderschrijven dat de meerwaarde van de programma's en de betekenis van de
inspanningen voor de maatschappij in de komende periode nog nadrukkelijker naar
voren mogen komen.
Tot slot
De eindevaluatie is een goed moment om zowel terug als vooruit te kijken. Nu
bekend is dat vier thema's een vervolg krijgen binnen het Citrienfonds, kunnen de
behaalde resultaten samen met ketenpartners verder worden gebracht.

2/3

Datum
21 februari 2019

Twynstra Gudde

Rapport eindevaluatie Citrienfonds

18 december 2018
Marieke Blekemolen
Theo Langejan

Twynstra Gudde

Samenvatting
Om de kwaliteit en doelmatigheid van de zorg in Nederland te bevorderen, heeft de minister van
Volksgezondheid, Welzijn en Sport (VWS) een aantal doelmatigheidsprogramma's, uit te voeren door
ZonMw, geëntameerd. Voor een aantal van die programma's is het Citrienfonds ingesteld, voor de
periode 2014-2018. Met de middelen uit dit fonds werken de universitair medische centra in Nederland
(umc's) samen aan, aldus de minister, de belangrijkste maatschappelijke uitdaging in de sector: hoe
houden we de zorg kwalitatief goed of maken we die zelfs beter en tegelijkertijd betaalbaar?
De vijf op te pakken thema's zijn door de minister van VWS, na overleg met de Nederlandse Federatie
voor Universitair Medische Centra (NFU), vastgesteld.
De NFU is als koepelorganisatie voor de umc's belast met de strategische sturing en inhoudelijke coördinatie van de vijf gekozen thema's ', de umc's voeren de programma's uit. ZonMw is verantwoordelijk
voor de kwaliteitsbeoordeling en monitoring.
1

In haar opdrachtbrief aan ZonMw verzoekt VWS ZonMw het Citrienfonds te laten evalueren door een
onafhankelijk bureau. Twynstra Gudde is gevraagd deze evaluatie uit te voeren. De evaluatie bestaat
uit twee onderdelen: een tussenevaluatie (eind 2017 aangeboden aan de Tweede Kamer) en deze
eindevaluatie. In de eindevaluatie staat de volgende vraag centraal:
Hoe hebben de umc's en de NFU er, via het Citrienfonds samen voor gezorgd dat de kwaliteit van de
zorg goed blijft, of zelfs verbetert èn in de toekomst betaalbaar blijft?
De te beantwoorden deelvragen zijn:
1. Hoe en in welke mate heeft het gezamenlijke programmatische optreden van de NFU en de acht
umc's geleid tot een blijvende verbetering van de duurzaamheid van zorg op de themagebieden
van het Citrienfonds?
2. Tot welke (borging van) resultaten heeft dat per thema (lees: programma) geleid, ook buiten de
umc's?
3. Wat droeg de rol- en taakverdeling binnen het Citrienfonds en de uitvoering daarvan door NFU en
ZonMw hieraan bij?

'

1. Registratie aan de bron. 2. Naar regionale oncologienetwerken. 3. Sturen op kwaliteit (voorheen Patiëntveiligheid). 4.
E-health , 5. Doen of laten? Terugdringen van onnodige zorg (voorheen Beter niet doen).

Twynstra Gudde

Conclusies eindevaluatie Citrienfonds
De conclusies uit deze tussenevaluatie luiden:
Conclusie 1 - over het gezamenlijke programmatische optreden van de NFU en de acht umc's:
Op vijf thema's hebben de umc's onderling en de NFU nauw samengewerkt om tot een
blijvende verbetering van kwaliteit en betaalbaarheid van zorg te komen. Hierbij is gekozen voor
een exploratieve aanpak en is door ieder van de programma's zichtbaar werk gemaakt van het
betrekken van andere ketenpartijen en het delen en verspreiden van inzichten en resultaten.
Conclusie 2 - over de resultaten van de programma's en de borging hiervan: leder programma
heeft zichtbare resultaten opgeleverd, waar externe partijen over het algemeen de toegevoegde
waarde van erkennen. Van borging hiervan - in termen van de zorgbrede implementatie van
deze resultaten - is in dit stadium nog beperkt sprake geweest. De programma's beschouwen
dit als de opgave voor Citrien-2.
Conclusie 3 - over de bijdrage aan de hogere doelstelling van het Citrienfonds: In theorie
dragen alle programma's bij aan de hogere doelstelling van het Citrienfonds. Bredere opschaling/implementatie van de resultaten in Citrien-2 is echter nodig om deze impact ook daadwerkelijk in de praktijk te gaan 'verzilveren'. Actieve medewerking van ketenpartijen is hiervoor essentieel - iets dat de umc's niet kunnen afdwingen.
Conclusie 4 - hoewel de rol- en taakverdeling tussen ZonMw en de NFU in het begin zoeken
was, heeft deze gaandeweg vorm gekregen en is de samenwerking steeds beter geworden.
Hoewel de rol- en taakverdeling voor ZonMw en de NFU zelf helder is, leidt deze bij de programmaleiders tot onduidelijkheden.
Voor een nadere toelichting op deze conclusies, zie hoofdstuk 3.
Aanbevelingen eindevaluatie Citrienfonds
De aanbevelingen uit deze tussenevaluatie luiden:
Aanbeveling 1- aan de programma's: Breng focus aan
De huidige programma's bestaan tezamen uit een grote hoeveelheid projecten. Dit heeft in termen van
resultaten dan ook het nodige opgeleverd. Nu de stap moet worden gezet naar de (bredere) implementatie bevelen wij aan om scherpere keuzes te maken.
Aanbeveling 2 - aan de programma's: Omschrijf de eindresultaten
In Citrien-1 worden de umc's geacht zowel een voortrekkersrol te vervullen in vernieuwingen op een
aantal thema's, alsook voor zorgbrede implementatie van resultaten te zorgen. Zonder dat helder omschreven is wat dit laatste precies inhoudt. Met als gevolg dat het glas voor de een half vol is (een beweging op gang gebracht, met mooie eerste resultaten), en voor de anderhalf leeg is (van zorgbrede
borging van hetgeen ontwikkeld is, is nog geen sprake). Omschrijf bij de start van Citrien-2 dus duidelijker wat er vier jaar later van een programma aan resultaat verwacht mag worden: waarop is een programma afrekenbaar en waarop niet.

Twynstra Gudde

Inhoudsopgave

Samenvatting
1. Inleiding

1

1.1 Aanleiding evaluatie

1

1.2 Opdracht aan Twynstra Gudde

1

1.3 Aanpak en verantwoording evaluatie

2

1.3.1 Aanpak evaluatie

2

1.4 Leeswijzer

2

2. Over het Citrienfonds

4

2.1 Aanleiding, centrale doelstelling en uitgangspunten Citrienfonds

4

2.2 Vijf thema's

5

2.3 Govemance Citrienfonds

5

2.4 Vervolg Citrienfonds na 2018

7

3. Bevindingen eindevaluatie

8

3.1 Gezamenlijk programmatisch optreden NFU en de acht umc's

8

3.2 Resultaten van de programma's en de borging hiervan

11

3.2.1 Programma-overstijgend
3.2.2 Naar Regionale Oncologienetwerken

12
12

3.2.3 Registratie aan de bron

15

3.2.4 Sturen op kwaliteit

19

3.2.5 e-Health

21

3.2.6 Doen of laten?
3.3 Rol- en taakverdeling NFU en ZonMw

23
25

4. Conclusies en aanbevelingen vervolg
4.1 Conclusies eindevaluatie Citrienfonds
4.2 Aanbevelingen voor Citrien-2

28
28
31

1.

Bijlage 1 Overzicht geïnterviewden

2.

Bijlage 2: Overzicht belangrijkste resultaten per programma

Twynstra Gudde

Aanbeveling 3 - aan de programma's, de NFU en VWS: Expliciteer de verantwoordelijkheden
voor de implementatie (programma's en NFU) en beleg deze daar waar ze horen (VWS)
Van de programma's mag in Citrien-2 vervolgens verwacht worden dat de ontwikkelde, breder gedragen resultaten ook daadwerkelijk geïmplementeerd worden binnen de umc's. Dan wordt de meerwaarde ook voor andere ketenpartijen zichtbaar, wat naar verwachting een vliegwieleffect tot gevolg
heeft. Verder mag van de umc's via de programma's verwacht worden dat zij een bijdrage blijven leveren aan de zorgbrede implementatie, door dit te stimuleren, faciliteren en helpen coördineren. Dit aansluitend op de rol van voortrekker.
Maar de implementatie van resultaten buiten de umc's kan niet tot de verantwoordelijkheid van de NFU
en de umc's alleen gerekend worden. Voor een succesvolle zorgbrede implementatie zullen de doelen
en opdrachten voor de verschillende partijen in de zorgketen gespecificeerd moeten worden, zodat elk
van de bij de keten betrokken partijen zijn eigen verantwoordelijkheid moet en kan nemen. Daarom
verdient het aanbeveling om daar waar inhoudelijke oplossingen ontwikkeld zijn en breed gedragen
worden, de verschillende verantwoordelijkheden voor de implementatie ook helder te benoemen en te
beleggen. Hiertoe zal VWS deze partijen een eigen taakstelling moeten geven. De Citrienmiddelen
alleen zijn hiertoe niet toereikend. Ook zal VWS de zorgbrede implementatie waar nodig via wet- en
regelgeving moeten afdwingen, mocht dit niet op vrijwillige basis gebeuren.
Aanbeveling 4 - aan ZonMw en de NFU: Verhelder de sturingslijnen voor de programmaleiders
Het feit dat de (Regiegroep van de) NFU opdrachtgever is, de individuele umc's de subsidie ontvangen
en ZonMw bepaalt of een subsidie verstrekt wordt of niet, zorgt voor een deel van de programmaleiders voor onduidelijkheid. Wie is de opdrachtgever, wie heeft het voor het zeggen? Het is daarom zaak
om de sturingslijnen te verhelderen, door te verduidelijken:
- welke partij welke zeggenschap heeft over de koers van en keuzes binnen de programma's
- aan wie de programma's verantwoording afleggen.
Hierbij is ook de rol van de stuurgroepen vs. die van de regiegroep van de NFU een punt van aandacht.

Twynstra Gudde

1. Inleiding

1.1 Aanleiding evaluatie
Om de kwaliteit en doelmatigheid van de zorg in Nederland te bevorderen, heeft de minister van
Volksgezondheid, Welzijn en Sport (VWS) een aantal doelmatigheidsprogramma's, uit te voeren door
ZonMw, geëntameerd. Voor een aantal van die programma's is het Citrienfonds ingesteld, voor de periode 2014-2018. Met de middelen uit dit fonds werken de universitair medische centra in Nederland
(umc's) samen aan, aldus de minister, de belangrijkste maatschappelijke uitdaging in de sector: hoe
houden we de zorg kwalitatief goed of maken we die zelfs beter en tegelijkertijd betaalbaar?
De vijf op te pakken thema's zijn door de minister van VWS, na overleg met de Nederlandse Federatie
voor Universitair Medische Centra (NFU), vastgesteld.
De NFU is als koepelorganisatie voor de umc's belast met de strategische sturing en de inhoudelijke
coördinatie van de vijf gekozen thema's ' de umc's voeren de programma's uit. ZonMw is verantwoordelijk voor de kwaliteitsbeoordeling en monitoring.
2

In haar opdrachtbrief aan ZonMw verzoekt VWS ZonMw het Citrienfonds te laten evalueren door een
onafhankelijk bureau. Twynstra Gudde is gevraagd deze evaluatie uit te voeren.

1.2 Opdracht aan Twynstra Gudde
Het doel van de evaluatie is inzicht te krijgen in de mate waarin de doelstellingen van het Citrienfonds
zijn of gaan worden bereikt en of/hoe de organisatie en de uitvoering door de NFU en ZonMw hieraan
hebben bijgedragen. De centrale vraag van de evaluatie luidt als volgt:
Hoe hebben de umc's en de NFU er via het Citrienfonds samen voor gezorgd dat de kwaliteit van de
zorg goed blijft, of zelfs verbetert èn in de toekomst betaalbaar blijft?
De te beantwoorden deelvragen zijn:
1
Hoe en in welke mate heeft het gezamenlijke programmatische optreden van de NFU en de acht
umc's geleid tot een blijvende verbetering van de duurzaamheid van zorg op de themagebieden
van het Citrienfonds?
2. Tot welke (borging van) resultaten heeft dat per thema (lees: programma) geleid, ook buiten de
umc's?
3. Wat droeg de rol- en taakverdeling binnen het Citrienfonds en de uitvoering daarvan door NFU en
ZonMw hieraan bij?

'

Registratie aan de bron, 2. Naar regionale oncologienetwerken. 3. Sturen op kwaliteit (voorheen Patiëntveiligheid). 4.
E-health, de patiënt meer aan zet, 5. Doen of laten? Terugdringen van onnodige zorg (voorheen Beter niet doen).
Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 1/33

Twynstra Gudde

De evaluatie bestaat uit twee onderdelen:
- tussenevaluatie: hierin ligt de focus op de doelen, de organisatie/governance en op de eerste
ervaringen met de uitvoering. Deze tussenevaluatie is eind 2017 afgerond en aangeboden aan de
Tweede Kamer
- eindevaluatie: hierin worden de onderzoeksvragen beantwoord. Dit rapport bevat de resultaten van
de eindevaluatie.
N.B. De tussen- en eindevaluatie richten zich nadrukkelijk niet op een medisch inhoudelijke beoordeling van de programma's. Ook gaat de evaluatie niet in op de organisatie en de inhoud van de
tientallen individuele projecten; de focus ligt op programmaniveau en overkoepelend niveau.
De beoordeling van de selectie van de thema's in het licht van de overkoepelende doelstelling
valt tot slot ook buiten de scope van deze evaluatie.

1.3 Aanpak en verantwoording evaluatie
1.3.1 Aanpak evaluatie
Zowel de tussen- als de eindevaluatie bestaan uit:
- een documentenanalyse, waarin de kaderplannen, jaarplannen, jaarverslagen en de beoordelingen
door ZonMw worden bestudeerd
- interviews 'intem': met direct betrokkenen bij de aansturing, uitvoering en beoordeling van het
geheel en de vijf programma's vanuit VWS, de NFU, ZonMw en de umc's
- interviews 'extern': met partijen (lees: niet umc's) die via een adviescommissie, spiegelgroep, dan
wel stuurgroep bij het programma betrokken zijn.
In bijlage 1 is een overzicht van de geïnterviewden voor deze tussenevaluatie opgenomen. Deze
selectie is gemaakt in overleg met ZonMw, de NFU en de programmaleiders.
Voor de evaluatie is door ZonMw een begeleidingscommissie ingesteld, bestaande uit:
- prof. dr. S.W.J. Lamberts (voorzitter), onder andere emeritus-hoogleraar inwendige geneeskunde
- prof. dr. P.H.M. van Hoesel, onder andere hoogleraar Applied Policy Research
- mevrouw dr. M.H.E. Driessens, onder andere policy officer research, Vereniging Samenwerkende
Ouder- en Patiëntenorganisaties, en bestuurslid Medische zaken NVHP
- mevrouw drs. J. van Vliet, onder andere oud lid raad van bestuur Bravis Ziekenhuis.
Drs. M.H. Meijerink en de heer Voetelink nemen zitting als waarnemers namens ZonMw respectievelijk
de NFU.
De begeleidingscommissie heeft bij de start meegedacht over de aanpak van de evaluaties en heeft de
conceptversies van eindrapportages becommentarieerd. Hieraan voorafgaand zijn de eerste analyses,
voor een check op feitelijke onjuistheden, besproken met de programmaleiders en het bureau van de
NFU en is een conceptversie ter wederhoor aan ZonMw, de NFU en de programmaleiders voorgelegd.

1.4 Leeswijzer
Alvorens in hoofdstuk 3 de bevindingen van de eindevaluatie te presenteren, geeft hoofdstuk 2 een
schets van de aanleiding, doelen en uitgangspunten van het Citrienfonds in zijn algemeenheid en de
vijf programma's in het bijzonder. Ook gaat dit hoofdstuk in op de vormgeving van de govemance.

Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 2/33

Twynstra Gudde

Hoofdstuk 3 geeft de bevindingen uit de documentenanalyse en de interviews weer. Hoofdstuk 4
beantwoordt vervolgens de onderzoeksvragen, en bevat de conclusies van deze eindevaluatie.
Ook bevat het hoofdstuk een aantal aanbevelingen voor het vervolg.
In bijlage 1 is een overzicht van de geïnterviewden opgenomen.
Bijlage 2 bevat een overzicht van de belangrijkste resultaten per programma, zoals schriftelijk aangegeven door de programma's zelf.

Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 3/33

Twynstra Gudde

2. Over het Citrienfonds

Dit hoofdstuk beschrijft de aanleiding, de doelstelling en de uitgangspunten van het Citrienfonds. Ook
geeft dit hoofdstuk een korte schets van de programma's en van de govemance.

2.1 Aanleiding, centrale doelstelling en uitgangspunten Citrienfonds
Voor een goed begrip van de doelstellingen van het Citrienfonds is de context van het programma van
belang.
Het Citrienprogramma past in een bredere aanpak vanuit VWS die voortvloeit uit de met de partijen in
de zorg afgesloten Hoofdlijnenakkoorden. Uitgangspunt in die akkoorden is dat beheerste groei niet
gerealiseerd wordt via ingrepen in het verzekerde pakket, maar juist door te investeren in kwaliteit en
doelmatigheid. In die akkoorden hebben partijen zich verbonden aan een gezamenlijk uit te werken
kwaliteits- en doelmatigheidsagenda. Dit vanuit de gedachte dat een systematische en gezamenlijke
inzet op kwaliteitsverbetering bijdraagt aan de doelmatigheid van de zorg en daarmee aan de betaalbaarheid en de toegankelijkheid.
Kern van het Citrienfonds is, aldus VWS: 'dat wordt gewerkt aan de belangrijkste uitdaging van dit moment: hoe zorgen wij dat de kwaliteit van de zorg goed blijft of zelfs nog beter wordt én dat de zorg ook
in de toekomst betaalbaar blijft?' Als uitgangspunten voor het fonds formuleert zij in haar opdrachtbrief
van 20 juni 2014:
-

'goede zorg te leveren op de juiste plek over disciplines heen. Daarvoor is goede samenwerking,
afstemming en een sluitend informatiesysteem nodig, tussen zorgorganisaties en zorgverleners
- zorg organiseren rondom de patiënt op de plek waar dat het beste kan. Idealiter verschuift, waar dit
enigszins mogelijk is, de zorg van tweede lijn terug naar de eerste lijn. En van de eerste lijn naar
zelfmanagement van de patiënt. Er is winst in termen van doelmatigheid en kwaliteit te behalen als
de systemen de patiënt hierbij optimaal helpen
- kennis goed toegankelijk maken voor alle partners in het netwerk
- kostenbesparing en kwaliteitsverbetering te realiseren door transparantie.'
De middelen van het fonds zijn voor de duur van vijfjaar beschikbaar gesteld aan de umc's en aan
de NFU. Als reden wordt genoemd dat de umc's als leveranciers van topzorg en zorginnovatie, met
een belangrijke rol in onderwijs en onderzoek, een voorlopers rol kunnen vervullen in het efficiënter organiseren van de zorg. 'Hef Citrienfonds is bedoeld voor de versterking en versnelling van deze rol van
de umc's, door bij te dragen aan een samenhangende uitvoering van projecten die leiden tot een efficiëntere organisatie van de zorg.'
Voor een succesvolle uitvoering van het Citrienprogramma is commitment van de deelnemende umc's
een noodzakelijke maar niet afdoende voorwaarde. De doelstelling is immers het realiseren van verbeteringen en doelmatigheid in de gehele zorgketen. Naast de bij het Citrienprogramma betrokken umc's
is commitment van ketenpartners, verzekeraars en van de wetenschappelijke verenigingen noodzakelijk. Samenwerking met andere partijen is dan ook een vereiste, zo geeft ZonMw aan (Programmatekst
ZonMw, 2014).

Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 4/33

Twynstra Gudde

Het totale budget van het fonds bedraagt € 25 miljoen. Hiervan is circa € 1,2 miljoen beschikbaar gesteld voor de coördinatie door ZonMw. Het resterende budget is bestemd voor de acht umc's en de
NFU voor de vijf thema's (zie paragraaf 2.2) en de algehele coördinatie, communicatie en implementatie van het Citrienfonds door de NFU (Programmatekst ZonMw, 2014).

2.2 Vijf thema's
Op basis van bovengenoemde uitgangspunten heeft de NFU een inventarisatie gemaakt van mogelijke
initiatieven. Hierbij is gekeken naar kansen die de NFU zelf zag en er is geïnventariseerd welke wensen er bij VWS leefden. Op basis hiervan heeft de NFU een groslijst opgesteld met tien mogelijke
thema's. VWS heeft uit deze groslijst vijf thema's gekozen, wat heeft geresulteerd in de volgende vijf
programma's:
- Naar regionale oncologienetwerken (budget: 10 miljoen euro), gericht op het stimuleren en faciliteren van regionale netwerkvorming in de oncologie.
- Registratie aan de bron (budget: 5 miljoen euro), gericht op het tot stand brengen van een nieuwe,
eenduidige wijze van registreren waarbij dezelfde patiëntgegevens niet meerdere malen hoeven te
worden ingevoerd en kunnen worden hergebruikt. De Citrienmiddelen zijn aangewend ter financiering van onderdelen van de uitvoering van het programma, met name voor de landelijke coördinatie
op alle activiteiten. De implementatie binnen de umc's is de verantwoordelijkheid van de umc's zelf
en komt ook voor eigen (umc-)rekening (zie ook de tussenevaluatie).
- Sturen op kwaliteit (budget 2,5 miljoen), gericht op het vergroten van de kwaliteit van de zorg door
middel van het hebben en gebruiken van adequate kwaliteitsinformatie door de raad van bestuur.
- e-Health (budget 2,5 miljoen euro), gericht op het creëren van een synergie in het gefragmenteerde
landschap van e-Health, en dat hiertoe inzet op het verbinden en bundelen van bestaande oplossingen met nieuwe ideeën. Dit programma is later gestart dan de andere vier programma's (medio
2016).
- Doen of laten? (budget 2,5 miljoen euro), gericht op het in kaart brengen van onnodige zorg, het vergroten van het inzicht in het hoe van het de-implementeren van onnodige zorg en het opschalen van
de opgedane kennis.
Voor een meer uitgebreide beschrijving van de aanleiding, doelstelling en organisatie van de
programma's, zie de tussenevaluatie van het Citrienfonds: https://www.riiksoverheid.nl/documenten/kamerstukken/2017/11/17/kamerbrief-over-tussenevaluatie-citrienfonds.
ZonMw is niet betrokken geweest bij de keuze van de thema's of bij de verdeling van budgetten over
de thema's. Een motivering van deze selectie en de verdeling van de budgetten is niet in de documenten terug te vinden

2.3 Governance Citrienfonds
De govemance van het Citrienfonds ziet er op hoofdlijnen als volgt uit:
Rol NFU: overall coördinatie en strategische koers
De NFU ontvangt een jaarlijkse subsidie voor de coördinatie, communicatie en het bevorderen van de
implementatie van de resultaten van de vijf programma's van het Citrienfonds. Hiertoe is een coördinatiepunt met onder meer een programmamanager/-coördinator, een programma-assistent, een communicatieadviseur en een aantal senior-beleidsmedewerkers ' ingesteld.
3

De subsidie vanuit het Citrienfonds bekostigt de deeltijdaanstellingen van de programmacoördinator, de programma-assistent
en de communicatieadviseur. Overige inzet wordt in-kind bijgedragen door de NFU.
Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 5/33

Twynstra Gudde

Het coördinatiepunt is ingebed in het bureau van de NFU en fungeert onder meer als contactpersoon
voor de programmaleiders en het NFU-bestuur, verzorgt de afstemming met ZonMw, monitort de voortgang en helpt bij het leggen van inhoudelijke verbindingen tussen de vijf programma's en het delen van
kennis en ervaring.
Ook ondersteunt het bureau de zogenaamde regiegroep die vanuit de NFU is ingesteld. De regiegroep
is voor de strategische koers en coördinatie van het Citrienfonds. Hierin nemen bestuurders van het
UMCU, het UMCG, Erasmus MC, VUmc en Maastricht UMC zitting. Deze personen zijn tevens de
voorzitters van de stuurgroepen van de programma's en daarmee wordt ook de uitvoering van de strategische koers via het voorzitterschap van de stuurgroepen tot uitvoer gebracht. Alleen voor het programma Registratie aan de Bron is dit niet het geval. De voorzitter van de stuurgroep van dit programma is wel NFU-bestuurder; een ander stuurgroep lid is lid van de regiegroep.
De regiegroep is ingesteld met het oog op de verbinding tussen de programma's op bestuurlijk niveau,
de algehele koers en strategie van het programma en het monitoren van de voortgang en eventueel
bijsturing.
Rol umc's: aansturing en uitvoering programma's
De umc's zijn belast met de uitvoering van de programma's. Voor elk thema geldt dat de subsidie
ontvangende partij (voor het programma Doen of laten? is dat bijvoorbeeld het Radboudumc) verantwoordelijk is voor de realisatie en de verantwoording naar de subsidiegever, ZonMw. Binnen dat urne
is voor het thema een programmaleider ', bijgestaan door een programmacoördinator met staf, beschikbaar. Hier ligt de verantwoordelijkheid voor de uitvoering van het programma op het betreffende
thema, onder leiding van de stuurgroep van het programma. Per programma loopt een (groot) aantal
projecten. Zie https://www.citrienfonds.nl/projecten/ voor een overzicht per programma. Voor de aansturing hiervan zijn projectleiders aangesteld.
4

Rol ZonMw: beoordeling kwaliteit en toekennen subsidies
ZonMw is belast met de beoordeling van de subsidieaanvragen op kwaliteit en met de monitoring van
de voortgang. Bij de inrichting van het Citrienfonds is ZonMw niet betrokken geweest. ZonMw beoordeelt enkel de kwaliteit van de voorgestelde programma's, gegeven de eerder door VWS en de NFU
gemaakte keuzes, en voert de subsidieverstrekking uit. ZonMw heeft hiertoe een beoordelingscommissie ingesteld, die wordt ondersteund door een zogenaamd programmabureau. De beoordelingscommissie geeft een eindoordeel over de kwaliteit van de kader- en de jaarplannen per thema en over de
kader- en de jaarplannen van de NFU voor coördinatie, communicatie en implementatieactiviteiten (er
is dus één beoordelingscommissie voor de zes subsidiestromen). De beoordelingscommissie kan voorstellen goed- of afkeuren, maar kan ook goedkeuren met een aanwijzing aan de aanvrager over
gewenste aanpassingen of accenten. Tevens bespreekt de beoordelingscommissie de jaarverslagen
van de afgeronde jaarplannen. Bij de beoordeling van de jaarverslagen wordt nagegaan in hoeverre
eerdere aanwijzingen zijn opgevolgd. Op deze manier kijkt de commissie twee keer per jaar of de
gekozen koers aansluit bij de doelstelling van het thema en het fonds (Programmatekst ZonMw, 2014).
De beoordelingscommissie is, met het oog op het voorkomen van belangenverstrengeling,
samengesteld uit experts die niet (meer) werkzaam zijn in een urne. Zij nemen op persoonlijke titel
zitting in de commissie.

De naamgeving van deze functie verschilt per programma (projectleider, themaleider). Voor de helderheid hanteren wij de
naam programmaleider waar het gaat om de verantwoordelijke voor het betreffende programma en projectleider voor de
verantwoordelijke voor de projecten die onder de verschillende programma's vallen.
Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 6/33

Twynstra Gudde

De beoordelingscommissie bestaat uit:
- de heer drs. M.H. (Rien) Meijerink (voorzitter), voormalig voorzitter raad van bestuur Erasmus MC
en voormalig voorzitter Raad voor de Volksgezondheid en Zorg
- mevrouw dr. K.K.H. (Katja) Aben, senior onderzoeker Integraal Kankercentrum Nederland
- mevrouw dr. A M S (Aty) van Amhem, huisarts niet-praktiserend, Nederlands Huisartsen Genootschap (NHG)
- mevrouw prof. dr. J.E.W.C. (Lisette) van Gemert-Pijnen, hoogleraar e-Health Universiteit Twente
- mevrouw prof. C.G.J.M. (Carina) Hilders, gynaecoloog, directievoorzitter Reinier de Graaf Gasthuis,
lid raad van bestuur Reinier Haga Groep, lid Advies Commissie PakketbeheerZiN, bijzonder Hoogleraar EUR Medisch Management en Leiderschap, raad van toezicht Kanker.nl
- mevrouw mr. H. (Heleen) Post, manager Patiëntenfederatie Nederland
- de heer drs. R.A. (Robbin) Thieme Groen, arts, voormalig bestuurder Isala - Zwolle
- mevrouw drs. E. (Els) van der Wilden, director Healthcare Providers.
Rol VWS: opdrachtgever, toehoorder beoordelingscommissie
VWS is opdrachtgever en heeft een bepalende rol gespeeld bij de start van het Citrienfonds, zoals in
de keuze van de thema's en in de opzet van de structuur (denk aan de rolverdeling tussen de NFU en
ZonMw). VWS is tijdens de uitvoering als waarnemer bij de overleggen van de beoordelingscommissie
aanwezig. In de oorspronkelijke opzet werden besluiten van de beoordelingscommissie voorgelegd
aan de minister van VWS. Na de tweede subsidieronde is deze procedure afgeschaft. VWS is als toehoorder aanwezig bij overleg van de beoordelingscommissie maar vervult geen rol in de aansturing of
beoordeling van de programma's.

2.4 Vervolg Citrienfonds na 2018
Inmiddels is in het kader van het Hoofdlijnenakkoord tussen het ministerie van VWS en de verschillende zorgpartijen afgesproken dat er voor de periode na 2018 een vervolg wordt gegeven aan het Citrienfonds. Vier programma's worden als Citrienprogramma voortgezet. Het vijfde thema 'Sturen op
Kwaliteit', is vanaf april 2019 geen onderdeel meer van het Citrienfonds. De resultaten en inzichten krijgen een plek in nieuwe kwaliteitsprogramma's van het NFU-consortium Kwaliteit van Zorg over waarde
gedreven zorg en nieuwe vormen van verantwoorden (zie paragraaf 3.2.4).
Deze evaluatie heeft nadrukkelijk betrekking op het bestaande Citrienfonds, zoals dat loopt tot eind
2018. Voor de duidelijkheid wordt dat in deze evaluatie aangeduid als Citrien-1, met Citrien-2 wordt
dan gedoeld op de voortzetting van Citrien na 31 december 2018.
Het opstellen van deze evaluatie valt in de tijd samen met het voorbereiden van Citrien-2. De aanbevelingen van deze evaluatie kunnen dan ook betrokken worden bij de opzet en invulling van Citrien-2
waarover de besluitvorming nog niet afgerond is.

Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 7/33

Twynstra Gudde

3. Bevindingen eindevaluatie

Dit hoofdstuk geeft de bevindingen uit de documentenanalyse en interviews van deze eindevaluatie
weer. Het betreft feiten, maar ook ervaringen, percepties en meningen. Daar waar ervaringen, percepties en meningen contrasteren, is dit aangegeven.
De bevindingen zijn geordend naar de onderwerpen van de deelvragen die in deze evaluatie centraal
staan. Omdat de deelvragen enigszins overlappen, spitst paragraaf 3.1 zich toe op het 'hoe' van het
optreden van de NFU en de acht umc's, niet op de inhoudelijke resultaten en effecten hiervan. Hier
gaat paragraaf 3.2 op in. In paragraaf 3.3 komen de ervaringen met de rol- en taakverdeling van de
NFU en ZonMw aan de orde.
Dit hoofdstuk bevat de onderzoeksresultaten, nog geen analyse van Twynstra Gudde. Dit volgt in
hoofdstuk 4.

3.1 Gezamenlijk programmatisch optreden NFU en de acht umc's
Deze paragraaf gaat in op de wijze waarop de NFU en de umc's in de praktijk invulling geven aan hun
rol en verantwoordelijkheid en de ervaringen, percepties en meningen hierover. Achtereenvolgens
wordt stilgestaan bij:
- de gekozen strategie en aanpak: werkenderwijs ontwikkelen met een bottom-up aanpak
- de rol- en taakverdeling NFU - umc's en verwachtingen hierbij
- de samenwerking tussen de acht umc's onderling
- de betrokkenheid van externe partijen.
Werkenderwijs ontwikkelen met bottom-up aanpak
Uit de tussenevaluatie van het Citrienfonds kwam naar voren dat de te verwachten (en de niet te verwachten) impact van de eindresultaten op het bredere zorgveld niet heel expliciet is omschreven. De
NFU gaf aan dat er bij de start van het programma is geconstateerd dat op de thema's gezamenlijke,
landelijke inspanning gewenst is, maar dat in dat stadium nog niet altijd uitgekristalliseerd was wat de
verandering of verbetering precies zou moeten behelzen. Daarom is er een bewuste keuze gemaakt
voor een globale beschrijving van de aanpak in het kaderplan en een meer concrete invulling elk jaar in
de jaarplannen, waardoor een stapsgewijze concretisering in de loop van het programma mogelijk is.
Het idee is dat zo recht wordt gedaan aan de insteek van de programma's, namelijk een verandering in
gang zetten waar NFU/umc's het initiatief in nemen en daar andere partijen bij betrekken. 'Het gaat om
het in gang zetten van een beweging'. Kortom is er een strategie gevolgd van werkenderwijs ontwikkelen. Een strategie die, zo luidde de conclusie uit de tussenevaluatie, passend is bij het exploratieve en
innovatieve karakter van de programma's (zie Tussenevaluatie Citrienfonds, 2017).
Hierbij is gekozen voor een bottom-up aanpak: het in interactie met de eindgebruikers zelf ontwikkelen
van nieuw gedachtengoed en resultaten (zoals tools, werkwijzen, handvatten, nieuwe kennis etc- zie
3.2). Door in interactie met de eindgebruikers te ontwikkelen ontstaat werkende weg draagvlak. Uit de
tussenevaluatie kwam naar voren dat deze aanpak breed wordt onderschreven - ook door externe partijen - en als een logische en passende strategie wordt gezien om bredere impact te realiseren.

Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 8/33

Twynstra Gudde

Aansluiten bij de belevingswereld en de motivatie van de professionals zelf is volgens betrokkenen namelijk noodzakelijk om veranderingen in gang te zetten. Dit is wederom bevestigd in de interviews die
zijn gehouden voor deze eindevaluatie.
Wel komt uit de interviews naar voren dat de samenhang tussen de projecten, in ieder geval voor niet
directbetrokkenen en ZonMw, niet geheel duidelijk is. Ook is niet geëxpliciteerd hoe ieder van de projecten zou moeten bijdragen aan het hogere doel van het programma dan wel de doelen van het Citrienfonds. Externe partijen vinden het geheel hierdoor wat versnipperd overkomen, en missen focus
zowel in de opzet (de keuze van de thema's, en de te behalen doelen) als in de uitvoering (wat is de
onderlinge samenhang van de programma's en de projecten en hoe wordt daarop gestuurd). Ook is in
de opzet niet gedefinieerd welke bijdrage van de verschillende thema's verwacht wordt bij het bereiken
van de overkoepelende doelstelling van het Citrienfonds. De NFU geeft aan dat programmatisch werken inderdaad een aandachtspunt is. In het interview met de regiegroep is aangegeven: 'De Regiegroep heeft daarin ook een ontwikkeling doorgemaakt in de vier jaar dat Citrien loopt. Net als in de programma's zeifis geprobeerd halverwege de omslag te maken van een aanpak waarin "1.000 bloemen
moeten kunnen bloeien" naar meer focus en samenhang.' De gesprekken tussen de Regiegroep en de
programma's hebben in de loop van Citrien-1 dan ook in toenemende mate in het licht gestaan van de
focus en samenhang, aldus de Regiegroep.
Rol- en taakverdeling NFU - umc's en verwachtingen hierbij
De NFU ontvangt een jaarlijkse subsidie voor de coördinatie, communicatie en het bevorderen van de
implementatie van de resultaten van de vijf programma's. In de praktijk, zo blijkt uit de documentenanalyse en de interviews, is de rolverdeling tussen het bureau van de NFU als volgt: de NFU communiceert over het Citrienfonds als totaal, de programma's zelf verzorgen eigen communicatie als het gaat
om de inhoud van de programma's zelf, desgewenst met behulp van de communicatiedeskundige van
de NFU. Zo hebben de programma's ieder zelf een website en eigen communicatiekanalen, en heeft
de NFU hiernaast een website ontwikkeld waarop de opbrengsten van het Citrienfonds als geheel
zichtbaar worden gemaakt: https://www.citrienfonds.nl/. Ook denkt het bureau van de NFU met de programma's mee over hoe je resultaten voor het voetlicht kunt brengen.
Het ene programma heeft, zo blijkt uit de interviews, meer behoefte aan deze ondersteuning dan het
andere programma, aangezien een deel van de programma's een eigen communicatieadviseur heeft.
Dit geldt ook voor het bevorderen van de implementatie van de resultaten van de vijf programma's. De
programma's nemen hier zelf het voortouw in, al dan niet in nauwe afstemming en samenwerking met
de voorzitter van stuurgroep (tevens lid van de regiegroep van de NFU). Het bureau van de NFU ondersteunt waar nodig door te signaleren, stimuleren en mensen bij elkaar te brengen, 'vanuit een helicopterview"). Zo wordt er, zo geeft de NFU aan, zowel bottom-up als top-down aan de bredere doorwerking gewerkt.
Over de wijze waarop de NFU haar rol invult, stelt ZonMw dat de coördinatie door het NFU-bureau
vooral gericht is op het proces, en minder op de inhoud. Inhoudelijke sturing op het gebied van communicatie, implementatie en borging is hierdoor in de optiek van ZonMw beperkt. De doelstellingen van
het Citrienfonds in acht nemend had ZonMw deze rol groter verwacht. Wel is ZonMw van mening dat
de NFU de coördinerende rol dit laatste jaar meer oppakt. Hierbij verwijst zij naar de aanstelling van
een communicatie- en implementatieadviseur op het NFU bureau.

Bijvoorbeeld, zo is toegelicht, wanneer er via een beleidsmedewerker van de NFU een signaal komt dat hier aanleiding toe
geeft, of wanneer er in een stuurgroep bijeenkomst van een programma (waar het bureau altijd bij zit) iets aan de orde komt
dat aanleiding geeft tot het organiseren van overleg of afstemming.
Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 9/33

Twynstra Gudde

De NFU stelt dat het in haar ogen vreemd zou zijn wanneer het bureau van de NFU het voortouw
neemt op de inhoud en een programmaleider voorschrijft hoe hij of zij moet communiceren en de implementatie moet gaan bevorderen. 'Daf weet een programmaleider zelf veel beter.' Het is in haar optiek effectiever als de programmaleiders in de lead zijn en het NFU-bureau faciliteert (bijv. door communicatieadvies) en waar nodig op bestuurlijk niveau acteert om knelpunten mee op te lossen of kansen te grijpen. In samenspraak met de programmaleiders.
De programmaleiders zelf laten zich over het algemeen positief uit over de ondersteuning door en samenwerking met de NFU (zowel het bureau als de regiegroep) en over de onderlinge rolverdeling. Het
bureau en de regiegroep worden beschouwd als goede sparringpartners. Ook is aangegeven dat de
samenwerking binnen NFU-verband het commitment bij de umc's borgt. Wel is vanuit één van de programma's aangegeven dat de interactie met het bureau van de NFU als supportive, maar ook als controlerend wordt ervaren. 'Met regelmaat moet dezelfde informatie gegeven worden.'
Verder is er in de interviews door individuele programmaleiders met betrekking tot de ondersteuning
door de NFU nog aangegeven dat:
- er programma overstijgend behoefte is aan een controller, aan een jurist en aan het organiseren van
huisvesting ). Iets dat het NFU-bureau nu niet aan ondersteuning biedt.
- het (bij een specifiek programma) onbegrip wekte dat er eerst op is gestuurd dat het programma de
huisstijl van de NFU overnam, en er nu gevraagd wordt om de website meer 'los van de NFU' in te
richten. Ook bleek er verwarring over het te hanteren logo. In het interview met de NFU is aangegeven dat de communicatie en het al dan niet gebruiken van eigen logo's door de programma's inderdaad een punt van aandacht is en de lijn hierin verheldering behoeft.
6

Samenwerking acht umc's onderling
Het is volgens de NFU voor het eerst dat de acht umc's op deze schaal zo nauw samenwerken
rondom een aantal thema's. Dat de krachten worden gebundeld, ziet zij als een sterk element van het
Citrienfonds. Haar indruk is dat samenwerking tussen umc's helpt bij het in gang zetten van een beweging in het bredere zorgveld. Dit is ook door extern geïnterviewden bevestigd. Zo stelde een geïnterviewde over het programma Sturen op Kwaliteit: 'Heel sterk is dat met dit programma de ambitie is uitgesproken en een platform is gecreëerd om als acht umc's gezamenlijk te gaan werken aan dit thema,
door kennis te delen en van elkaar te leren. Kennis bundelen (...) is een belangrijke stap in de Nederlandse zorg.' Ook de gezamenlijke visie die binnen het programma e-Health is ontwikkeld is door geïnterviewden als mooi voorbeeld van de samenwerking tussen de umc's aangehaald.
Betrokkenheid externe partijen
Uit de documentenanalyse en de interviews met de programmaleiders blijkt dat ieder van de programma's aandacht heeft voor het betrekken van externe partijen, leder van de programma's heeft
hiertoe een gremium, zoals een adviescommissie of spiegelgroep, waar ideeën of resultaten periodiek
worden gedeeld en besproken. Verder nemen er 'niet umc's' deel aan de projecten en maken de programma's actief werk van het ontsluiten en onder de aandacht brengen van inzichten en resultaten
breder dan alleen bij de umc's. Zie https://www.citrienfonds.nl/betrokken-partiien voor een overzicht
van alle betrokken partijen.
Exteme partijen laten zich in de interviews over het algemeen positief uit over de effort die de programma's steken in het betrekken van externe partijen en het onder de aandacht brengen van resultaten. Wel is bij het programma e-Health de tijdsinvestering die participatie vraagt als aandachtspunt benoemd.
6

)

Nu organiseert ieder programma dit zelf, de indruk is dat dit efficiënter moet kunnen, bijv. door te gaan werken met een preferred supplier
Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 10/33

Twynstra Gudde

Dit raakt aan een meer algemeen punt dat uit de interviews naar voren komt: het gaat - aldus externe
partijen - om programma's van de umc's. Andere ketenpartijen kunnen op basis van vrijwilligheid meedenken en adviseren, niet meebeslissen. Dit is in een explorerende fase, waarin de umc's een voortrekkersrol vervullen, volgens de meeste geïnterviewden, niet per se een probleem. Maar als het gaat
om zorgbrede implementatie, is het volgens een deel van de geïnterviewden niet realistisch om te verwachten dat niet umc's enkel op basis van vrijwilligheid, zonder zeggenschap (externe partijen maken
geen onderdeel uit van de stuurgroepen) en zonder financiële middelen, activiteiten (kunnen) gaan ontplooien die voor deze zorgbrede implementatie nodig zijn. Zij zien de govemance van het Citrienfonds
en het feit dat het fonds 'van de umc's' is, daarom als aandachtspunt. Zeker voor het vervolg. NB: In
het geval van Registratie aan de bron maken externe partijen overigens wel deel uit van de stuurgroep.
Maar ook extern betrokkenen bij dit programma zijn kritisch over de govemance. Paragraaf 3.2.3 gaat
hier nader op in. Vanuit het programma wordt daarom gewerkt aan een voorstel om de govemance in
de volgende fase anders vorm te geven.
De NFU heeft in het interview aangeven dat het Citrienfonds haar oorsprong vindt in de verlaging van
de bijdrage aan de umc's vanuit VWS, wat vervolgens voor een klein deel met de Citrienmiddelen is
'gecompenseerd'. Het gevolg hiervan is dat de umc's de Citrienmiddelen in zekere zin als hun geld beschouwen. En VWS ziet het volgens de NFU zelf ook zo. Er is immers voorafgaand aan de start onderhandeld tussen VWS en de NFU over de budgetten. Ook hebben de umc's, zo staat te lezen in de opdracht aan de umc's, nadrukkelijk de voortrekkersrol toebedeeld gekregen en de opdracht om resultaten te boeken. Dit maakt, aldus de NFU, dat de umc's in de lead zijn en zichtbaar moeten maken dat
ze resultaten tot stand brengen. Wanneer de umc's resultaten echter claimen, kan dit het draagvlak
voor deze resultaten in het bredere zorgveld juist in de weg zitten ('not invented here'). Terwijl het ook
de opdracht aan de umc's is om verbeteringen voor de gehele zorg te realiseren. Wat juist vraagt om
een meer bescheiden opstelling. Dit brengt dus een dilemma met zich mee, en maakt het een lastige
opgave. Temeer omdat er voor de implementatie zelf, aldus de NFU, geen middelen beschikbaar zijn
gesteld. Overigens ook niet voor de implementatie binnen de umc's zelf, wat dus ook vraagt om eigen
aanvullende investeringen. Nu moeten de programma's dus maar hopen dat er op basis van enthousiasme en vrijwilligheid aan de programma's en de implementatie buiten de umc's wordt meegewerkt
door andere ketenpartijen.

3.2 Resultaten van de programma's en de borging hiervan
Aan de programmaleiders is in het kader van deze eindevaluatie gevraagd om aan te geven wat de
belangrijkste resultaten zijn die eind 2018 gereed zullen zijn ), of inmiddels reeds zijn opgeleverd. De
antwoorden op deze vraag zijn opgenomen in bijlage 2 en vatten wij hieronder per programma samen.
Ook geven wij aan hoe zowel de programmaleiding, de NFU, ZonMw en extern betrokkenen tegen
deze resultaten aankijken, en tegen de borging ervan binnen en buiten de umc's. Hiernaast wordt per
programma ingegaan op de bijdrage aan de hogere doelstelling van het Citrienfonds in de optiek van
de programmaleiders en in de optiek van externe partijen.
7

Geïnterviewden hebben zich ook in zijn algemeenheid uitgelaten over de bredere borging van resultaten. Daarom start deze paragraaf met een weergave van het programma-overstijgende beeld.

Deze evaluatie diende afgerond te zijn voordat alle programma's zijn afgerond. Het gaat dus deels om nog te verwachten
resultaten.
Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 11/33

Twynstra Gudde

3.2.1

Programma-overstijgend

In de ogen van zowel VWS als de NFU is de aanvankelijke scepsis bij diverse ketenpartners over de
rol van de umc's in belangrijke mate weggenomen in de vier jaar dat Citrien loopt. Dit wordt gezien als
een belangrijke verdienste van vooral de programmaleiders zelf, die met de kracht van de inhoudelijke
overtuiging andere partners meegenomen hebben in het proces. Dit beeld wordt bevestigd in het merendeel van de interviews met externe partijen. Er is, aldus de NFU, echt iets in gang gezet en een landelijke beweging op verschillende thema's ontstaan. Soms leidde dit volgens de NFU tot wrijving met
andere partijen, maar gedoe is in haar optiek soms nodig om een stap verder te komen.
VWS geeft aan dat er weliswaar veel tot stand is gebracht, maar dat er nog veel werk te verrichten is
om de ontwikkelde verbeteringen daadwerkelijk zorgbreed te implementeren. Dit leidde tot het besluit
om het Citrien een vervolg te geven. Ook ZonMw en externe partijen zijn van mening dat de zorgbrede
implementatie nog aandacht behoeft. ZonMw wijst in dit licht op het belang van verankering op bestuurlijk niveau.

3.2.2 Naar Regionale Oncologienetwerken
Resultaten en borging hiervan
Het programma Naar regionale oncologienetwerken richt zich op drie hoofdthema's:
- Hoofdthema 1 - MDO's. consultatie en verwijzing richt zich op een goede inrichting van het Multidisciplinair Overleg van medisch specialisten van verschillende ziekenhuizen. Uitgangspunt is dat elke
patiënt met kanker een passende behandeling krijgt (juiste zorg, juiste plek, juiste informatie). Stateof-the-art behandelopties moeten zijn afgewogen in relatie tot de gezondheidstoestand en doelen en
voorkeuren van de patiënt.
- Hoofdthema 2 - Digitale snelweg: elektronische gegevensuitwisseling en XDS richt zich op een goed
beveiligde, digitale snelweg tussen alle ziekenhuizen, ingericht volgens dezelfde standaard, om alle
informatie, met name ook beeldvormende data, over de patiënt efficiënt en op tijd uit te wisselen
waardoor een MDO goed kan functioneren
- Hoofdthema 3 - Registratie aan de bron, met betrekking tot oncologie richt zich op goede afspraken
over welke informatie van een patiënt over die digitale snelweg wordt gestuurd. De registratie van
relevante patiëntgegevens moet overal hetzelfde zijn, dus niet afhankelijk van welk ziekenhuis (een
deel van) de gegevens heeft ingevoerd.
Uit de verstrekte informatie en het interview met de programmaleiding komt naar voren dat er binnen
het programma ten eerste een werkwijze is ontwikkeld ('multidisciplinair systeem') om voor elke patiënt
te komen tot een optimaal behandelplan en een passende behandeling. Met deze werkwijze is binnen
projecten ook ervaring opgedaan en de manier van denken is de afgelopen 3,5 jaar steeds breder geaccepteerd, aldus de programmaleiding.
De implementatie van de ontwikkelde werkwijze staat voor Citrien-2 op de agenda. Zover is het programma in dit stadium nog niet. Wel wordt er op een aantal plaatsen, zoals in Groningen, al volgens
het ontwikkelde principe gewerkt. De insteek tot nu toe is om draagvlak te creëren via de inhoud. Dit
lukt volgens de programmaleiding ook. Zo omarmt de Taskforce Oncologie het programma en ontmoet
het programma, zo is de ervaring, veel enthousiasme. Het is de insteek, aldus de programmaleiding
'om in Citrien-2 effectief gebleken werkwijzen via o.a. richtlijnen te gaan opschalen en borgen.'
Ter ondersteuning van het 'multidisciplinair systeem' is hiernaast gewerkt aan:
- Het vergroten van de digitale verbondenheid, door elektronische (beeldvormende) gegevensuitwisseling met XDS als standaard te bevorderen.

Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 12/33

Twynstra Gudde

Concreet resultaat hiervan is: voorbereide, geteste, concreet geïmplementeerde en bovenregionaal
gekoppelde delen van een beoogd landelijk netwerk voor digitale gegevensuitwisseling volgens de
XDS-standaard. Dat XDS in 2017 als standaard is geaccepteerd door het Informatieberaad ziet de
programmaleiding als een belangrijke stap. Verder is er tussen regio's kennis en ervaringen uitgewisseld en is de digitale verbondenheid zelf ook toegenomen, zo geeft de programmaleiding aan.
De mate waarin is echter niet precies te zeggen, aangezien er geen 'nulmeting' is gedaan. Het streven voor de lange termijn (2025) is om een landelijk dekkend netwerk te realiseren.
- Het uitwerken van uniforme bouwstenen voor de registratie van gegevens voor drie tumortypen
(borstkanker, pancreascarcinoom en colorectale levermetastasen). Hiermee is in 2018 gestart, in
samenwerking met IKNL. Resultaten zijn nog in ontwikkeling, maar de verwachting is dat eind 2018
duidelijk is wat nodig is aan gegevens voor het basisdossier. Tevens zal een algemeen bruikbaar
stappenplan voor het vaststellen en implementeren van een Basisdossier oncologie voor een willekeurige tumorsoort zijn opgesteld. Daarop aansluitend ontwikkelt het programma een visie op landelijke harmonisatie mede o.b.v. gesprekken met de belangrijkste partijen.
- Het bespreekbaar en inzichtelijk maken van de financiering van MDO, expertrol en netwerkzorg, zoals verder uitgewerkt in het rapport 'De ontwikkeling van oncologienetwerken in Nederland. Aanbevelingen rond organisatie en financiering'.
Meer informatie over de projecten en bijbehorende publicaties is te vinden op de website:
www.oncoloqienetwerken.nl.
Gedurende het hele programma is volgens de programmaleiding gewerkt aan het met elkaar delen van
kennis en successen om resultaten uit projecten verder te kunnen brengen in de eigen dan wel andere
regio's. 'De belangrijkste regionale successen worden bovendien 'vertaald' naar 'citrientjes', die specifiek door het netwerk van linking pins worden ondersteund om verder te brengen/op te schalen in andere regio's.' Het delen van kennis vindt mede plaats middels breed gedeelde rapporten en publicaties, o.a. via de website www.oncologienetwerken.nl, maar tevens via regionale websites en nieuwsbrieven, via de CCN's, via Linkedin en via o.a. netwerkbijeenkomsten en regionale en landelijke congressen.
Om de bredere doorwerking/implementatie te bevorderen werkt het programma nauw samen met de
Taskforce Oncologie (bestaande uit de NHG, FMS, NVZ, SONCOS, IKNL, NFK en NFU), die als klankbordgroep voor het programma fungeert. Het streven is om tot een Visiedocument Oncologische
Netwerkzorg te komen, waarin gezamenlijke ambities voor het vervolg worden vastgelegd. Het is de
bedoeling dat het visiedocument in december wordt ondertekend door alle leden van de Taskforce en
er binnen Citrien-2 gewerkt wordt aan de realisatie van deze ambities. Hiermee wordt de bestuurlijke
verankering in de ogen van de NFU goed opgepakt.
Beeld externe partijen en BC ZonMw
In lijn met de tussenevaluatie, laten externe partijen zich positief uit over nut en noodzaak van het programma. De indruk is dat het programma heeft bijgedragen aan het bredere besef dat regionale samenwerking noodzakelijk is, en aan het tot stand brengen van deze samenwerking en de ondersteuning hiervan zelf. Dat dit in nauwe samenwerking met de Taskforce Oncologie gebeurt bevordert het
bredere draagvlak, net als de bottom-up benadering die is gekozen, aldus geïnterviewden. Ook zijn externe partijen positief over het feit dat er nu een Visiedocument Oncologische Netwerkzorg in de maak
is om gezamenlijke ambities voor het vervolg vast te leggen. 'Groot winstpunt hiervan is dat we de wereld laten zien dat we eensgezind zijn, ook op koepelniveau.', aldus een van de geïnterviewden.

Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 13/33

Twynstra Gudde

Wel is in de interviews aangegeven dat er, met het oog op de bredere doorwerking:
- Scherper gedefinieerd zou mogen worden aan welke eisen een netwerk minimaal moet voldoen, en
dat het programma systematisch in kaart zou moeten brengen welke netwerken hier al aan voldoen
(en welke opgaven er dus nog liggen). 'Bevorder niet alleen de kwaliteit van de netwerken, maar
maak de kwaliteit ook transparant'. Dan kan hier ook op afgerekend worden, zodat de vrijblijvendheid verdwijnt. 'Openbaarheid is een krachtig instrument.' In lijn hiermee vraagt ZonMw aandacht
voor de vraag wat het werken volgens de ontwikkelde werkwijze aan kwaliteitsverbetering voor de
zorg oplevert: leidt de andere manier van organiseren ertoe dat de kwaliteit van de oncologische
zorg minder variaties over de regio's vertoont? Inzicht hierin helpt, zo geeft zij aan, ook om de werkwijze breder uit te rollen. De aandacht ligt tot nu toe in haar optiek nog sterk op het proces, niet op
het resultaat in termen van de kwaliteitsverbetering. Het zou in de ogen van ZonMw goed zijn als
het programma in de volgende fase indicatoren formuleert voor het meten van de toegevoegde
waarde van een netwerk, en hier ook op monitort. Ook vraagt ZonMw aandacht voor de monitoring
op naleving van de afspraken uit een MDO, zodat duidelijk is dat erop gestuurd wordt.
- Aandacht nodig is voor de aansluiting van de eerste lijn op de MDO's. De aandacht ligt in de optiek
van de NHG nog vooral op de ziekenhuizen. Hierbij wordt erkend dat aansluiting van de eerste lijn
ook complex is: huisartsen kunnen niet fysiek aansluiten bij elk tumor specifiek MDO, alleen al omdat zij beschikbaar moeten zijn voor spoedeisende zaken uit hun eigen praktijk. Maar het is wel mogelijk om huisartsen virtueel aan te laten sluiten. Dit krijgt, zo is aangegeven, nog te weinig aandacht
in de plannen en de projecten. Ook zou binnen het programma te weinig aandacht zijn voor de
nieuwe Richtlijn Informatie-Uitwisseling tussen Huisarts en Specialist (HASP), waarin de oncologie
specifiek aan de orde komt.
- Meer aandacht moet komen voor de aansluiting met niet umc's. Hoewel de programmaleiding hier
weliswaar zichtbaar werk van maakt door algemene ziekenhuizen te betrekken bij projecten, zo
wordt aangegeven, blijft het volgens een deel van de geïnterviewden problematisch dat het een
NFU-programma is en het middelen van de umc's zijn. Voor netwerkvorming is immers bij uitstek
samenwerking nodig. Dit vergt ook inspanningen van andere netwerkpartners, en vraagt dus ook
om financiële middelen. Geopperd is om voor het vervolg van een deel van de projecten via de subsidievoorwaarden verplicht te stellen dat een aanvraag in gezamenlijkheid met algemene ziekenhuizen wordt ingediend. 'Zo bouw je aan de voorkant meer prikkels in om de samenwerking en het
draagvlak voor de resultaten te bevorderen.'
Bijdrage aan doelstelling Citrienfonds
Gevraagd naar de bijdrage van het programma aan de hogere doelstelling van het Citrienfonds, luidt
het antwoord van de programmaleiding dat 'met behulp van techniek en goede (landelijke) afspraken
de efficiëntie en kwaliteit in oncologische zorg wordt vergroot. Dit levert ten eerste een besparing op in
benodigde administratieve en organisatorische capaciteit (mensen). Zorgprofessionals zelf zullen meer
tijd aan de echte patiëntenzorg kunnen besteden, waarbij die zorg door standaardisatie en goede
werkafspraken in het MDO tegelijkertijd veel efficiënter verloopt. Als in dat MDO bovendien structureel
patiëntvoorkeuren worden betrokken, zal er bij ca. 30-40% van deze patiënten minder worden behandeld dan nu het geval is ).
s

8)

Gevraagd naar een toelichting op deze inschatting, luidt het antwoord Uit het onderzoek van Barbara van Leeuwen (bespreking patiëntvoorkeuren van oudere patiënten met kanker in het MDO) blijkt dat bij 27% van de 250 geïncludeerde patiënten het meenemen van informatie over de
mate van kwetsbaarheid van de patiënt en diens doelen en voorkeuren in het MDO Kanker en ouderen leidde tot een aanpassing van het behandeladvies ten opzichte van het advies van het reguliere tumorwerkgroep overleg. Vaak ging het om minder intensieve behandeladviezen. maar in
een aantal gevallen ook om een uitgebreider behandeladvies Soortgelijk resultaat vonden we in de pilot 'patiëntvoorkeuren in het MDO.' Hierbij
wordt aangegeven dat het doel van het meenemen van meer persoonsgericite informatie is om tot meer passende behandelplannen te komen
medisch technisch passend en passend bij de mens. Het is geen doel op zich om minder te behandelen.

Rapport eindevaluatie Citrienfonds | 18 d e c e m b e r 2 0 1 8 | Pagina 1 4 / 3 3

Twynstra Gudde

Het resultaat is: blijvend goede, betere oncologische zorg voor iedereen, efficiënte inzet van mensen
en middelen en een optimale benutting van beschikbare (regionale) kennis, kunde en capaciteit.'
Externe partijen erkennen de potentiële bijdrage van het programma aan de kwaliteit en betaalbaarheid van de zorg, maar geven ook aan dat de toekomst zal moeten uitwijzen of het ook daadwerkelijk
lukt om deze impact te hebben. De bredere implementatie van hetgeen ontwikkeld is moet immers nog
plaatsvinden. Een van de geïnterviewden stelt dat sterkere focus nodig is om de komende vier jaar
echt impact te hebben. Bijvoorbeeld door volledig in te zetten op het bevorderen van de digitale uitwisseling. ZonMw vraagt zich af of het jaar 2025 als streven voor een landelijk dekkend netwerk niet erg
ver weg is, en geeft aan dat de route ernaartoe helder geformuleerd moet worden.

3.2.3 Registratie aan de bron
Resultaten en borging hiervan
Het programma Registratie aan de bron, dat zich richt op een eenmalig eenduidige vastlegging van
zorginformatie, zodat informatie 'altijd en overal beschikbaar is voor patiënten en zorgverleners' en
voor veel doeleinden is her te gebruiken, heeft volgens de programmaleiding op overkoepeld niveau de
volgende resultaten opgeleverd:
- ontwikkelde zorginformatiebouwstenen (zibs) en de Basisgegevensset Zorg (BgZ) voor de uitwisseling van gegevens. Deze twee elementen vormen het landelijk fundament voor registratie aan de
bron
- de zibs en BgZ zijn landelijk als standaard voor de uitwisseling van gegevens erkend door het Informatieberaad. De LHV (huisartsen) heeft daarbij een voorbehoud gemaakt. De huisartsen hebben
volgens de programmaleiding aangegeven de impact op de eigen systemen onvoldoende te kunnen
inschatten. De afspraak is nu dat er een pilot wordt gestart om deze impact helder te krijgen
- bewustwording en de discussie die landelijk op gang is gebracht; 'het onderwerp staat breed op de
kaart'
- in de umc's is het EPD eind 2018 zó ingericht dat registratie aan de bron technisch mogelijk is
- algemene ziekenhuizen zijn (via het eigen Versnellingsprogramma Informatie-uitwisseling Patiënt en
Professional (VIPP-programma)) ook hard op weg. Ook steeds meer andere partijen sluiten aan
- er is kennis en ondersteunend materiaal ontwikkeld voor de verdere landelijke uitrol.
In het interview met de programmaleiding is nader ingezoomd op deze resultaten en de bredere doorwerking hiervan. Als het gaat om de implementatie van de ontwikkelde zibs en de BgZ, zijn er, zo licht
de programmaleiding toe, vier niveaus te onderscheiden: 1) technisch: implementatie van standaarden
in de EPD's (Chipsoft, Epic, Cerner etc), 2) vastlegging: zorgprofessionals leggen gegevens op de
juiste wijze en plek vast in de praktijk, 3) uitwisseling a naar b: zorgprofessionals kunnen eigen gegevens automatisch aanleveren aan derden (zorgverleners of andere her gebruikers zoals kwaliteitsregistraties), 4) uitwisseling b naar a) zorgprofessionals kunnen gegevens die door anderen zijn vastgelegd inladen in het eigen EPD.
Het is technisch mogelijk om volgens de bouwstenen te registeren, zo geeft de programmaleiding aan.
De uitwisseling tussen EPD's behoeft technisch gezien echter nog aandacht. Hier lopen nu projecten
op. Zoals een pilot om de uitwisseling tussen de twee type EPD's te beproeven. Ook vinden er gesprekken op bestuurlijk niveau plaats met de EPD-leveranciers. Eind van dit jaar vindt er wederom een
BgZ audit binnen de umc's plaats om te onderzoeken of technische uitwisseling mogelijk is (kan het)
en om - via steekproeven- zicht te krijgen op de mate waarin gegevens op de juiste wijze worden vastgelegd (gebeurt het). De resultaten van deze audit vormen input voor de uitwerking voor Citrien-2.

Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 15/33

Twynstra Gudde

De implementatie van hetgeen ontwikkeld is en het gebruik hiervan door professionals staat of valt, zo
gaf de programmaleiding ook in de tussenevaluatie aan, bij medewerking van de zorgprofessionals
zelf. Om te bevorderen dat eenduidig vastleggen en hergebruiken van gegevens niet alleen kan maar
ook gebeurt, is onder meer een serious game ontwikkeld, waaraan inmiddels zo n 1000 spelers hebben deelgenomen. Ook probeert het programma (bredere) implementatie te bevorderen door de ontwikkeling en inzet van middelen als een kennisplatform, filmmateriaal, social media, artikelen in vakbladen, spreken op congressen, bijeenkomsten voor diverse stakeholders, en door enthousiaste artsen
als ambassadeur in te zetten. Ook zijn er op landelijk niveau zaken ontwikkeld om de implementatie te
faciliteren, zoals e-learning en opleidingsmodules, ook specifiek voor algemene ziekenhuizen. Verder
is binnen iedere urne een CMIO ingesteld die binnen de umc's fungeert als ambassadeur van het programma en de implementatie aanjaagt. Ook fungeert het feit dat het gebruik van de zibs en BgZ als
subsidievoorwaarde geldt voor het VIPP-programma van de algemene ziekenhuizen (NVZ) en de zelfstandige klinieken (ZKN) als belangrijke aanjager voor zorgbredere implementatie.
De gedragsverandering is, zo geeft de programmaleiding aan, echter het taaiste deel en zal ook in het
vervolg (Citrien-2) nadrukkelijk aandacht (blijven) krijgen.
Verder komt uit het interview naar voren dat andere belangrijke resultaten van het programma zijn:
- alle umc's hebben een patiëntportaal, waarmee patiënten toegang hebben tot hun gegevens
- van belang is dat goed gebruik van de standaarden ook gebruikt kan worden om de verschillende
kwaliteitsregistraties te vullen. Hoe beter dat lukt hoe meer het voor de individuele arts ook aantrekkelijk wordt de standaarden te gebruiken. T.b.v. het hergebruik van gegevens voor kwa li te its registraties is een 'Doe-boek' als handvat ontwikkeld om te borgen dat de wetenschappelijke verenigingen
(als uitvragers van kwaliteitsinformatie) de gevraagde informatie laten aansluiten op de zibs. 35 wetenschappelijke verenigingen hebben, zo geeft de programmaleiding aan, aangegeven hun registraties volgens de zibs te gaan herinrichten.
De NFU geeft aan dat de resultaten van het programma zowel in de tweede als de derde lijn door alle
partijen worden onderschreven.' WVS ondersteunt dit ook met het VIPP programma voor de NVZ, ZKN
en GGZ. De uitkomsten zijn ook onderschreven door het zogenaamde In formatieberaad onder voorzitterschap van VWS.' Dit ziet zij als bewijs dat er aandacht is geweest voor de bredere borging. Punt van
aandacht is nog wel, zo geeft zij aan, de positie van de huisartsen.
Beeld externe partijen en BC ZonMw
In lijn met de tussenevaluatie, onderschrijven externe partijen nut en noodzaak van het programma en
zijn zij van mening dat er met de BgZ en zibs belangrijke resultaten zijn geboekt. Ook het feit dat deze
door nagenoeg alle partijen uit het Informatieberaad zijn erkend, wordt als belangrijk resultaat gezien.
Geïnterviewden vinden het ook verstandig dat er aandacht is voor de koppeling met kwaliteitsregistraties. 'Zo levert registreren aan de bron voor de gebruiker ook een concrete besparing van de administratieve lasten op.'
Hoewel externe partijen de BgZ en de zibs als waardevolle resultaten beschouwen, wijzen zij erop dat
de daadwerkelijke toepassing van hetgeen ontwikkeld is in de praktijk (zowel binnen als buiten de
umc's) nog de nodige aandacht verdient. Zij stellen dat de gedragsverandering die hiervoor nodig is bij
de zorgprofessionals een weerbarstige opgave is, die tijd vraagt en in de vervolgfase nadrukkelijk aandacht behoeft. De meeste geïnterviewden zien dit als de volgende stap. Zo stelt een van de geïnterviewden: 'ledereen weet dat het die kant op moet en dat eenduidig registreren en meervoudig gebruik
voor iedereen winst oplevert. Het is nu de stap van bewustwording naar ander gedrag. Hiervoor is de
winst die dit oplevert nog te weinig in beeld. Dit is ook een lange termijn iets, wat op de korte termijn
een investering vergt. Dat maakt het complex.'
Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 16/33

Twynstra Gudde

Enkele geïnterviewden laten zich kritischer uit, en zijn van mening dat resultaten soms mooier worden
voorgesteld dan ze zijn (Radboud/JeroenBosch wordt veel genoemd, maar ook daar is nog geen
digitale uitwisseling ). En dat de daadwerkelijke implementatie nog te weinig aandacht krijgt. Zo komt
volgens een van de geïnterviewden de verdere opschaling van projecten ") en de implementatie van de
verrichtingenthesaurus, nog onvoldoende van de grond. De programmaleiding tekent hier in de wederhoorsessie overigens bij aan dat de implementatie van de verrichtingenthesaurus ook niet tot de verantwoordelijkheid van het programma behoort, maar onderdeel is van de Dutch Hospital Data (zie:
https://www.dhd.nl/producten-diensten/verrichtinqenthesaurus/PaqinasA/errichtinqenthesaurusaspx).
1

Hierbij wordt opgemerkt dat het daadwerkelijk realiseren van registratie aan de bron en hergebruik formeel geen onderdeel uitmaakt van het programma, maar de verantwoordelijkheid is van de umc's zelf.
'In andere landelijke programma's zijn prikkels ingebouwd om implementatieresultaten te belonen. Zoals in het VIPP-programma (...). Deze prikkel om resultaten te realiseren ontbreekt nu binnen Registratie aan de bron. Binnen het programma wordt uit de Citrienmiddelen de coördinatie en communicatie
gefinancierd, maar niet de implementatie en er wordt geen resultaatverplichting ervaren. Dit leidt tot
een vrijblijvendheid ten aanzien van de implementatie in eigen huizen. Dat wringt steeds meer met de
druk die vanuit het programma wordt gezet op implementatie van zibs en BgZ buiten de ziekenhuizen,
zoals in de eerste lijn. Het ontbreken van prikkels voor implementatie in de umc's is echt een aandachtspunt voor de volgende fase.'
Wat in meerdere interviews ook als aandachtspunt is benoemd, is de govemance van het programma.
De stuurgroep van het programma Registratie aan de bron bestond aanvankelijk uit vertegenwoordigers van umc's en NICTIZ. Inmiddels zijn ook de NVZ, V&VN en FMS toegetreden.
Hoewel externe partijen het positief vinden dat zij zijn uitgenodigd om in de stuurgroep te participeren,
heeft een deel van de geïnterviewden de indruk dat de daadwerkelijke sturing niet vanuit de stuurgroep, maar vanuit de NFU plaatsvindt. 'Feitelijk fungeert de stuurgroep meer als klankbordgroep.' aldus een geïnterviewde. Ook de verantwoording, zo is opgemerkt, vindt niet aan de stuurgroep maar
aan de NFU plaats. De huidige govemance belemmert volgens een deel van de betrokkenen de acceptatie en hiermee de zorgimplementatie van de BgZ en de zibs ).
11

De programmaleiding weerspreekt dat de daadwerkelijke besluitvorming elders plaats zou vinden. De
stuurgroepleden hebben, zo geeft zij aan, wel degelijk een belangrijke sturende rol. Daarbij zijn de
stuurgroepleden volgens de programmaleiding zelf ook medeverantwoordelijk voor het stimuleren van
de acceptatie en de implementatie bij de eigen achterban en heeft Nictiz een verantwoordelijkheid om
de samenhang met andere programma's te borgen, Snomed CT vertalingen tijdig gereed te hebben
voor bijvoorbeeld de Verrichtingenthesaurus, en de zib's en de BgZ naast het beheer ook uit te dragen
als landelijke informatiestandaarden.

9

)

-)

11

)

De programmaleiding stelt als reactie hierop aan het project Radboud/JeroenBosch is gestart omdat beide ziekenhuizen een
ander EPD hebben, en het doel was om beide leveranciers te dwingen volgens uniforme standaarden uit te wisselen. De
programmaleiding geeft aan: 'Dankzij dit project heeft Nictiz de BgZ in CDA kunnen ontwikkelen en omdat e.e.a.. zo moeizaam verloopt met Chipsoft staat het op de agenda en is besproken met VWS. Dat is nodig om de dialoog tussen VWS.
leveranciers en zorginstellingen op gang te brengen. Inmiddels heeft VWS een gesprek georganiseerd met EPD leveranciers. VWS en ziekenhuizen om de problemen bij de leveranciers aan te kaarten en toe te werken naar oplossingen.
Als voorbeeld is een project genoemd waarin in 5 ziekenhuizen d.m.v. zibs 5 registraties werden gevuld, en dat vervolgens
niet verder is opgeschaald naar meer umc's of naar meer registraties. De programmaleiding tekent hierbij aan dat het doel
van dit project was om aan te tonen dat hergebruik mogelijk is en dat hierbij niet gekeken is naar de inhoud van de datasets.
Dit wordt nu opgepast middels 'Doeboek', en hiermee is opschaling pas mogelijk.
Een van de geïnterviewden wijst in dit verband ook op de besluitvorming over het beheer van de ontwikkelde BgZ. Het besluit
om een verkenner aan te stellen om zich over het beheer van ontwikkelde standaarden te buigen en het beheer tot die tijd bij
het programma zelf onder te brengen, is volgens deze geïnterviewde niet door de stuurgroep genomen, maar in NFU-verband. Volgens de programmaleiding is dit onjuist, en was het wel een besluit van de Stuurgroep Registratie aan de bron. Zij
geeft verder aan dat op dit moment wordt gewerkt aan de overdracht van het beheer.
Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 17/33

Twynstra Gudde

Ook de NFU weerspreekt dat sturing feitelijk vanuit de NFU zou plaatsvinden. 'In het NFU-bestuur
wordt gesproken over de implementatie in de umc's en hoe de voortgang daann kan worden bevorderd. En wat het programma daarin kan doen (advies) en wat de umc's zelf moeten doen. Er wordt niet
gesproken over algemene koers van het programma en wat te doen.'
Dit neemt niet weg dat het, zo geeft de programmaleiding aan, zeer belangrijk is om in de volgende
fase deze govemance opnieuw onder de loep te nemen en om met een voorstel te komen tot aanpassing van de govemance, zodat de verantwoordelijkheden op het gebied van de implementatie binnen
en buiten de umc's duidelijker belegd zijn.
Verder wijzen geïnterviewden op het belang van de aanhaking van de eerste lijn. Een deel is van
mening dat VWS de acceptatie van de BgZ en de zibs zou moeten verplichten, en vindt het dus goed
dat hier bij het Informatieberaad op is aangedrongen. Een ander deel vindt juist dat gekeken moet worden hoe je als partijen nader tot elkaar komt, wat bruikbaar is in eerste en tweede lijn en wat is er nodig
aan aanvullingen/verfijning etc. om tot een zorgbreed werkbaar model te komen. 'We moeten van het
beeld af dat de eerste lijn zich zou moeten schikken.'
De programmaleiding geeft aan dat ook zij vindt dat moet worden gezocht naar een gezamenlijke
oplossing. 'In afgelopen twee jaar is er veel dialoog geweest met de huisartsen en er wordt nu gewerkt
aan een gezamenlijke pilot.'
Tot slot stellen externe partijen dat de nadruk, logischerwijs, heeft gelegen op gegevensuitwisseling
tussen zorgverleners. Als opgave voor de toekomst zien zij de aansluiting bij de informatiebehoefte van
de patiënt. 'Hiervoor moet de koppeling gelegd worden met de registraties in het EPD en de patiënten
portals. Hier wordt aan gewerkt.' Vanuit de PFN is aangegeven dat het waardevol zou kunnen zijn om
de BgZ en de zibs door patiëntorganisaties te laten toetsen, en waar nodig en mogelijk met hun input
te verrijken.
Bijdrage aan doelstelling Citrienfonds
Gevraagd naar de bijdrage van het programma aan de hogere doelstelling van het Citrienfonds, luidt
het antwoord van de programmaleiding: 'Wanneer zorginformatie meer en meer op een eenduidige
manier en eenmalig wordt vastgelegd, kan dit voor tal van doeleinden worden hergebruikt. Door eenmalige vastlegging wordt de kwaliteit van de geleverde zorg hiermee duurzaam verbeterd. Want minder overtypen resulteert in minder fouten, (mis)interpretatie of ongewenste reductie van zorginformatie.
Daarnaast vermindert de interpretatie van notities en brieven ten behoeve van rapportage aan bijvoorbeeld de IGZ. Ook levert eenduidige en eenmalige registratie een bijdrage aan het betaalbaar houden
van de Nederlandse gezondheidszorg voor de toekomst. Bij eenmalige registratie gaat de tijdsinvestering in registratie omlaag en is er minder werk op de zorgadministratie nodig voor bijvoorbeeld declaraties. Ook zijn extra medewerkers die worden ingezet voor rapportage aan kwaliteitsregistraties veelal
overbodig; zorginformatie wordt nu automatisch doorgestuurd'.
Geïnterviewde externe partijen onderschrijven dat wanneer er volgens de principes van het
programma wordt gewerkt, dit bijdraagt aan de kwaliteit en betaalbaarheid van de zorg. Hiervoor moeten de resultaten, zo wordt aangegeven, echter eerst breed geïmplementeerd en in de praktijk toegepast worden.

Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 18/33

Twynstra Gudde

3.2.4 Sturen op kwaliteit
Resultaten en borging hiervan
Het programma Sturen op kwaliteit richt zich op 'het vergroten van de kwaliteit van de zorg door middel
van het hebben en gebruiken van adequate kwaliteitsinformatie door de raad van bestuur (Kaderplan).
Oorspronkelijk was de insteek om hiertoe een dashboard te ontwikkelen voor raden van bestuur. Dit is
bijgesteld, aangezien het inzicht ontstond dat hier geen behoefte aan is. Generieke informatie is weinigzeggend, je hebt juist specifieke informatie nodig om zicht te krijgen op de kwaliteit en om deze stap
voor stap te kunnen verbeteren, aldus de programmaleiding. Daarom zijn er binnen het programma
voor specifieke afdelingen, zoals IC's, of voor specifieke aandoeningen, zoals MS, methoden, voorbeelden van kernsets en handreikingen voor het gebruik hiervan ontwikkeld. Dit om raden van bestuur
te faciliteren.
Deze methoden, kernsets en handreikingen worden via de website middels een 'toolkit' ontsloten en
via verschillende communicatiekanalen onder de aandacht gebracht, zo blijkt uit de documentenanalyse en het interview met de programmaleiding. De website wordt, zo geeft de programmaleiding aan,
met 2000 tot 3000 unieke bezoekers per maand, goed bezocht. Dit jaar zijn er tevens werkplaatsen en
regionale experimenten georganiseerd om de praktische tools uit de ontwikkelde toolkit te testen en
het gebruik ervan te stimuleren. Hieraan nemen naast umc's ook andere ziekenhuizen en ketenpartners deel.
Verder is via het programma de dialoog tussen bestuurders over sturen op kwaliteit gestimuleerd. In
2018 voor het eerst ook met bestuurders van algemene ziekenhuizen, die vorig jaar individueel zijn benaderd. De NFU geeft aan dat het programma in het afgelopen jaar met succes veel energie heeft gestoken in het betrekken van de algemene ziekenhuizen.
Ook is er gekeken naar succesvolle werkwijzen in het buitenland, wordt in samenwerking met Zweden
een 10-daagse training over 'Leren van data' ontwikkeld en worden er dankzij cofinanciering vanuit het
programma e-learning modules vrij toegankelijk via de website.
Het programma is na 1 april 2019 geen onderdeel meer van het Citrienfonds. De resultaten en inzichten krijgen een plek in nieuwe kwaliteitsprogramma's van het NFU-consortium Kwaliteit van Zorg over
waarde gedreven zorg en nieuwe vormen van verantwoorden. Naast alle activiteiten die nu plaatsvinden voor verspreiding en inbedding (dialoogsessies, jaarcongres Sturen op Kwaliteit, website met toolkit, etc.) zoekt het programma nu naar een vehikel om hetgeen ontwikkeld is verder te brengen. Het
programma ziet verschillende lopende initiatieven van het NFU-consortium die deze mogelijkheid bieden (Traject Waarde gedreven Zorg, het experiment Zinvolle Registratie (ZIRE) en ontwikkelingen
rondom een andere manier van verantwoorden IGJ, gericht op leren en verbeteren). De inbedding in
deze initiatieven is deels nog niet uitgekristalliseerd; hier lopen momenteel gesprekken over. In ieder
geval worden de toolkit en de daarbij behorende tools toegepast in het traject waarde gedreven zorg,
zo geeft de programmaleiding aan.
Beeld externe partijen en BC ZonMw
Externe partijen onderschrijven het belang van sturen op kwaliteit. Dat hier door de umc's in gezamenlijkheid aan is gewerkt en dat er is gekozen voor een bottom-up benadering en dat het idee van een
uniform dashboard is losgelaten, wordt als sterk gezien.

Rapport eindevaluatie Citrienfonds [ 18 december 2018 | Pagina 19/33

Twynstra Gudde

De meeste gemterviewden zien de toegevoegde waarde van hetgeen met de toolkit wordt ontsloten.
'Resultaten zijn nu praktisch hanteerbaar en sluiten aan bij wat je nodig hebt.' en 'Met het oog op de
ontwikkelingen rond waarde gedreven zorg/value based health care, zijn de projecten rond indicatoren
en kernset ontwikkeling zeer relevant te noemen. De projecten waarbij de verbinding gelegd wordt met
ICHOM zijn daar met name een goed voorbeeld van.'
Ook wordt de interactie met de programmaleiding - zowel de 1 op 1 contacten als bijv. de dialoogsessies - om het thema en de toolkit onder de aandacht te brengen als positief ervaren. Zo stelt een van
de geïnterviewden: 'De dialoogsessie was super goed: de werkvorm was goed, er werd kennis gedeeld
en het was niet alleen maar zenden, maar ook vragen stellen en het gesprek aanjagen.'
Wel geeft een deel aan dat het lastig is om het thema goed op de agenda van bestuurders te krijgen.
Niet omdat bestuurders sturen op kwaliteit niet belangrijk vinden, maar omdat er veel speelt dat aandacht vraagt. Om te bereiken dat bestuurders de ontwikkelde resultaten ook daadwerkelijk gaan gebruiken is volgens geïnterviewden meer nodig dan de ontsluiting van informatie, communicatie hierover
en dialoogsessies. De toepassing in de praktijk zal echt actief gefaciliteerd moeten worden, door per
ziekenhuis te adviseren welke tools waardevol kunnen zijn en bij de inzet hiervan te helpen. 'Als je wil
dat bestuurders deze gaan gebruiken, moet je hen actief opzoeken. (...) Begin bijvoorbeeld bij de STZziekenhuizen. Ga bij ze langs en help ze bij het gebruik van de tools'.
Ook is aangeven dat het een aanwinst was geweest als de kwaliteitscirkel gesloten kon worden door
de ontwikkelde tools te voorzien van 'meetbare punten'. 'Voorde RvB was dan zichtbaar geweest wat
er in het verleden is gebeurd en naar aanleiding van afspraken welke verbeteringen daaruit volgen.'
Een enkele geïnterviewde stelt dat het voor de bredere doorwerking beter was geweest als de algemene ziekenhuizen eerder actief bij het programma betrokken waren. Hier is tegenovergesteld dat er
26 algemene ziekenhuizen actief betrokken zijn geweest bij de projecten en via de adviescommissie.
Bijdrage aan doelstelling Citrienfonds
Gevraagd naar de bijdrage van het programma aan de hogere doelstelling van het Citrienfonds, luidt
het antwoord van de programmaleiding dat het programma bijdraagt aan de verbetering van de kwaliteit van zorg in de toekomst: 'Het programma werkt aan een omslag naar optimaal en gestructureerd
gebruiken van kwaliteitsinformatie voor kwaliteitsverbetering. Uitgangspunt daarbij is de professionaliteit en intrinsieke motivatie van zorgverleners die gedreven zijn om goede zorg te leveren aan patiënten. Een open gesprek tussen bestuurders en leidende zorgprofessionals staat hierbij centraal. Dit gesprek gaat over een selectie van kwaliteitsinformatie (kwalitatief en kwantitatief) met als doel de zorg
verbeteren. Kwaliteitsinformatie wordt zo een verbetertool. waarvan niet zozeer de inhoud, maar wel
het gebruik uiteindelijk kan dienen voor de verantwoordingseisen die externe partijen opleggen (piramide-omkering). '
Volgens exteme partijen heeft het programma geholpen om aandacht voor het thema te genereren en
voor bewustwording gezorgd. Maar van bredere effecten in termen van anders handelen (buiten de uitgevoerde projecten en regionale experimenten en werkplaatsen waar de tools zijn ontwikkeld en toegepast) is volgens geïnterviewden - voor zover zij dit naar eigen zeggen kunnen overzien - nog beperkt
sprake.

Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 20/33

Twynstra Gudde

3.2.5

e-Health

Resultaten en borging hiervan
Binnen het programma e-Health, dat zich richt op hef creëren van een synergie in het gefragmenteerde
landschap van e-Health, en dat hiertoe wordt ingezet op het verbinden en bundelen van bestaande oplossingen met nieuwe ideeën (Kaderplan) is ten eerste een NFU visie en een e-Health Roadmap ontwikkeld. Deze gaan in op de kansen en bedreigingen van digitalisering voor de gezondheidszorg, het
onderwijs in de zorg, het onderzoek in de umc's en zorginnovatie. Deze NFU visie is gereed en ligt nu
voor bij de Raden van Bestuur (RvB's) van de umc's en bij de regiegroep. Dat er voor het eerst een
wetenschappelijk onderbouwde en door alle umc's gedragen visie ligt, is iets waar het programma trots
op is.
De focus heeft verder gelegen op het komen tot evidence based kennis omtrent e-Health oplossingen
(wat werkt/ wat niet) en het (deels) ook implementeren hiervan. Eind dit jaar levert dit volgens de programmaleiding de volgende resultaten op:
- diverse onderzochte interventies en methodieken die de regierol van de patiënt versterken
- nieuwe kennis over of en hoe een verhoogde regierol van de patiënt bijdraagt aan succesvolle implementatie van interventies
- verschillende ontwikkelde e-Health instrumenten, die ook zijn geëvalueerd en geïmplementeerd.
Hierbij gaat het om apps, platforms en draagbare technologie
- ontwikkelde kennis over hoe e-Health toepassingen in de dagelijkse praktijk van een zorginstelling
kansrijk te implementeren, en met welke aspecten hierbij rekening gehouden moet worden )
- een e-Health expertise community en netwerk binnen de umc's en een e-Health leernetwerk tussen
mensen uit zorginstellingen en bedrijfsleven. Hierdoor is er volgens de programmaleiding meer eenheid is gekomen in het versnipperde e-Health landschap.
12

Zie voor meer specifieke informatie over de projecten: https://www.nfu-ehealth.nl/projecten/alle-proiecten/.
Er wordt op verschillende manieren gewerkt aan de bredere verspreiding van kennis en doorwerking
van resultaten. Ten eerste is er een centrale spiegelgroep van stakeholders, bestaande uit mensen
van verschillende professie en achtergrond (niet-umc) die periodiek meedenkt op programmaniveau.
Ten tweede worden er rondom de projecten werkplaatsbijeenkomsten georganiseerd waaraan ook
spiegelgroepleden en andere partners van buiten de umc's deelnemen. Ten derde verspreidt het programma actief informatie over het programma en de projecten via mediapartner BSL, NFU e-Health
nieuwsbrieven, slotmanifestatie, website, toolkit, artikelen in populaire en wetenschappelijke pers en
presentaties op congressen.
In het interview met de programmaleiding is aangegeven dat het programma zich in de afgelopen periode met name heeft gericht op visie- en kennisontwikkeling Het programma was 'een soort proeftuin,
waarin is onderzocht wat werkt en wat niet.

1 2

-

) Meer specifiek:
technische en juridische voorwaarden rondom inzage en downloaden van medische gegevens van patiënten zijn binnen enkele
projecten in kaart gebracht en beschreven (en beschikbaar voor andere zorginstellingen).

-

samenwerkingsverbanden tussen medische centra, huisartsen en ggz zijn bij enkele projecten gefaciliteerd en verbeterd met

-

onderwijsmodules op het gebied van e-Health zijn geïntegreerd in de studie geneeskunde van kennisinstelling(en) en breed be-

behulp van e-Health toepassingen.

schikbaar gesteld voor zorgprofessionals en (para)medisch studenten.

Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 21/33

Twynstra Gudde

Niet alles leent zich daarom voor opschaling. In het vervolg (Citrien-2) zal de focus verschuiven naar
de (brede) implementatie van enkele kansrijke projecten uit Citrien-1 en van kansrijke projecten van
buiten de umc's. Het streven is om tot landelijke opschaling van initiatieven te komen.
De NFU geeft aan dat het tot stand brengen van een gezamenlijke bestuurlijke visie alleen al binnen
NFU verband een flinke opgave is gebleken. Dat ervoor is gekozen om ook te werken aan een bredere
toepassing via projecten en de werkplaatsen, ziet de Regiegroep als bewijs dat er ook voor de bredere
borging aandacht is geweest.
Beeld externe partijen en BC ZonMw
Het programma heeft volgens externe partijen, zeker in de wereld van de umc's, geleid tot meer synergie in het gefragmenteerde landschap van e-Health. Verwezen wordt naar de gemeenschappelijke eHealth visie die is ontwikkeld, wat als een belangrijk resultaat wordt gezien. Ook de actieve kennisuitwisseling tussen projecten van verschillende umc's draagt aan minder fragmentatie bij. 'Er is echt een
veel steri<ere samenwerking ontstaan.'
Wel geven geïnterviewden aan dat het programma zich nog niet in het stadium van bredere implementatie bevindt. 'De resultaten zijn daar nog niet rijp genoeg voor.'") De indruk is dat het programma dus
vooralsnog vooral op projectniveau resultaten oplevert binnen een bepaalde urne, maar dat de verdere
opschaling binnen en buiten de umc's nog moet gaan plaatsvinden. De programmaleiding tekent hierbij
aan dat op projectniveau de meeste projecten niet 'umc-only' zijn, maar juist al samenwerken met partners van buiten de umc's.
Wat de belangrijkste overkoepelende resultaten zijn vinden externe partijen lastig te beoordelen. De
programmaleiding merkt hierbij op dat dit begrijpelijk is, want dat de bijdrage van ieder van de programma's aan de programma brede 'deliverables' moet nog gepresenteerd gaan worden. Dit gebeurt
op het slotcongres.
Kijkend naar die projecten, valt het externe partijen op dat niet alle resultaten zich voor opschaling buiten umc's lenen, iets dat de programmaleiding onderschrijft- verwijzend naar het proeftuinkarakter.
Daarom wordt aangeraden om bij het vervolg bredere opschaalbaarheid en betrokkenheid van nietumc's bij projecten als voorwaarde te gaan hanteren. De lijn om hiervoor een selectie te maken uit
kansrijke projecten vinden geïnterviewden een logische strategie.
Volgens een deel van de geïnterviewden zou hiernaast meer aandacht moeten komen voor de noodzakelijke randvoorwaarden voor bredere opschaling, zoals standaardiseren, vastleggen aan de bron en
het creëren van een gedeelde infrastructuur. Ook empowering van de patiënt' is voor het vervolg als
aandachtspunt benoemd. Vanuit de programmaleiding is aangegeven dat er in een groot aantal projecten aandacht is geweest voor noodzakelijke randvoorwaarden en standaardisatie en dat deze
thema's ook in bredere zin geadresseerd zijn in de programma bijeenkomsten in aanwezigheid van
stuurgroep, spiegelgroep en privacy and security officers uit de verschillende umc's. Voorts speelde in
de ogen van de programmaleiding in het merendeel van de projecten empowering van de patiënt' juist
een grote rol ").
1

1 3

)

' )
4

De programmaleiding tekent hierbij aan dat dit programma geen vier, maar twee- en een halfjaar de tijd heeft gehad om de
projectdoelen te behalen, vanwege een latere start dan de andere Citrienprogramma 's.
Bijvoorbeeld in de projecten hartwacht, safe@home, mijn knieoperatie, consult replay, revalidatie.
Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 22/33

Twynstra Gudde

Bijdrage aan doelstelling Citrienfonds
Gevraagd naar de bijdrage van het programma aan de hogere doelstelling van het Citrienfonds, luidt
het antwoord van de programmaleiding dat het programma zich, in lijn met de hogere doelstelling van
het Citrienfonds, richt op de mogelijkheden om de zorg te verbeteren en/of efficiënter te maken met behulp van e-Health toepassingen. 'Dit vormt een uitgangspunt bij het vormen van een NFU visie op ehealth, een voorwaarde voor de keuze van projecten en een criterium bij de evaluatie van de projecten.' Zo stelt programmaleiding dat meerdere projecten beogen bij te dragen aan een betere uitwisseling van gegevens en interoperabiliteit, hetgeen zal leiden tot verbeterde kwaliteit en efficiëntie van
zorg. Geïnterviewden onderschrijven dat het programma in theorie bijdraagt aan de betaalbaarheid en
kwaliteit van de zorg. 'Zo draagt het programma eraan bij dat er minder losse systemen komen, wat
kosten bespaart en het contact met patiënten vergemakkelijkt.' Wel is het volgens geïnterviewden nog
lastig om aan de hand van de losse projecten iets over de impact te concluderen.

3.2.6 Doen of laten?
Resultaten en borging hiervan
Het programma Doen of laten? richt zich op het in kaart brengen van onnodige zorg, het vergroten van
het inzicht in het hoe van het deïmplementeren van onnodige zorg en het opschalen van de opgedane
kennis. Dit heeft, zo blijkt uit de documentenanalyse en het interview met de programmaleiding, geleid
tot de volgende resultaten:
- beter-niet-doen lijst: op basis van wetenschappelijke literatuur en in de Nederlandse richtlijnen is in
kaart gebracht welke zorg in aanmerking komt om te worden teruggedrongen. Dit heeft geleid tot de
Beter-Niet-Doen lijst met meer dan 1.000 aanbevelingen
- deïmplementatiekennis, vastgelegd in een deïmplementatiegids vergezeld van een toolkit en ander
ondersteunend materiaal
- vermindering van onnodige zorg in 36 ziekenhuizen, 2 zelfstandige behandelcentra en vele tientallen huisartsenpraktijken via de 8 projecten
- een netwerk met zorgverleners en onderzoekers met deimplementatiekennis en -ervaring.
- een website met onder andere een kennisbank over deïmplementatie
- enkele wetenschappelijke publicaties. De verwachting is dat het project uiteindelijk zes promoties
zal opleveren en enkele tientallen wetenschappelijke publicaties. Omdat wetenschappelijk publiceren een lange doorlooptijd kent, zullen deze pas in 2019 verschijnen
- enkele tientallen presentaties over het programma en/of individuele projecten in binnen- en buitenland
- kostenbesparingen van de verschillende projecten. De projectteams hebben een inschatting gemaakt van de kosten die zij bespaard hebben. Wanneer deze bedragen op landelijke schaal worden
berekend, kunnen ziekenhuizen en huisartsen landelijk vele tientallen miljoenen euro's besparen.
Belangrijkste resultaat in de ogen van de programmaleiding is dat 'de grond rijp is gemaakt' om beroepsgroepen te kunnen verleiden om te komen tot deïmplementatie. Dat valt af te leiden uit hoe de
verschillende externe partijen zich opstellen. De aanvankelijke scepsis bij bijvoorbeeld de FMS en het
NHG lijkt verdwenen. Beide partijen werken volgens de programmaleiding enthousiast mee.
Zo is in samenwerking met de FMS en de wetenschappelijke verenigingen een nadere analyse van de
bruikbaarheid van de Beter-niet-doen lijst uitgevoerd ), wat de acceptatie onder beroepsbeoefenaren
heeft vergroot. V&VN hebben hun Beter-laten-lijst opgesteld samen met het programmateam en zijn
een campagne begonnen om hun achterban op het thema van 'niet-gepaste zorg' te mobiliseren.
15

1 5

)

Hierdoor is beter in beeld met welke aanbevelingen de wetenschappelijke verenigingen aan de slag kunnen. Een deel van de
aanbevelingen betrof verouderde, onvoldoende sterk onderbouwde of sterk contextafhankelijke aanbevelingen die minder
geschikt zijn voor deïmplementatie.
Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 23/33

Twynstra Gudde

En momenteel heeft het NHG een stagiair aangetrokken om op basis van de richtlijnen voor de eerste
lijn een overzicht van onnodige interventies te maken, in samenwerking met het programmateam. Ook
inventariseert het programmateam samen met het NHG de attitude van huisartsen tegenover niet-gepaste zorg. Er is, aldus de programmaleiding, kortom een beweging op gang gekomen die het van belang vindt dat terughoudendheid een vast onderdeel is van het klinisch redeneren van artsen en het
dagelijkse handelen van alle zorgverleners.
Er wordt op verschillende manieren gewerkt aan de bredere doorwerking van resultaten. Om te beginnen worden externe partijen betrokken via de adviescommissie en actief door het programma benaderd. In de gesprekken die zijn gevoerd is, zo geeft de programmaleiding aan, het beeld weggenomen
dat het hier gaat om een 'UMC-hobby' en is geprobeerd te bereiken dat zij zich meer betrokken voelen
bij de stappen die genomen worden om bewustzijn te vergroten bij het publiek en welke rol zij kunnen
spelen. 'Uiteindelijk gaat het erom dat de beroepsgroepen zelf enthousiast worden om te deïmplementeren.'
Verder zijn in samenwerking met de FMS de geïdentificeerde beter-niet-doen-aanbevelingen gearceerd in de richtlijnendatabase om hierdoor medisch specialisten die deze database raadplegen, bewust te maken van het belang van terughoudendheid in bepaalde gevallen. Hiermee bereiken de resultaten dus ook specialisten buiten de umc's. Om de Beter-niet-doen lijst onder de aandacht te brengen,
is er veel publiciteit rondom de lijst gegenereerd.
Ook wordt de doorwerking buiten umc's geborgd door de acht deïmplementatie-projecten samen met
partners in de regio en met betrokkenheid van patiënten uit te voeren. De onderwerpen die in de projecten centraal staan zijn bewust zo veel mogelijk gekoppeld aan de lijsten die de wetenschappelijke
verenigingen hebben opgesteld in het kader van Choosing Wisely. Verder worden ontwikkelde kennis
en tools actief verspreid, en ontsloten via de website (www.doenoflaten.nl). Tot slot zijn, zo geeft de
programmaleiding aan, de contouren ontwikkeld van landelijke stimulering van deïmplementatie in het
algemeen en opschaling van deïmplementatieprojecten in andere regio's in het bijzonder. Deze opschaling maakt een belangrijk onderdeel uit van Citrien-2. Op basis van de resultaten van Doen of laten?1 zal gekeken worden welke projecten in aanmerking komen voor opschaling.
Het feit dat de programmaleiding afspraken heeft gemaakt met de FMS om de resultaten te verankeren
en dat de wetenschappelijke verenigingen nu werken aan een herziening van de richtlijnen waardoor
deïmplementatie ook gerealiseerd kan worden, ziet de NFU als het bewijs dat er belangrijke stappen
zijn gezet in de bredere borging van de resultaten.
Beeld externe partijen en BC ZonMw
Externe partijen geven aan dat het programma ervoor heeft gezorgd dat de inzichten uit bestaande evidenced based onderzoeken m.b.t. onnodige zorg weer aandacht hebben gekregen (Beter-niet-doen
lijst) en nu beter verspreid zijn. 'Het programma heeft voor meer bewustwording gezorgd, en laat zien
dat je als professional zelf invloed kunt uitoefenen.' Een ander: 'De aandacht die er door het programma voor het onderwerp is gegenereerd werpt zijn vruchten af. De awareness is toegenomen en ik
zie steeds meer initiatieven ontstaan waarin specialisten actief aan de slag gaan met het terugdringen
van onnodige interventies. Of deze direct het gevolg zijn van het programma weet ik niet, maar het valt
wel op.' Wel gaat het volgens een van de geïnterviewden te ver om te stellen dat het programma 'de
grond rijp heeft gemaakt'. Er liepen namelijk al meer initiatieven op dit vlak. Wel wordt onderschreven
dat het programma Doen of laten zeker bijdraagt.
Externe partijen zien de programmaleiding actief de samenwerking met ketenpartners opzoeken, en
zijn hier positief over. De FMS onderschrijft bijvoorbeeld dat de samenwerking is verbeterd.
Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 24/33

Twynstra Gudde

En vanuit het NHG wordt het feit dat zij nu zelf werken aan een lijst voor de 1 lijn bestempeld als een
spin-off van het programma. 'Door de aandacht die er dankzij het programma voor het onderwerp is
gekomen, staat het onderwerp bij het NHG ook weer op de kaart.'
e

Ook benoemen geïnterviewden dat Doen of Laten? Bij al haar projecten ketenpartners betrekt: 'Sterk is
dat de projecten behoorlijk multidisciplinair zijn ingestoken. Dit bevordert de bredere doorwerking'. Met
deze projecten zijn ook echt concrete stappen gezet als het gaat om het deïmplementeren van onnodige zorg, aldus de geïnterviewden.
Als het gaat om de bredere opschaling, wordt benoemd dat, hoewel er met de Beter-Niet-Doen lijst en
een deïmplementatiegids mooie resultaten zijn geboekt, het nog de vraag is wat het teweeg gaat brengen in de praktijk. 'Met alleen een toolkit en website etc. kom je er niet. De werkelijkheid is weerbarstig,
er moet echt regie op de implementatie zitten.' Het is voor externe partijen nog niet zo helder hoe dit
vormt krijgt of gaat krijgen en of en hoe het programma ook op bestuurlijk niveau werkt aan het krijgen
van commitment om tot daadwerkelijke deïmplementaties over te gaan.
Geïnterviewden geven de volgende tips/aandachtspunten mee:
- betrokkenheid van de specifieke beroepsgroepen waar het over gaat, naast de FMS
- de resultaten zouden ook moeten leiden tot aanpassingen in het geneeskunde curriculum
- naast het aanpassen van richtlijnen, zou moeten worden ingezet op navolging van aanbevelingen
via het contracteringsbeleid van verzekeraars. De indruk is echter dat de Beter-Niet-Doen lijst hier
niet landt. Daarom wordt aanbevolen om de Beter-Niet-Doen lijst in een handzamer en praktischer
overzicht te vertalen, zodat zorgverzekeraars de lijst kunnen gebruiken in de onderhandelingen met
zorgaanbieders, en ziekenhuisbestuurders in gesprekken met artsen. 'De lijst moet meer in de buurt
komen van de plek waar het gesprek daadwerkelijk plaatsvindt: op lokaal niveau. Daar is de lijst nu
niet toegankelijk genoeg voor.'
Bijdrage aan doelstelling Citrienfonds
De programmaleiding geeft over de te verwachten impact op de hogere doelstelling van het Citrienfonds aan dat door de kennis en ervaring die opgedaan wordt in dit programma een belangrijke stap
voorwaarts gezet kan worden in het patiëntgerichter en doelmatiger inrichten van de zorg. Het reduceren van zogenaamde 'low value services' biedt namelijk 'enorme mogelijkheden wat betreft gezondheidswinst voor patiënten door ze niet meer bloot te stellen aan schadelijke ineffectieve zorg als ook
wat betreft een potentiële kostenreductie' (Projectplan 2016-2017).
Externe partijen onderschrijven dat het terugdringen van onnodige zorg de kwaliteit en de betaalbaarheid van de zorg ten goede komt. Wel is de vraag opgeworpen: wat levert deïmplementeren de Nederlandse zorg op in termen van kostenbesparingen? Dit maakt het programma binnenkort inzichtelijk,
wanneer haar resultaten in december gepubliceerd worden, zo geeft de programmaleiding aan.

3.3 Rol- en taakverdeling NFU en ZonMw
Deze paragraaf gaat in op de wijze waarop de NFU en ZonMw in de praktijk invulling geven aan hun
rol- en taakverdeling en de ervaringen hiermee. Hiernaast staan wij in deze paragraaf ook stil bij de ervaringen met de interactie en samenwerking tussen ZonMw en de programma's.
De interactie en samenwerking tussen ZonMw en de NFU
Zoals eerder in de tussenevaluatie is beschreven: de relatie tussen de Beoordelingscommissie van
ZonMw en de NFU/de umc's is er in formele zin een van beoordelaar en beoordeelde.

Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 25/33

Twynstra Gudde

Niet eerder werd er in een constellatie samengewerkt, waarin ZonMw belast is met de beoordeling van
de kwaliteit van de programma's' ) en de NFU verantwoordelijk is voor de invulling van de programma's, de strategische koers en de beoordeling van de relevantie. Daarnaast is het ook voor het
eerst dat de NFU een aantal subsidieprogramma's coördineert en de umc's hierbij zo intensief met elkaar samenwerken. Het was voor beide partijen wennen aan de eigen en aan eikaars rol. In de interviews in de tussenevaluatie is aangegeven dat de onderlinge samenwerking en hiermee de relatie
gaandeweg verbeterd is, iets dat ook nu in de eindevaluatie opnieuw is aangegeven.
6

De NFU geeft aan dat het nu als prettig wordt ervaren dat ZonMw als onafhankelijke partij meekijkt
naar de kwaliteit. Als buitenstaander kan ZonMw kritisch zijn, wat voor de NFU in haar positie lastiger
is. Daarbij is de NFU niet ingericht op een rol als beoordelaar/subsidieverstrekker. Ook geeft de NFU
aan dat het voor beide partijen een uitdaging blijft om 'rolvast' te blijven. 'De rol van ZonMw bij Citrien
is een andere dan de rol die ZonMw gewend is om te spelen. ZonMw kan de kwaliteit beoordelen maar
behoort niet mee te sturen bij de keuzen en prioritering. Voor de Regiegroep NFU zelf blijft het zaak de
innovatie, de belangenbehartiging en de inhoudelijke stunng goed te blijven onderscheiden.' Verder
geeft zij aan dat de gezamenlijke intentie is: meer samen, minder schotten, meer in gesprek, minder
papier. Als voorbeeld draagt de NFU aan dat de Beoordelingscommissie door de NFU betrokken wordt
bij de voorverkenningen ten behoeve van Citrien-2
ZonMw is eveneens positief over de samenwerking met de NFU, hoewel zij op sommige punten een
andere verwachting heeft bij de rolinvulling door de NFU (zie 3.1). Zij acht daarom een intensievere dialoog en samenwerking met de NFU nodig. Ook op bestuurlijk niveau tussen de Beoordelingscommissie en de Regiegroep. Met het oog op Citrien-2 zijn gedachten hierover reeds uitgewisseld, zo geeft zij
aan. Ook geeft zij aan in gesprek te zijn met de NFU over een versoepeling van het subsidieaanvraagproces om de administratie te verminderen, en spreekt zij eveneens de intentie uit om als NFU en
ZonMw meer in gezamenlijkheid op te trekken, door communicatie richting programma's beter afte
stemmen.
De interactie en samenwerking tussen ZonMw en de programma's
ZonMw heeft de jaarplannen steeds als 'voldoende' of als 'goed' beoordeeld. Er is dus nooit een jaarplan afgekeurd en een subsidie niet toegewezen. Wel is altijd een aantal aanwijzingen geformuleerd
waarop het betreffende programma in het eerstvolgende jaarverslag moet terugkomen.
De sturingsmogelijkheid van ZonMw is, zo stelt zij, beperkt in de fase na goedkeuring van een jaarplan.
ZonMw heeft naar eigen zeggen desondanks zo goed mogelijk geprobeerd in contact te blijven met de
programma's en mee te denken wanneer er vragen waren. Zij noemt als voorbeelden onder meer gesprekken met de programma's en de 'sitevisits' per programma, waarbij de Beoordelingscommissie als
sparringpartner gebruikt kon worden. Het nagaan en stimuleren van verspreiding en borging van resultaten stond daarbij volgens ZonMw centraal. Het contact tussen de Beoordelingscommissie en de programma's is verbeterd door minder via papier te communiceren, en meer face-to-face contact te hebben, zo geeft ZonMw aan. Iets dat in de interviews met de programma's is bevestigd. Zo stelt een van
de geïnterviewde programmaleiders: 'Het betrekken van de Beoordelingscommissie van ZonMw bij het
programma via site visits heeft veel goed gedaan in de relatie. (...) Tevens heeft individuele afstemming, formeel als informeel, ook bijgedragen aan een goede relatie met ZonMw.'

)

ZonMw is niet betrokken geweest bij het voortraject en de keuze voor de vijf thema's en de verdeling van de middelen over
de vijf thema's). Ook heeft zij. in tegenstelling tot reguliere ZonMw-programma's, geen rol bij de keuze van de projecten die
onder de verschillende programma's worden geïnitieerd; hier beslissen de vijf stuurgroepen zelf over Haar rol is dus beperkter dan 'normaal'.
Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 26/33

Twynstra Gudde

Een andere programmaleider stelt: 'Met ZonMw zijn goede ervaringen. De site visits zijn prima en er
worden goede kritische vragen gesteld.' En weer een ander geeft aan dat de kritische vragen van
ZonMw het programma hebben geholpen in het aanbrengen van meer structuur.
Wel komt uit de interviews met de programmaleiders naar voren dat de rol- en taakverdeling tussen de
NFU enerzijds en ZonMw en haar Beoordelingscommissie anderzijds voor een deel voor onduidelijkheid zorgt: 'Doordat er binnen de NFU ook een regiegroep Citrien bestaat, maar elk van de vijf programma's een eigen relatie met ZonMw heeft, is de verantwoordingsstructuur in Citrien-1 onduidelijk.
Aan wie moeten de programma 's verantwoording afleggen? Dat moet in Citrien-2 helderder zijn.'
ZonMw en de NFU zijn bekend met het feit dat de huidige structuur bij de programma's vragen oproept. Zo is het ZonMw naar eigen zeggen opgevallen uit het contact met programmaleiders blijkt dat
de programmaleiders ZonMw/de Beoordelingscommissie als opdrachtgever zien, in plaats van de
NFU. 'ZonMw is geen opdrachtgever, maar door VWS ingehuurd voor onafhankelijke toetsing en advisering. Het verkeerde beeld komt waarschijnlijk doordat ZonMw ook als subsidieverstrekker optreedt.'
De NFU stelt dat de rol- en taakverdeling tussen de NFU en ZonMw voor de NFU zelf helder is, maar
dat door het feit dat ZonMw kan bepalen of een programma subsidie krijgt of niet er sprake is van een
hybride model. Het verbaast haar dan ook niet dat het de vraag bij programmaleiders kan oproepen:
wie is de baas? Zeker nu het voornemen is in de tweede fase (vanaf 2019) programmatisch te gaan
werken, zal het opdrachtgeverschap in haar ogen dus verduidelijkt moeten worden.

Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 27/33

Twynstra Gudde

4. Conclusies en aanbevelingen vervolg

De hoofdvraag van deze evaluatie luidt Hoe hebben de umc's en de NFU er via het Citrienfonds samen voor gezorgd dat de kwaliteit van de zorg goed blijft, of zelfs verbetert èn in de toekomst betaalbaar blijft?' De te beantwoorden deelvragen hierbij zijn:
- hoe en in welke mate heeft het gezamenlijke programmatische optreden van de NFU en de acht
umc's geleid tot een blijvende verbetering van de duurzaamheid van zorg op de themagebieden van
het Citrienfonds?
- tot welke (borging van) resultaten heeft dat per thema (lees: programma) geleid, ook buiten de
umc's?
- wat droeg de rol- en taakverdeling binnen het Citrienfonds en de uitvoering daarvan door NFU en
ZonMw hieraan bij?
In lijn met bovenstaande vragen, hebben onderstaande conclusies betrekking op:
- het gezamenlijke programmatische optreden van de NFU en de acht umc's
- de resultaten van de programma's en de borging hiervan, ook buiten de umc's. Onder borging verstaan wij de zorgbrede implementatie van hetgeen ontwikkeld is
- de bijdrage van dit alles aan de hogere doelstelling van het Citrienfonds, het zorgen dat de kwaliteit
van de zorg goed blijft of zelfs verbetert èn in de toekomst betaalbaar blijft
- (de bijdrage van) de rol- en taakverdeling binnen het Citrienfonds en de uitvoering daarvan door
NFU en ZonMw.
Dit hoofdstuk sluit af met een aantal aanbevelingen voor het vervolg.

4.1 Conclusies eindevaluatie Citrienfonds
Conclusie 1 - over het gezamenlijke programmatische optreden van de NFU en de acht umc's:
Op vijf thema's hebben de umc's onderling en de NFU nauw samengewerkt om tot een blijvende verbetering van kwaliteit en betaalbaarheid van zorg te komen. Hierbij is gekozen voor
een exploratieve aanpak en is door ieder van de programma's zichtbaar werk gemaakt van het
betrekken van andere ketenpartijen en het delen en verspreiden van inzichten en resultaten.
Deelvraag 1 luidt: hoe en in welke mate heeft het gezamenlijke programmatische optreden van de NFU
en de acht umc's geleid tot een blijvende verbetering van de duurzaamheid van zorg op de themagebieden van het Citrienfonds? Kijkend naar het hoe, blijkt dat voor ieder van de vijf thema's een programma is uitgevoerd (of eigenlijk nog in uitvoering is), waarbij, vanwege het innovatieve karakter van
ieder van de programma's, gekozen is voor een exploratieve aanpak. Hiermee bedoelen we dat er
vooraf geen SMART doelstellingen en eindresultaten zijn geformuleerd ), maar dat er per thema voor
is gekozen om werkende weg verbetermogelijkheden op de thema's te verkennen en toetsen, en
draagvlak te zoeken op de inhoud. Hierbij is een bottom-up strategie gekozen: het in interactie met de
eindgebruikers zelf ontwikkelen van nieuw gedachtengoed en resultaten (zoals tools, werkwijzen,
handvatten, nieuwe kennis etc - zie 3.2) en hier zo werkende weg draagvlak voor creëren.
17

1 7

)

Dit geldt in mindere mate voor het programma e-Health, dat op programmaniveau 11 deliverables' heeft geformuleerd en
heeft geëxpliciteerd welk project aan welke deliverable(s) beoogt bij te dragen.
Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 28/33

Twynstra Gudde

Deze aanpak wordt breed onderschreven - ook door externe partijen - en is een logische en passende
strategie om bredere impact te realiseren. Veranderingen grijpen namelijk in op dagelijkse routines,
dus moeten in samenwerking en samenspraak met de 'werkvloer' ontwikkeld en getest worden. Wel is
de samenhang tussen de verschillende projecten niet zo helder en valt de grote hoeveelheid projecten
op. Dit roept de vraag op of er tijdig voldoende focus is aangebracht en er voldoende is gestuurd op
samenhang. Externe partijen en ZonMw zijn hier kritisch over, en ook de NFU geeft aan dat dit in
Citrien-2 aandacht behoeft.
leder van de programma's heeft ook andere ketenpartijen actief betrokken. Ten eerste door ketenpartijen te betrekken bij projecten, ten tweede door ketenpartijen te betrekken via een adviescommissie,
spiegelgroep of stuurgroep. Verder wordt er door de programma's en door de NFU zichtbaar werk gemaakt van het delen en verspreiden van opgedane inzichten en resultaten. Dit wordt door externe partijen erkend en ook gewaardeerd.
Conclusie 2 - over de resultaten van de programma's en de borging hiervan: leder programma
heeft zichtbare resultaten opgeleverd, waar externe partijen over het algemeen de toegevoegde
waarde van erkennen. Van borging hiervan - in termen van de zorgbrede implementatie van
deze resultaten - is in dit stadium nog beperkt sprake geweest. De programma's beschouwen
dit als de opgave voor Citrien-2.
Hoewel de programma's nog lopen, zijn de eerste resultaten per programma zichtbaar. In paragraaf
3.2 en in bijlage 2 zijn deze resultaten per programma omschreven. De resultaten zijn te typeren als
door de umc's bestuurlijk gedragen visies (of breder), nieuwe kennis en ontwikkelde en beproefde
werkwijzen en producten. Externe partijen laten zich over het algemeen positief uit over hetgeen ontwikkeld is. Hiernaast hebben de programma's ervoor gezorgd dat de thema's, ook buiten de umc's, in
de aandacht staan. Het gedachtengoed dat binnen de programma's ontwikkeld is en de ingezette
koers wordt door externe partijen over het algemeen niet betwist. Dit wijst erop dat het gelukt is om op
draagvlak en inhoudelijke convergentie tot stand te brengen, een belangrijke voorwaarde voor de borging van resultaten via verdere opschaling. Dit is een prestatie te noemen, als je bedenkt dat er aanvankelijk de nodige scepsis was (zie de Tussenevaluatie).
De verdere opschaling zelf moet echter nog plaatsvinden. Citrien-1 heeft nog vooral in het teken gestaan van ontwikkelen en beproeven. Antwoord op deelvraag 2 tol welke (borging van) resultaten
heeft dat per thema geleid, ook buiten de umc's?', luidt dus dat van borging in termen van daadwerkelijke implementatie (breder dan in pilotprojecten) nog beperkt sprake is. Zo ver zijn de programma's
nog niet. Hierbij past de opmerking dat de programma's wel degelijk op verschillende manieren werken
aan borging van resultaten buiten de umc's. Zo:
- werkt Naar regionale oncologienetwerken toe naar een Visiedocument Oncologische Netwerkzorg,
waarin de gezamenlijke ambities voor het vervolg worden vastgelegd )
- is het programma Registratie aan de bron gelukt om de resultaten (BgZ en zibs) erkend te krijgen
door het Informatieberaad en gelden deze als subsidievoorwaarden voor het VIPP-programma van
de NVZ en ZKN en GGZ - wat de implementatie binnen de algemene ziekenhuizen, zelfstandige
klinieken en GGZ instellingen bevordert, en
- heeft het programma Doen of laten? actief samengewerkt met de FMS en de wetenschappelijke
verenigingen om de aanbevelingen uit de Beter-Niet-Doen lijst zichtbaar te maken in de richtlijnen
en heeft het programma de NHG gestimuleerd om ook voor de eerste lijn tot een lijst te komen, vergelijkbaar met de Beter-Niet-Doen lijst voor de 2 lijn.
18

e

)

Het is de bedoeling dat dit document door de leden van de Taskforce Oncologie wordt ondertekend.
Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 29/33

Twynstra Gudde

Binnen het programma e-Health is nog vooral aandacht voor de borging van resultaten binnen de
umc's, door de ontwikkelde visie op bestuurlijk niveau te verankeren. Wel zijn er, zo geeft de programmaleiding aan, op projectniveau resultaten behaald die breder dan binnen de umc's zijn geïmplementeerd ). Het programma Sturen op Kwaliteit, dat niet als Citrienprogramma wordt voortgezet, is momenteel bezig met een verkenning hoe resultaten na 2019 in andere lopende initiatieven onder kunnen
worden gebracht, zodat deze geborgd zijn en verder kunnen worden gebracht. Concreet ziet het programma kansen in het Traject Waardegedreven Zorg, het experiment Zinvolle Registratie (ZIRE) en
ontwikkelingen rondom een andere manier van verantwoorden IGJ, gericht op leren en verbeteren activiteiten van het NFU-consortium Kwaliteit van Zorg dat ook verantwoordelijk was voor het programma Sturen op Kwaliteit. De inbedding in deze initiatieven is deels nog niet uitgekristalliseerd; hier
lopen momenteel gesprekken over. In ieder geval worden de toolkit en de daarbij behorende tools toegepast in het traject Waardegedreven zorg, zo geeft de programmaleiding aan.
19

Als het gaat om de zorgbrede implementatie is de aansluiting van de eerste lijn bij Registratie aan de
Bron (acceptatie BgZ en zibs als standaarden) en bij Naar regionale oncologienetwerken (aansluiting
op de MDO's) nog een opgave, die om verschillende redenen (inhoudelijk, organisatorisch, uiteenlopende belangen) complex is. Hierbij moet worden opgemerkt dat zorgbrede acceptatie en implementatie ook maar ten dele binnen de invloedsfeer van de urne's/de programma's ligt. Zie ook conclusie 3.
Conclusie 3 - over de bijdrage aan de hogere doelstelling van het Citrienfonds: In theorie dragen alle programma's bij aan de hogere doelstelling van het Citrienfonds. Bredere opschaling/implementatie van de resultaten in Citrien-2 is echter nodig om deze impact ook daadwerkelijk in de praktijk te gaan 'verzilveren'. Actieve medewerking van ketenpartijen is hiervoor essentieel - iets dat de umc's niet kunnen afdwingen.
Bij de opzet van de vijf programma's is er bewust voor gekozen geen expliciete meetbare doelstellingen in termen van de kwaliteit en betaalbaarheid van de zorg te formuleren. Dat is een keuze die voortvloeit uit de gekozen aanpak om eerst, werkende weg, verbetermogelijkheden op de thema's te verkennen en toetsen, en draagvlak te zoeken op de inhoud. Daarom is het überhaupt niet goed mogelijk
om harde uitspraken te doen over de bijdrage van ieder van de programma's aan de hogere doelstelling van het Citrienfonds.
Kijkend naar de inhoud van de programma's, is voor ieder van de programma's te beredeneren dat de
resultaten in potentie een positieve bijdrage leveren aan de kwaliteit en/of de betaalbaarheid van de
Nederlandse zorg. Iets dat externe partijen ook onderschrijven. In de praktijk is het echter nog te vroeg
om te spreken van een gerealiseerde 'blijvende verbetering van de zorg' (deelvraag 1) of om te kunnen
concluderen dat 'de umc's en de NFU er via het Citrienfonds samen voor gezorgd dat de kwaliteit van
de zorg goed blijft, of zelfs verbetert èn in de toekomst betaalbaar blijft' (hoofdvraag). Er zijn met de
bereikte resultaten zeker stappen gezet in de goede richting. Citrien-2 is echter nodig om deze impact
ook daadwerkelijk in de praktijk te gaan 'verzilveren'. Draagvlak voor de inhoudelijke koers, ook buiten
de umc's, is een belangrijke voorwaarde om de bredere impact te kunnen realiseren. Aan deze voorwaarde lijkt te zijn voldaan.
Draagvlak op de inhoud alleen zal echter niet voldoende zijn. Ketenpartijen zullen ook bereid moeten
zijn actief te gaan investeren in het implementeren en toepassen van hetgeen ontwikkeld is binnen de
eigen organisaties. Wat vraagt om het aanpassen van systemen, interne procedures of werkwijzen.
Denk aan het aanpassen van het EPD. Of aan het investeren in XDS.
19

)

Genoemde voorbeelden: 'Safe@home project': tijdens Citrien-1 al opgeschaald naar regionaal ziekenhuis (Diakonessenhuis
Utrecht). Ook ligt er voor de projecten Changing Mind' and Metabolism' een plan klaar om de app in 2019 op grote schaal te
implementeren, met behulp van het diabetesfonds.
Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 30/33

Twynstra Gudde

Dit vraagt niet alleen tijd, maar kost ook geld. De Citrienmiddelen alleen zijn hiertoe niet toereikend
De umc's geven aan ook zelf veel eigen middelen te moeten investeren voor de implementatie binnen
de eigen huizen. Feit is ook dat de implementatie buiten de umc's niet tot de verantwoordelijkheden
van de umc's alleen gerekend kan worden. Voor de daadwerkelijke implementatie van de resultaten bij
andere ketenpartijen, zal VWS deze partijen een eigen taakstelling moeten geven. Ook zal VWS de
zorgbrede implementatie waar nodig via wet- en regelgeving moeten afdwingen, mocht dit niet op vrijwillige basis gebeuren.
Conclusie 4 - Hoewel de rol- en taakverdeling tussen ZonMw en de NFU in het begin zoeken
was, heeft deze gaandeweg vorm gekregen en is de samenwerking steeds beter geworden.
Hoewel de rol- en taakverdeling voor ZonMw en de NFU zelf helder is, leidt deze bij de programmaleiders tot onduidelijkheden.
Zoals eerder in de tussenevaluatie geconcludeerd was het voor beide partijen wennen aan de eigen en
aan eikaars rol, maar is de rolverdeling gaandeweg duidelijk geworden en is de samenwerking verbeterd. Dit is in de eindevaluatie wederom bevestigd. Wel blijkt dat ZonMw een iets andere rolinvulling
door de NFU verwacht als het gaat om de communicatie en implementatie, in de vorm van sterkere
sturing op inhoud. De NFU kiest er echter bewust voor om de programmaleiders in de lead te laten bij
de uitvoering, met een NFU-bestuurder als voorzitter van de Stuurgroep. Het NFU-bureau heeft een
ondersteunende en adviserende rol.
Als het gaat om de interactie tussen ZonMw en de programma's zelf, zijn de geluiden positief. De programma's ervaren de vragen van de Beoordelingscommissie over het algemeen als kritisch en behulpzaam. Wel zorgt het feit dat de NFU opdrachtgever is, maar ZonMw bepaalt of een subsidie verstrekt
wordt of niet, voor een deel van de programmaleiders voor onduidelijkheid. Wie is de opdrachtgever,
wie heeft het voor het zeggen? De NFU en ZonMw ervaren deze onduidelijkheid zelf niet, maar de
NFU erkent dat het verhelderen van het opdrachtgeverschap een aandachtspunt voor Citrien-2 is.

4.2 Aanbevelingen voor Citrien-2
Aanbeveling 1 - aan de programma's: Breng focus aan
De huidige programma's bestaan tezamen uit een grote hoeveelheid projecten. Dit heeft in termen van
resultaten dan ook het nodige opgeleverd. Nu de stap moet worden gezet naar de (bredere) implementatie bevelen wij aan om scherpere keuzes te maken. Het breder implementeren is een niet te onderschatten opgave, terwijl tijd en budget gelimiteerd zijn. Met andere woorden: zet liever vol in op de bredere uitrol en hiermee de borging van één of twee breed gedragen resultaten per programma, dan
'half op het verder brengen van alles dat ontwikkeld en beproefd is.
Aanbeveling 2 - aan de programma's: Omschrijf de eindresultaten
In Citrien-1 werden de umc's geacht zowel een voortrekkersrol te vervullen in vernieuwingen op een
aantal thema's, alsook voor zorgbrede implementatie van resultaten te zorgen. Zonder dat helder omschreven was wat dit laatste precies inhoudt. Met als gevolg dat het glas voor de een half vol is (een
beweging op gang gebracht, met mooie eerste resultaten), en voor de ander half leeg is (van zorgbrede borging van hetgeen ontwikkeld is, is nog geen sprake). Omschrijf bij de start van Citrien-2 dus
duidelijker wat er vier jaar later van een programma aan resultaat verwacht mag worden: waarop is
een programma afrekenbaar en waarop ook niet.

Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 31/33

Twynstra Gudde

Aanbeveling 3 - aan de programma's, de NFU en VWS: Expliciteer de verantwoordelijkheden
voor de implementatie (programma's en NFU) en beleg deze daar waar ze horen (VWS)
De implementatie van resultaten buiten de umc's kan niet tot de verantwoordelijkheid van de NFU en
de umc's alleen gerekend worden. Voor een succesvolle zorgbrede implementatie zullen de doelen en
opdrachten voor de verschillende partijen in de zorgketen gespecificeerd moeten worden, zodat elk
van de bij de keten betrokken partijen zijn eigen verantwoordelijkheid moet en kan nemen. Daarom
verdient het aanbeveling om daar waar inhoudelijke oplossingen ontwikkeld zijn en breed gedragen
worden, de verschillende verantwoordelijkheden voor de implementatie ook helder te benoemen en te
beleggen.
Van de programma's mocht in Citrien-1 verwacht worden dat hetgeen ontwikkeld wordt, zich leent voor
zorgbrede implementatie en dat hier op inhoud ook draagvlak voor is gegenereerd. Dit door externe
partijen actief te betrekken, op zowel project als op programmaniveau (via adviescommissies etc). Dit
creëren van draagvlak op inhoud is grotendeels gelukt.
Het is vervolgens zaak om de ontwikkelde resultaten ook ergens zorgbreed te erkennen en gezamenlijk de ambitie te onderschrijven om deze resultaten ook te gaan implementeren. Dit is de stap die binnen Naar Regionale oncologienetwerken nu concreet gezet wordt met het opstellen van het Visiedocument, en waar het programma Registratie aan de bron al een stap in heeft gezet via erkenning van de
standaarden door het merendeel van de leden van het Informatieberaad. Deze stap zullen de andere
programma's nog moeten gaan zetten. Zo is het programma e-Health naar wij begrepen voornemens
om een aantal beproefde resultaten te selecteren die zich lenen voor bredere implementatie. Het is
zaak dat geborgd wordt dat ook niet- umc's deze selectie onderschrijven. Hetzelfde geldt voor de verdere opschalingsplannen van het programma Doen of laten?
Van de programma's mag in Citrien-2 vervolgens verwacht worden dat de ontwikkelde, breder gedragen, resultaten ook daadwerkelijk geïmplementeerd worden binnen de umc's. Dan wordt de meerwaarde ook voor andere ketenpartijen zichtbaar, wat naar verwachting een vliegwieleffect tot gevolg
heeft. Verder mag van de umc's via de programma's verwacht worden dat zij een bijdrage blijven leveren aan de zorgbrede implementatie, door dit te stimuleren, faciliteren en helpen coördineren. Dit aansluitend op de rol van voortrekker.
Maar voor de daadwerkelijke implementatie van de resultaten binnen andere ketenpartijen, zal VWS
deze partijen een eigen taakstelling moeten geven. De Citrienmiddelen alleen zijn hiertoe niet toereikend.
Ook zal VWS de zorgbrede implementatie waar nodig via wet- en regelgeving moeten afdwingen,
mocht dit niet op vrijwillige basis gebeuren. Specifiek op het punt van het faciliteren van dataverzameling en -uitwisseling (Naar regionale Oncologienetwerken, Registratie aan de bron, e-Health) is duidelijk dat eenheid van taal en standaardisatie de meeste kans biedt om optimaal profijt te trekken in termen van zorgverbetering en efficiency. Het ontwikkelen van die standaarden kan als verantwoordelijkheid van het programma worden gezien. Het zorgbreed vastleggen van standaarden is een zaak die
de umc's overstijgt, en waarvoor de minister van VWS aan zet is. Het gaat dan niet alleen om het vastleggen van standaarden, maar ook om gerichte actie om de implementatie van die standaarden te bevorderen.

Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 32/33

Twynstra Gudde

Aanbeveling 4 - aan ZonMw en de NFU: Verhelder de sturingslijnen voor de programmaleiders
Het feit dat de (Regiegroep van de) NFU opdrachtgever is, de individuele umc's de subsidie ontvangen
en ZonMw bepaalt of een subsidie verstrekt wordt of niet, zorgt voor een deel van de programmaleiders voor onduidelijkheid. Wie is de opdrachtgever, wie heeft het voor het zeggen? Het is daarom zaak
om de sturingslijnen te verhelderen, door te verduidelijken:
- welke partij welke zeggenschap heeft over de koers van- en keuzes binnen de programma's
- aan wie de programma's verantwoording afleggen.
Hierbij is ook de rol van de stuurgroepen vs. die van de Regiegroep van de NFU een punt van aandacht.

Rapport eindevaluatie Citrienfonds | 18 december 2018 | Pagina 33/33

Twynstra Gudde

Bijlage 1 Overzicht geïnterviewden
Programma overstijgend
- mevrouw Zwart en mevrouw Sloover, ministerie van Volksgezondheid, Welzijn en Sport (VWS)
- de heer Thieme Groen, mevrouw Van der Wilden, mw. Van Gemert (leden Beoordelingscommissie
ZonMw) en mevrouw Kellert en de heer Den Heijer (programmabureau ZonMw)
- mevrouw Mertens, mevrouw Van Velthuizen, de heer Kramer, de heer Van der Zee (regiegroep
NFU)
- mevrouw Stevens, de heer Van der Velden en mevrouw Van Driel (bureau NFU).
Programma Naar regionale oncologienetwerken
- de heer Nijman en mevrouw Welker en de heer De Groot (telefonisch), programmaleiding en coördinatie
- de heer Dijkstra, Nederlands Huisartsen Genootschap
- de heer Dillman, Nederlandse Vereniging van Ziekenhuizen, Samenwerkende Topklinische opleidingsZiekenhuizen en Isala Klinieken <*>
- de heer Huijgens, Integraal Kankercentrum Nederland
- de heer Kuipers, Erasmus MC en voorzitter Taskforce Oncologie
- de heer Wouters, Stichting Oncologische Samenwerking
- mevrouw Dingemans, Nederlandse Federatie van Kankerpatiëntenorganisaties.
Programma Registratie aan de bron
- mevrouw Simons, mevrouw Schurink en de heer Klein Wolterink, programmaleiding en coördinatie
- mevrouw Kallewaard, Federatie Medisch Specialisten <">
- mevrouw Kieft, Verpleegkundigen & Verzorgenden Nederland
- mevrouw Van Gennip, Nationaal ICT Instituut in de Zorg <">
- de heer Buitendijk, Nederlandse Vereniging van Ziekenhuizen
- de heer Heidoorn, Patiëntenfederatie Nederland ">
(

Programma Sturen op kwaliteit
- de heer Van Weert, mevrouw Trooster, mevrouw Delsing en de heer Kramer, programmaleiding en
coördinatie
- mevrouw Van Veldhuizen, Erasmus MC
- mevrouw Van Swigchum, Patiëntenfederatie Nederland''*
- mevrouw Hilders, Reinier de Graafgroep
- de heer Dillman, Nederlandse Vereniging van Ziekenhuizen, Samenwerkende Topklinische opleidingsZiekenhuizen en Isala Klinieken
- de heer Berden, Elisabeth Tweesteden ziekenhuis
- dhr. Schoo, Rijnstate
- de heer So, Albert Schweitzer ziekenhuis.
(,)

Programma e-Health
- mevrouw Schijven en mevrouw Van Dam, programmaleiding en coördinatie
- de heer Feenstra, Nederlandse Vereniging van Ziekenhuizen, Samenwerkende Topklinische opleidïngsZiekenhuizen en Martini Ziekenhuis Groningen
- mevrouw Van Gennip, Nationaal ICT Instituut in de Zorg
- de heer Jansen, Zorgverzekeraars Nederland
- de heer Heidoorn, Patiëntenfederatie Nederland'*'
- de heer Schimmelpennick, Nederlandse Vereniging van Ziekenhuizen
n

Bijlage 1 | blad 1

Twynstra Gudde

- de heer Bonten, Nederlands Hulsartsen Genootschap.
Programma Doen of laten
-

mevrouw Van Duimen en de heer Kool, programmaleiding en coördinatie
mevrouw Kallewaard, Federatie Medisch Specialisten
de heer Burgers, Nederlands Huisartsen Genootschap
mevrouw Mens, Verpleegkundigen & Verzorgenden Nederland
de heer Dillman, Nederlandse Vereniging van Ziekenhuizen, Samenwerkende Topklinische opleidingsZiekenhuizen en Isala Klinieken <"'
- mevrouw Van Swigchum, Patiëntenfederatie Nederland *
n

1

1

H Over meerdere programma 's geïnterviewd

Bijlage 1 | blad 2

Twynstra Gudde

Bijlage 2: Overzicht belangrijkste resultaten per programma
Deze bijlage bevat de letterlijke beantwoording van de programma's van de volgende vraag: Wat zijn
de belangrijkste (te verwachten) eindresultaten op programmaniveau (niet per project)?

Naar regionale oncologienetwerken
In het programma Naar regionale oncologienetwerken staat de patiënt centraal. Om patiënten duurzaam, effectief en efficiënt een optimale behandeling te bieden is afstemming en samenwerking nodig
in regionale netwerken.
Het programma stimuleert en faciliteert in alle regio's (vooral) goede samenwerking tussen zorgprofessionals, in afstemming met de patiënt. Om de resultaten van deze bottom-up benadering breed te implementeren en te borgen, worden de NFU als bestuurlijk eindverantwoordelijke, partijen in de landelijke Taskforce Oncologie en tal van andere stakeholders ingeschakeld. Bij de betrokken stakeholders bestaat een grote mate van overeenstemming over wat er bij netwerkvorming in de oncologie relevant is en beter moet.
20

Vanuit alle ziekenhuizen in Nederland wordt er inhoudelijk bijgedragen aan het programma door zorgprofessionals, managers en ondersteuners. Het programma draagt ook sterk bij aan vergaande bestuurlijke afspraken over regionale samenwerking in de oncologie (zie jaarplan 2018).
Met relevante stakeholders wordt bovendien gezocht naar een oplossing voor de nu nog beperkte/ontbrekende vergoeding van de tijdsinvestering bij een operationeel regionaal oncologienetwerk. Verder
moet bijvoorbeeld een landelijk visiedocument eind 2018 voorzien in de borging en verdere uitrol van
programmaresultaten (zie ook punt 3, in de paragraaf'overige stakeholders').
De verwachte eindresultaten zijn gebaseerd op projectresultaten en -ervaringen. Ze luiden in kort bestek als volgt:
- Een vanuit de zorgpraktijk ontwikkeld en praktisch getest MultiDisciplinair Systeem (MDS), dat bij
volledige invoering efficiënt en effectief leidt tot een optimaal behandelplan voor iedere oncologiepatiënt in Nederland. Centraal hierin staat de beoordeling van medisch technische opties in het (regionaal) MDO en/of door consultatie van een expertisecentrum. Bij de uiteindelijke keuze voor een behandeling worden structureel, samen met de patiënt, levensdoelen en gezondheidsstatus betrokken.
Het ontwikkelde MDS is bruikbaar bij elke tumor specifieke invulling en geschikt voor implementatie
in alle ziekenhuizen en/of oncologische netwerken in Nederiand.
- Afspraken over de govemance met betrekking tot een landelijke bronregistratie in de oncologie en
de stappen die nodig zijn om daar te komen.
- Voorbereide, geteste, concreet geïmplementeerde en bovenregionaal gekoppelde delen van een
beoogd landelijk netwerk voor digitale gegevensuitwisseling volgens de XDS standaard. Het landelijk Informatieberaad heeft deze XDS standaard in 2017 geaccepteerd.
- Voorgaande is in samenhang gebracht in drie roadmaps van het programma, die tevens het vervolg
na Citrien aangeven: MDS/ MDO, Registratie(s) in de oncologie en XDS/ digitale gegevensuitwisseling (zie jaarplan 2018).
- De invulling van randvoorwaarden rond (regionale) MDO's, de opbouw van registraties vanuit klinisch relevante data en, uiteraard, het gebruik van XDS voor het uitwisselen van beelden en gegevens tussen ziekenhuizen, zijn toepasbaar in de zorgpraktijk van vele disciplines (bijvoorbeeld cardiologie-, diabetes- en acute zorg).

)

In de landelijke Taskforce Oncologie zijn vertegenwoordigd: FMS/ SONCOS, NHG, NFK, IKNL, NVZ en NFU.
Bijlage 2 | blad 1

Twynstra Gudde

- Concrete voorstellen hoe te komen tot adequate financiering van (oncologie)netwerken voor de registratie en declaratie/facturatie in het primaire proces, voor de overheadkosten van het netwerk en
voor de financiering van MDO's en consultaties om te komen tot een optimaal behandelplan.
- Een online toolbox met alle relevante kennis, informatie en hulpmiddelen uit het programma om de
regionalisering van de oncologie verder vorm te geven. Onder meer wordt hierin de informatie ontsloten van het in samenwerking met de RUG faculteit Economie en Bedrijfskunde uitgevoerde onderzoek onder meer dan 80 geïdentificeerde oncologienetwerken. Dit onderzoek levert een schat
aan informatie over drijfveren, een draaiboek voor ontwikkeling van een oncologienetwerk en bevorderende en belemmerende factoren, zowel organisatorisch, financieel als qua regelgeving. Veel ervaren belemmeringen worden meegenomen naar koepelorganisaties om te komen tot een betere
invulling van randvoorwaarden voor patiëntgerichte netwerkzorg.
- Een landelijk visiedocument: in de kern een overeenkomst tussen diverse bestuurlijke stakeholders
en koepelorganisaties (zoals onder andere vertegenwoordigd in de Taskforce Oncologie) die afspreken hoe en wanneer te komen tot een volledige implementatie van alle aspecten die relevant zijn bij
regionalisering van de oncologie. De belangrijkste aspecten in dit Agreement komen voort uit de drie
roadmaps van het programma. (Zie ook punt drie, onder 'overige stakeholders ).
- Een structurele inbedding van regionalisering van oncologie in het beleid van umc's en hun Comprehensive Cancer Centers, als blijvend stuwende partners in oncologienetwerken.
- Vergaande bestuurlijke samenwerking tussen ziekenhuizen om de oncologische zorg in te richten in
lijn met de roadmaps van het programma.
- Versterkte en verbeterde samenwerking tussen partners in de oncologische regionale netwerken,
waaronder zorgprofessionals uit diverse ziekenhuizen, inclusief gespecialiseerde oncologie verpleegkundigen, en diverse ondersteuners zoals oncologiemanagers, administratieve medewerkers
en ICT'ers.
- Door het Citrien programma Naar regionale oncologienetwerken zijn in elke regio zeer goed ingevoerde projectleiders met kennis van zaken over en concrete ervaring met vele facetten van netwerkvorming in de zorg aanwezig.

Registratie aan de bron
Op de 2020 doelstellingen van Registratie aan de bron zijn de afgelopen jaren al de nodige (tussenresultaten behaald. Deze zijn hieronder per doelstelling opgesomd.
Doel 1. Vastlegging met de Basisgegevensset Zorg (BgZ)
Stand van zaken oktober 2018: De umc's werken aan de hand van eigen roadmaps toe naar implementatie van de zorginformatiebouwstenen en zijn hiermee goed op weg. Voor de algemene ziekenhuizen (NVZ) wordt hier via het VIPP-programma aan gewerkt. De behaalde tussentijdse resultaten op
deze 2020 doelstelling:
- Ontwikkeling van de standaarden; de 100 zorginformatiebouwstenen (zibs) en de daarvan afgeleide
Basisgegevensset Zorg bestaande uit 28 items.
- Twee keer per jaar monitoring op de implementatievoortgang in de umc's op BgZ én zibs. Alle umc's
zijn inmiddels in staat zorginformatie in het grootste gedeelte (>70%) van de BgZ items in te voeren.
Eind 2018 vindt de tweede meting plaats, op onder andere de mogelijkheden om gegevens conform
de definitie van de zibs in het systeem vast te leggen en te delen (exporteren) en de vastlegging
conform zibs door zorgprofessionals.
- Opname van de implementatie en gebruik van de BgZ in de VIPP-voorwaarden. Uit de monitor van
maart 2018 blijkt dat gemiddeld 82% van alle BgZ-items (niet gestructureerd conform zibs) door een
algemeen ziekenhuis digitaal kan worden aangeboden aan de patiënt via een USB-stick of andere
gegevensdrager.

Bijlage 2 | blad 2

Twynstra Gudde

- Het model van de zibs en de BgZ is in januari 2018 door de partijen in het Informatieberaad Zorg
vastgesteld als landelijke standaard voor uitwisseling.
- (eind 2018) Tweemaal uitgevoerde BgZ audit in de umc's, over de mogelijkheden tot invoeren, export en gebruik.
- Vertaling van 21.000 SNOMED CT termen (in project met subsidie uit van Jaar v.d. Transparantie).
- Drie architectuurdocumenten over o.a.. de grondbeginselen van zibs en praktische aspecten bij de
implementatie ervan.
- Zeven trainingen Basisgegevensset Zorg, waarvan vier in samenwerking met VIPP NVZ en VIPP
ZKN.
- Project beslisondersteuning: er is een nulmeting uitgevoerd. In november volgt de effectmeting.
- Het functioneel beheer van de zibs is belegd bij Nictiz. De bijbehorende autorisatieraad die besluiten
neemt over wijzigingsvoorstellen van de zibs bestaat uit vertegenwoordigers van NFU, NVZ, FMS,
Patiëntenfederatie, GGZ Nederland, V&VN en Nictiz.
- (voorgenomen besluit: Het functioneel beheer van de BgZ te beleggen bij Nictiz (besluit Q4 2018).
- Het houderschap van de zibs en van de BgZ is tijdelijk belegd bij de stuurgroep van het programma.
Het Informatieberaad Zorg zal een onafhankelijke verkenner aanstellen om te adviseren in het definitieve (toezichts)houderschap van deze standaarden.
- Een methode is ontwikkeld om een dashboard te generen over stand van zaken in zorginstelling
a.h.v. de vier speerpunten programma: verminderde registratielast, efficiëntie, verhoogde kwaliteit
data. Deze kan ingezet worden als 'thermometer' bij zorginstellingen.
Doel 2a. Hergebruik zorginformatie door patiënt Stand van zaken oktober 2018:
- Alle umc's hebben een patiëntportaal geïmplementeerd en er wordt gewerkt aan verdere toepassingen en optimalisatie ervan.
- In de algemene ziekenhuizen zijn patiënten portalen onderdeel van de implementatie via het VIPPprogramma. Uit de Q2-meting van 2018 blijkt dat 80% van alle algemene ziekenhuizen die deelnemen aan het VIPP-programma aan zijn patiënten inzicht in hun medische gegevens aanbiedt via
een eigen portaal. Er worden bij deze informatie nog geen eisen gesteld aan de standaardisatie
conform de BgZ-standaard.
- In het Radboudumc loopt in 2018 een project om voor eind 2018 de automatische aanlevering vanuit het EPD aan een PGO te realiseren op basis van de zibs.
Doel 2b. Hergebruik zorginformatie voor overdracht
Naast de technische implementatie van zibs vraagt de verandering in werkwijze door gebruikers van
het EPD ook de nodige aanpassingen in processen, werkwijze en training van gebruikers.
De activiteiten van de umc's op dit onderwerp worden sinds 2016 gemonitord.
- Door het programma zijn verschillende opleidings- en trainingsmaterialen ontwikkeld. Zoals de serious game Medisch Centrum Oost en drie e-learningmodules. De game is tot augustus 2018 al
door meer dan 800 mensen gespeeld.
- In september 2018 hebben Registratie aan de bron, VIPP en de FMS gezamenlijk een congres voor
200 medisch specialisten georganiseerd rondom het thema eenmalig vastleggen voor meervoudig
gebruik.
- In het project Regionale Uitwisseling tussen het Radboudumc en het Jeroen Bosch Ziekenhuis
wordt bewezen dat overdracht van patiëntgegevens conform de BgZ kan. De looptijd van dit project
is aanzienlijk langer dan voorzien werd bij de start. Eind Q1 2019 worden de nieuwe Epic en Chipsoft EPD releases waarin de aanpassingen van dit project zitten opgeleverd, waarmee aan de technische randvoorwaarden wordt voldaan en uitwisseling mogelijk wordt gemaakt. Tot die tijd zijn als
tussenresultaten opgeleverd een analyse van een as-is situatie, de BgZ in een CDA- bericht, architectuurplaten en de mapping van benodigde velden in de twee systemen.

Bijlage 2 | blad 3

Twynstra Gudde

- In 2018 is V&VN gestart met een project in de regio Amsterdam (Cure en Care) voor de uitwisseling
van de eOverdracht standaard. Er is een contextanalyse bij de deelnemende organisaties uitgevoerd. Op basis hiervan is een implementatievoorstel voor de eOverdracht vastgesteld en is een
plan van aanpak opgesteld voor de implementatie van de eOverdracht.
- Ook is in 2018 een project uitgevoerd in samenwerking met het Citrienthema Naar regionale oncologische netwerken: "Op weg naar harmonisatie in registratie". Het resultaat hiervan is een "Koersboek" waarin onder andere de optimale route naar het harmoniseren van registraties en het complexe speelveld van oncologische zorg wordt beschreven.
Doel 2c. Hergebruik zorginformatie voor (kwaliteits)registraties Stand van zaken oktober 2018:
- De umc's hebben verschillende aanleveringen aan kwaliteitsregistraties geautomatiseerd. Een deel
van deze aanleveringen vindt plaats aan de hand van de zibs. Onder andere in vijf regionale pilots
(subsidie uit Jaar van de Transparantie) en in zelfstandige projecten in de umc's. Bij nieuw op te
pakken kwaliteitsregistraties is dit nu het uitgangspunt.
- In Q1 van 2018 heeft het programma Registratie aan de bron analyses gemaakt op de overlap tussen drie DICA-registraties en de BgZ/zibs en onderzocht waar in het EPD patiëntgegevens voor
deze registraties worden vastgelegd.
- In 2018 is vervolgens het 'Doeboek' Kwaliteitsregistraties opgeleverd. Dit is de handleiding voor
kwaliteitsregistraties om te komen tot een optimale dataset op basis van de principes van eenmalig,
eenduidig vastleggen voor meervoudig gebruik.
- Voor het eind van 2018 zal samen met vier registraties gestart worden met het mappen van hun datasets op de BgZ/zibs.
- Tijdens het proces van het schrijven van het 'Doeboek' zijn Registratie aan de bron en de Federatie
van Medisch Specialisten veelvuldig benaderd door kwaliteitsregistraties (september 2018 >veertig
registraties) die willen starten met de herinrichting van hun datasets ten behoeve van hun uitvraag
m.b.v. SKMS.
- Er is eén architectuurdocument opgesteld over hergebruik voor aanlevering aan (kwaliteits)registraties.
- Halverwege 2018 is samen met de NZa geanalyseerd hoe de data-aanlevering van zorgaanbieders
aan de NZa aansluit op de zibs en de BgZ. En op welke manier het mogelijk is om de datastromen
naar zorgverzekeraars/Vektis en naar de NZa beter te stroomlijnen.
Doel 2d. Hergebruik zorginformatie voor patiëntgebonden onderzoek
Voor een deel van de umc's geldt dat alle data vastgelegd in het EPD beschikbaar is voorwetenschappelijk onderzoek. Bij de overige umc's kan patiënten informatie uit het primaire proces alleen hergebruikt worden voor één of enkele specifieke wetenschappelijke onderzoeken als Parelsnoer.
Doel 3. Verspreiden gedachtengoed
Sinds de start van het programma wordt aandacht gegenereerd voor het principe van het programma.
Want hoe meer hergebruik, hoe meer de gedane inspanningen omgezet worden in onder andere verminderde registratielast en meer kwaliteit van data. De stand van zaken in oktober 2018:
- Bestuurlijk partnership in programma tussen NFU, Nictiz, NVZ, FMS en V&VN. In het platformoverleg (afstemming op beleidsniveau) zitten inmiddels ook vertegenwoordigers van GGZ-Nederland,
KNGF en Actiz.
- Sinds 2016 zijn de inspanningen op deze doelstelling geprofessionaliseerd aan de hand van een
stakeholder-/ communicatiestrategie, een eigen huisstijl en periodieke communicatie uitingen via eigen en externe kanalen. Opgeleverde middelen zijn daarnaast een website, (landelijke) artikelen,
twaalf films, vijftien nieuwsbrieven, drie jaarbeelden, en interactie en berichtgeving via Linkedin en
Twitter.

Bijlage 2 | blad 4

Twynstra Gudde

- Nieuwe actieve landelijke gremia rondom het thema 'eenduidig vastleggen voor meervoudig gebruik'; architectuurteam, (urne) cmio netwerk, programmamanagement met trekkers uit de umc's en
het platformoverleg.
- Deelname aan landelijke stuurgroepen over aanpalende onderwerpen zoals Medmij, de verrichtingenthesaurus en Medicatieproces 2.0. Op uitnodiging meermaals per jaar gast(spreker) op het informatieberaad Zorg.
- Leveranciers- en consultantsbijeenkomsten, trainingen en sessies met kwaliteitsregistraties, tijdens
de Citrien meet & greets en elf georganiseerde workshops tijdens de Meet Ups van het Informatieberaad Zorg.
- Goed bezochte bijeenkomsten tijdens de studiereis naar de HIMSS 2018 in Sitges
- Etalage en podium geboden aan initiatieven op het gebied van gedragsverandering zoals de PLEZIER-aanpak die ontwikkeld is in het Radboudumc (zie hiervoor www.registratieaandebron.nl).
Naast de bovenstaande resultaten werkte Registratie aan de bron in de afgelopen jaren stimulerend en
als katalysator voor andere ontwikkelingen in de Nederlandse zorg. Hieronder staan enkele van die
ontwikkelingen opgesomd:
- Ook de standaard eOverdracht afgeleid van de zibs door de V&VN voor de verpleegkundige overdracht. De umc's hebben zich in 2018 gecommitteerd aan het implementeren van de eOverdracht
standaard voor 2022.
- Na de vertaling van 21.000 SNOMED CT termen in een van de projecten uit de Jaar van de Transparantie subsidie van het programma Registratie aan de bron is Nictiz begonnen aan de vertaling
van de overige 90% SNOMED CT termen.
- Door het Informatieberaad Zorg zijn outcomedoelen opgesteld in 2017 die voor een groot deel naadloos passen op de doelstellingen en principes van Registratie aan de bron
- Na de oplevering van de zibs zijn zij in beheer genomen door Nictiz. Het 'zib-beheer centrum' behandelt wijzigingsverzoeken op de originele zibset en realiseert periodiek een nieuwe release.
- Steeds vaker lijkt Registratie aan de bron een werkwoord, dat ook wordt gebruikt door niet officieel
aangesloten initiatieven.

Sturen op

kwaliteit

Bestuurders van ziekenhuizen sturen in toenemende mate ook op kwaliteit. Echter veel ziekenhuizen
zijn nog zoekende naar een goede manier om dit te doen en welke kwaliteitsinformatie daarvoor geselecteerd, geïnterpreteerd en gebruikt kan worden. De meeste ziekenhuizen gebruiken inmiddels hun
eigen dashboard en of methoden daarvoor. Het Programma Sturen op Kwaliteit beoogt de inhoud en
het effectieve gebruik van de stuurinformatie te optimaliseren.
Vanaf 2015 tot 2017 is er veel voorwerk gedaan om uit de hoeveelheid beschikbare informatie de belangrijkste informatie te filteren, waaruit bestuurders uiteindelijk naar hun eigen behoeftes kunnen kiezen. 20 projecten hebben 20 eindverslagen opgeleverd. De bevindingen zijn wetenschappelijk goed
gevalideerd en getoetst in de praktijk van verschillende umc's, soms met zorgpartners/andere ziekenhuizen.
In 2018 vertalen we deze resultaten naar praktische toepassingen. Dit gebeurt aan de hand van een
model voor Sturen op Kwaliteit, wat tot eind 2018 op basis van de ontwikkelde kennis gerealiseerd
wordt. Dit model is gericht op bestuurders van ziekenhuizen en bevat methoden, voorbeelden van
kernsets en handreikingen voor gebruik. Basis van het model is een nieuwe visie over Sturen op Kwaliteit. Deze visie is in het programma ontwikkeld en omvat de uitdagingen, uitgangspunten en voorwaarden voor effectief sturen op kwaliteit.

Bijlage 2 | blad 5

Twynstra Gudde

Het model heeft tot doel dat goede kwaliteitsinformatie 1. gefilterd en 2. geïnterpreteerd en 3. gebruikt
wordt voor sturen op kwaliteit door de Raad van Bestuur. Met dit model is het mogelijk om de kwaliteit
van zorg te verbeteren, door het hebben en gebruiken van adequate kwaliteitsinformatie door de Raad
van Bestuur. In het model onderscheiden we verschiUende niveaus voor gebruik: 1. als visie en de
voorwaarden om deze te realiseren. 2. Ziekenhuisbreed, 3. Per ziektebeeld of afdeling, 4. In zorgnetwerken.
Het model en de toolbox (www.sturenopkwaliteit.nl) voor Sturen op Kwaliteit zal ziekenhuizen buiten
het programma in staat stellen zelfstandig in de eigen praktijk aan de slag te gaan met de kennis, voorbeelden en implementatie-ervaringen die in het programma zijn verzameld.
Door samenwerking met Zorgvisie, Skippr en Qruxx is intensief de publiciteit gezocht. Dit resulteerde
o.a. in een jaarcongres Sturen op Kwaliteit, waarvan de eerste editie 240 deelnemers trok. Zie
https://www.qruxx.com/kiz-4-2018-sturen-op-kwaliteit/.

e-Health
Het programma levert langs twee verschillende wegen belangrijke eindresultaten op. Ten eerste (a) de
programmadeliverables die een overkoepelend effect beogen, en die vorm krijgen via concrete projecten (die op hun beurt elk ook weer resultaten opleveren). Ten tweede (b) is een belangrijk resultaat
dat (dankzij dit programma) de e-Health experts van de umc's een community hebben gevormd waarin
gezamenlijk kennis wordt ontwikkeld en gedeeld (expertisebundeling). Dit geeft snelheid aan de ontwikkeling.
a) De te bereiken eindresultaten staan beschreven als ' programmadeliverables ' https://www.nfuehealth.nl/over/over-het-proqramma/proces-en-deliverables/ (zie bijlage 1. waaraan de diverse projecten in verschillende mate bijdragen. Binnen het programma is ervoor gewaakt alle ' programmadeliverables' middels de uitwerking van één of meerdere projecten te borgen. Het onderstaande schema is
een weergave van de programmastructuur. De projectresultaten leveren een concreet resultaat op
voor deliverables (4-11). De wijze waarop het programma is georganiseerd draagt bij aan deliverables
1-3. Na punt b worden een aantal belangrijke eindresultaten verder uitgelicht.
21

b) Het toepassen en opschalen van e-Health in de Nederlandse gezondheidszorg is een dynamisch
proces waarbij, met vele elementen rekening moet worden gehouden. Gezien de wijdte en diversiteit
van het thema is hier ook geen eenduidig recept voor te geven. Vele goede initiatieven zijn reeds gestart, maar niet altijd op elkaar afgestemd. In het recente verleden ontbrak ook synergie, waardoor implementatiekansen onderbenut werden en ook opschaling binnen en buiten de academische ziekenhuis niet optimaal plaatsvond. De kennisontwikkeling die nu binnen het NFU e-Health programma op
gang is gebracht verbindt umc's en partners in activiteiten en doelen. Dit legt een fundament van waaruit de umc's een belangrijke sprong voorwaarts kunnen maken met de ontwikkeling van steekhoudende, aantoonbaar resultaat opleverende ehealth initiatieven en de toepassing ervan in de Nederlandse gezondheidszorg. Een breed palet aan programma activiteiten reflecteert en doet hierbij ook
recht aan de wijdte en diversiteit van het thema e-Health. Ontwikkelde en opgebrachte kennis staat
met nadruk ook ten dienste van niet-umc zorginstellingen (voorlopers rol umc's), wordt openbaar gedeeld en actief uitgedragen in de programma activiteiten.

21

) Omdat de projecten nog lopen en nog geëvalueerd zullen worden kan nog niet gezegd worden welke projecten de meeste
impact zullen hebben.
Bijlage 2 | blad 6

Twynstra Gudde

Deliverable 1

E-healthloket en
promotie

Aan het eind van het programma is/zijn er
- Diverse interventies en methodieken die de regierol van de patiënt versterken onderzocht. De kennis hierover is beschikbaar voor andere zorginstellingen.
- Meer kennis beschikbaar over of en hoe een verhoogde regierol van de patiënt bijdraagt aan succesvolle implementatie van interventies.
- Verschillende e-Health instrumenten ontwikkeld, geëvalueerd en geïmplementeerd. Hierbij gaat het
om apps, platforms en draagbare technologie.
- Kennis ontwikkeld over hoe e-Health toepassingen in de dagelijkse praktijk van een zorginstelling
kansrijk te implementeren, en met welke aspecten hierbij rekening gehouden moet worden. Meer
specifiek:
Technische en juridische voorwaarden rondom inzage en downloaden van medische gegevens
van patiënten zijn binnen enkele projecten in kaart gebracht en beschreven (en beschikbaar voor
andere zorginstellingen).
Samenwerkingsverbanden tussen medische centra, huisartsen en ggz zijn bij enkele projecten
gefaciliteerd en verbeterd met behulp van e-Health toepassingen
Onderwijsmodules op het gebied van e-Health zijn geïntegreerd in de studie geneeskunde van
kennisinstelling(en) en breed beschikbaar gesteld voor zorgprofessionals en (para)medisch studenten.
- Een belangrijke ehealth expertise community en -netwerk binnen de umc's is gevormd.
- En een e-Health leernetwerk tussen mensen uit zorginstellingen en bedrijfsleven is gevormd.

Doen of laten ?
Kennis over wat is niet-gepaste zorg
Onderzoekers uit drie umc's hebben de medisch specialistische richtlijnen 2010-2015 gescreend op
aanbevelingen die adviseren iets niet te doen of terughoudend te zijn. Daaruit is een lijst voortgekomen
met deze zogenoemde beter-niet-doen-aanbevelingen, in de media omschreven als de Beter-NietDoen-Lijst. De NFU heeft de lijst overhandigd aan de Federatie Medisch Specialisten (FMS) tijdens het
eerste Citriencongres in november 2016. De FMS heeft in samenwerking met de onderzoekers de geidentificeerde beter-niet-doen-aanbevelingen gearceerd in de richtlijnendatabase om hierdoor medisch
specialisten die deze database raadplegen, bewust te maken van het belang van terughoudendheid in
bepaalde gevallen.

Bijlage 2 | blad 7

Twynstra Gudde

Ook is er op basis van de intemationale wetenschappelijke literatuur een lijst opgesteld met veel voorkomende niet-gepaste zorg en bewezen effectieve interventies hiervoor. Deze lijst is opgenomen in de
deïmplementatiegids (zie verder) om zorgaanbieders te inspireren op welke thema's zij deïmplementatieprojecten kunnen beginnen.
Ten slotte is samen met zorgverzekeraar VGZ een onderzoek gedaan naar het volume van niet-gepaste zorg op basis van declaratiedata. Hiervoor heeft VGZ zijn database met declaraties geanalyseerd op vormen van niet-gepaste zorg die mogelijk te identificeren zijn in een dergelijke database.
Kennis over hoe niet-gepaste zorg te deïmplementeren
De acht deïmplementatieprojecten in de regio's hebben veel kennis opgeleverd over hoe te deïmplementeren. Hun resultaten hebben input gegeven voor een overkoepelende analyse met generaliserende conclusies over het verminderen van niet-gepaste zorg. Ook heeft het programmateam in de wetenschappelijke literatuur gezocht naar informatie over bevorderende en belemmerende factoren bij het
terugdringen van onnodige zorg. Daarnaast heeft het in kaart gebracht welke strategieën gebruikt werden om onnodige zorg terug te dringen en hoe effectief deze strategieën waren. Op basis van deze
kennis is een deïmplementatiegids en toolkit opgesteld. Hiermee kunnen zorgverleners hun eigen
deïmplementatieproject beginnen. Onderdeel hiervan is het beschikbaar stellen van ontwikkelde folders en ander ondersteunend materiaal.
Concrete vermindering van onnodige zorg in 8 projecten
De acht projecten hebben onnodige zorghandelingen teruggedrongen in 36 ziekenhuizen, 2 zelfstandige behandelcentra en vele tientallen huisartsenpraktijken. De definitieve resultaten worden beschreven in het eindrapport dat eind januari 2019 gepresenteerd wordt.
Kostenbesparingen van de verschillende projecten
De projectteams hebben een inschatting gemaakt van de kosten die zij bespaard hebben. Wanneer
deze bedragen op landelijke schaal worden berekend, kunnen ziekenhuizen en huisartsen landelijk
vele tientallen miljoenen euro's besparen.
Website
Er is een website gemaakt met een overzicht van de literatuur via een kennisbank.
Netwerk
Via verschillende werkconferenties en andere bijenkomsten is er zowel nationaal als internationaal een
netwerk gevormd met zorgverleners en onderzoekers met deïmplementatiekennis en -ervaring. In
deze netwerken worden kennis en producten gedeeld en wordt samen verder gewerkt aan deïmplementatie.
Publiciteit
Er zijn enkele tientallen presentaties over het programma en/of individuele projecten in binnen- en buitenland gehouden. Tevens zijn er inmiddels enkele wetenschappelijke publicaties. De verwachting is
dat het project uiteindelijk zes promoties zal opleveren en enkele tientallen wetenschappelijke publicaties.

Bijlage 2 | blad 8