Meten van uitkomsten van behandelingen
in de jeugdzorg

Inspectie Jeugdzorg
Utrecht, juni 2013

Inspectie Jeugdzorg

Inspectie Jeugdzorg

Samenvatting
Het is van wezenlijk belang dat zorgaanbieders de uitkomsten van de door hen geboden
behandelingen meten en de resultaten benutten om de kwaliteit van de zorg te verbeteren. Om dit
te stimuleren heeft de inspectie in 2012 een inventariserend onderzoek gedaan naar de mate
waarin en de manier waarop zorgaanbieders de uitkomsten van de geboden behandelingen meten.
De vragen van het onderzoek luiden:
1. Meten de zorgaanbieders uitkomsten en zo ja, op welke wijze?
2. Hoe ver zijn de zorgaanbieders met het meten van uitkomsten?
3. Welke bevorderende en belemmerende factoren ervaren de zorgaanbieders bij het meten
van uitkomsten?
De beantwoording van de onderzoeksvragen luidt:
1. Alle zorgaanbieders -op één na- geven aan bezig te zijn met het meten van uitkomsten
van de behandeling. De wijze waarop de zorgaanbieders meten is bij een deel van de
instellingen gestandaardiseerd, namelijk bij de zorgaanbieders met JeugdzorgPLUS en de
justitiële jeugdinrichtingen.
2. Er zijn grote verschillen zichtbaar in hoe ver zorgaanbieders zeggen te zijn met het meten
van uitkomsten. Er zijn zorgaanbieders die net zijn begonnen met meten van uitkomsten
en zorgaanbieders die hier al veel verder mee zijn gevorderd.
3. In de praktijk melden de zorgaanbieders meerdere factoren die het meten van uitkomsten
bevorderen of juist belemmeren. Zo is een duidelijke instructie van medewerkers om
vragenlijsten te laten invullen in de praktijk een sterke bevorderende factor. Tegelijkertijd
blijkt het ontbreken van een helpdesk voor de invulling een grote belemmerende factor.
Het is belangrijk dat zowel het bestuur als de werkvloer betrokkenheid en commitment
ervaren bij het meten van uitkomsten en dat men intern met elkaar in gesprek gaat over
visie, werkwijze en inhoud.
De inspectie concludeert dat de zorgaanbieders bezig zijn met het meten van uitkomsten van
behandelingen, en hiermee in principe in staat zijn de resultaten te benutten om de kwaliteit van
de zorg te verbeteren. De inspectie vindt dit positief. Deze ontwikkeling is immers in het belang
van cliënten, van kinderen en hun ouders of verzorgers die baat hebben bij een verbetering en
optimalisering van de zorg die aan hen geboden wordt. Tevens is het meten van en zichtbaar
maken van uitkomsten belangrijk met het oog op de maatschappelijke verantwoording van het
zorgaanbod.
Een aandachtspunt is dat veel zorgaanbieders de uitkomsten nog beter kunnen meten. Vooral als
het gaat om het meten op meer uniforme wijze en binnen alle onderdelen van het zorgaanbod van
een organisatie, is er winst te behalen. Binnen de JeugdzorgPLUS en de Justitiële Jeugdinrichtingen
vindt het meten van uitkomsten meer eenduidig plaats.

Inspectie Jeugdzorg

De inspectie beveelt Jeugdzorg Nederland daarom aan te stimuleren dat aanbieders van jeugdzorg
de uitkomsten van behandeling meten, en dat ze dit op een goed georganiseerde wijze doen.
Hiermee wordt de eenduidigheid bevorderd en krijgt het benutten van uitkomsten voor
kwaliteitsverbetering een belangrijke impuls.

Inspectie Jeugdzorg

Inhoudsopgave
Samenvatting
Hoofdstuk 1

Inleiding ......................................................................................................... 1

Hoofdstuk 2

Bevindingen .................................................................................................... 3

2.1

Meten de zorgaanbieders uitkomsten en zo ja, op welke wijze? ....................................... 3

2.2

Hoe ver zijn de zorgaanbieders met het meten van de uitkomsten? ................................. 4

2.3

Welke bevorderende een belemmerende factoren ervaren de zorgaanbieders bij het meten
van de uitkomsten? ................................................................................................... 6

Hoofdstuk 3

Beantwoording onderzoeksvragen, conclusies en aanbeveling ............................... 9

Bijlage 1:

Landelijke onderzoeksnetwerken voor het meten van uitkomsten ........................ 11

Bijlage 2: Kwaliteitsaspecten bij het meten van uitkomsten ..................................................... 13
Bijlage 3: Belemmerende factoren voor het meten van uitkomsten .......................................... 15

Hoofdstuk 1

Inleiding

Aanleiding
Als een kind jeugdzorg nodig heeft, dan staat voorop dat de zorg van goede kwaliteit, veilig en
effectief moet zijn. Niet-effectieve zorg betekent immers een verspilling van kostbare tijd en
schaarse middelen, en is potentieel schadelijk voor een kind en zijn opvoeders. De Inspectie
Jeugdzorg vindt het van belang dat aanbieders van jeugdzorg - in het vervolg aangeduid als
zorgaanbieders - zicht hebben op de effectiviteit van de door hen geboden zorg. Zicht op de
effectiviteit van de jeugdzorg is een belangrijk vereiste om de zorg kwalitatief verder te
ontwikkelen en maatschappelijk beter te verantwoorden.
De kwaliteit van de geboden zorg kan verbeteren door al tijdens de uitvoering van de zorg de
bereikte resultaten te meten en met de cliënt te bespreken. De resultaten kunnen aanleiding zijn
om de zorg bij te stellen. Cliënten – kinderen en hun ouders of verzorgers - hebben hier direct
baat bij. Ook kan de kwaliteit van de zorg verbeteren door de bereikte resultaten van meerdere
behandelingen samen te voegen op het niveau van een team, een interventie of de instelling. Deze
uitkomsten kunnen binnen een instelling worden besproken en geanalyseerd. De analyse kan
aanleidingen zijn om de zorg te veranderen met als doel de effectiviteit te vergroten. Toekomstige
cliënten kunnen van deze kwaliteitsverbetering profiteren.
Het maatschappelijk verantwoorden van de zorg kan plaatsvinden door de uitkomsten, op het
niveau van de instelling of van interventies, met de opdrachtgever en financier te bespreken.
Het meten van uitkomsten in de jeugdzorg is een belangrijk kwaliteitsaspect. Daarom heeft de
inspectie in 2012 onderzoek gedaan naar de mate waarin en de manier waarop aanbieders de
uitkomsten van de geboden behandelingen meten.
Het onderzoek
Het onderzoek was tweeledig. In het eerste deel van het onderzoek heeft de inspectie een
opdracht gegeven aan het Samenwerkingsverband Effectieve Jeugdzorg (SEJN) om de stand van
zaken omtrent het meten van uitkomsten in de jeugdzorg in kaart te brengen1. In het tweede deel
van het onderzoek heeft de inspectie hierop voortbouwend een inventariserend onderzoek
uitgevoerd onder alle zorgaanbieders. De centrale vraag van het inventariserend onderzoek luidt:
Meten aanbieders van jeugdzorg de uitkomsten van de geboden behandeling?
Deze vraag is opgedeeld in drie deelvragen.
1. Meten de zorgaanbieders uitkomsten en zo ja, op welke wijze?
2. Hoe ver zijn de zorgaanbieders met het meten van uitkomsten?
3. Welke bevorderende en belemmerende factoren ervaren de zorgaanbieders bij het meten
van uitkomsten?
1

Veerman, J.W., Yperen, T.A. van, Wilschut, M. (2013). Uitkomstenmonitoring in de jeugdzorg, meer dan alleen
maar weten. Utrecht: SEJN. Op site www.sejn.nl

1

De inventarisatie betreft alle zorgaanbieders. Vooraf was bekend dat een deel van deze
zorgaanbieders deelneemt aan een landelijk onderzoeksnetwerk voor het meten van uitkomsten.
Bij de inventarisatie is nagegaan welke zorgaanbieders zijn aangesloten en wat de deelname aan
een landelijk onderzoeksnetwerk behelst. Bij deze zorgaanbieders heeft de inspectie geen nadere
inventarisatie uitgevoerd omdat bij hen al bekend was dat zij uitkomsten meten en globaal ook
hoe ver zij hiermee zijn. De overige zorgaanbieders hebben wel een schriftelijke vragenlijst van de
inspectie ontvangen. Van deze zorgaanbieders hebben allen de vragenlijst ingevuld
teruggezonden.
Leeswijzer
Dit rapport geeft de resultaten weer van het inventariserend onderzoek. In Hoofdstuk 2 beschrijft
de inspectie de bevindingen van het onderzoek en in Hoofdstuk 3 staan de beantwoording van de
onderzoeksvragen, conclusies en een aanbeveling. In Bijlage 1 worden de drie landelijke
onderzoeksnetwerken voor het meten van uitkomsten nader toegelicht. Bijlage 2 bevat een
grafische weergave van hoe ver men is met het meten van uitkomsten. In Bijlage 3 staat een
overzicht van belemmerende factoren die de zorgaanbieders ervaren bij het meten van
uitkomsten.

Inspectie Jeugdzorg

Hoofdstuk 2

Bevindingen

In dit hoofdstuk beschrijft de inspectie de bevindingen van de schriftelijke uitvraag naar het meten
van uitkomsten aan de hand van de drie deelvragen.

2.1 Meten de zorgaanbieders uitkomsten en zo ja, op welke wijze?
Op het moment van de inventarisatie (medio 2012) waren 83 zorgaanbieders actief. Een deel van
deze instellingen participeert in een landelijk onderzoeksnetwerk voor het meten van uitkomsten.
Er zijn drie landelijke onderzoeksnetwerken waaraan in totaal 54 zorgaanbieders· participeren: het
Samenwerkingsverband Effectieve Jeugdzorg Nederland (SEJN), waarin 34 organisaties voor Jeugd
& Opvoedhulp· deelnemen; de Monitor JeugdzorgPLUS (deelnemers zijn alle 16 aanbieders van
JeugdzorgPLUS) en Routine Outcome Monitor (ROM) Justitiële Jeugdinrichtingen (deelnemers zijn de
negen Justitiële Jeugdinrichtingen). Bij deze landelijke onderzoeksnetwerken is de inspectie
nagegaan wat deelname inhoudt. Deelname houdt in ieder geval in dat de zorgaanbieder
uitkomsten bij een deel van het aanbod meet. Hoe de zorgaanbieders de uitkomsten meten is per
onderzoeksnetwerk verschillend (zie Bijlage 1).

29
35%
54
65%

deelnemer landelijk netwerk
geen deelnemer landelijk netwerk

Figuur 1: Participatie van zorgaanbieders in een landelijk netwerk

Bij de zorgaanbieders die niet in een landelijk onderzoeksnetwerk participeren is de inspectie zelf
nagegaan op welke wijze zij de uitkomsten meten.
In totaal 21 zorgaanbieders2 hebben van de inspectie een schriftelijke vragenlijst ontvangen en
2

Bij acht zorgaanbieders van jeugd- en opvoedhulp heeft de inspectie geen onderzoek uitgevoerd om diverse
redenen, bijvoorbeeld omdat de instelling binnenkort gaat sluiten of omdat de instelling aangeeft via een
collega-instelling deel te nemen aan het SEJN.

3

ingevuld teruggezonden. Uit de antwoorden op de vragenlijst blijkt dat 20 zorgaanbieders de
uitkomsten van de behandeling meten. Eén zorgaanbieder meet de uitkomsten niet en zegt
hiermee binnen enkele maanden te starten.
Wat betreft de wijze waarop zorgaanbieders de uitkomsten meten, is het beeld als volgt.
Er zijn twee landelijke onderzoeksnetwerken gericht op een specifieke behandelvorm: de monitor
JeugdzorgPLUS en de Routine Outcome Monitor Justitiële Jeugdinrichtingen. Bij beide wordt een
standaard meetinstrumentarium gebruikt. De resultaten worden in ieder geval op landelijk en
instellingsniveau gebruikt om de kwaliteit van het aanbod te verbeteren. In de JeugdzorgPLUS is met
ingang van 2013 het meten van uitkomsten volledig operationeel. Van de justitiële
jeugdinrichtingen meten naar verwachting eind 2013 alle inrichtingen de uitkomsten met behulp
van de Routine Outcome Monitor.
Het derde landelijke onderzoeksnetwerk (SEJN) bestaat uit zorgaanbieders die elk op hun eigen
manier de uitkomsten van de behandeling meten. De zorgaanbieders maken geen gebruik van een
standaard meetinstrumentarium. Door de verschillen in wat de zorgaanbieders meten en hoe zij
dit doen, is het niet mogelijk om algemeen geldende uitspraken te doen over de wijze waarop deze
instellingen uitkomsten meten.
Dit geldt eveneens voor de instellingen die niet in een landelijk onderzoeksnetwerk participeren.
Ook bij deze instellingen wordt gebruik gemaakt van uiteenlopende meetinstrumenten.

2.2 Hoe ver zijn de zorgaanbieders met het meten van de uitkomsten?
Om zicht te krijgen op hoe ver zorgaanbieders zijn met het meten van uitkomsten, heeft de
inspectie gebruik gemaakt van een instrument3 dat door het SEJN is ontwikkeld. Het instrument
geeft antwoord op de volgende vragen:
Heeft de zorgaanbieder de organisatie zo ingericht dat de resultaten van de behandeling zijn
vast te stellen?
Zijn de randvoorwaarden goed geregeld?
Lukt het vervolgens om voldoende gegevens te verzamelen, niet alleen bij de start van een
behandeling, maar ook tijdens de behandeling en ook enige tijd na afloop?
Gebruikt de zorgaanbieder de resultaten van de behandeling om de kwaliteit te verbeteren,
zowel per individuele cliënt als op het niveau van de instelling?
Een overzicht van alle items van de vragenlijst staat in Bijlage 2.

3

Criteria en scoringslijst Best Research Practice. In: Veerman, J.W., M. Wilschut, H. Ooms, D. Roosma (2010).
Zicht op effectiviteit van jeugdzorg vereist onderzoeksbereidheid en onderzoeksrijpheid van instellingen.
Utrecht: SEIJN. Op site: www.sejn.nl. Een bewerkte versie van deze lijst is opgenomen in de vragenlijst van de
inspectie.

4

Inspectie Jeugdzorg

De vragenlijst is voorgelegd aan de zorgaanbieders die niet in een landelijk onderzoeksnetwerk
participeren. Van de zorgaanbieders die in een landelijk onderzoeksnetwerk participeren zijn deze
gegevens niet beschikbaar. Aan het eind van deze paragraaf wordt bekeken hoe ver deze
zorgaanbieders zijn met het meten van uitkomsten van behandelingen.
Hoe ver de zorgaanbieders zijn met het meten van uitkomsten wordt gemeten met de vragenlijst
en uitgedrukt in een index. De indexscore is minimaal 0 en maximaal 100. De inspectie heeft op
basis van de ingevulde vragenlijst de indexscore per zorgaanbieder bepaald. De indexscores laten
grote verschillen tussen de zorgaanbieders zien. Naast de eerder genoemde zorgaanbieder die de
uitkomsten niet meet (indexscore is 0), is er een zorgaanbieder die zeer ver is gevorderd met het
meten van uitkomsten en het benutten hiervan om de kwaliteit te verbeteren (indexscore is 98).
Op grond van de indexscores zijn de zorgaanbieders ingedeeld in vier categorieën: zorgaanbieders
die nog niet zijn gestart, zorgaanbieders die beginnend zijn op het gebied van het meten van
uitkomsten, zorgaanbieders die verder zijn gevorderd en vergevorderde zorgaanbieders. In
onderstaande tabel staat hoeveel zorgaanbieders in elke categorie zitten.
Tabel 1: Mate waarin zorgaanbieders uitkomsten meten (N = 21)
Categorie
nog niet gestart
beginnend
verder gevorderd
vergevorderd

Indexscore totaal

Aantal aanbieders

0
1 - 49
50 - 74
75 - 100

1
6
10
4

Een indexscore van minder dan 50 duidt erop dat de zorgaanbieder nog niet ver is gevorderd met
het meten uitkomsten. Zeven zorgaanbieders4 vallen in deze categorie en zijn beginnend op het
gebied van het meten van uitkomsten. Veertien zorgaanbieders zijn al verder gevorderd of zelfs
vergevorderd bij het meten van uitkomsten van behandeling. In figuur 2 is dit weergegeven en is
zichtbaar dat al tweederde van de zorgaanbieders ver(der) gevorderd is met het meten van
uitkomsten.

4

Eén instelling was nog niet gestart met het meten van uitkomsten maar meldde binnen enkele maanden te
starten. Deze instelling is meegenomen in de categorie ‘net gestart met het meten’.

5

7
33%

gevorderd
14
67%

beginnend

Figuur 2: Hoe ver zijn zorgaanbieders met het meten van uitkomsten?

Bij de zorgaanbieders die in een landelijk onderzoeksnetwerk participeren is het op grond van de
uitgevoerde inventarisatie niet mogelijk om per zorgaanbieder precies aan te geven hoe ver zij zijn
met het meten van uitkomsten. Wel is bekend hoe ver de instellingen binnen een
onderzoeksnetwerk zijn met het meten van resultaten van behandelingen en het benutten hiervan
voor het verbeteren van de kwaliteit. Een beschrijving hiervan staat in Bijlage 1. Samenvattend,
van de 16 zorgaanbieders die deelnemen aan de monitor JeugdzorgPLUS is bekend dat zij al ver zijn
gevorderd. Zij meten de uitkomsten en benutten die voor het verbeteren van de kwaliteit van de
geboden jeugdzorg. Bij de negen justitiële jeugdinrichtingen zijn er ten tijde van de inventarisatie
nog verschillen tussen de instellingen. Naar verwachting zullen de justitiële jeugdinrichtingen eind
2013 allemaal de uitkomsten op eenzelfde wijze meten en benutten voor het verbeteren van de
geboden jeugdzorg.

2.3 Welke bevorderende en belemmerende factoren ervaren de
zorgaanbieders bij het meten van de uitkomsten?
Instellingen hebben te maken met factoren die het meten van uitkomsten bevorderen of juist
belemmeren. Een overzicht van de factoren die het meten van uitkomsten in de praktijk
bevorderen staat in de brochure die het SEJN5 in opdracht van de inspectie heeft geschreven. Naar
de belemmerende factoren heeft de inspectie inventariserend onderzoek gedaan bij de
zorgaanbieders die niet in een landelijk onderzoeksnetwerk participeren.

5

Veerman, J.W., Yperen, T.A. van, Wilschut, M. (2013). Uitkomstenmonitor in de jeugdzorg, meer dan alleen
maar weten. Utrecht: SEJN. Op site www.sejn.nl

6

Inspectie Jeugdzorg

Bevorderende factoren voor het meten van uitkomsten
Het SEJN heeft de ervaringen van zorgaanbieders en onderzoekers in het algemeen met het meten
van uitkomsten geïnventariseerd. De volgende bevorderde factoren bleken van belang:
De wens om met het meten van uitkomsten te beginnen ligt bij de zorgaanbieders zelf en
wordt niet van buitenaf opgelegd (hoewel dit laatste wel als prikkel kan dienen).
De redenen om uitkomsten te meten zijn duidelijk en hebben te maken met het verbeteren
van de behandeling en het legitimeren van de behandeling voor de buitenwereld.
De directie en het management staan volledig achter het meten en overzien de
consequenties hiervan.
Medewerkers worden betrokken bij de opzet en uitvoering van het meten van uitkomsten.
Er is bereidheid om op basis van de uitkomsten beslissingen te nemen en uit te voeren,
zelfs als dit betekent dat een interventie uit het zorgaanbod gehaald moet worden.
Het besef is er dat het meten van uitkomsten onderdeel wordt van de werkprocessen en
een cultuuromslag teweeg brengt.
Er zijn gedeelde beelden over wat het meten van uitkomsten moet opleveren.
Bovenstaande bevorderende factoren delen twee thema’s: het samengaan van bottom-up
processen (vanaf de werkvloer) en top-down processen (vanuit de bestuurskamer) en een dialoog
binnen de instelling over visie, werkwijze en inhoud.
Een andere belangrijke bevorderende factor voor het meten van uitkomsten is de deelname aan
een onderzoeksnetwerk. Zorgaanbieders hebben baat bij het gebruik maken van elkaars kennis en
die van de wetenschappers. Een aantal zorgaanbieders dat niet in een landelijk netwerk voor het
meten van uitkomsten participeert, meldt dat zij wel voordeel zien bij de samenwerking met
andere instellingen in de regio en met een hogeschool of universiteit.
Belemmerende factoren voor het meten van uitkomsten
De zorgaanbieders die niet in een landelijk onderzoeksnetwerk participeren hebben in de
vragenlijst aangegeven welke factoren zij in de praktijk als belemmerend ervaren. Een overzicht
van deze belemmerende factoren staat in bijlage 3.
Twee zaken blijken in de praktijk een grote rol te spelen. Het eerste is het ontbreken van een
helpdesk voor medewerkers voor het meten van uitkomsten. Het tweede is het ontbreken van een
duidelijk communicatieplan over het monitoren van uitkomsten. Daarnaast worden het ontbreken
van een goede infrastructuur in de vorm van passende ICT en een goed secretariaat als
belemmerend ervaren. Dit is ook het geval als de instelling niet zorgt voor helder omschreven
taken en bevoegdheden voor medewerkers op het punt van het meten van uitkomsten.
Tot slot blijkt een aantal factoren waarvan op voorhand gedacht kon worden dat ze het meten van
uitkomsten belemmeren, in de praktijk nauwelijks voor te komen. Zo meldt geen enkele
zorgaanbieder dat het ontbreken van de wens om uitkomsten te meten een rol speelt. Ook is er
geen sprake van het ontbreken van duidelijkheid over de argumenten om uitkomsten te meten.

7

8

Inspectie Jeugdzorg

Hoofdstuk 3

Beantwoording onderzoeksvragen, conclusies
en aanbeveling

In dit hoofdstuk geeft de inspectie antwoord op de vraag in hoeverre zorgaanbieders de
uitkomsten van de geboden behandeling meten. Verder benoemt de inspectie in dit hoofdstuk een
aantal aandachtspunten.
De beantwoording van de onderzoeksvragen luidt:
1.

Alle zorgaanbieders -op één na- geven aan bezig te zijn met het meten van uitkomsten
van de behandeling. De wijze waarop de zorgaanbieders meten is bij een deel van de
instellingen gestandaardiseerd, namelijk bij de zorgaanbieders met JeugdzorgPLUS en de
justitiële jeugdinrichtingen.

2.

Er zijn grote verschillen zichtbaar in hoe ver de zorgaanbieders zeggen te zijn met het
meten van de resultaten van hun behandeling en het benutten van de uitkomsten voor
het verbeteren van de resultaten. Er zijn zorgaanbieders die net zijn begonnen met
meten van uitkomsten en zorgaanbieders die hier al veel verder mee zijn gevorderd.

3.

In de praktijk melden de zorgaanbieders meerdere factoren die het meten van
uitkomsten bevorderen of juist belemmeren. Zo is een duidelijke instructie van
medewerkers om vragenlijsten in te vullen in de praktijk een sterk aanwezige
bevorderende factor. Tegelijkertijd blijkt het ontbreken van een helpdesk voor de
invulling een grote belemmerende factor. Het is belangrijk dat zowel het bestuur als de
werkvloer betrokkenheid en commitment ervaren bij het meten van uitkomsten en dat
men intern met elkaar in gesprek gaat over visie, werkwijze en inhoud.

De inspectie concludeert dat de zorgaanbieders bezig zijn met het meten van uitkomsten van
behandelingen en hiermee in principe in staat zijn de resultaten te benutten om de kwaliteit van
de zorg te verbeteren. De inspectie vindt dit positief. Deze ontwikkeling is immers in het belang
van cliënten, van kinderen en hun ouders of verzorgers die baat hebben bij een verbetering en
optimalisering van de zorg die aan hen geboden wordt. Tevens is het meten van en zichtbaar
maken van uitkomsten belangrijk met het oog op de maatschappelijke verantwoording van het
zorgaanbod.
Een aandachtspunt is dat veel zorgaanbieders de uitkomsten nog beter kunnen meten. Vooral als
het gaat om het meten op meer uniforme wijze en binnen alle onderdelen van het zorgaanbod van
een organisatie, is er winst te behalen. Aanknopingspunten voor het verbeteren van het meten van
uitkomsten, zijn te vinden in het overzicht van de door de inspectie geïnventariseerde
bevorderende en belemmerende factoren. Zorgaanbieders kunnen de bevorderende factoren meer
benutten en belemmerde factoren wegnemen. Bijvoorbeeld door naast de instructie van
9

medewerkers een helpdesk voor hen in te richten en de infrastructuur voor het meten van
uitkomsten te verbeteren. Ook kan deelname aan een landelijk onderzoeksnetwerk bevorderend
werken doordat zorgaanbieders gebruik kunnen maken van elkaars kennis en visie, naast die van
de wetenschappers.
Aanbeveling
De inspectie beveelt Jeugdzorg Nederland aan om te stimuleren dat organisaties voor Jeugd &
Opvoedhulp de uitkomsten van behandelingen meten, en dat ze dit op een goed georganiseerde
wijze doen. Hiermee wordt de eenduidigheid bevorderd en krijgt het benutten van uitkomsten voor
kwaliteitsverbetering een belangrijke impuls. Uit het onderzoek van de inspectie blijkt dat de
uitgangssituatie hiervoor gunstig is. Alle door de inspectie bevraagde zorgaanbieders hebben
namelijk de wens om uitkomsten te meten en de uitkomsten te benutten om de kwaliteit te
verbeteren.

10

Inspectie Jeugdzorg

Bijlage 1: Landelijke onderzoeksnetwerken voor het meten
van uitkomsten
Er zijn in de jeugdzorg drie landelijke onderzoeksnetwerken waarbij zorgaanbieders samenwerken
bij het meten van uitkomsten:
-

SEJN: Samenwerkingsverband Effectieve Jeugdzorg Nederland;

-

Monitor JeugdzorgPLUS;

-

ROM-JJI: Routine Outcome Monitor Justitiële Jeugdinrichtingen.

SEJN
In het Samenwerkingsverband Effectieve Jeugdzorg Nederland (SEJN) werken zorgaanbieders en
onderzoekers samen aan het meten van uitkomsten. In het netwerk participeren 34
zorgaanbieders. De coördinatie ligt bij het Nederlands Jeugd instituut.
De zorgaanbieders besluiten zelf om in het SEJN te participeren, er is geen sprake van een
verplichte deelname. Aan de deelname zijn wel voorwaarden verbonden. De zorgaanbieders
verplichten zich om voldoende menskracht en geld voor het meten van uitkomsten in te zetten. De
bestuurder moet zich committeren aan het meten van uitkomsten. Jaarlijks melden de
zorgaanbieders aan het SEJN hoe ver zij zijn met het meten van uitkomsten. Hierbij maken de
instellingen gebruik van een meetinstrument, de scorelijst Best Research Practice6. Tevens wordt
van de zorgaanbieder verwacht dat zij jaarlijks een plan maakt voor het verder verbeteren van het
meten en benutten van de uitkomsten. Daarnaast verplichten de deelnemende zorgaanbieders zich
om hun interventies te beschrijven en te onderbouwen. De instellingen krijgen tegen betaling
ondersteuning van het SEJN.
Om participant te mogen blijven moeten zorgaanbieders actief aan de bijeenkomsten van
deelnemers bijdragen. Het SEJN organiseert meerdere malen per jaar bijeenkomsten.
Medewerkers van het SEJN bezoeken jaarlijks de zorgaanbieders om vast te stellen of er
vooruitgang is.
Het staat de zorgaanbieders vrij om zelf een instrumentarium te kiezen om de uitkomsten van hun
behandeling te meten. Met andere woorden, de participanten van het SEJN hanteren geen
standaard of minimum lijst van meetinstrumenten. Op dit punt onderscheidt het SEJN zich van de
andere landelijke netwerken voor het meten van uitkomsten.
De coördinatoren van het SEJN hebben de inspectie gemeld dat alle zorgaanbieders die in 2012 in
het SEJN participeren actief bezig zijn met het meten van uitkomsten van behandeling. Bij de
jaarlijkse bezoeken aan de deelnemende zorgaanbieders stellen de coördinatoren van het SEJN
vast dat de zorgaanbieders verschillen in de mate waarin zij uitkomsten meten. Sommige
zorgaanbieders zijn relatief ver gevorderd. Andere zorgaanbieders zijn meer beginnend. Zij meten
de uitkomsten slechts bij een beperkt aantal onderdelen van hun organisatie of benutten de
uitkomsten maar beperkt om de kwaliteit van de behandeling te verbeteren.
6

Criteria en scoringslijst Best Research Practice. In: Veerman, J.W., M. Wilschut, H. Ooms, D. Roosma (2010).
Zicht op effectiviteit van jeugdzorg vereist onderzoeksbereidheid en onderzoeksrijpheid van instellingen.
Utrecht: SEIJN. Op site: www.sejn.nl

11

Monitor JeugdzorgPLUS
In de Monitor JeugzorgPLUS participeren alle zestien zorgaanbieders die JeugdzorgPLUS aanbieden.
VWS subsidieert ZonMW om samen met het veld de monitor op te zetten, uit te voeren en de
resultaten te analyseren. Jeugdzorg Nederland biedt onderdak aan de projectleider en een
projectmedewerker die zorgen voor de ondersteuning van de betrokken zorgaanbieders.
Er is een standaard set van gegevens die door alle betrokken zorgaanbieders wordt verzameld. Er
zijn vier meetmomenten: bij aanvang verblijf, drie maanden na aanvang, bij einde verblijf en zes
maanden na einde verblijf in de accommodatie van JeugdzorgPLUS. De opzet van het onderzoek
voorziet in de mogelijkheid dat een jongere wordt doorgeplaatst naar een andere JeugdzorgPLUS
instelling of dat een jongere meerdere malen na elkaar in een Jeugzorg PLUS instelling wordt
geplaatst.
Het onderzoek is met ingang van 2013 operationeel. Alle zorgaanbieders met jeugdzorgPLUS meten
dan de uitkomsten conform de afspraken. De eerste uitkomsten worden medio 2013 door de
zorgaanbieders besproken.
Routine Outcome Monitor Justitiële Jeugdinrichtingen
Het ministerie van Veiligheid en Justitie stimuleert het gestructureerd en herhaaldelijk meten van
de uitkomsten van behandeling in de negen JJI’s om het effect en de voortgang van
gedragsinterventies inzichtelijk te maken. Hierdoor ontstaat er zicht in hoeverre de behandeling in
JJI’s resulteert in de gewenste veranderingen en kan het behandeltraject, indien nodig, worden
bijgestuurd.
Het WODC meet via de Recidivemonitor structureel de recidive van ex-JJI-jeugdigen gedurende
een langere periode na vertrek uit de JJI. Over de resultaten van de behandeling in een JJI geven
deze onderzoeken echter geen beeld.
Eind 2012 hebben de directies van de JJI’s besloten om in alle inrichtingen een Routine Outcome
Monitor (ROM) uit te gaan voeren. De ROM is een vorm van het meten van uitkomsten. Het
ministerie van Veiligheid en Justitie ondersteunt de ontwikkeling van een systeem voor ROM. Begin
2013 zijn in twee inrichtingen pilotprojecten gestart met de ROM. Het is de bedoeling dat eind
2013 alle inrichtingen zijn gestart met het gebruik van de ROM-JJI.
De Academische Werkplaats Forensische Zorg voor Jeugd (AWFZJ) speelt een belangrijke rol bij de
inhoudelijke ontwikkeling en toetsing van een systeem voor ROM.

12

Inspectie Jeugdzorg

Bijlage 2: Kwaliteitsaspecten bij het meten van uitkomsten

kwaliteitsaspect
Werkers geïnstrueerd instrumenten in te vullen
Draagvlak vanuit directie
Betrouwbare en valide instrumenten gebruikt
Afnemen van instrumenten in werkproces ingebed
Sprake van voor- en nameting
Protocol voor het verzamelen van gegevens
Uitslagen van voor- en nameting worden met cliënten besproken
Goedwerkende software om individuele profielen te maken en data op te slaan
Omgeving weet hoe de instelling de resultaten meet
Er wordt feedback gegeven op het proces van gegevens verzamelen (de response)
Het bespreken van rapportages leidt tot verbeteracties
Er is een actief secretariaat voor het invoeren en controleren van gegevens
Er is een actieve procesbewaker met bevoegdheden om medewerkers aan te spreken
Er is een actieve functionaris voor het bespreken van effectrapportages en vertalen in verbet
Resultaten van een interventie, team of afdeling worden gerapporteerd en geanalyseerd
Monitoring en bewaking van gegevens zijn in de lijn verankerd
Rapportages worden met de uitvoerders besproken
Response op voor- en nameting minimaal 60 procent
Individuele uitslagen bij voor- en nameting spelen een rol bij intervisie en supervisie
Interventies die worden gemeten zijn goed beschreven en onderbouwd
Response op voormeting is minimaal 80 procent
Resultaten worden door het management benut in het sturen van het beleid van de instelling
Er is scholingsprogramma voor het werken met instrumenten en het benutten van uitkomsten
Financiering van onderzoek is structureel in instellingsbudget of kostprijs
Resultaten gebruikt voor wetenschappelijke theorievorming en onderzoek

Toelichting scores:
maximum = 2.00 (volledig bereikt)

Gemiddelde score
1,76
1,62
1,52
1.43
1.38
1.38
1.29
1.24
1.24
1.19
1.19
1.14
1.14
1.14
1.10
1.10
1.05
0.95
0.90
0.86
0.81
0.81
0.76
0.48
0.38

minimum = 0.00 (nog niets bereikt)

13

14

Inspectie Jeugdzorg

Bijlage 3: Belemmerende factoren voor het meten van uitkomsten

Belemmerende factor

Er is geen helpdesk
Er is geen communicatieplan
De infrastructuur is ontoereikend
Taken en verantwoordelijkheden zijn onvoldoende omschreven
Cliënten zijn onvoldoende op de hoogte
Er is geen speciale aandachtsfunctionaris
Er is geen duidelijk beeld over wat het moet opleveren
Is niet in de beleidscyclus opgenomen
Medewerkers zijn onvoldoende betrokken bij de opzet en uitvoering
Er leeft geen wens om uit te voeren
Onvoldoende bereidheid om op basis van uitkomsten beslissingen te nemen
Niet duidelijk is wat de argumenten voor monitoren zijn
Directie en management staan er niet volledig achter

Gemiddelde
score
1.10
1.05
0.90
0.86
0.76
0.67
0.67
0.57
0.52
0.19
0.19
0.10
0.10

Toelichting scores:
maximum = 2.00 (volledig van toepassing)
minimum = 0.00 (niet van toepassing)

15