ONGERUBRICEERD

Defensie & Veiligheid
Oude Waalsdorperweg 63
2597 AK Den Haag
Postbus 96864
2509 JG Den Haag

TNO-rapport

www.tno.nl

TNO 2021 R10129

Advies prestatie-indicatoren C2000

Datum

Januari 2021

Auteur(s)

Ir. B.M.M. Gijsen
Dr. R. van der Kleij
N.M.P. Neumann MSc
Dr. T.W.J. van Ruijven
Dr. A.J. van Vliet
Dr. R. Wijn

Titel
Samenvatting
Rapporttekst
Bijlagen

Ongerubriceerd
Ongerubriceerd
Ongerubriceerd
Ongerubriceerd

Aantal pagina's
Aantal bijlagen
Opdrachtgever
Projectnaam
Projectnummer

40 (incl. bijlagen)
2
Ministerie van Justitie en Veiligheid
Onderzoek prestatie-indicatoren C2000
060.46455

Alle rechten voorbehouden.
Niets uit deze uitgave mag worden vermenigvuldigd en/of openbaar gemaakt door middel
van druk, fotokopie, microfilm of op welke andere wijze dan ook, zonder voorafgaande
toestemming van TNO.
Indien dit rapport in opdracht werd uitgebracht, wordt voor de rechten en verplichtingen van
opdrachtgever en opdrachtnemer verwezen naar de Algemene Voorwaarden voor
opdrachten aan TNO, dan wel de betreffende terzake tussen de partijen gesloten
overeenkomst.
Het ter inzage geven van het TNO-rapport aan direct belanghebbenden is toegestaan.
© 2021 TNO

ONGERUBRICEERD

T +31 88 866 10 00

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

2 / 37

Samenvatting
Sinds de migratie van het C2000 netwerk op 28 januari 2020 hebben zich
problemen voorgedaan zoals verlies van verbindingen en matige audiokwaliteit.
In de afgelopen periode zijn wijzigingen aan het netwerk doorgevoerd gericht op het
verhelpen van deze problemen. Ondanks deze wijzigingen ervaren gebruikers
alsnog problemen zoals verlies van verbindingen of verminderde audiokwaliteit.
Om de ervaringen van de gebruikers te kunnen relateren aan het programma van
eisen van het C2000 netwerk zijn objectieve prestatie-indicatoren nodig.
Het ministerie van Justitie en Veiligheid heeft aan TNO opdracht gegeven een
advies uit te brengen over prestatie-indicatoren die representatief zijn voor de
gebruikerservaring.
Om een advies uit te kunnen brengen zijn gelijktijdig een gebruikersmodel en een
overzicht van meetbaarheid van het C2000 netwerk ontwikkeld. Het gebruikersmodel bevat een modelmatig overzicht van factoren die het gebruik van het C2000
netwerk bepalen vanuit het gebruikersperspectief. Deze factoren zijn bepaald op
basis van interviews met gebruikersvertegenwoordigers. Het model geeft zicht op
relevante prestatie-indicatoren waarmee de effecten van maatregelen op de
gebruikerservaring kunnen worden gemeten. Het overzicht van meetbaarheid biedt
inzicht in de mogelijkheden van prestatiemetingen vanuit een technisch
systeemperspectief. Op basis van het gebruikersmodel en het overzicht van
meetbaarheid is vervolgens bepaald welke prestatie-indicatoren representatief zijn
voor de gebruikerservaring en de systeemprestatie van het C2000 netwerk.
In deze bepaling zijn een drietal categorieën met in totaal 24 relevante indicatoren
vastgesteld. De eerste categorie is de gebruikerservaringen over het functioneren
van het systeem. Onder gebruikerservaringen wordt verstaan de objectieve
vaststelling van een fenomeen. De fenomenen die genoemd worden door de
gebruikersgroepen over het functioneren van het systeem hebben voornamelijk te
maken met audiokwaliteit, verbindingskwaliteit, noodknopwerking en storingen op
randapparaten. Binnen deze categorie vallen drie indicatoren. Een voorbeeld van
een indicator is het percentage onverwacht afgebroken oproepen.
De tweede categorie betreft de gebruikerservaringen over de klachtenafhandeling.
De gebruikersgroepen geven aan dat wanneer het systeem niet werkt, de klacht zo
snel mogelijk moet worden verholpen. Hierbij wordt ook aangegeven dat het van
belang is dat er goede terugkoppeling op gemelde klachten wordt gegeven. In
totaal zijn twaalf indicatoren vastgesteld. Een voorbeeld van een indicator is de
oplostijd van gemelde klachten.
De derde categorie is de gebruikersappreciatie, zowel over het functioneren van het
systeem, de mutaties aan het systeem en de klachtenafhandeling. De gebruikersappreciatie is de ervaring en beleving van gebruikers over de gevolgen van de
objectief meetbare zaken op hun taakuitvoering, welbevinden en motivatie. Dat het
subjectieve, individuele ervaringen zijn, is geen belemmering voor het kwantitatief
meten ervan. Binnen deze categorie vallen negen indicatoren. Een voorbeeld van
een indicator is de mate waarin gebruikers vinden dat werkplezier wordt beïnvloed
door het functioneren van het C2000 netwerk.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

3 / 37

Bij de uitwerking van de voorgestelde prestatie-indicatoren is een advies opgesteld
ten aanzien van de meetbaarheid en hoe de indicatoren gebruikt kunnen worden
als onderdeel van periodieke rapportages. Een belangrijke kanttekening daarbij is
dat bij het meten van gebruikersappreciatie veelal actieve, vrijwillige medewerking
van de doelgroep is vereist. In de huidige situatie lijkt er voor dergelijk onderzoek
een belemmering te zijn in de vorm van het vertrouwen dat de doelgroep heeft in de
betrokken beheer- en vernieuwingspartijen en hun vermogen om de problemen die
zich momenteel voordoen op te lossen. Onze aanbeveling is daarom om allereerst
te starten met de toepassing van indicatoren van gebruikerservaringen
(functioneren van het systeem én klachtenafhandeling), daarnaast maatregelen te
nemen om dit vertrouwen te vergroten en pas daarna de gebruikersgroep te
betrekken bij het meten van gebruikersappreciaties.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

4 / 37

Inhoudsopgave
Samenvatting ........................................................................................................... 2
1
1.1
1.2
1.3
1.4

Inleiding .................................................................................................................... 5
Aanleiding .................................................................................................................. 5
Onderzoeksvragen .................................................................................................... 5
Afbakening ................................................................................................................. 5
Opbouw van het rapport ............................................................................................ 6

2
2.1
2.2

Aanpak ...................................................................................................................... 7
Analyse gebruikerservaring en ontwikkeling gebruikersmodel ................................. 7
Analyse meetbaarheid en ontwikkeling prestatie-indicatoren ................................... 7

3
3.1
3.2
3.3
3.4
3.5
3.6
3.7
3.8
3.9
3.10
3.11

Analyse gebruikerservaringen ............................................................................... 9
Operationele contexten ........................................................................................... 10
Regulier gedrag en gebruikerservaringen ............................................................... 11
Urgentie ................................................................................................................... 12
Korte termijngevolgen .............................................................................................. 13
Alternatief gedrag .................................................................................................... 13
Governance ............................................................................................................. 14
Beheer & systeemmutaties ...................................................................................... 15
Gevoel over mutaties ............................................................................................... 15
Langetermijngevolgen ............................................................................................. 15
Illustraties specifieke gebruikersmodellen ............................................................... 16
Synthese gebruikerservaringen ............................................................................... 17

4
4.1
4.2
4.3

Uitkomsten analyse meetbaarheid ...................................................................... 19
HPSM incidentregistratie ......................................................................................... 19
Analyse HPSM incidentregistratie ........................................................................... 20
Meetmethoden ......................................................................................................... 23

5
5.1
5.2
5.3
5.4

Advies prestatie-indicatoren ................................................................................ 25
Gebruikerservaringen over functioneren C2000 diensten ....................................... 25
Gebruikerservaringen klachtafhandeling ................................................................. 29
Gebruikersappreciatie.............................................................................................. 32
Voorgestelde prestatie-indicatoren .......................................................................... 34

6

Ondertekening ....................................................................................................... 37
Bijlage(n)
A Geraadpleegde documenten en referenties
B Extra resultaten uit analyse van HPSM gegevens

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

1

Inleiding

1.1

Aanleiding

5 / 37

Sinds de migratie van het C2000 netwerk op 28 januari 2020 hebben zich
problemen voorgedaan zoals verlies van verbindingen en matige audiokwaliteit.
In de intensieve nazorgperiode na de migratie (van 28 januari tot 1 juli 2020) en de
periode daarna zijn wijzigingen aan het netwerk doorgevoerd die deze problemen
deels hebben verholpen. Vanuit het programma Implementatie Vernieuwing C2000
(IVC) is aangegeven dat gebruikers, ondanks deze wijzigingen, alsnog problemen
ervaren zoals verlies van verbindingen of verminderde audiokwaliteit. Kort gezegd,
werkt C2000 niet zoals de gebruikers het verwachten.
Het vernieuwde C2000 is gebouwd op basis van een programma van eisen waarbij
de eisen algemeen van aard zijn ten aanzien van de prestaties die moeten worden
geleverd. In de praktijk blijkt het niet mogelijk om deze eisen te relateren aan de
ervaren operationele werkbaarheid en ervaring van de gebruikers. Het ministerie
van Justitie en Veiligheid heeft daarom bij TNO aangegeven dat er behoefte is aan
een indicator die de prestaties van C2000 op zo objectief mogelijke wijze inzichtelijk
maakt.
TNO heeft in augustus en september 2020 een korte verkenning uitgevoerd naar de
mogelijkheden voor de ontwikkeling van prestatie-indicatoren voor C2000. Omdat
deze verkenning uitwees dat er verschillende mogelijkheden lijken te bestaan [1],
heeft het ministerie van Justitie en Veiligheid aan TNO de opdracht gegeven de
mogelijkheden verder te onderzoeken en een advies uit te brengen voor prestatieindicatoren voor C2000. Dit rapport bevat de uitkomsten van het onderzoek en een
advies voor prestatie-indicatoren voor C2000.
1.2

Onderzoeksvragen
Voor het onderzoek zijn de volgende onderzoeksvragen gehanteerd:
1 Welke issues beïnvloeden het gebruik en de gebruikerservaring van het C2000
netwerk, en in welke mate zijn dit technische problemen?
2 Welke prestatie-indicatoren zijn representatief voor de gebruikerservaring?
3 Welke prestatie-indicatoren zijn objectief meetbaar? En hoe?
De vragen hebben richting gegeven aan het onderzoek en de gezamenlijke
antwoorden op de vragen vormen de onderbouwing van het advies voor prestatieindicatoren voor C2000.

1.3

Afbakening
Het onderzoek heeft zich toegespitst op het communicatienetwerk C2000 en niet op
het berichtennetwerk P2000. Waar mogelijk zijn de behoeftes en mogelijkheden
voor prestatie-indicatoren voor P2000 opgenomen in het onderzoek.
Het onderzoek is gericht op het ontwikkelen van prestatie-indicatoren en niet op
prestatienormen. Het verschil hiertussen is dat prestatie-indicatoren de
daadwerkelijke prestaties van een systeem weergeven terwijl prestatienormen de

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

6 / 37

gewenste prestaties van een systeem aangeven. Prestatienormen ten aanzien van
C2000 moeten door de betrokken partijen worden vastgesteld. In dit onderzoek zijn
waar mogelijk relaties tussen de voorgestelde prestatie-indicatoren en
prestatienormen uit het programma van eisen en de nota van inlichtingen van
C2000 inzichtelijk gemaakt.
Dit onderzoek heeft zich gericht op de ontwikkeling van prestatie-indicatoren,
onafhankelijk van de huidige prestaties van C2000. In ander onderzoek heeft TNO
gekeken naar de technische problemen die zich in het netwerk voordoen [referentie
wordt opgenomen zodra het TNO-rapport definitief is].
1.4

Opbouw van het rapport
Hoofdstuk 2 beschrijft de aanpak van het onderzoek. Hoofdstuk 3 bevat een
analyse van de gebruikerservaringen met C2000 en presenteert een
gebruikersmodel dat is ontwikkeld aan de hand van deze ervaringen. Hoofdstuk 4
beschrijft de uitkomsten van een analyse van de meetbaarheid van prestaties van
C2000. In hoofdstuk 5 wordt het advies van TNO ten aanzien van prestatieindicatoren voor C2000 gepresenteerd.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

2

7 / 37

Aanpak
Voor het onderzoek is een parallelle en gefaseerde aanpak gehanteerd. Dat wil
zeggen dat gelijktijdig een gebruikersmodel en een overzicht van meetbaarheid van
het C2000 systeem zijn ontwikkeld. Het gebruikersmodel bevat een modelmatig
overzicht van factoren die het gebruik van C2000 bepalen vanuit het
gebruikersperspectief. Dit helpt om de door gebruikers ervaren problemen en de
oorzaken daarvan beter te begrijpen. Een gebruikersmodel geeft bovendien zicht
op relevante prestatie-indicatoren waarmee de effecten van maatregelen op de
gebruikerservaring kunnen worden gemeten. Het overzicht van meetbaarheid biedt
inzicht in de mogelijkheden van prestatiemetingen vanuit een technisch
systeemperspectief. Op basis van het gebruikersmodel en het overzicht van
meetbaarheid is vervolgens bepaald – in verschillende opvolgende fasen – welke
prestatie-indicatoren representatief zijn voor de gebruikerservaring en de
systeemprestatie van C2000. Hierop gebaseerd is een advies opgesteld ten
aanzien van de meetbaarheid van de voorgestelde prestatie-indicatoren.

2.1

Analyse gebruikerservaring en ontwikkeling gebruikersmodel
Op basis van een probleemanalyse is een conceptueel gebruikersmodel van C2000
ontwikkeld. Dit gebruikersmodel omvat de actoren in het systeem (gebruikers,
beheerder, leverancier, bestuurder), de gebruiksomstandigheden, de ervaren
problemen in het gebruik en (meetbare) oorzaken daarvan. Dit gebruikersmodel
helpt de door de gebruikers ervaren problemen te begrijpen en beoogt de
samenhang tussen factoren inzichtelijk te maken. Het model is getoetst in
interviews en op basis van deze reflectie aangepast.
Voor het toetsen van het gebruikersmodel zijn zeven afzonderlijke gesprekken met
in totaal zestien personen gehouden. Dit waren kolomcoördinatoren en
vertegenwoordigers van de verschillende kolommen (politie (waaronder bijzondere
gebruikers), ambulance, brandweer, marechaussee). Deelnemers waren
uitgenodigd om in een gesprek van ca. 1,5 uur toe te lichten wat de ervaringen in
hun respectievelijke kolommen of diensten zijn met het nieuwe C2000 netwerk.
Bij aanvang van het gesprek is toegelicht dat deelname aan het gesprek vrijwillig is,
dat aantekeningen van het gesprek anoniem worden verwerkt, maar dat vanwege
het geringe aantal geïnterviewden volledige anonimiteit niet gewaarborgd kan
worden. Deelnemers hadden tegen deze procedure geen bezwaren.
De gespreksverslagen zijn na afloop gedeeld met de deelnemers ter wijziging,
nuancering of aanvulling. Alle ontvangen feedback is langs deze procedure
verwerkt.

2.2

Analyse meetbaarheid en ontwikkeling prestatie-indicatoren
Het doel van de ontwikkeling van prestatie-indicatoren is een gedeeld en
geaccepteerd beeld voor gebruikers, beheerders, bestuurders en leveranciers te
bieden ten aanzien van de prestaties van C2000. Met prestatie-indicatoren kan
worden vastgesteld in hoeverre het functioneren van een systeem is verbeterd of is
verslechterd en om (het oplossen van) problemen te prioriteren.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

8 / 37

Om tot breed gedragen indicatoren te komen, is het van belang om deze SMART
(Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdgebonden) te maken.
Het gebruikersmodel vormt de basis voor de voorgestelde indicatoren. Deze
indicatoren zijn specifieker gemaakt door ze zoveel mogelijk te relateren aan
beschikbare standaarden en best-practices. Bijvoorbeeld standaarden op het
gebied van ‘Quality of Experience’ en ITIL best-practices. Ten aanzien van de
meetbaarheid van de indicatoren is geïnventariseerd welke meetmethoden hiervoor
beschikbaar zijn. Zowel reeds door de beheerorganisatie gebruikte meetmethoden
als overige beschikbare TETRA monitoring oplossingen zijn daarbij beschouwd.
Prestatie-indicatoren ten aanzien van klachtafhandeling zijn voornamelijk meetbaar
via de C2000 incidentregistratie. Hiertoe zijn details over het incidentregistratie
proces in kaart gebracht via interviews met experts uit de beheerorganisatie en van
leveranciers. Ook is een kopie van de incidentregistratie geanalyseerd ter toetsing
van de meetbaarheid van klachtafhandeling prestatie-indicatoren. Waar mogelijk is
voor de prestatie-indicatoren getoetst of deze acceptabel en realistisch zijn door in
het C2000 programma van eisen te toetsen of aan de prestatie-indicatoren
gerelateerde eisen zijn opgenomen.
Op basis van deze werkwijze heeft TNO de voorgestelde prestatie-indicatoren
ontwikkeld. Op basis van het overzicht van voorgestelde prestatie-indicatoren en de
uitkomsten van de gesprekken met vertegenwoordigers en gebruikers is tevens een
advies geformuleerd over welke indicatoren op korte termijn gerealiseerd moeten
worden en welke later toegevoegd kunnen worden.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

3

9 / 37

Analyse gebruikerservaringen
Het resultaat van de analyse van gebruikerservaringen is een gebruikersmodel.
Hierin staat centraal het operationele gedrag van de gebruikers dat wordt
gefaciliteerd door het C2000 communicatie systeem. Het model is opgebouwd uit
vier elementen, te weten contexten, gedrag, observaties en appreciaties.
Uitgangspunt is dat gedrag tot stand komt in (of veroorzaakt wordt door) een
specifieke context, wat leidt tot een observatie ten aanzien van dat gedrag of
reacties daarop. Vervolgens leidt die observatie tot een waardering of appreciatie
van datgene dat geobserveerd wordt.
Het operationele gedrag bestaat in dit geval uit het voeren van mondelinge
communicatie met collega gebruikers door middel van C2000. De hulpverleners in
het veld, centralisten en een kleine groep bijzondere gebruikers werken in
verschillende contexten, ingegeven door hun taken en rollen, en zijn
organisatorisch geplaatst in verschillende kolommen, namelijk Politie, Brandweer,
Ambulance en KMar. De gebruikersgroepen hebben hier en nu ervaringen met het
(dis)functioneren van he C2000. Afhankelijk van de ervaringen zullen daarbij korteen langetermijnappreciaties bij hen ontstaan, zoals tevredenheid of juist frustratie
over het functioneren. Bovendien wordt aangenomen dat indien C2000 gedurende
langere tijd niet goed functioneert, de gebruikers alternatieven zullen aangrijpen om
hun taken en rollen te kunnen uitvoeren en hun klachten kenbaar zullen maken.
Het beheer van C2000 is ook onderdeel van het gebruikersmodel. De verbeteringen
die via het beheer worden doorgevoerd, de klachtenafhandeling en de beleving
daarvan, zijn van invloed op de algehele appreciatie van C2000 door de gebruikers.
In figuur 1 wordt dit gebruikersmodel schematisch weergegeven. In het vervolg van
dit hoofdstuk worden de onderdelen van het model toegelicht.

Figuur 1

Model van gedrags- en omgevingsfactoren van het gebruik en appreciatie van het C2000
systeem.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

3.1

10 / 37

Operationele contexten
Het vertrekpunt in het gebruikersmodel is het operationele gedrag van de
gebruikers. Zij moeten, afhankelijk van de context van hun activiteiten, verbaal in
real time kunnen communiceren met hun collega’s in het veld en in de meldkamer
door middel van C2000. Zeer belangrijk daarin, zoals gebleken uit de interviews,
zijn de operationele contexten die kunnen verschillen voor de gebruikers van
C2000, onderverdeeld in de vier kolommen (zowel hulpverleners in het veld alsook
centralisten). Van belang om te melden is dat er bijzondere gebruikersgroepen zijn,
die hier niet bij naam genoemd kunnen worden, maar waarbij betrouwbare real time
spraakverbindingen van uitzonderlijk groot belang zijn voor de taakuitvoering.
Operationele contexten zijn bijvoorbeeld incidenten buiten of juist binnen, in huizen,
grote stenen constructies, en kelders, waarbij hulpverleners in grote of juist kleine
teams en gespreksgroepen werken, in steden of op het platteland, etc. Al deze
kenmerken van de situaties waarin de professionals werken, worden gerekend tot
de operationele context.
Sommige operationele contexten geven meer problemen bij C2000 communicatie
dan andere. Dit kan bijvoorbeeld te maken hebben met de locatie, het aantal keer
per tijdseenheid, of manier waarop de gebruikers communiceren met collega’s via
C2000. In tabel 1 zijn kenmerken van de operationele context opgenomen waarin
problemen met het netwerk veelvuldig of juist minder voorkomen. We noemen die
contexten respectievelijk problematische en niet-problematische contexten.
De politie en bijzondere gebruikersgroepen opereren vaker in de zogenoemde
problematische contexten. Brandweer, ambulance en KMar opereren minder vaak
in de problematische contexten. Maar alle gebruikersgroepen hebben met
problematische contexten van doen wanneer er grote incidenten zijn of wanneer
afgeweken dient te worden van normale procedures of routines. Bijgevolg
observeren gebruikers vanuit de bijzondere gebruikersgroepen en de politie thans
meer problemen met C2000 dan gebruikers uit de andere kolommen. Daarin speelt
mee dat dit jaar gekenmerkt werd door de COVID-19 pandemie als gevolg waarvan
festivals en andere grote evenementen afgelast zijn en zich geen grote incidenten
hebben voorgedaan. Gebruikers die overwegend in de niet-problematische
contexten optreden, gaven aan dat ze meer communicatieproblemen verwachten
wanneer er weer sprake is van grote evenementen.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

Tabel 1

Kenmerken van veilige en problematische operationele contexten.

Niet problematische contexten
- Men hoeft niet veel met elkaar te
communiceren via spraak
- Tijd en gelegenheid om verkeerd
verzonden of ontvangen bericht te
corrigeren of herhalen
- Voorspelbaarheid/vaste
routines anticiperen
- Kleine gespreksgroepen, binnen zicht (je
weet snel als er geen bereik is en kan dan
anticiperen)
- Gebiedsgebonden inzet (bv Schiphol)
- Wel optimale ophanging mogelijk
(antenne)
- Weinig masten in omgeving (bv
Noord-NL>minder roaming-problemen)
- Mogelijkheid van objectcommunicatie

3.2

11 / 37

Problematische contexten
- Randen dekkingsgebied
- Grensgebieden
- Binnen in gebouwen, kelders
- Binnen in auto’s, vnl. geïsoleerde of
gepantserde auto’s en bij hoge snelheden
- Tijdens verplaatsingen
- Heimelijke voertuigen (onopvallende
antennes)
- Randstad en Zuid-Nederland, Oost NL
enigszins
- Grote inzet (veel portoverkeer)
- Veel gebruik van spraakfunctie
- Niet gebiedsgebonden inzet (als gevolg
waarvan special coverage antennes niet
mogelijk/zinvol zijn)
- Geen optimale ophanging mogelijk
(antenne)
- Objectcommunicatie niet mogelijk

Regulier gedrag en gebruikerservaringen
De problemen die genoemd worden door de gebruikersgroepen hebben
voornamelijk te maken met audiokwaliteit, verbindingskwaliteit, noodknopwerking
en storingen op randapparaten. In tabel 2 staan de genoemde ervaringen
opgesomd. De genoemde problemen zijn samen te vatten onder de categorieën
audiokwaliteit (d.w.z. slechte verstaanbaarheid), verbindingskwaliteit (d.w.z.
collega’s niet kunnen bereiken of niet bereikbaar zijn voor collega’s),
noodknopwerking en storingen op apparaat (bv als een update wordt gepushed
vanuit het netwerk kan dat storingen op het apparaat geven). Daar komt als
algemeen probleem de onvoorspelbaarheid van de verstoringen nog bij.
Van belang is hier dat onder gebruikerservaringen de objectieve vaststelling van
een fenomeen (probleem) wordt verstaan. Of dit fenomeen vervolgens als goed,
slecht, vervelend, hinderlijk, of anders wordt gekwalificeerd is een appreciatie die
ook afhangt van de urgentie van een situatie. Dit wordt beschreven in de volgende
paragraaf.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

Tabel 2

12 / 37

Door de gebruikers genoemde problemen zoals ervaren met C2000.

Gebruikerservaringen
- Audiokwaliteit:
o Blikkerig, hakkelig, ruis, elektronische lijn, piepjes wegvallen
o Volumeverschil/-wisselingen
- Verbindingsproblemen
- Oproepen komen niet aan
- Mensen kunnen niet terugpraten
- Switchen
- Statuscodes laat of niet verwerkt
- Rood kruis op porto
- Update sleutels (storingen>inleveren)
- Soms mobilofoon geen bereik en porto wel, of porto niet en mobilofoon wel
- Randapparatuur automatisch afgemeld (onjuiste melding)
- Porto’s vallen van netwerk af (bij hoge netwerkbelasting)
- Sleutelhuizen niet open
- Verbinding krijgen met netwerk duurt soms heel lang
- Onvoorspelbaarheid van verstoring

3.3

Urgentie
In de gevoerde gesprekken komt een aantal aspecten naar voren die een situatie
urgent maken (zie Tabel 3). Met urgentie wordt bedoeld de noodzakelijkheid van
communicatie voor de (eigen) veiligheid of het slagen van een actie of missie.
Urgentie houdt sterk verband met problematische operationele contexten
(paragraaf 3.1). Dat wil zeggen dat specifiek in problematische contexten vaak
sprake is van urgentie van communicatie, terwijl in niet-problematische operationele
contexten de urgentie vaak lager is.
De urgentie van een situatie bepaalt in grote mate in hoeverre de
gebruikerservaringen, zoals beschreven in paragraaf 3.2, als storend, verstorend,
vervelend of anderszins gewaardeerd worden (de korte termijngevolgen;
paragraaf 3.4). Bijvoorbeeld, wanneer tijdens een normale routine door een collega
niet gereageerd wordt op een status update en er tijd is om het bericht te herhalen,
dan zijn doorgaans de korte termijngevolgen gering. Maar wanneer communicatie
missie-kritisch is, bijvoorbeeld in een achtervolging van een verdachte waarbij
verschillende eenheden aangestuurd en gecoördineerd moeten worden, dan leiden
de problemen in de communicatie wel tot negatieve korte termijngevolgen en dito
waardering.
Tabel 3

Genoemde factoren die een situatie urgent maken.

Urgentie
- Geen tijd/gelegenheid om bericht te corrigeren of herhalen
- Eigen veiligheid in het geding
- Onvoorspelbaarheid> anticiperen
- Grote gespreksgroepen, buiten zicht (geen bereik is niet zichtbaar>anticiperen)
- Communicatie missie-kritisch
- Shared situational awareness (constante verbinding>heimelijk werken)
- Noodzaak van contact naar buiten (bv meldkamer, drone)

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

3.4

13 / 37

Korte termijngevolgen
Korte termijngevolgen zijn het gecombineerde resultaat van ervaren
gebruikersproblemen en urgentie. Vooral in problematische operationele contexten
worden veel problemen van het C2000 netwerk ervaren. Voornamelijk in de
problematische contexten is bovendien vaak sprake van urgentie van
communicatie.
In de praktijk hebben de ambulance, brandweer en KMar doorgaans te maken met
een niet-problematische context en normale urgentie van communicatie. Als gevolg
daarvan zijn gebruikers in deze diensten doorgaans tevreden met de
communicatiemogelijkheden via C2000 en geven aan minder hinder van
verstoringen te ervaren. Wanneer zich problemen voordoen ten aanzien van C2000
leidt dat zelden tot verstoringen in het operationele proces en ervaren gebruikers
hooguit irritatie. Wel is er angst dat verstoringen in het operationele proces kunnen
optreden wanneer zij door bijvoorbeeld grote incidenten in problematische
contexten terecht komen en communicatie urgent wordt.
De politie en bijzondere gebruikers bevinden zich daarentegen juist vaker in
problematische contexten met een hoge urgentie voor realtimecommunicatie.
Wanneer zij onder die omstandigheden problemen ervaren met C2000 dan leidt dat
tot sterke negatieve emoties zoals frustratie en boosheid, levensgevaarlijke
situaties of de verwachting daarvan, en verstoringen van de taakuitvoering (zie
tabel 4).
Tabel 4

Genoemde kortetermijngevolgen van de objectieve gebruikerservaringen.

Niet problematische contexten
- Gevoel
- Tevredenheid
- Irritatie (wel hinderlijk).
- Vrees (we hebben nog geen grote
incidenten gehad, dan kunnen de
problemen zich ook bij ons aandienen)
- Taak
- C2000 zelden verstorend voor het
operationele proces (ambu)
- Er is meestal tijd en gelegenheid om
verkeerd verzonden of ontvangen bericht
te corrigeren of herhalen
- C2000 problemen hebben geen (negatief)
effect op operationele taken (kmar)
- Problemen met C2000 bemoeilijken
uitvoeren van het werk, maar een op een
relatie is niet te leggen met incidenten
(brandweer)
- Vertraging

3.5

Problematische contexten
- Gevoel
- Boosheid, frustratie (onvoorspelbaarheid
van het systeem maakt het onwerkbaar)
- Vertrouwen (Kan niet vertrouwen dat een
bericht aankomt)
- Taak
- Verdachten kunnen ontkomen
- Problemen met C2000 kunnen heimelijk
werken hinderen
- Levensgevaar
- linie van ME-ers rukt niet gelijktijdig op
- Problemen met C2000 vergroten het risico
van vuurgevecht met gewapende collega’s
in burger die we niet herkennen
- Geen goed operationeel beeld

Alternatief gedrag
Wanneer er problemen worden ervaren met het communiceren via C2000 dan zijn
er fallback-middelen en alternatieve gedragingen. Het gemak, effect en succes van
het inzetten of gebruik van die alternatieven is belangrijk voor de taakuitvoering en
voor de appreciatie van het gehele systeem. Genoemde fallback-middelen zijn
Push-To-Talk-app, gebruik van (dienst)telefoon en de Direct-Mode Operation

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

14 / 37

(DMO) functie op randapparatuur. Daarnaast is het indienen van een (formele)
klacht ook een alternatieve gedraging.
3.6

Governance
Naast het directe verband tussen gebruikerservaringen en korte en lange termijn
gevolgen van een goed of niet goed functionerend C2000 netwerk, geven de
gevoerde gesprekken met gebruikers zicht op een ander verband dat te maken
heeft met de partijen die betrokken zijn bij de overgang, levering en beheer van het
nieuwe C2000 systeem. Deze partijen hebben verantwoordelijkheden ten aanzien
van een goed verloop van de aanbesteding, levering, installatie en beheer van het
netwerk, met als eindresultaat en goed werkend systeem. Wanneer het systeem
niet goed werkt of niet aan verwachtingen voldoet dan kan dat komen doordat een
of meer van de partijen niet in staat is te voldoen aan zijn verplichtingen, zijn
verantwoordelijkheid niet neemt, of doordat die verantwoordelijkheden niet duidelijk
of goed belegd zijn. De gebruikers geven aan dat dit vermogen van partijen om de
problemen te herkennen, erkennen en op te lossen tekortschiet. De percepties die
gebruikers hebben ten aanzien van de betrokken partijen en hun samenwerking
(governance) staan opgesomd in Tabel 5. De gevolgen hiervan zijn beschreven in
paragrafen 3.7 en 3.8.
Tabel 5

Beeld dat gebruikers hebben ten aanzien van de betrokken partijen.

Governance
Hytera
- Dit is de eerste keer dat ze zo’n netwerk met zoveel gebruikers en opstelpunten bouwen.
Het is ook de eerste keer dat ze Mutual Authentication implementeren in een Hytera netwerk
- Intelligentie zit in opstelpunt (zendpaal), niet op de server
- Verschillende problems patchen in een keer > nieuwe problemen
- Vernieuwen frequentieplannen
- Leverancier heeft zijn zaakjes niet op orde; materiaal rammelt aan alle kanten. Hytera loopt
tegen de grenzen aan van wat ze kan.
- Hytera reactief, tests en reacties onbevredigend, geen oplossingen, weigert te luisteren naar
eindgebruiker
MDC
- Vervangen hardware masten
- Beperkte voorraad reserveonderdelen
Governance
- Goede of onvoldoende voorbereiding implementatie/overgang
- Het is onduidelijk wie verantwoordelijk is voor Quality-checks
- C2000 beheer zit in bestaande MDC organisatie, maar problems moeten door IVC worden
opgelost. Er is wrijving tussen MDC en IVC, mensen praten niet met elkaar. Het schuurt
tussen organisaties.
- MDC, de beheerder, moet de opdracht voor meten en oplossen van problemen krijgen van
LMS, de bestuurder. Het lijntje tussen LMS en het operationele niveau is heel dun. Ze zijn
onvoldoende doordrongen van de operationele nood.
- Weeffout in (perceptie van) verantwoordelijkheden. MDC stelt dat de meldkamers, en niet de
operationele eindgebruikers hun klanten zijn. MDC voelt zich daarvoor onvoldoende
verantwoordelijk.
- Het gevoel is dat Hytera IVC en MDC met een kluitje het riet in stuurt.
- Er bestaat onduidelijkheid over wie (eind)verantwoordelijk is voor de operationele
werkbaarheid en tevredenheid van gebruikers, en met welk mandaat.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

3.7

15 / 37

Beheer & systeemmutaties
Mutaties betreffen zowel de technische aanpassingen ter verbetering van C2000,
de algemene communicatie over werkzaamheden en verbeteringen en individuele
terugkoppeling op gemelde klachten. Het algemene beeld dat uit de gevoerde
gesprekken opkomt, is dat er weinig verbetering merkbaar is, oplossingen traag tot
stand komen, dat gebruikers geen beeld hebben van wat er met hun meldingen
wordt gedaan, gebruikers geen terugkoppeling over hun meldingen krijgen en dat
er verschillende beelden van de problematiek ontstaan door de manier waarop
meldingen worden verwerkt in tickets en problems (zie hiervoor ook hoofdstuk 4).
Dit leidt ook tot onbegrip over de manier waarop problemen worden geprioriteerd
(zie tabel 6).
Tabel 6

Observaties van gebruikers ten aanzien van mutaties op het C2000 netwerk.

Mutaties C2000
- Oplossingen duren te lang
- Prioritering wekt verbazing (sommige gebieden al 15 jaar op de DIPP lijst
- Gebrek aan feedback over mutaties en klachtenafhandeling
- Oplossingen zijn niet zichtbaar
- Maken van meldingen kan niet vanaf ieder apparaat (bv voertuigtelefoon ambu)
- Verwerking van tickets onder problems leidt tot vertekening van beeld van problemen

3.8

Gevoel over mutaties
In een van de gevoerde gesprekken werd genoemd dat de eerste software hotfix
een verbetering opleverde wat leidde tot een gevoel van tevredenheid over het
systeem en de oplossingen. Maar afgezien van die positieve noot, domineerden in
de gesprekken negatieve emoties als boosheid en frustratie ten aanzien van de
problemen en niet of onvoldoende geleverde oplossingen. Er heerst een gevoel dat
gebruikers hun verwachtingen telkens naar beneden moeten bijstellen. De
aanhoudende problemen leidden bovendien tot een gevoel van moedeloosheid en
de indruk dat ze niet gesteund worden door beheerders en bestuurders. Ze ervaren
een gebrek aan rugdekking vanuit de governance en het beheer.
Tabel 7

Genoemde gevoelens over de verbeteringen en oplosvermogen van betrokken
partijen.

Gevoel over mutaties
- Boosheid, frustratie, moedeloosheid
- Tevredenheid is laag
- Verwachting worden telkens naar beneden bijgesteld
- Gebrek aan rugdekking vanuit beheer en governance

3.9

Langetermijngevolgen
Langetermijngevolgen zijn het gecombineerde resultaat van de onmiddellijke, korte
termijngevolgen van C2000 en het gevoel over de mutaties die de problemen
zouden moeten verhelpen (oplosvermogen).
We zien een sterk onderscheid tussen langetermijngevolgen in veilige versus
problematische operationele contexten (zie tabel 8). In veilige operationele

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

16 / 37

contexten, tijdens normale en voorspelbare routines, verloopt de communicatie via
C2000 grotendeels prima. Er worden wel problemen ervaren zoals genoemd in
paragraaf 3.2, maar minder dan in problematische contexten en de gevolgen zijn
meestal niet ernstig omdat de communicatie minder urgent is. De eerste
verbeteringen aan C2000 zijn goed ontvangen en hebben geleid tot een positieve
attitude. Wel bestaat er teleurstelling dat de voorgespiegelde en verwachte
verbeteringen niet zijn waargemaakt. Als gevolg van de manier van verwerking van
incidenten en de afwezigheid van terugkoppeling hierover is bij alle gebruikers
meldmoeheid opgetreden.
In de problematische contexten is het beeld van langetermijngevolgen geheel
anders. Doordat gebruikers hier meer te maken hebben met de problemen zoals
geschetst in paragraaf 3.2, communicatie vaak zeer noodzakelijk is voor de (eigen)
veiligheid en het uitvoeren van de taak en ervaren problemen ondanks meldingen
geen beterschap laten zien, is hun vertrouwen in de competenties, welwillendheid
en integriteit van de betrokken partijen en hun vermogen om de problemen op te
lossen ernstig aangetast.
Tabel 8: Langetermijngevolgen van gebruikerservaringen.
Niet-problematische contexten
- Tijdens normale routine werkt C2000
eigenlijk prima.
- Na oplossen aanloopproblemen attitude
positiever
- Teleurstelling dat het C2000 netwerk niet
de verwachte verbetering leverde
- Meldmoeheid

3.10

Problematische contexten
- Waardering voor C2000 vanwege de
sterke encryptie
- Gevoel van levensgevaar (stress)
- Geen vertrouwen in oplossing
(persisterende problematische
gedragingen)
- Geen vertrouwen in betrokken partijen
- Niet serieus genomen, onvoldoende sense
of urgency bij bestuurder (ministerie van
J&V/LMS) en beheerder (MDC)
- Verschillende werelden bestuurder vs
operatie
- Meldmoeheid

Illustraties specifieke gebruikersmodellen
Om in een oogopslag de verschillen te kunnen zien tussen de operationele
contexten en hoe deze doorwerken in ervaringen en appreciaties, is de
problematische context visueel weergegeven in het gebruikersmodel (zie figuur 2).
De rode teksten en lijnen geven aan waar de verschillen zich bevinden tussen de
problematische en niet-problematische contexten. De problematische contexten
leiden tot meer geobserveerde verstoringen die gecombineerd met vaak hoge
urgentie van communicatie negatief doorwerken in de gebruikersappreciatie van
C2000.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

Figuur 2

De verschillen tussen de problematische en de niet-problematische contexten.

3.11

Synthese gebruikerservaringen

17 / 37

De gebruikers benoemen dat het technisch functioneren van C2000 en het
operationeel gebruik door hulpverleners onlosmakelijk met elkaar zijn verbonden.
Gebruikers geven aan dat communicatie tussen gebruikers, ofwel het end-to-end
functioneren van C2000 (zie figuur 3), missie-kritisch is bij operationele activiteiten
die hoog dynamisch zijn en veel ambiguïteit bevatten waarin gedeeld begrip, ook
wel shared situational awareness genoemd, van levensbelang is, of kan gaan
worden. In figuur 3 is deze relatie (voor de gedachte-ontwikkeling en ter illustratie)
geoperationaliseerd in een getal dat de waarde 0 aanneemt als er geen gesprek
mogelijk is, en de waarde 1 tot 5 kan aannemen als indicatie voor gesprekskwaliteit.
De korte- en langetermijngevolgen zijn samen te vatten als een overwegend
negatieve appreciatie van C2000. Er is geconstateerd dat verstoringen in de
communicatie via C2000 bij activiteiten in een minder of niet-problematische
operationele context minder negatieve gevolgen hebben voor de appreciatie van
C2000.

Figuur 3

ONGERUBRICEERD

Het end-to-end functioneren van het C2000 systeem.

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

18 / 37

De gebruikers (vnl. in de problematische contexten) geven aan dat communicatie
via C2000 altijd moet werken. Dit is weergegeven door de rode verbindingen in
figuur 3. Ze moeten (te allen tijde) gesprekken kunnen voeren met de collega’s; of
dit nu collega’s in de centrale zijn of collega’s in het veld. Evenzo geven gebruikers
aan dat het besef groot is dat er een veelvoud van connecties in het systeem zijn
waar het mis kan gaan. Deze connecties worden weergegeven door de blauwe en
gele verbindingen. De gestippelde lijnen representeren “ether ”verbindingen, de
onderbroken lijnen de link tussen gebruiker en zijn apparaten. De toevoeging van
het geel blauw onderscheid representeert het “roaming” fenomeen.
De gebruikers geven aan meldmoe te zijn en dat eerst maar eens de “techniek op
orde moet zijn” voordat rechtstreeks aan de gebruikers wordt gevraagd (op een
systematische wijze) of “die het doet”. Met andere woorden, een end-to-end
prestatie-indicator zal bij voorkeur in eerste instantie niet via rechtstreekse
bevraging van de gebruikers worden gemeten. Als de techniek evident “op orde is”,
staan gebruikers wel open voor rechtstreeks bevraging naar appreciaties (zie ook
paragraaf 5.3.2).

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

4

19 / 37

Uitkomsten analyse meetbaarheid
Voor een objectief oordeel van de kwaliteit van het netwerk, moeten objectieve
meetgegevens gebruikt worden. Deze objectieve meetgegevens, en daarmee de
gerelateerde prestatie-indicatoren, komen uit twee type informatiesystemen: de
incidentregistratie in HP Service Manager (HPSM) en aanvullende metingen.
De incidentregistratie bevat incidenten zoals gemeld door gebruikers van het
systeem. De aanvullende metingen geven informatie over het systeem naar
aanleiding van specifieke metingen. Deze metingen kunnen onder andere ingezet
worden voor nadere diagnose van specifieke incidenten.
Hieronder wordt eerst een overzicht van de incidentanalyse gegeven en daarna
worden verschillende aanvullende meetmethoden behandeld die gebruikt kunnen
worden om extra informatie te verzamelen.

4.1

HPSM incidentregistratie
ITIL incidentregistratie
Incident management maakt onderdeel uit van het ITIL (Information Technology
Infrastructure Library) referentiekader, waarin best practices opgesteld zijn voor ICT
beheerprocessen [5]. Ook voor het beheer van de C2000 dienstverlening wordt van
ITIL gebruik gemaakt. Als onderdeel hiervan gebruikt de C2000 beheerorganisatie
het ITIL incidentregistratiesysteem HPSM.
Melders van incidenten
Gebruikers van het systeem, zowel hulpverleners in het veld als centralisten,
kunnen meldingen doen als het systeem niet naar verwachting werkt. Deze
incidenten worden gemeld bij de 1e lijns beheerorganisatie MMC. Meldingen
worden als een incident geregistreerd in HPSM met een unieke incident-identifier
(een geregistreerd incident in HPSM wordt ook wel een ‘ticket’ genoemd). Niet
alleen door gebruikers gemelde incidenten worden geregistreerd in HPSM, maar
ook alarmen uit C2000 systemen worden door experts opgenomen in HPSM.
Daarnaast kunnen incidenten ook naar voren komen (en geregistreerd worden)
tijdens onderhoudswerkzaamheden door experts of leveranciers.
Triage van incidenten
Na registratie van het incident voert MMC triage uit op de meldingen. Als van
meerdere meldingen door verschillende gebruikers wordt ingeschat dat ze over
hetzelfde incident gaan, dan kunnen deze gebundeld worden en als één incident in
HPSM geregistreerd worden. Tijdens de triage (en latere probleem diagnose)
kunnen gemelde klachten in HPSM vervolgens aan zgn. problems gekoppeld
worden. Problems zijn overkoepelende, technische oorzaken van klachten, bekend
bij beheer, welke als gevolg verschillende incidenten hebben. Niet elk incident krijgt
een problem toegewezen (bijvoorbeeld als de relatie tussen een incident en een
problem niet duidelijk is), terwijl sommige andere incidenten gekopieerd worden in
HPSM en aan twee of meer problems toegewezen worden (merk op dat dit tot
dubbeltelling van meldingen leidt).

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

20 / 37

Incident registratievelden
Elk ‘ticket’ in HPSM bevat een aantal zgn. velden, zoals de incident identifier, een
tekstuele omschrijving van het incident en een verwijzing naar een problem waar
het incident aan toegewezen is. Sommige velden in HPSM worden door de MMC
medewerker ingevuld, terwijl andere automatisch worden ingevuld op basis van
andere velden. Een voorbeeld is het veld ‘Categorie’ waarbij het incident wordt
ingeschaald in één van de zes incident categorieën: Audio(kwaliteit), Noodknop,
N.t.b., RABS, Systeem of Verbinding. Dit veld wordt door MMC ingevuld op basis
van specifieke woorden in de incidentomschrijving. Een ander veld dat automatisch
wordt ingevuld is ‘Prioriteit’. De prioriteit van een incident wordt bepaald op basis
van de velden ‘Initial_impact’ en ‘Urgentie’, conform de ITIL best practices [6]. De
impact wordt vastgesteld op basis van het getroffen gebied en het aantal gebruikers
dat er last van heeft en de mogelijke consequenties voor de organisatie (b.v. de
kosten). De urgentie is gerelateerd aan de snelheid waarmee het probleem
opgelost moet worden.
In HPSM is geen veld opgenomen waarin vastgelegd wordt voor welke hulpdienst
de melder van een incident werkzaam is. Daarom is op basis van uitsluitend HPSM
registratiegegevens niet mogelijk om analyse van gegevens uit te voeren voor een
specifieke hulpdienst.
Interpretatie van HPSM gegevens
Voor de C2000 beheerorganisatie is HPSM van grote waarde in de afstemming van
incident beheertaken. Echter, uit bovenstaande volgt dat:
a) De in HPSM geregistreerde incidenten niet één-op-één overeen komen met
incidentmeldingen door gebruikers.
b) De definities van impact en prioriteit niet één-op-één overeenkomen met een
door een gebruiker ervaren impact op zijn werkzaamheden.
Deze observatie betekent dat de status van C2000 incidenten volgens de
beheerorganisatie (zoals in HPSM), niet één-op-één gerelateerd is aan de
ervaringen van C2000 gebruikers. Dit is van belang bij de interpretatie van
onderstaande analyse van HPSM gegevens.
4.2

Analyse HPSM incidentregistratie
Hieronder staan figuren met data uit HPSM. In figuur 4 is het aantal incidenten per
maand te zien vanaf 1 januari 2019 tot en met 4 oktober 2020. De overgang naar
het nieuwe systeem is ook duidelijk in de grafiek terug te zien, doordat het totaal
aantal meldingen flink stijgt. De incidenten voor het nieuwe systeem zijn uit te
splitsen naar toegekende categorieën. In figuur 5 is het aantal meldingen per
categorie per week getoond, in figuur 6 het totaal aantal meldingen per categorie. In
figuur 7 is, per week, het aantal incidenten met de verschillende prioriteiten te zien.
Hier is te zien dat het grootste deel van de meldingen de laagste prioriteit, 4.0,
krijgt. Een andere verdeling die kan worden gemaakt is op basis van het aantal
meldingen per eenheid. Dit is in figuur 8 getoond, waarbij de incidenten verder
onderverdeeld zijn per categorie.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

21 / 37

Figuur 4

Het aantal incidenten in HPSM per maand. De blauwe lijn geeft de periode aan voor
de overgang naar het nieuwe systeem, de oranje lijn de periode erna. Het gaat hier
over het totaal aantal meldingen van 1 januari 2019 tot en met 4 oktober 2020.

Figuur 5

Het aantal incidenten per categorie per week. In deze grafiek zijn de start van de
Coronamaatregelen (week 12), de week van het melden (week 20) en in de aanloop
naar het nieuwe frequentieplan (week 29) terug te zien.

Figuur 6

Het aantal incidenten in HPSM per categorie.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

22 / 37

Figuur 7

Het aantal incidenten in HPSM per prioriteit per week. Ook hier zijn de
Coronamaatregelen, de week van het melden en het nieuwe frequentieplan terug te
zien in de trend van het aantal meldingen.

Figuur 8

Het aantal incidenten in HPSM per categorie per eenheid.

Merk op dat de registratie van HPSM af kan wijken van gebruikersklachten,
bijvoorbeeld doordat meldingen worden gegroepeerd of omdat gebruikers niet alle
klachten melden. Daarom is het absolute aantal klachten per tijdseenheid ook
minder inzichtelijk. De trend daarentegen kan wel veel informatie verschaffen.
Onder andere de start van de Coronamaatregelen en de week van het melden zijn
terug te zien in de data in week 12 en 20, respectievelijk. De invoering van het
nieuwe frequentieplan (week 29) komt minder duidelijk naar voren als een
trendbreuk in de data. Uit HPSM is niet op te maken van welke kolom meldingen
afkomstig zijn. Dit zit mogelijk in de ruwe gegevens die als bijlage worden
toegevoegd aan de incidenten in HPSM.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

4.3

23 / 37

Meetmethoden
Naast de incidentregistratie in HPSM zijn er andere bronnen die informatie
verschaffen over C2000 systeem. Deze bronnen zijn te categoriseren als:
− Actieve meting als een gebruiker: metingen van de C2000 communicatiedienst
uitgevoerd met specifieke meetapparatuur onder omstandigheden die
vergelijkbaar zijn met die van gebruikers.
− Passieve meting vanaf gebruikerapparatuur: gebruikmakend van aanvullende
meet- en rapportageproducten van leveranciers van C2000 randapparatuur.
− Meting vanuit het netwerk: in het C2000 netwerk en systemen worden de
uitgevoerde technische communicatie acties gelogd (opzetten van gesprekken,
handovers, gespreksvolumes, etc.).

4.3.1

Actieve meting als een gebruiker
Op basis van de incidenten in HPSM, kan MDC besluiten om extra metingen uit te
laten voeren. Ze sturen dan een meetvoertuig om extra metingen uit te voeren. Er
worden door MDC twee meetvoertuigen gebruikt. Eén meetvoertuig om radio
netwerkkarakteristieken te meten, bijvoorbeeld netwerkdekking, en een tweede
voertuig waarmee specifieker spraakkwaliteit gemeten kan worden. Dit voertuig
mag niet te snel rijden zodat genoeg metingen gedaan worden. Een voordeel van
deze aanpak is dat veel metingen worden gedaan en veel informatie wordt
verzameld van een potentieel probleemgebied. Deze informatie kan helpen in het
vinden van concrete oplossingen en deze worden uiteindelijk ook vastgelegd in
HPSM. Een nadeel van de meetvoertuigen is dat deze pas ingezet worden nadat
een gebruiker een incident heeft ervaren en dus geen informatie bieden over het
specifieke incident. Deze zijn ook moeilijk te simuleren, bijvoorbeeld omdat de
meetvoertuigen gelimiteerd zijn door de maximum toegestane snelheid.
Door expert bureau’s wordt voor het beproeven van een SCL wel eens een
meetopstelling gebruikt die de “papegaai” wordt genoemd. Dit is een mobilofoon
gekoppeld aan een PC met daarop repeater software. Door via de mobilofoon te
spreken kan vastgesteld worden of de uplink gelukt is, en wordt eventueel een
sample of een stukje van het gesprek teruggekoppeld. Dit is een vrij beperkte
meetopstelling voor een specifieke testdoel, die in het overzicht van meetmethoden
verder niet wordt meegenomen.
Een mogelijke aanvulling op de meetvoertuigen van MDC is de inzet van extra
apparatuur, zoals bijvoorbeeld het TETRA monitoring product Aries 1 dat wordt
aangeboden door RSi. Zij bieden een klein autonoom systeem aan, waarmee
automatisch testoproepen worden gedaan. Deze testoproepen zijn vergelijkbaar
met de metingen met het meetvoertuig van MDC, maar worden continue uitgevoerd
en vanuit meerdere voertuigen van hulpdienstverleners op straat. Daarmee worden
mislukte oproepen automatisch geregistreerd en slechte dekking in kaart gebracht.
Ook kan automatisch de spraak- en geluidskwaliteit worden bepaald.

4.3.2

Passieve meting vanaf gebruikerapparatuur
Een nog niet gebruikte meetmethode betreft het loggen van
gesprekskarakteristieken vanaf de C2000 portofoon van de gebruikers.
Voorbeelden van dergelijke commerciële producten zijn de failed calls-module van

1

http://www.rsi-uk.com/aries-tetra.html

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

24 / 37

Sepura2 en Motorola’s product ITM (Integrated Terminal Management) 3. Deze extra
modules verschaffen informatie over het wel of niet lukken van het opzetten van
een oproep. Deze module houdt op die manier automatisch bij of en in hoeverre
oproepen succesvol zijn. Ook worden specifieke gebruiksparameters (zoals tijdstip
en locatie) automatisch gelogd. Voordelen van deze meetmethode zijn dat alle
C2000 interactie gemeten wordt, voor elke gebruiker waarop de licentie wordt
aangeschaft. Ook is met deze wijze van meten detectie mogelijk van bijna alle door
een gebruiker te ervaren storingen (uitgezonderd aspecten zoals een defecte
portofoon of een lege accu van een portofoon). Een nadeel is dat er per type
portofoon een andere meetoplossing gebruikt wordt, wat een belemmering kan
opleveren voor de uniformiteit van prestatie-indicatoren tussen gebruikers met
verschillende portofoons.
4.3.3

Meting vanuit het netwerk
Ook de leveranciers zijn een bron van informatie en bieden meetmethoden voor
analyse van de kwaliteit van het netwerk. Kolibri houdt bijvoorbeeld bij of problemen
ontstaan door het al dan niet bewust beëindigen van een oproep. Ook kan bij
behulp van Kolibri-logs informatie over het gemiddelde audiovolume van een
oproep bepaald worden. Tijdens interviews met experts is gemeld dat het
gemiddelde audiovolume in hoge mate correleert met de ervaren audiokwaliteit
(MOS score). Op een vergelijkbare manier hebben andere leveranciers ook
informatie over de dekking van het netwerk en ook de dekking over tijd.
Alle informatie om een beeld te vormen over de kwaliteit vanuit het perspectief van
de leveranciers is voorhanden. De ISO leverancierpartners (Hytera, 2way,
Eurofunk) geven aan dat deze data is echter wel verspreidt en in sommige gevallen
lastig toegankelijk. Het oplossende vermogen kan dus beperkt zijn. De data zal dus
eerst worden moeten bewerkt en samengebracht op een centrale plek, bijvoorbeeld
een data-warehouse, van waaruit verdere analyses op de data gedaan kunnen
worden. Dit is een voorwaarde voordat de data daadwerkelijk gebruikt kan worden
voor het bepalen van prestatie-indicator waarden.
Opmerking over toepassing van nieuwe meetmethoden
Voor de nog niet gebruikte meetmethoden van autonome meetunits en (in mindere
mate ook) voor portofoon logging geldt dat voor de toepassing ervan nog
onderzocht moet worden in hoeverre dit kan leiden tot praktische bezwaren.
Bijvoorbeeld met betrekking tot interferentie met apparatuur van hulpverleners (b.v.
medische apparatuur) en de vertrouwelijkheid van gegevens. Ook geeft MDC aan
dat de hoeveelheid gegevens die continue, autonome metingen opleveren niet
noodzakelijk betekenen dat incidenten eerder gedetecteerd en opgelost worden.

2
3

https://www.sepura.com/apps-for-public-safety
https://www.motorolasolutions.com/content/dam/msi/docs/business/product_lines/dimetra_tetra/
terminals/tetra_integrated_terminal_management_system/_documents/itm_specsheet.pdf

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

5

25 / 37

Advies prestatie-indicatoren
Uit de analyse van de gebruikerservaringen zijn een drietal categorieën van
relevante indicatoren naar voren gekomen. Deze categorieën zijn:
a) De gebruikerservaringen over het functioneren van het systeem.
b) De gebruikerservaringen betreffende de klachtenafhandeling.
c) De gebruikersappreciatie, zowel over het functioneren van het systeem, de
mutaties aan het systeem en de klachtenafhandeling.
De volgende secties bevatten een uitwerking van deze categorieën in specifieke
indicatoren en de meetbaarheid ervan.
Bij elk van de categorieën worden, naast onze eigen analyse, prestatie-indicatoren
meegenomen zoals genoemd tijdens de gebruikersinterviews, aangevuld met
indicatoren uit relevante literatuur. Bij de uitwerking tot de voorgestelde verzameling
aan prestatie-indicatoren (aan het einde van dit hoofdstuk) wordt ook rekening
gehouden met de meetbaarheid van de mogelijke prestatie-indicatoren.

5.1

Gebruikerservaringen over functioneren C2000 diensten

5.1.1

Prestatie-indicatoren
C2000 gebruikerservaringen uit interviews
In sectie 3 is de categorie van C2000 gebruikservaringen al onderverdeeld in de
volgende typen indicatoren:
1 Storing op C2000 randapparatuur (b.v. de radio handheld, of de
bedieningsapparatuur van een centralist), waardoor de gebruiker geen
functionerende toegang heeft tot een C2000 dienst.
2 Er kan geen verbinding met het netwerk gemaakt worden, waardoor de C2000
diensten voor de gebruiker niet beschikbaar zijn.
3 Tijdens een gesprek wordt de verbinding onverwacht afgebroken, waardoor
informatieoverdracht door de gebruiker onvolledig heeft plaatsgevonden.
4 Tijdens een gesprek wordt een slechte audio kwaliteit ervaren, waardoor
informatieoverdracht niet goed heeft kunnen plaatsvinden.
5 Een noodoproep werkt niet, waardoor de gebruiker geen oproep kan doen
vanuit een gevaarlijke situatie.
De eerste indicator type (storing op C2000 randapparatuur) valt te onderscheiden in
twee soorten oorzaken. Zo kan een randapparaat defect zijn of anderszins niet
bruikbaar, bijvoorbeeld doordat de accu leeg is. Echter, uit de analyse van
gebruikerservaringen is naar voren gekomen dat dit zich relatief weinig voordoet.
Bovendien maken C2000 randapparaten geen onderdeel uit van de C2000
migratie, waardoor storingen op een randapparaat zelf minder relevant zijn in de
context van dit onderzoek.
De andere mogelijke oorzaak voor een storing op C2000 randapparatuur is dat dit
niet geheel te wijten is aan het randapparaat, maar aan de interactie tussen het
randapparaat en het C2000 netwerk. Voor de gebruiker is het effect van een
falende interactie echter vergelijkbaar met het niet succesvol verbinden met het
netwerk. Om de gebruiker-georiënteerde indicatoren zuiver te houden en niet te

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

26 / 37

vermengen met gedetailleerde technische oorzaken, stellen wij voor om storing op
C2000 randapparatuur niet als aparte indicator mee te nemen.
De laatste type indicator (noodoproep werkt niet) is feitelijk een verbijzondering van
de eerdere indicatoren. Immers, binnen de C2000 dienstverlening is de noodoproep
is een specifiek type ‘verbinding’, die (zoals het programma van eisen stelt) met de
hoogste prioriteit dient te worden afgehandeld. Als zodanig stelt TNO voor
noodoproep werkt niet geen aparte indicator op, maar kan een verschillende
normering gehanteerd worden (zie ook tabel 10).
Quality of Experience indicatoren uit literatuur
Voor de overige drie indicator typen (type 2, 3 en 4 hierboven) zijn vanuit de
telecom sector veelgebruikte indicatoren beschikbaar uit het onderzoeksveld van
“Quality of Experience” (QoE). Deze gebruikersgerichte QoE indicatoren worden
vooral gebruikt voor het optimaliseren van de “experience” van
communicatiediensten, inclusief diensten via TETRA netwerken [2]. Bijvoorbeeld,
voor beoordeling van de door gebruikers ervaren audio kwaliteit wordt de
zogenaamde “Mean Opinion Score” (MOS) uit de POLQA4 standaard gebruikt [3].
Hoewel de focus van dit onderzoek ligt op T2000 diensten, worden in [2] een
vergelijkbare indicator voor P2000 opgenomen.
Naast de gebruikerservaringen die uit de interviews met C2000 gebruikers naar
voren kwamen is het mogelijk dat er een fout optreedt in het configureren van
gespreksgroepen [2]. Bijvoorbeeld, een gebruiker die onterecht niet is toegevoegd
aan een gespreksgroep of juist aan een verkeerde gespreksgroep, of dat er een
fout optreedt in de koppeling van gespreksgroepen. Uit de HPSM
registratiegegevens blijkt dat dergelijke incidenten ook bij C2000 gebruikers
voorkomen. Bijvoorbeeld, een gespreksgroepkoppeling dat ten onrechte verbroken
wordt, of niet is verwijderd, of dat er onverwachte berichten in gespreksgroepen
worden ontvangen.
Benoemde prestatie-indicatoren C2000 gebruikerservaringen
Op basis van de gebruikersinterviews en relevante literatuur komen daarmee de in
tabel 9 weergegeven prestatie-indicatoren voor de C2000 gebruikerservaringen
naar voren.

4

Een voorgaande standaard van POLQA is de PESQ standaard. Deze is ook bruikbaar om de
MOS mee te bepalen, maar zal technisch gezien minder goede MOS schattingen maken onder
de omstandigheden waarin C2000 gebruikt wordt.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

Tabel 9

Benoemde prestatie-indicatoren voor C2000 gebruikerservaringen.

Opmerking:
QoE-1:
QoE-2:
QoE-3:
Opmerking:

Opmerking:

QoE-4:

27 / 37

Storing op C2000 randapparatuur wordt niet als aparte indicator meegenomen,
maar als onderdeel van onderstaande 3 indicatoren.
% Niet geslaagde gespreksoproepen (‘failed call setups’, zoals gedefinieerd in
sectie 4.5 van [2]), uitgesplitst naar groeps- en individuele gesprekken.
% Onverwacht afgebroken oproepen (‘failed call processing’, zoals gedefinieerd
in sectie 4.5 van [2]), uitgesplitst naar groeps- en individuele gesprekken.
Audio kwaliteit vastgesteld als de MOS, zoals gedefinieerd in de POLQA
standaard [3].
Het functioneren van de Noodknop is een specifiek geval (gebruikerscontext)
van bovenstaande 3 prestate indicatoren en kan voor die indicatoren wel een
strengere normering toegekend worden.
Volledigheidshalve kunnen ook twee indicatoren t.a.v. P2000 worden
meegenomen (de percentages van afgeleverde berichten en van correct
overgekomen berichten, zoals gedefinieerd in sectie 4.6 van [2]). De focus van
dit onderzoek ligt echter op T2000.
% Niet geslaagde configuratie van een gespreksgroep (zoals gedefinieerd in
sectie 4.3 van [2]), uitgesplitst naar verzoeken voor groepconfiguratie
aanpassingen vanuit een gebruiker op straat of vanuit een centralist.

Prestatie-indicatoren en het C2000 programma van eisen
Om te toetsen of de voorgestelde prestatie-indicatoren ook te relateren zijn aan de
eisen in het C2000 programma van eisen (PvE, [4]) wordt deze relatie in tabel 10
weergegeven.
Tabel 10

C2000 gebruikerservaringen indicatoren en (waarden in) het PvE.

Gebruikersindicator
QoE-1: geen gesprek

QoE-2: gesprek
verbroken
QoE-3: slechte audio
kwaliteit
QoE-4: kan niet
aanmelden op netwerk
QoE-4: kan niet
toegevoegd worden aan
groep

Groepsgesprek
Individueel gesprek
Noodoproep
“gespreksopbouwtijd van elk individueel- of
< alleen als
groepsgesprek zonder end-to-end encryption
functionele eis
dient maximaal 0,3 sec te bedragen, indien er
gedefinieerd >
geen wachtrij bestaat.”
“Systeem dient onderbrekingen in de audio tijdens handovers [..]
zoveel mogelijk te voorkomen.”
MOS ≥ 3.0
(zonder specifieke referentie, maar duidend op [3])
< alleen als functionele eis gedefinieerd >
< alleen als
functionele eis
gedefinieerd >

Te zien valt ook dat er voor de prestatie-eisen in het PvE nauwelijks onderscheid
wordt gemaakt tussen de verschillende typen C2000 spraakdiensten. Bijvoorbeeld,
de eis t.a.v. de spraakkwaliteit wordt niet uitgesplitst voor groepsgesprekken,
individuele gesprekken of noodoproepen. De in dit rapport voorgestelde prestatieindicatoren worden ook niet opgesplitst per type C2000 diensten, tenzij daar een
expliciete reden voor is.
Uit deze vergelijking volgt ook een normering voor de audio kwaliteit indicator (MOS
tenminste 3.0). Dit is echter de enige indicator waarvoor uit het PvE een normering
valt af te leiden.
De definitie van sommige QoE indicatoren is in het PvE conditioneel geformuleerd.
Bijvoorbeeld, in de bovenste rij van tabel 10 geeft de PvE tekst weer dat de
gespreksopbouwtijd aan de norm van 0,3 seconden zal voldoen, indien er geen

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

28 / 37

wachtrij bestaat. Het stellen aan een randvoorwaarde m.b.t. de collectieve
hoeveelheid gebruik (‘verkeer’) waaronder aan een QoE criterium wordt voldaan, is
zeer gangbaar in de telecommunicatie. Immers, in geval de hoeveelheid gebruik
vele malen hoger wordt dan waarop het systeem is gedimensioneerd, dan zal het
systeem dit niet kunnen afhandelen en alle QoE indicatoren slaan negatief uit. In dit
onderzoek wordt niet verder ingegaan op deze conditionaliteit van C2000 gebruik
en indicatoren. Mede omdat dit vooral van invloed is op de normering van
indicatoren en deze valt buiten de scope van dit onderzoek.
5.1.2

Meetbaarheid
In tabel 11 is een overzicht gegeven van de mogelijkheid om de benoemde QoE
indicatoren te kunnen meten met de meetmethoden beschreven in sectie 4.3.
Daarbij is aangegeven niet alleen aangegeven of de indicator met de methode
gemeten kan worden of niet, maar indien het gemeten kan worden is ook
aangegeven of de methode grootschalig toegepast kan worden. Dit laatste wil
zeggen dat de indicator (in principe) per gebruiker en op continue basis gemeten
kan worden.
Niet weergegeven in deze tabel is HPSM incidentregistratie. Strikt genomen is
HPSM geen meetmethode, maar van sommige meetmethoden worden
geanalyseerde resultaten (op enig moment in de incident afhandeling) wel weer
geregistreerd in HPSM.
Tabel 11

Meetbaarheid van indicatoren voor gebruikerservaring van C2000 dienstverlening.

Meetmethode
MDC meetvoertuigen
(radionetwerk en QoS)
Autonome meetunits
(b.v. Aries)
Portofoon logging
(b.v. Sepura failed call)
Netwerk logging

QoE-1
Ja, beperkte
schaal
Ja, op grote
schaal
Ja, op grote
schaal

QoE-2
Ja, beperkte
schaal
Ja, op grote
schaal
Ja, op grote
schaal

QoE-3
Ja, beperkte
schaal
Ja, op grote
schaal
Ja, op grote
schaal

QoE-4
Ja, beperkte
schaal
Niet zonder
meer (1)
Gedeeltelijk
(2)

Nee (3)

Ja, op grote
schaal

Bij benadering
(4)

Gedeeltelijk
(2)

Toelichting bij de tabel:
1 Producten zoals Aries zijn voorgeprogrammeerde, zelfstandig metingen uitvoerende modules
die in voertuigen geplaatst worden. Om (failed) group attachments te meten met Aries, is het
daarom nodig dat Aries groep attachment verzoeken kan versturen en een Aries module tot
zo’n test-groep toe te voegen. Het is zonder nader onderzoek naar het Aires product niet vast
te stellen of dit mogelijk is.
2 Vanuit portofoon logging zal vastgesteld kunnen worden van welke gespreksgroepen een
portofoon deel uitmaakt, maar het is vanuit de portofoon zelf niet te achterhalen of dat voor de
gebruiker de juiste gespreksgroepen betreft. Dit is een nadeel van een passieve
meetmethode en dit geldt dus ook voor het gebruik van netwerk logging als meetmethode.
3 Vanuit netwerk logging zijn geen gegevens af te leiden over niet geslaagde verbinding naar
het netwerk. In het netwerk wordt immers pas log-gegevens vastgelegd zodra de verbinding
succesvol tot stand is gebracht.
4 De gesprekskwaliteit zoals ervaren door een gebruiker dient end-to-end gemeten te worden.
Vanuit het netwerk zelf kan geen end-to-end meting gedaan worden. Desalniettemin geven
C2000 leveranciers en beheerders aan dat er van gesprekssegmenten wel het audio volume
gelogd wordt. Deze audio volumes blijken in hoge mate gecorreleerd te zijn aan indicator
QoE-3 (de MOS-score).

Zoals in de tabel weergegeven is QoE-4 de enige indicator waarvoor geen
meetmethode voorhanden is die volledige, grootschalige metingen zonder meer
zou kunnen uitvoeren. Deze indicator beschouwt TNO daarom als een optionele

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

29 / 37

indicator, die eventueel later aan de verzameling van gebruikerservaring indicatoren
kan worden toegevoegd zodra concrete behoefte daaraan wordt vastgesteld.
Afwegingen t.a.v. meest geschikte meetmethode
Kijkend naar de meetbaarheid van indicatoren QoE-1, -2 en -3 is niet één meest
geschikte meetmethode af te leiden. Het vaststellen van de meest geschikte
methode valt wel te reduceren tot een beperkt aantal keuzen.
De eerste keuze betreft de behoefte om de meetmethode grootschalig in te kunnen
zetten voor het meten van de QoE indicatoren. Afgaande op de feedback uit de
gebruikersinterviews is dit wel het geval, waardoor de MDC meetvoertuigen als
(enige) meetmethode afvalt.
Een meetmethode op basis van uitsluitend netwerk logging dekt de meetbaarheid
van de QoE-1 en QoE-3 indicatoren minder goed af dan de overige end-to-end
meetmethoden. Om goed aan te kunnen sluiten bij de ervaring van gebruikers is
daarom aan te bevelen om metingen niet uitsluitend te baseren op netwerk logging.
Een combinatie van netwerk logging en end-to-end metingen vanuit een beperkt
aantal meetunits of portofoon blijft wel een optie.
De derde keuze betreft de behoefte om een nieuw product aan te schaffen (b.v.
Aries of software licenties op Sepura failed call), of dat er beter geïnvesteerd kan
worden in het afleiden van de indicatoren vanuit reeds beschikbare netwerk
log-gegevens. Voor dit laatste is inmiddels een gerelateerd business intelligence
voorstel vanuit de ISO leverancierspartners bij IVC onder de aandacht gebracht dat
vooral gericht is op het verbeteren van beheerwerkzaamheden m.b.v. netwerk
logging. Dus hoewel strikt vanuit prestatie-indicatoren geredeneerd een netwerk
logging methode niet volledig voldoet is het argument dat deze methode ook het
oplossende vermogen van de beheerorganisatie verbetert een pluspunt.
Een andere keuze betreft het onderscheid in een actieve (via autonome meetunits)
of passieve meetmethode (via portofoon en/of netwerk logging). Beiden hebben
hun voor- en nadelen. Zo zijn passieve metingen gebaseerd op het daadwerkelijke
gebruik door gebruikers en dus bijna één-op-één aansluiten bij daadwerkelijke
gebruikerservaringen, terwijl actieve metingen ‘slechts’ steekproefsgewijs worden
uitgevoerd. Actieve metingen zijn juist weer goed reproduceerbaar en
onafhankelijker van het type portofoon toepasbaar wat de objectiviteit van de
meting ten goede komt.
Tenslotte is er het aspect van kosten en effort om de meetmethode in te richten en
uit te voeren. Dit aspect is buiten de scope van dit onderzoek.
5.2

Gebruikerservaringen klachtafhandeling

5.2.1

Prestatie-indicatoren
Klachtafhandeling indicatoren uit interviews
Uit de interviews blijkt dat een eerste gebruikersgerichte prestatie-indicator gericht
moet zijn op het correct functioneren van de C2000 dienstverlening: ”het moet
gewoon werken”. Wanneer het systeem niet werkt, moet de klacht zo snel mogelijk

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

30 / 37

verholpen worden. Hierbij wordt ook aangegeven dat het van belang is dat er
goede terugkoppeling op gemelde klachten wordt gegeven.
Hiermee zijn de voornaamste klachtafhandeling indicatoren die door C2000
gebruikers zijn aangegeven:
1 De oplostijd van gemelde klachten.
2 Tijdige terugkoppeling per gemelde klacht aan de gebruiker.
3 Het percentage van de in het veld ervaren klachten dat ook daadwerkelijk
gemeld wordt.
Incident registratie-indicator best practices
Zoals in sectie 4.1 aangegeven is het beheer voor de C2000 dienstverlening
gebaseerd op het ITIL referentiekader. Hoewel in het ITIL referentiekader geen
specifieke prestatie-indicatoren beschrijft, zijn er diverse best practices beschikbaar
voor incident management indicatoren 5. Voor de indicatoren ten aanzien van
klachtafhandeling zijn vanuit ITIL best practices beschikbaar [7].
Zo zijn de (initiële) responstijd en de oplostijd, zoals weergegeven in figuur 9,
veelgebruikte ITIL indicatoren die betrekking hebben op de twee door C2000
gebruikers genoemde tijdgebonden klachtafhandeling indicatoren. Voor het
startmoment van de oplostijd wordt ook wel eens uit gegaan van het moment van
detectie (eventueel de melding door een gebruiker). In veel gevallen zullen deze
twee momenten dichtbij elkaar liggen, waardoor het weinig invloed heeft op de
oplostijd. Verder komt het verschil tussen beide startmomenten vooral voort uit het
gezichtspunt dat als uitgangspunt genomen wordt. Vanuit de beheerorganisatie is
het moment van detectie het meest natuurlijke startpunt. Vanuit de gebruiker
geredeneerd is het moment dat een storing optreedt een logischer moment.
Soortgelijke overwegingen gelden voor het eindmoment van de oplostijd. Omdat in
dit rapport de nadruk ligt op gebruiker-georiënteerde indicatoren, wordt het start- en
eindmoment van de oplostijd gedefinieerd als in onderstaande figuur.

Figuur 9

5

Oplostijd gerelateerde indicatoren (veelgebruikte ITIL definities).

Opmerking: ITIL is een referentiekader en geen ondubbelzinnig vastgelegde standaard. Het is
ook geen ‘open standaard’: de ITIL standaard is beschikbaar via commerciële boeken,
trainingen en certificering programma’s. Hoewel ‘ITIL’ zeer veel gebruikt wordt door ICT
afdelingen binnen organisaties, heeft het niet beschikbaar zijn als open standaard ertoe geleid
dat de specifieke toepassing ervan verschilt tussen organisaties.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

31 / 37

In tabel 12 zijn de prestatie-indicatoren voor gebruikerservaringen over
klachtafhandeling opgesomd, zoals deze uit de gebruikersinterviews en relevante
incident management best-practices naar voren komen.
Tabel 12
Kla-1
Kla-2
Kla-3
Kla-4
Kla-5
Kla-6

Kla-7
Kla-8
Kla-9

Benoemde prestatie-indicatoren voor gebruikerservaringen t.a.v. klachtafhandeling.
Initiële responsetijd op de melding van een gebruikersklacht, zoals aangegeven
in figuur 9.
Oplostijd van een gedetecteerd incidenten die in de afgelopen periode werden
afgesloten, zoals aangegeven in figuur 9.
% Door gebruiker ervaren klachten die ook geregistreerd worden, uitgesplitst
naar het ‘meldingen kanaal’.
Aantal aangemelde klachten.
% Aangemelde klachten waarop aan gebruiker feedback is gegeven over de
klachtafhandeling.
% Klachten die in voorgaande periode werden aangemeld, waarop in de
afgelopen periode aan gebruiker feedback is gegeven over de
klachtafhandeling.
Aantal opgeloste klachten.
% Opgeloste klachten waarop aan gebruiker feedback is gegeven over de
klachtafhandeling.
Aantal klachten dat aan eind van de afgelopen periode nog open staat.

C2000 HPSM rapportages
In het C2000 PvE zijn nauwelijks vereiste prestaties aangegeven ten aanzien van
het klachtafhandeling proces. Wel worden door LMS al geruime tijd
weekrapportages “Actueel Operationeel & Technisch Beeld C2000” [8] gemaakt. In
die rapportages wordt gerapporteerd over:
− Aantal gevoerde gesprekken per week;
− Aantal noodoproepen per week;
− Aantal meldingen [van incidenten] per categorie (Verbinding, Radiobediening,
Audiokwaliteit, Noodknop en Systeem), per dag;
− Aantal meldingen per geografisch gebied, per week.
Het derde is nagenoeg dezelfde als in figuur 5 en geeft invulling aan indicator Kla-4
(met daarin nog een uitsplitsing per categorie) en het vierde rapportage item is
soortgelijk als in figuur 8. De andere indicatoren uit tabel 12 zijn niet opgenomen in
de LMS rapportage.
5.2.2

Meetbaarheid
Zoals in sectie 4.1 aangegeven worden klachten over de C2000 dienstverlening op
diverse manieren gemeld, maar in principe worden alle gemelde klachten
geregistreerd in de HP Service Manager (HPSM). Dit registratiesysteem is daarmee
de bron voor het bepalen van de waarden voor de indicatoren over
gebruikerservaringen met betrekking tot klachtafhandeling. Zo is in figuur 4 een
maandelijkse rapportage over de waarde van de indicator over het aantal klachten
(Kla-4) weergegeven, die is afgeleid uit HPSM. Op soortgelijke wijze kunnen de
waarden voor indicatoren Kla-7 en Kla-9 uit de registratiegegevens worden afgeleid
en voor de oplostijd (Kla-2) is in figuur een voorbeeld gegeven.
Echter, de momenteel uit HPSM rapporteerbare indicator-waarden zijn niet precies
gelijk aan de indicatoren die in tabel 12 zijn benoemd. Het verschil zit de
interpretatie van een geregistreerd incident in HPSM, die niet één-op-één
overeenkomt met een door een gebruiker gemelde klacht (toelichting over het

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

32 / 37

verschil is gegeven aan het einde van sectie 4.1). Voor het vaststellen van de
waarden van de klachtafhandeling indicatoren is dus nog een aanpassing van de
gegevens uit HPSM nodig, die geregistreerde incidenten weer linkt aan door
gebruikers gemelde klachten.
Voor het bepalen van de waarden voor indicatoren Kla-1 (initiële responstijd), Kla-5
(% feedback gegeven op gemelde klacht), Kla-6 (% feedback op ‘lang
openstaande’ klacht), Kla-8 (% feedback op opgeloste klacht) is informatie nodig
over de momenten waarop gebruikers feedback gegeven wordt over de status van
hun klachtafhandeling. Deze gegevens worden momenteel nog niet in HPSM
geregistreerd, waardoor de waarden ervan nog niet kunnen worden vastgesteld.
In het project ‘Verbeteren kwaliteit meldingenproces’ wordt gewerkt aan verbeteren
van de HPSM incidentregistratie en om voor dagelijkse overzichten van incidenten
een betere vertaalslag voor de gebruiker te maken. Tijdens de uitvoering van dit
onderzoek is de huidige status van dit project niet achterhaald.
Indicator Kla-3 (% gebruikersklachten die ook geregistreerd worden) kan niet uit
HPSM afgeleid worden. Immers, een klacht wordt pas geregistreerd als deze ook
door de gebruiker gemeld wordt. Deze indicator zal daarom op een andere wijze
vastgesteld moeten worden, bijvoorbeeld via uitvraag onder gebruikers (.
5.3

Gebruikersappreciatie

5.3.1

Appreciatie-indicatoren
In sectie 3 is de gebruikersappreciatie onderverdeeld in drie categorieën: korte
termijneffecten van C2000 communicatie, korte termijneffecten van mutaties, en
langetermijneffecten. Dit zijn belangrijke zaken omdat ze iets zeggen over de
gevolgen van de objectief meetbare zaken op de ervaring en beleving van
gebruikers over hun taakuitvoering, welbevinden en motivatie. Dat het subjectieve,
individuele ervaringen zijn, is geen belemmering voor het kwantitatief meten ervan.
Wanneer ze bij voldoende grote steekproef uitgevraagd worden kunnen uitkomsten
(statistisch) gerelateerd worden aan andere indicatoren om de samenhang vast te
stellen (hoe beïnvloeden indicatoren elkaar), of om de ontwikkeling door de tijd vast
te stellen en te verklaren met mutaties of ontwikkelingen in andere indicatoren. In
tabel 13 staan suggesties voor appreciatie-indicatoren en daarnaast voorbeelditems
in een vragenlijst om de gebruikersappreciatie te meten.
Tabel 13

Appreciatie-indicatoren en voorbeelditems voor meting in een vragenlijst.

Korte termijn effecten van C2000 communicatie
Prestatie-indicator
Aantal communicatieproblemen, zoals gedefinieerd in
indicator Kla-4, maar dan specifiek uitgesplitst naar de
volgende gebruikerservaringen:
App-1: Ernst van de belemmering van taakuitvoering
App-2: Mate van gevaar voor de gebruiker of
omgeving
App-3: Ernst van het gevaar

ONGERUBRICEERD

Voorbeeld-item voor vragenlijst
- Hoe ernstig belemmerde deze
verstoring de taakuitvoering
[1-10]?
- Hoe vaak leverde deze verstoring
gevaar voor de gebruiker of
omgeving?
- Hoe ernstig was het gevaar voor
de gebruiker of omgeving?

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

App-4:

In hoeverre heeft de aan- of
afwezigheid van C2000
communicatieproblemen gezorgd
voor boosheid of frustratie?
- In hoeverre heeft de aan of
afwezigheid van C2000
communicatieproblemen gezorgd
voor tevredenheid of blijdschap?
Korte termijneffecten van mutaties (worden klachten naar tevredenheid opgelost en
wordt daarover voldoende gecommuniceerd)
Prestatie-indicator
Voorbeeld-item voor vragenlijst
App-5: % Door gebruiker ervaren klachten die ook
- Welk percentage van jouw C2000
gemeld worden
communicatieproblemen heb je
officieel gemeld?
App-6: Mate van boosheid, frustratie of tevredenheid
- Hoe tevreden ben je in het
over verbeteringen aan het C2000 netwerk
algemeen over verbeteringen aan
het C2000 netwerk? (dwz de
manier en de snelheid waarmee
klachten worden opgelost) [1-10]
- Hoe boos ben je in het algemeen
over verbeteringen aan het
C2000 netwerk? (dwz de manier
en de snelheid waarmee klachten
worden opgelost) [1-10]
App-7: Mate waarin melder zich voldoende
- In hoeverre wordt je op de hoogte
geïnformeerd vindt over melding
gehouden over het verloop van
een melding?
- Wordt je naar je eigen mening
voldoende geïnformeerd over het
vervolg op je melding?
Langetermijneffecten
Prestatie-indicator
Voorbeeld-item voor vragenlijst
App-8: Mate waarin gebruiker zich veilig voelt door
- In hoeverre zorgt het functioneren
het functioneren van het C2000 netwerk
van het C2000 netwerk dat je je
veilig voelt in de uitvoering van je
werk? [-5 tot 5]
App-9: Mate waarin gebruiker vindt dat werkplezier
- In hoeverre draagt het
wordt beïnvloed het functioneren van het
functioneren van het C2000
C2000 netwerk
netwerk bij aan je werkplezier?
[-5 tot 5]
App-10: Mate van vertrouwen in het functioneren van
- In hoeverre vertrouw je op het
het C2000 netwerk
functioneren van het C2000
netwerk? [1-10]
App-11: Mate van vertrouwen in vermogen van
- In hoeverre vertrouw je erop dat
bestuurders, beheerders en leveranciers om
bestuurders, beheerders en
te kunnen zorgen voor een goed
leveranciers kunnen zorgen voor
functionerend C2000 netwerk
een goed functionerend C2000
netwerk? [1-10]
App-12: Mate van vertrouwen in vermogen van
- In hoeverre vertrouw je erop dat
bestuurders, beheerders en leveranciers om
bestuurders, beheerders en
te kunnen zorgen voor verbeteringen aan het
leveranciers kunnen zorgen voor
C2000 netwerk
verbeteringen aan het C2000
netwerk? [1-10]

5.3.2

Mate van boosheid, frustratie of tevredenheid
door aan- of afwezigheid van C2000
communicatieproblemen

33 / 37

-

Meetbaarheid
Meten van individuele, zelf-gerapporteerde gedragingen en belevingen kan
kwalitatief (bijvoorbeeld door middel van interviews, zoals in het onderhavige
onderzoek is gedaan) of kwantitatief, bijvoorbeeld middels vragenlijsten met
gesloten vragen. Interviews lenen zich goed voor exploratief onderzoek, voor
situaties waarin nog niet veel bekend is over een onderwerp, bijvoorbeeld welke
korte en lange termijn gevolgen samenhangen met een suboptimaal functionerend

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

34 / 37

communicatiesysteem. Vragenlijsten lenen zich goed voor representatief onderzoek
in een steekproef van een grote groep, waar een onderwerp al systematisch
geanalyseerd is en de factoren bekend zijn.
Voor de vragen die gaan over de korte termijn zou een speciale monitor kunnen
worden ontwikkeld en uitgezet met een relatief hoge frequentie van afname onder
een steekproef van de gebruikers. De vragen die over de lange termijn gaan
zouden ook verwerkt kunnen worden in een laag frequent (jaarlijks)
gebruikersbetrokkenheidsonderzoek.
Zowel bij kwalitatief als bij kwantitatief onderzoek naar individuele, subjectieve
ervaringen is actieve, vrijwillige medewerking van de doelgroep vereist. Niet elke
situatie leent zich daar automatisch voor. In de huidige situatie lijkt er voor dergelijk
appreciatie-onderzoek onder eindgebruikers een belemmering te moeten worden
beslecht, namelijk het verminderde vertrouwen dat de doelgroep heeft in de
betrokken partijen en hun vermogen om problemen op te lossen. Onze aanbeveling
is daarom om allereerst dit vertrouwen te versterken en pas na ervaren
verbeteringen de gebruikers (opnieuw) in dergelijk appreciatie-onderzoek te
betrekken (zie ook paragraaf 3.11).
5.4

Voorgestelde prestatie-indicatoren
Op basis van bovenstaande overwegingen stelt TNO de volgende C2000 prestatieindicatoren en meetmethoden voor:
Tabel 14

Voorgestelde C2000 prestatie-indicatoren.

QoE-1:
QoE-2:

QoE-3:
Opmerking:

Opmerking:

Opmerking:

Kla-1
Kla-2
Kla-3
Kla-4
Kla-5
Kla-6

Kla-7

ONGERUBRICEERD

% Niet geslaagde gespreksoproepen (‘failed call setups’, zoals gedefinieerd in
sectie 4.5 van [2]), uitgesplitst naar groeps- en individuele gesprekken.
% Onverwacht afgebroken oproepen (‘failed call processing’, zoals
gedefinieerd in sectie 4.5 van [2]), uitgesplitst naar groeps- en individuele
gesprekken.
Audio kwaliteit vastgesteld als de MOS, zoals gedefinieerd in de POLQA
standaard [3].
Het functioneren van de Noodknop is een specifiek geval (gebruikerscontext)
van bovenstaande 3 prestatie-indicatoren en kan voor die indicatoren wel een
strengere normering toegekend worden.
Volledigheidshalve kunnen ook twee indicatoren t.a.v. P2000 worden
meegenomen (de percentages van afgeleverde berichten en van correct
overgekomen berichten, zoals gedefinieerd in sectie 4.6 van [2]). De focus van
dit onderzoek ligt echter op T2000.
% Niet geslaagde configuratie van een gespreksgroep (zoals gedefinieerd in
sectie 4.3 van [2]), uitgesplitst naar verzoeken voor groepconfiguratie
aanpassingen vanuit een gebruiker op straat of vanuit een centralist.
Initiële responsetijd op de melding van een gebruikersklacht, zoals
aangegeven in figuur 9.
Oplostijd van een gedetecteerd incidenten die in de afgelopen periode werden
afgesloten, zoals aangegeven in figuur 9.
% Door gebruiker ervaren klachten die ook gemeld / geregistreerd worden,
uitgesplitst naar het ‘meldingen kanaal’.
Aantal aangemelde klachten in afgelopen periode.
% Aangemelde klachten waarop aan gebruiker feedback is gegeven over de
klachtafhandeling.
% Klachten die in voorgaande periode werden aangemeld, waarop in de
afgelopen periode aan gebruiker feedback is gegeven over de
klachtafhandeling.
Aantal opgeloste klachten in afgelopen periode.

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

Kla-8
Kla-9
App-1
App-2
App-3
App-4
App-5
App-6
App-7
App-8
App-9
App-10
App-11

App-12

35 / 37

% Opgeloste klachten waarop aan gebruiker feedback is gegeven over de
klachtafhandeling.
Aantal klachten dat aan eind van de afgelopen periode nog open staat.
Ernst van een storing als belemmering voor de taakuitvoering.
Mate van gevaar door een storing voor de gebruiker of omgeving.
Ernst van het gevaar door een storing voor de gebruiker of omgeving.
Mate van boosheid, frustratie of tevredenheid door aan- of afwezigheid van
C2000 communicatieproblemen.
% Door gebruiker ervaren klachten die ook gemeld worden.
Mate van boosheid, frustratie of tevredenheid over verbeteringen aan het
C2000 netwerk.
Mate waarin melder zich voldoende geïnformeerd vindt over melding.
Mate waarin gebruiker zich veilig voelt door het functioneren van het C2000
netwerk.
Mate waarin gebruiker vindt dat werkplezier wordt beïnvloed het functioneren
van het C2000 netwerk.
Mate van vertrouwen in het functioneren van het C2000 netwerk.
Mate van vertrouwen in vermogen van bestuurders, beheerders en
leveranciers om te kunnen zorgen voor een goed functionerend C2000
netwerk.
Mate van vertrouwen in vermogen van bestuurders, beheerders en
leveranciers om te kunnen zorgen voor verbeteringen aan het C2000 netwerk.

Prestatie-indicator rapportage
Normering van de indicatoren is geen onderdeel van dit onderzoek. De indicatoren
zijn bedoeld om over de loop der tijd aan te geven of de prestaties van de C2000
dienstverlening verbeteren.
Hiertoe kunnen de prestatie-indicatoren gebruikt worden als onderdeel van
periodieke rapportages. Voor die rapportages zullen aggregaties van de waarden
van de indicatoren gebruikt worden. Voor deze rapportage aggregaties gelden de
volgende richtlijnen:
− Tijd-aggregatie: per week.
− Geografische-aggregatie: uitgesplitst per regio en nationaal geaggregeerd.
− Populatie-aggregatie: hoewel de indicatoren niet worden toegespitst op
specifieke gebruikersgroepen (politie / brandweer / etc., of gebruiker op straat /
centralist), zal er in de normering van indicator-waarden wel onderscheid
gemaakt worden naar de gebruikscontext (‘normaal’ of ‘gevaarlijk’ zoals
toegelicht in sectie 3).
− Communicatiedienst-aggregatie: in principe zo min mogelijk uitsplitsing naar
communicatie functies, behalve voor de noodknop.
− Statistische aggregatie: voor zover de indicatoren al niet een inherente
kwantitatieve aggregatie aangeven (b.v. ‘aantal …’, of ‘% …’), zal over de voor
een indicator relevante gevallen een passende statistische aggregatie genomen
worden. Bijvoorbeeld, voor respons- en oplostijden zal een gemiddelde en een
90%-percentiel waarde gerapporteerd worden.
Opmerking: prestatie-indicatoren worden geaggregeerd gerapporteerd om een
overall beeld weer te geven. Dit neemt NIET weg dat er over klachten van
individuele gebruikers per geval terugkoppeling gegeven moet worden over de
afhandeling ervan.
Meten van individuele, subjectieve ervaringen kan kwalitatief (bijvoorbeeld door
middel van interviews, zoals in het onderhavige onderzoek is gedaan) of

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

36 / 37

kwantitatief, bijvoorbeeld middels vragenlijsten met gesloten vragen. Interviews
lenen zich goed voor exploratief onderzoek, voor situaties waarin nog niet veel
bekend is over een onderwerp, bijvoorbeeld welke korte en lange termijn gevolgen
samenhangen met een suboptimaal functionerend communicatiesysteem.
Vragenlijsten lenen zich goed voor representatief onderzoek in een grotere groep,
waar een onderwerp al systematisch geanalyseerd is en de factoren bekend zijn.
Hier worden suggesties gegeven voor prestatie-indicatoren en voorbeelditems in
een vragenlijst om de gebruikersappreciatie te meten. Voor de vragen die gaan
over de korte termijn zou een speciale, toegewijde vragenlijst moeten worden
uitgezet. De vragen die over de lange termijn gaan zouden ook verwerkt kunnen
worden in een periodiek medewerkers betrokkenheidsonderzoek (MBO).
Zowel bij kwalitatief als bij kwantitatief onderzoek naar individuele, subjectieve
ervaringen is actieve, vrijwillige medewerking van de doelgroep vereist. Niet elke
situatie leent zich daar dus automatisch voor. In het huidige geval lijkt er voor
dergelijk onderzoek een grote belemmering te zijn in het vertrouwen dat de
doelgroep heeft in de betrokken partijen en hun vermogen om problemen op te
lossen. Onze aanbeveling is daarom om allereerst dit vertrouwen te herstellen en
pas daarna de gebruikersgroep (opnieuw) in dergelijk onderzoek te betrekken.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

6

37 / 37

Ondertekening
Den Haag, januari 2021

TNO
Networked Organisations

Drs. K.Y. de Jong
Research manager

Ir. B.M.M. Gijsen
Auteur

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

A

Bijlage A | 1/1

Geraadpleegde documenten en referenties
[1]

Onderzoek gebruikersproblemen en prestatie-indicatoren C2000,
Resultaten fase 1, TNO Presentatie, 18 september 2020.

[2]

Key Performance Indicators for QoS Assessment in TETRA Networks,
J. Delgado and J. Santiago, International Journal of Mobile Network
Communications & Telematics (IJMNCT) Vol. 3, No.6, december 2013.

[3]

Perceptual evaluation of speech quality (PESQ), ITU-T
recommendation P.862, mei 2018.

[4]

Europese aanbesteding Concurrentiegerichte Dialoog ‘Vernieuwing
C2000-Communicatieinfrastructuur’, Bijlage 3 – Definitief Programma
van Eisen, versie 2.5, 21 november 2014.

[5]

ITIL, Axelos,
https://www.axelos.com/best-practice-solutions/itil

[6]

Service Management Blog - Impact, Urgency & Priority: Understanding
the Matrix, BMC, 1 januari 2020.
https://www.bmc.com/blogs/impact-urgency-priority/

[7]

Incident management metrics and KPIs, ManageEngine,
https://www.manageengine.com/products/service-desk/itil-incidentmanagement/incident-management-kpis-metrics.html#kpi

[8]

Actueel Operationeel & Technisch Beeld C2000, Weekrapportage 5 –
11 mei 2020, LMS.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

B

Bijlage B | 1/2

Extra resultaten uit analyse van HPSM gegevens
In deze bijlage zijn een aantal extra resultaten uit de analyse van HPSM
registratiegegevens opgenomen. Omwille van de leesbaarheid van het rapport zijn
deze niet in de hoofdtekst opgenomen.

Figuur 10

De gemiddelde oplostijd van incidenten HPSM, gegroepeerd per week dat het incident
gemeld is. Het eerste datapunt is voor week 5 van 2020. De data is op basis van de
openings- en sluitingstijd van incidenten in HPSM.

Figuur 11

Het procentuele verschil tussen het aantal incidentmeldingen in HPSM tussen twee
opeenvolgende weken. De week van het melden is duidelijk terug te zien in het figuur.

ONGERUBRICEERD

ONGERUBRICEERD | TNO-rapport | TNO 2021 R10129

Bijlage B | 2/2

Figuur 12

Het gemiddeld aantal incidentmeldingen per dag in HPSM per categorie over de tijd.
De data is gecorrigeerd naar het aantal dagen per maand in de data.

Figuur 13

Het aantal incidenten per week waar geen probleemnummer aan gekoppeld is. Ook
hier is de week van het melden terug te zien. Data is niet gecorrigeerd naar het aantal
dagen per maand.

ONGERUBRICEERD