MEMO inzake verstoringen 22 januari 2015 en 2 februari 2015
Achtergrond computersystemen en netwerken ProRail
De computersystemen en netwerken voor de treinbesturing bij ProRail zijn dubbel uitgevoerd en staan
decentraal opgesteld in de computerruimtes van de verkeersleidingsposten welke van een kwalitatief
hoogwaardig niveau (internationaal TIER2) zijn. Daarnaast is er in het gebouw van OCCR een
uitwijkcomputercentrum en seinzaal ingericht, dat bij het volledig verloren gaan van een post na een
dagdeel weer kan functioneren. Via de uitwijkseinzaal kan dan met behulp van de uitwijkcomputers via
het nieuw aangelegde netwerk de besturing van een verkeersleidingspost worden overgenomen.
Alle redundantie die is aangebracht in de computerruimte (energievoorziening, klimaatbeheersing,
netwerken) en computers, heeft van 2007 tot en met 2014 elk jaar weer voor een verdere reductie in
het aantal verstoringen geleid (in totaal is meer dan 80% gereduceerd in aantal en impact). De uitwijk
heeft ervoor gezorgd dat continuïteit bij een grote calamiteit (zoals een brand) na één spits weer is
verzekerd.
Naar aanleiding van de brand in post Utrecht in 2010 is nog verder gewerkt aan de reductie van de
risico’s op postuitval. Alle posten zijn ten behoeve van preventie voorzien van aanvullende
toegangsbeveiliging en brandblusvoorzieningen. Voor de post Utrecht is daarbij nog een aanvullende
stap gezet. De computersystemen van de post Utrecht zijn niet meer gepositioneerd in de
computerruimte van de VL post, maar verplaatst naar een op internationaal niveau Tier 3
gecertificeerd extern rekencentrum van BT. Daarmee werd opnieuw een hoger voorzieningenniveau
van beveiliging, koeling en stroom bereikt voor de computerinstallaties. Het systeem van de post
Utrecht verschilt hiermee in voorzieningenniveau en qua opzet van de andere posten.
Storing 22 januari 2015
Treinreizigers rond Utrecht Centraal hebben donderdag 22 januari jl. last gehad van geen en beperkt
treinverkeer vanwege een netwerkstoring. Het betreft het netwerk tussen de verkeersleidingspost
Utrecht en het rekencentrum in Nieuwegein. Onderzoek geeft met zekerheid aan dat het een
netwerkstoring betrof en dat de aanleiding van de storing een aanpassing in het netwerk is geweest.
Deze netwerkaanpassing heeft het reguliere proces doorlopen waarbij de aanpassing op risico’s is
beoordeeld. De beoordeling was dat de aanpassing geen risico zou hebben op de operatie en dat
deze overdag kon worden uitgevoerd. Alle aanpassingen met risico worden namelijk standaard ’s
nachts uitgevoerd om impact voor de treindienst te voorkomen. Per kwartaal worden zo’n 900 ‘ICT
changes’ uitgevoerd waar de reiziger doorgaans uiteraard niets van merkt. De aanpassing nu leidde
echter tot een netwerkstoring die ervoor zorgde dat de werkplekken op de verkeersleidingspost
Utrecht tijdelijk uitvielen.
De werkplekken op de verkeersleidingspost Utrecht waren na 40 minuten weer operationeel. De
impact op de treindienst was zeer groot - een grote logistieke opgave ontstond om het treinverkeer
van en naar Utrecht weer op de rit te krijgen. Tussen ongeveer 11:30 uur en 13:30 uur zijn gestrande
treinen naar stations geleid. Daarna is de dienstregeling gefaseerd opgestart. Donderdag 22 januari
2015 kende een punctualiteitcijfer van 85,5 % en uitval van 7,0 %. Tot nader order zijn de
aanpassingen aan het netwerk in Utrecht opgeschort.

Hieronder ter illustratie het aantal vertrekkende treinen (dus exclusief aankomende) die dag op station
Utrecht Centraal.
aantal vertrekkende reizigerstreinen in Utrecht op 22-1-2015
van

t/m

aantal gepland

percentage

aantal gerealiseerd

5:00

5:59

18

18

100%

6:00

6:59

49

47

96%

7:00

7:59

55

54

98%

8:00

8:59

56

51

91%

9:00

9:59

53

54

102%

10:00

10:59

51

51

100%

11:00

11:59

54

34

63%

12:00

12:59

58

7

12%

13:00

13:59

55

3

5%

14:00

14:59

53

14

26%

15:00

15:59

54

27

50%

16:00

16:59

55

33

60%

17:00

17:59

57

39

68%

18:00

18:59

51

34

67%

19:00

19:59

50

37

74%

20:00

20:59

46

39

85%

21:00

21:59

41

39

95%

22:00

22:59

37

37

100%

23:00

23:59

37

36

97%

Storing 2 februari 2015
Voorafgaand
BT heeft in verband met de groei in het rekencentrum in een aantal stappen de uitbreiding van de
energievoorziening van haar rekencentrum gepland. De eerste stap hierin was zondag 1 februari jl.
Deze aanpassing is goed met ProRail doorgesproken en er zijn diverse maatregelen genomen om het
risico van deze aanpassing te reduceren. Het karakter van de aanpassing was namelijk dat bij een
deel van de systemen van de post Utrecht de stroomvoorziening zou wegvallen. Het zou slechts een
deel betreffen, omdat in verband met de ontworpen redundantie er sprake is van drie van elkaar
gescheiden toevoeren van stroom. Slechts één van de drie zou in de eerste stap in onderhoud worden
genomen en direct vervangen worden door een tijdelijke aanvoer.
De aanpassing aan deze ene aanvoer is zonder problemen verlopen. Echter een onverklaard
neveneffect trad op. Een aantal computersystemen die met de derde stroomtoevoer verbonden
waren, vielen onverwachts uit. Er werden geen werkzaamheden aan deze stroomtoevoer uitgevoerd
en het is nog onduidelijk hoe dit kon gebeuren (is nog in onderzoek). Na een korte onderbreking
kwamen wel direct de systemen weer in bedrijf. Alles leek gedurende de gehele zondag in orde.
2 februari
Maandagochtend rond 7:30 viel één van de computers in het Rekencentrum in Nieuwegein uit.
Daarop trad het redundantie mechanisme in werking en schakelde de (al sinds zondag) kapotte
computer onmiddellijk over naar een andere (redundante) computer. In dit schakelproces ontstaat een
zwaardere belasting op het systeem. Het systeem is op deze zwaardere belasting ontworpen. Echter
in dit schakelproces blijkt maandagochtend toch een vertraging te ontstaan. De glasvezelverbinding
tussen beide computers en de opslagssystemen blijkt te zijn beschadigd, waardoor het totaal trager
reageert. Deze traagheid wordt manifest door de drukte van de maandagochtendspits die meer
capaciteit vraagt dan de zondagdienstregeling de dag ervoor. De wissels en seinen kunnen door de
treindienstleiders niet meer worden bediend.
Gedurende het herstel van de bediening van de seinen en wissels werden de tientallen gestrande,
lege treinen stapsgewijs weggevoerd. Tijdens het technisch herstel werden tevens voorbereidende
maatregelen getroffen, mocht eventueel het besluit worden genomen om als noodplan de
uitwijkprocedure te starten. Rond 10.30 uur zijn de systemen technisch hersteld, en werden de
werkplekken van de treindienstleiders functioneel hersteld. Daarna werden eerst testritten en
testseries ingelegd om de stabiliteit van het systeem te toetsen. Rond half twaalf werd besloten de
opstart te beginnen met twee treinseries. Bij besluitvorming is niet gekozen voor uitwijk omdat er zicht
1
op herstel was (eerste testen met bediening waren positief) en omdat de lange doorloop tijd van 4 uur
betekende dat er langer overlast voor reizigers zou zijn.
Om de opstart van de dienstregeling geen hinder te laten hebben voor de treinenloop buiten Utrecht,
diende de opstart stapsgewijs te gebeuren. Dat resulteerde ook in de meest betrouwbare
reisinformatie. Gedurende elke stap werden enkele treinseries gestart, elke stap duurt 30-60 minuten.
Bij het weer opstarten zijn eerst de lange IC lijnen gestart en vervolgens de sprinters.

Pendelen is bewust niet gedaan. Met pendelen ontstaat onvoldoende capaciteit voor de hoeveelheid
reizigers. Daarbij is vanuit pendelen overstappen op een goede dienstregeling niet mogelijk.
Reisinformatie is daarbij bij een pendeldienst niet betrouwbaar.

1

Uitwijk is ontworpen om bij grote calamiteiten die meer dan 2 spitsen raken (zoals een brand in een verkeersleidingspost) uit te kunnen
wijken naar een andere locatie (het OCCR) om van daaruit de treindienstleiding te kunnen uitvoeren. Hierbij worden ICT systemen
omgeschakeld en gaan ook de treindienstleiders met lokale kennis naar het OCCR. Uitwijk is ontworpen om ineen dagdeel dit te kunnen
realiseren.

Maandag 02 februari 2015 kende een punctualiteitcijfer van 81,2 % en een uitval van 14,5 %.
Hieronder ter illustratie het aantal vertrekkende treinen (dus exclusief aankomende) die dag op station
Utrecht Centraal.
aantal vertrekkende reizigerstreinen in Utrecht op 2-2-2015
van

t/m

aantal gepland

aantal gerealiseerd

percentage

5:00

5:59

20

19

95%

6:00

6:59

49

47

96%

7:00

7:59

55

53

96%

8:00

8:59

55

3

5%

9:00

9:59

52

1

2%

10:00

10:59

50

0

0%

11:00

11:59

52

0

0%

12:00

12:59

51

7

14%

13:00

13:59

52

20

38%

14:00

14:59

51

18

35%

15:00

15:59

54

23

43%

16:00

16:59

54

25

46%

17:00

17:59

56

35

63%

18:00

18:59

51

41

80%

19:00

19:59

50

39

78%

20:00

20:59

46

40

87%

21:00

21:59

42

40

95%

22:00

22:59

37

36

97%

23:00

23:59

32

32

100%

Voorlopige conclusie
We concluderen dat een meervoudig defect in het totale systeem van redundante computers en
gegevensopslag is opgetreden. Het redundante systeem is niet bestand tegen een dergelijk
meervoudig defect. De defecten hebben zich pas gemanifesteerd toen één van de aangetaste
computers uitviel onder de hogere belasting van de ochtendspits van maandag (in vergelijking met het
treinverkeer op zondag).
Geen relatie storingen 22 januari en 2 februari
Onderzoek toont geen relatie tussen de storing van 22 januari en die van 2 februari. De storing op 22
januari werd veroorzaakt door het netwerk tussen de verkeersleidingspost in Utrecht en het
rekencentrum in Nieuwegein. De oorzaak op 2 februari was een meervoudig defect in het totale
systeem van redundante computers en gegevensopslag.

Vervolgonderzoek
Ten aanzien van de storing op 22 januari wordt onderzocht:
•
•
•

of extra monitoring op het netwerk noodzakelijk is om dit type risico van 22 januari op voorhand te
identificeren;
of de afweging wanneer werkzaamheden zoals op 22 januari risicovol zijn anders gemaakt moeten
worden;
en of het betreffende risico van 22 januari ook in andere onderdelen van het netwerk kan optreden. Dit
onderzoek wordt door een externe partij uitgevoerd.

Ten aanzien van de storing op 2 februari wordt onderzocht:
•

•
•
•

hoe de beschadiging heeft kunnen plaatsvinden. Deze had niet mogen plaatsvinden. De systemen
worden geacht hiertegen te zijn beveiligd. We gaan na wat daarin niet goed functioneerde en hoe het
kon gebeuren dat de impact van de stroomstoring op 2 februari plaatsvond in de andere
energietoevoer dan die waaraan gewerkt werd. Hiernaar wordt extern onderzoek verricht;
wat de relatie is tussen de schade in de systemen en de onregelmatigheid in de stroomtoevoerop 2
februari;
of en in welke mate meervoudige defecten de redundantie kwetsbaar maken;
en wat de mogelijkheden zijn om dit type verborgen defecten (ontstaan op zondag 1 februari) eerder te
identificeren en beter te signaleren, zodat ze niet pas later manifest worden.