ICNG Procurement Programme - Audit Report
An Independent Technical Assessment

Managementsamenvatting

Dit rapport bevat de resultaten van een onafhankelijke audit uitgevoerd op het
aanbestedingsproces van de InterCity Nieuwe Generatie (ICNG). De audit bestaat
uit drie onderdelen. Het eerste deel is een review en benchmark van het concept
FTS document (Functioneel Technische Specificatie), en controle van de FTS op
de technische nauwkeurigheid, volledigheid en eenduidigheid. Het tweede deel
van de audit bestaat uit een serie van interviews met senior leden van het ICNG
projectteam. De interviews hadden tot doel om inzicht te krijgen in de ontwikkeling
van de FTS, het gehanteerde besluitvormingsproces, het management en de
aansturing van het team, de methode voor het vastleggen van ‘lessons learnt’ en
het streven naar een cultuur van continue verbetering. Het derde en laatste deel
betreft het afronden van de FTS bevindingen en de rapportage over de resultaten
van de audit.
De review van de FTS leverde een aantal opmerkingen op vanuit het auditteam
van Mott MacDonald. Het merendeel van deze opmerkingen kan geclassificeerd
worden als kleine type- of vertaalfouten. Het auditteam heeft een aantal van de
opmerkingen geclassificeerd als meer significant van aard en heeft de NS
verzocht op deze opmerkingen te reageren. Na een review van alle reacties is
elke opmerking afgehandeld, waarvan sommigen nog tot wijzigingen in de
definitieve versie van de FTS moeten leiden, of onderwerpen zijn waarover in de
komende maanden verdere monitoring en afweging zal moeten plaatsvinden,
bijvoorbeeld gedetailleerde ERTMS specificaties.
De eindconclusie is dat de FTS logisch, robuust en volledig is. Het ICNG team zelf
komt op de auditors over als goed geïnformeerd, goed aangestuurd en
gemotiveerd; het team heeft een positieve instelling en is oplossingsgericht.
Onderdelen van het programmamanagement, de gebruikte systemen, processen
en de gehanteerde aanpak zijn in lijn met wat in de industrie als ‘best practice’
wordt beschouwd.
De NS heeft benadrukt dat het ICNG programma geen uitloopmogelijkheden
bevat en dat de beschikbare tijd tussen ondertekening van het contract en de
aanvang van commerciële reizigersdiensten uitdagend is. Daarom is NS bezorgd
over die aspecten van de FTS en het treinontwerp die tot vertraging zouden
kunnen leiden. De eisen ten aanzien van toegankelijkheid (buiten hetgeen is

i

353094AA01/TPN/RLN/0001/K 10 June 2015
ICNG Procurement Programme - Audit Report

ICNG Procurement Programme - Audit Report
An Independent Technical Assessment

overeengekomen in de voorgaande SLT/SNG programma’s), geluid en ERTMS
zijn geïdentificeerd als mogelijke aspecten die tot vertraging van het programma
zouden kunnen leiden.
Bevindingen ten aanzien van de drie belangrijkste technische onderdelen:
Toegankelijkheid – de aanpak van NS was om de oplossing zoals ontwikkeld
en geoptimaliseerd tijdens het recente SLT (Sprinter Light Train) programma en vervolgens ook toegepast op het SNG (Sprinter Nieuwe Generatie)
programma - te gebruiken als specificatie in de FTS van de ICNG. Leveranciers
zijn niet specifiek gevraagd om verdere verbeteringen aan te bieden voor de
ICNG, omdat een uitgebreide studie en de optimalisatie van het proces voor de
SLT pas recent afgerond zijn. Om de toegankelijkheid verder te verbeteren
dient een compleet geïntegreerde aanpak van het systeem overwogen te
worden aangezien de infrastructuur, in dit geval de perronhoogtes en
spoorgeometrie hierbij een rol spelen. Deze conclusie is gebaseerd op basis
van de interviews en onderzoeken naar de bronnen en data die de FTS
ondersteunen. De gekozen FTS eisen zullen leiden tot de best mogelijke
naleving van de concessievoorwaarden zonder het programma in gevaar te
brengen of onbetaalbare infrastructuurkosten noodzakelijk te maken.
Geconcludeerd kan worden dat het besluitvormingsproces, zoals toegepast op
de toegankelijkheidseisen voor ICNG, overeenkomt met ‘best practise’, is
uitgevoerd binnen de governance van NS en de gekozen aanpak ondersteunt.
Geluid – de concessie-eisen zijn opgenomen in de FTS zoals verstrekt aan de
leveranciers in de verificatiefase. Ze zijn gepresenteerd als een optie (“OP”) in
de FTS, niet als een key requirement; het voldoen aan de TSI geluidsnormen is
gedefinieerd als een key requirement. Geconcludeerd kan worden dat de
geluidseis (IS36) een significant risico is voor het ICNG programma. De
belangrijkste redenen hiervoor zijn:
De TSI geluidsnormen zijn recent significant aangescherpt;
ICNG wordt één van de eerste 200 km/u treinstellen, die voldoen aan de
nieuwe TSI geluidseis;
De leveranciers hebben niet onthuld welke technologieën ontwikkeld
dienen te worden om aan de nieuwe TSI geluidsnormen te voldoen;

ii

353094AA01/TPN/RLN/0001/K 10 June 2015
ICNG Procurement Programme - Audit Report

ICNG Procurement Programme - Audit Report
An Independent Technical Assessment

De IS36 geluidseis betekent een significante reductie ten opzichte van
de huidige TSI geluidsnormen;
Er zijn geen bekende voorbeelden waarbij wordt voldaan aan de IS36
geluidseis;
Geen leverancier heeft toegezegd te kunnen leveren conform de IS36
geluidseis;
De technologie is nog niet voldoende doorontwikkeld voor het accuraat
modelleren van geluidsprestaties van railvoertuigen.
ERTMS – de specificaties in de FTS zijn bewust flexibel opgesteld, hetgeen in
lijn is met de huidige ontwikkelingen en tegelijkertijd voldoende flexibiliteit biedt
aan NS om de definitieve specificaties nog op een later moment in het ontwerpen realisatieprogramma toe te voegen. Vroegtijdige betrokkenheid van
potentiële leveranciers in de verificatiefase heeft geholpen bij het verduidelijken
van de wederzijdse behoeften en eisen tussen de partijen opdat een ‘best-fit’
van de systemen mogelijk is. Deze strategie wordt vaker toegepast in de markt
en deze strategie is logisch en relevant, zodanig dat de risico’s op adequate
wijze worden beheerst en deels worden belegd bij de leveranciers.
Mott MacDonald heeft voor elk technisch aandachtsgebied het
besluitvormingsproces gereviewed, zoals door de NS toegepast om te komen tot
de relevante specificaties van de FTS. De conclusie van Mott MacDonald is dat
voor elk van de technische aandachtsgebieden een logische en gerechtvaardigde
aanpak is toegepast binnen een nauwgezet aangestuurd team, met een
transparante en hiërarchische beslissingsbevoegdheid.
Het ADSE rapport (mei 2014) geeft een aantal aanbevelingen ten aanzien van de
projectborging en documentatie behorend bij het ICNG programma. Mott
MacDonald concludeert dat de belangrijkste bevindingen van het ADSE rapport
door NS zijn opgepakt met de introductie van een aantal belangrijke initiatieven
binnen het ICNG team:
PRINCE2® Project Management structuur binnen het ICNG team, inclusief
identificatie en beheersing van risico’s, issues en lessons learnt.
Bedrijfsrichtlijnen.

iii

353094AA01/TPN/RLN/0001/K 10 June 2015
ICNG Procurement Programme - Audit Report

ICNG Procurement Programme - Audit Report
An Independent Technical Assessment

Organisatiestructuur en governance, die voorzien in een beheerst en gedragen
besluitvormingsproces.
Kwaliteitsborging bij de selectie van leveranciers (verificatie), alsmede bij de
bouw.
Gebaseerd op interviews met de belangrijkste leden van het ICNG team, kan
gesteld worden dat de bevindingen van de ADSE audit op een juiste wijze zijn
geïmplementeerd. De interviews tonen aan dat het ICNG team goed wordt geleid
en beschikt over de juiste competenties, kennis en enthousiasme. Sinds het
ADSE rapport is het gebruik van kennis management systemen binnen het ICNG
team verbeterd en het gebruik is nu een voorbeeld van ‘good practise’.

iv

353094AA01/TPN/RLN/0001/K 10 June 2015
ICNG Procurement Programme - Audit Report

ICNG Procurement Programme - Audit Report
An Independent Technical Assessment

Executive Summary

This report represents an independent assessment of the process in place his
report represents an independent assessment of the process in place controlling
the procurement of the Inter City Next Generation (ICNG) Train Sets. The audit
consists of three main stages; an initial review and benchmarking of the draft
Functional Technical Specification (FTS) document, checking technical rigour,
completeness and comprehension. The second stage consists of a series of
interviews with senior members within the ICNG project team. The interviews
were used to understand the development of the FTS, the decision-making
processes employed in its development, the management and governance of the
team, the method for capturing of lessons learnt and embedding a culture of
continuous improvement. The final stage concerns the close-out of the FTS
findings and the report of results.
The review of the FTS yielded a number of queries from the Mott MacDonald audit
team. The vast majority were classified as minor typographical or translation
errors. The audit team classified some of these queries as more significant in
nature and invited NS to present a response. Following a review of all the
responses, each query was closed out, some necessitating future changes to the
final version of the FTS or areas for further monitoring and deliberation in the
coming months.
The final conclusions demonstrate that the FTS is logical, robust and
comprehensive. The ICNG team itself appears to be well informed, directed and
motivated; their outlook is positive and solution-focused. Aspects of the
programmes management, systems, processes and approach reflect those which
are regarded as aligned to benchmarked best practise.
NS highlighted that the ICNG programme had no inherent programme “slack” and
that the time span from the formal Notice to Proceed to the introduction of
passenger services was challenging. As such, NS were concerned with any
aspect of the FTS and the train design which could cause possible delay. The
requirement for accessibility (beyond that agreed on the previous SLT/SNG
programmes), noise and ERTMS were identified as possible areas which could
delay the programme.

v

353094AA01/TPN/RLN/0001/K 10 June 2015
ICNG Procurement Programme - Audit Report

ICNG Procurement Programme - Audit Report
An Independent Technical Assessment

With regard to the three main areas of technical focus:
Accessibility – the approach has been to specify the solution developed and
optimised during the recent SLT (Sprinter Light Train) programme and
subsequently applied also to the SNG (Sprinter Next Generation) programme.
Suppliers have not been specifically requested to offer any further
enhancements for ICNG as the results of the extensive study and optimisation
process for SLT has only recently finished. It is recognised that a total systems
and integrated approach should be considered for such areas. That is to say
that the infrastructure, in this case platform heights and track geometry, is a
contributing factor. Interviews and investigations into the sources of the data
which support the FTS clauses show a consistent approach supported by
studies and works to achieve the best possible compliance levels without
jeopardising the programme or creating prohibitive infrastructure costs. It is
concluded that the decision–making process applied to the accessibility
requirements for ICNG aligns with industry best practise and has been
undertaken within the NS governance framework and as such supports the
approach.
Noise – The Concession requirements are reflected in the FTS as sent to the
suppliers in the verification phase. They are presented as an option (“OP”) in
the FTS, not a key requirement; compliance to the TSI noise limits is defined as
the key requirement. It is concluded that the current noise requirements of IS36
are considered to present a significant risk to the ICNG programme primarily on
the grounds that:
The TSI noise limits have been significantly reduced recently;
ICNG will be one of the first 200kph train sets built to the new TSI noise
limits;
Suppliers are not divulging what technologies are having to be deployed to
achieve the new TSI noise requirements;
The IS36 noise limits represent a significant reduction over the current TSI
limits;
There is no known precedents of compliance to the IS36 noise limits;
No supplier has provided an undertaking to deliver the IS36 noise limits; and

vi

353094AA01/TPN/RLN/0001/K 10 June 2015
ICNG Procurement Programme - Audit Report

ICNG Procurement Programme - Audit Report
An Independent Technical Assessment

Technology is not sufficiently developed to accurately model noise
performance of rail vehicles.
ERTMS – The specification within the FTS is intentionally fluid, what is stated is
considered to align with the current status of the equipment, whilst providing
sufficient flexibility for NS to delay the final specification until late into the design
and delivery programme. Early engagement with the potential suppliers through
the verification stage has helped to clarify the requirement between the parties
such that a best-fit system can be specified later on in the programme. The
ERTMS strategy aligns with industry benchmarks and remains logical and
appropriate, such that the risks are adequately controlled, partially by
transferring the risk onto the supplier.
For each area of technical focus, Mott MacDonald reviewed the decision-making
processes employed by NS in arriving at the relevant requirements of the FTS. It
is the conclusion of Mott MacDonald that, in each case, a logical and justified
approach has been taken within a closely-governed team architecture that
provides transparency of decisions within a defined hierarchy of authority.
The ADSE report (May 2014) made a number of recommendations concerned
with project assurance and documentation associated with the ICNG programme.
It is the conclusion of Mott MacDonald that the findings of the ADSE report have
been addressed with the introduction of a number of key initiatives within the
ICNG team:
PRINCE2® Project Management framework within the ICNG team, including
identification and control of risks, issues and lessons learnt.
Corporate-level Guidance documents.
Organisation structure and governance framework, providing a controlled and
supported decision-making environment.
Quality function to assist with supplier selection (verification) and subsequent
build control.

vii

353094AA01/TPN/RLN/0001/K 10 June 2015
ICNG Procurement Programme - Audit Report

ICNG Procurement Programme - Audit Report
An Independent Technical Assessment

Interviews with key members of the ICNG team highlighted that the ADSE audit
findings have been properly implemented. The interviews also demonstrated that
the ICNG team possessed good leadership, competency, knowledge and
enthusiasm. It is the conclusion of Mott MacDonald that use of knowledge
management systems within the ICNG team has improved since the ADSE report.

viii

353094AA01/TPN/RLN/0001/K 10 June 2015
ICNG Procurement Programme - Audit Report