MIniatofie van Defsnsie

17.04.1

s ;•-

A*n

Bezoekadres:
Plain 4
Postawhwt:
UPC 58 8
P&s&us 20701
2500 ES Den Haag
wMf.<teten&ie.!\l

De President van de Algemene Rekenkamer
Mew, Drs. S.4, Stuiveting

Lange Voorhout 8

..

Postbus 20015
2S00 EA Den Haag

-

•- •
;

,:

i-ot*
Afsetwift aan

Oe Minister van Economische Zaken

Datum:

15apriI2009

On* Keftnws*

F/2009006332

"•

•

.

'

.

-• ' . .

. - ••

• ' ;

9001S54R
Bestuurfijke reactie observafies Aigemene Rekenkamer
kandidatenvengelijklng vervanging F-16
Geachte mevrouw Stuiveling,

Op woensdag 8 aprit 2009 heb ik uw coneeptbrief over "Ofesarvafes kandidatenvergelijking vervanging
F-16* voor bestuurlp hoor- en wederhoor ontvangen. Hierbij bted ik u mijn neadie aan. Tevens doe ik
u in bijlage mede namens de Minister van Economische Zaksn de atooderftjke reactie van de
auditdiensten van Defensie en Econorrtische Zaken toekornen.

Na herhaaWeiijk signaleo van bet tegendeel to hebben gegeven heeft de Algemene Rekenkamer er
alsnog voor gekozen enige observaUes over de kandidatenvergetijfang van het project Vervanging
F-16 naar de Tweede Kamer te sturen, Ik stel vast dat deze observaties bijna vier maanden op zich
hebben iatert wactiten sinds de presentatie van de uitKomsten van de actuaiisering op 18 december
2008, De observaties hebben uitsluitend betrekking op drie stukken en niet op de actuaiisering zelf of
de resultaten ervan. De actuaiisering en de resuitaten zijn vervat in een uitgebreid, zesdelig rapport
van Defensie, TNO an NLR dat de Tweed© Kamer vertrouwelijk is aangeboden en waarean ook de
Rekenkamer een exemplaar heeft ontvangen. De observaties van de Rekenkamer hebben dan ook
slechts betrekking op een kleirt deel van de informatie waarover zij beschikte.

De Rekenkamer stelt dat RAND Europe en de auditdiensten van Defensie en Economische Zaken het
proces van de kandidatenevaSuatie hebben ge#valueerd en dat z | niet hebben gekeken of de
gehanteerde informatie jutst en volledig was. Deze observatle van de Rekenkamer strookt voliedig met
wat ik daarover de Tweede Karner heb gemefd in brievert van 27 juni 2008 (Kamerstuk 26 488 nr, 89)

Lid

U4

Bij J»anfwOotf(*)g aaium, sws kmtmrk sn andmm/p mmmlften.

*

i

Psgina t?3

1«°' L aM^

'i

Ministens van Defensie
Hoofddiructis Financiën an
Coirtret
Ötmctif FtnaoekJ Controï

Datum

en van 11 november 2ÖÖ8 (Kamerstuk 28 488 nr. 120). In de eerste brief heb ik gemeld dat de
auditdiensten zouden vaststellen of de in 2008 gehanteerd© methode aansluit op die van 2001-2002
en of de van de fabrikanten verkregen informatie juist is gehanteerd in het evaluatiemodel. In de
tweede brief heb ik de letterlijke central© vraag en de hiervan afgeleide onderzoeksvragen van de
audifdfensten opgenomen. Het was dus van meet af aar» duidelijk dat RAND Europa en de
auditdiensten het proces van de kandidatenvergelijking zouden evalueren en niet de inhoud ervan,
RAND en de auditdiensten hebben dus niet het werk van de deskundigen over gedaan, maar zij
hebben wel actief bewaakt dat dez» onbevooroordeeld, traceerbaar en transparant te werfc zijn
gegaan, zoals dat ook door de Kamer was gevraagd.
De Rekenkamer merkt op dat RAND Europe en de auditdiensten in hun rapporten melding hebben
gemaakt van een aantal beperkingen en onzekerheden in de kandidatenevaiuatie. De Rekenkamer
illustreert deze waarneming met citaten uit de stukken van RAND en de auditdiensten zelf die 18
december 2008 openbaar naar de Kamer zijn gestuurd, zonder daarbij de verdere uitleg in diezelfde
stukken te vermelden. Zowel RAND Europe als beide auditdiensten spreken van inherente
beperkingen en onzekerheden, onder meer omdat de vergelijkingen niet uitsluitend op feiten, maar ook
op toekomstgerichte (financiële) informatie berust en omdat de producenten niet-bindende informatie
hebben verstrekt, wat volstrekt begrijpelijk is aangezien het niet ging om onderhandelingen over een
aankoop. Het begrip voorbehoud dat de Rekenkamer in dit verband aan RAND £urop@ en de
auditdiensten toeschrijft, komt dan ook uitsluitend voor haar rekening. RAND Europe en de
auditdiensten op hun beurt hebben namelijk geconcludeerd dat met inachtneming van d©
vanzelfsprekende beperkingen en onzekerheden het proces zodanig is uitgevoerd dat op grond
daarvan besluitvorming op verantwoorde wijze tot stand kan komen. Wat de methodologische
onderbouwing vars de evaluatie van de auditdiensten betreft, waarover de Rekenkamer ook een
opmerking heef gemaakt, verwijs ik naar de kritische gezamenlijke reactie van beide diensten.
De observaties van de Rekenkamer over ds (on)vergetijkljaarheitS van tie kandidatenv&rgeiijking uit
2001*2002 en de actualisering uit 2008 overtuigen niet. De actualisering \% in overeenstemming met
het coalitieakkoord gericht op de aspecten kwaliteit, levertijd en prijs en dat was vooraf bekend. Andere
relevante aspecten, waarvan sommige in 2001-2002 bij de vergelijking zijn bekeken, zullen zoals
beloofd in de aanloop naar definitieve besluitvorming in 2010 (opnieuw) aan de orde komen. Op grond
van de uitkomsten van de actualisering van de kandidatetievaluafe gaat hst daarbij nog om één

Pagina 2/3

Ministerie van Defensie
HöüMSmct» FlnanciSfl w>
Contra!
Directie Frame»! Contra!

Datum
Ons Swnmert*

kandidaat-toestel. Dat de tijd sinds 2001-2002 niet heeft stilgestaan, is inderdaad ook in de
actualisering tot uitdrukking gekomen. Anders dan de Rekenkamer, die opmerkt dat de vergelijkingen
(dus) ïn belangrijke mate niet vergelijkbaar zijn, houd ik staande dat de actualisering zoveel mogetijk
voortbouwt op de vergelijking uit 20Ö1-2002 en dal er op onderdelen duidelijk sprake is var» verbetering
en verbreding. Dit hebben de auditdiensten ook onderkend en gerapporteerd. De actualisering van
2008 heeft dus evidente toegevoegde waarde gehad.

De Rekenkamer merkt ten slofte op dat mijn conclusie "De JSF is het beste mutti-role gevecntsvliegtuig om te voldoen aan de Nederlandse eisen* verder strekt dan de procssconctusie uit het
assurance rapport van de auditdiensten. Zij brengt met deze observatie tfe gevolgde aanpak op
correcte wijze onder woorden vanuit haar eigen gekozen benadering. Op pagina 5 van haar brief
citeert de Rekenkamer de volgende zin uit mijn brief van 18 december 2008: "De firma RAND
concludeert in haar rapport dat de kandidatenvérgelijking transparant en objectief is uitgevoerd en dat
de zes deelrapporten de uitkomsten van de vergelijking accyraat weergeven". Op pagina- 9 herhaalt de
Rekenkamer de conclusie van de beide auditdiensten dat;"(...) het proces (...) zodanig (is) uitgevoerd
dat op grond daarvan besluitvorming op verantwoorde wijze tot stand kan komen*. RAND Europe en
de auditdiensten hebben het proces van de kandidatenvergelijking beoordeeld, terwijl ik de inhoud, dat
wil zeggen de uitkomsten van het zesdelige rapport over de kandidatecwergelijtórtg, als basis voor mijn
conclusie heb gehanteerd. Deze rolverdeling strookt volledig met het onderscheid in
verantwoordelijkheden.

Hoogachtend,
DE STAATSSECRETARIS VAJfrÖEFENSIE

, .-, ,-, ',••
•

,

1 - Opmerkingen Auditdiensten Defensie en Economische Zaken op de observaties
Kandtdaterwergelijking vervanging f-16

Pagina 30

f

MMnmmmn&&M0mmÊmÊÊim

'

ötft»*#

»m.
De President en Secretaris van de
Algemene Rekenkamer,
D.t.v van de Staatssecretaris van Defensie

Datum

.}

Siiiagetn!

Uw ksnmöfk

Ons kenmerk

9001954 R

AD / 9068390
N/2009005978

Onderwerp

Observaties Kandidaten verge lij kï tig5 vervanging F-16
In uw brief vraagt u om een bestuurlijke reactie, Zoals wij in het ambtelijk overleg met de
Algemene Rekenkamer hebben aangegeven, reageren wij gelet op de specifieke positie
van de Audttdiensten van Defensie en Economische Zaken in een "groot project",
afzonderlijk op uw observaties voor zover deze de auditdiensten betreffen. Deze brief
vormt een bijlage bij de bestuurlijke reactie van de betrokken bewindslieden.
Uw eindconclusie voor wat betreft onze audit geeft ons geen aanleiding tot het maken van
opmerkingen.
Wel willen wij twee zaken verduidelijken om mogelijke misverstanden te voorkomen.
Allereerst merkt u op dat het begrip "op verantwoorde wijze" niet is geoperationaliseerd
en gedefinieerd. In ons assurance-rapport is dit begrip weliswaar niet geëxpliciteerd, maar
vanzelfsprekend hebben wij dit wel degelijk in onze audit betrokken. Het evaluatieproces
heeft aan het hiernavolgende voldaan:
De evaluatie heeft een duidelijk doel; dit is de vergelijking van een aantal kandidaten
voor de opvolging van de F-16,
Er zijn heldere aspecten waarop de kandidaten worden beoordeeld; ïn het
regeerakkoord zijn de aspecten prijs (levensduurkosten), kwaliteit en levertijd
expliciet benoemd.

Bszoekadraa

Gotypt

•

Gaeoïl.

DstMkissnummw

Vstionden

•"• '

ftappsl

,.
• •

Pafaaf en Oatum

•
'

T»isfax

.
'

.
...

Behandeld dooi

.

W . Scheilekens R A A, van
den Berg R A

*

Het evaluatieproces is onbevooroordeeld, transparant en traceerbaar ingericht en
uitgevoerd.
Naar de huidige stand van zaken en de beschikbare informatie hebben de uitkomsten
van het proces betrekking op de vooraf aangegeven aspecten en zijn toereikend in de
evaluatierapporten gepresenteerd.

Daarom hebben wij in 1.3 van ons assuraneeHrapport ons oordeel met deze strekking over
het proces kunnen geven.
Vervolgens stelt u dat wij ïn ons assurance~rapport niet ingaan op de juiste en objectieve
wijEe van totstandkoming van de methodologie en alleen aangeven dat het
evaluatieproces conform de opgestelde methodologie is verlopen, U merkt daarbij op dat
wij geen antwoord geven op de vraag of de vergelijking van de kandidaten op de aspecten
kwaliteit, prijs en levertijd op een onbevooroordeelde, navolgbare en transparante wijze is
uitgevoerd.
Ter verduidelijking merken wij op dat voor deze evaluatie twee methodtologierapporten
zijn opgesteld welke aïs normenkader zijn gehanteerd in de vergelijking. De criteria
onbevooroordeeld, traceerbaar en transparant maken onderdeel uit van de methodologie.
In ons assurance-rapport hoofdstuk 2.1 "gehanteerd normenkader", vermeiden wij;
"wij hebben de inrichting en de uitvoering van het proces van de kandidatenevaluatie
vervanging F-I6 getoetst aan de naleving van de onderstaande normen;
onbevooroordeeld, traceerbaar en transparant."
Vanzelfsprekend is dit normenkader voor de gehele audit gehanteerd en is onze
oordeelsvorming daarop gebaseerd. Onze eindconclusie in hoofdstuk 1,3 betekent dan
ook dat het evaluatieproces zowel qua inrichting als uitvoering heeft voldaan aan dit
normenkader.
Dmratn is het voldoen aan dit normenkader niet expliciet in de beantwoording van (deel)
onderzoeksvragen in hoofdstuk 1,4 van het assarance-rapport opgenomen.

Apditdiéï^ÖÉfeèstè
f \
\

k, iVan dejrfiere RA

Auditdienst
EeoflöaiMÉe;