Verslag van de Rekenkamer over de doelmatigheidscontrole bij de Europese Centrale Bank betreffende het begrotingsjaar 2007, vergezeld van de antwoorden van de Europese Centrale Bank

2010/C 32/01

INHOUD

Lijst van afkortingen en termen

Inleiding

Reikwijdte en aanpak van de controle

Opmerkingen

Beschikte de ECB over een adequaat governancekader voor het beheer van haar IT-projecten?

Had de ECB een meerjarige IT-strategie die is afgestemd op de algemene doelen en oogmerken van de organisatie?

Plande de ECB haar aan IT-projecten gerelateerde activiteiten op jaarbasis?

Was het proces voor het selecteren van uit te voeren IT-projecten gebaseerd op deugdelijke criteria?

Waren er adequate procedures ingesteld voor het beheer van de IT-projecten?

Werd het voor het beheer van IT-projecten opgezette governancekader toegepast zoals bedoeld?

Werden individuele projecten adequaat gepland?

Werden projecten naar behoren uitgevoerd?

Werden de projecten naar behoren gemonitord?

Werden de projecten bij voltooiing formeel beoordeeld?

Conclusies en aanbevelingen

Beschikte de ECB over een adequaat governancekader voor het beheer van haar IT-projecten?

Werd het voor het beheer van IT-projecten opgezette governancekader toegepast zoals bedoeld?

Bijlage — Overzicht van door de Europese Rekenkamer onderzochte projecten

LIJST VAN AFKORTINGEN EN TERMEN

Main computer rooms Area Upgrade at the Eurotower building (omgevingsupgrade voor de belangrijkste computerruimten in het Eurotoren-gebouw)

Control Objectives for Information and related Technology (beste praktijken van het IT Governance Institute voor het inrichten en beoordelen van een IT-beheersorganisatie)

INLEIDING

De Europese Centrale Bank (ECB, of „de Bank”) en de nationale centrale banken van alle lidstaten van de EU vormen samen het Europees Stelsel van centrale banken (ESCB). Het hoofddoel van het ESCB is het handhaven van prijsstabiliteit. Het ESCB ondersteunt ook het algemene economische beleid in de Unie teneinde bij te dragen tot de verwezenlijking van de doelstellingen van de Unie (1) . Daartoe voert de ECB de in haar statuten (2) vermelde taken uit en is zij verantwoordelijk voor het beheer van haar activiteiten en financiën.

De Rekenkamer verricht de doelmatigheidscontrole van de ECB op grond van artikel 27.2 van het Protocol betreffende de statuten van het ESCB en van de ECB (3) . Het controleonderwerp was het beheer van IT-projecten door de ECB in de begrotingsjaren 2007 en 2008. Ontwikkelingen in de praktijken van de ECB gedurende het eerste kwartaal van 2009 werden ook in aanmerking genomen.

REIKWIJDTE EN AANPAK VAN DE CONTROLE

De voornaamste doelstelling van de controle door de Rekenkamer was de beoordeling van het beheer van IT-projecten bij de ECB, door in te gaan op de twee volgende controlevragen:

De beoordeling door de Rekenkamer van de vraag of de ECB een adequaat governancekader had opgezet, omvatte onder meer een beschouwing van alle belangrijke documenten en procedures die betrekking hebben op het beheer van IT-projecten. Het voornaamste document dat gebruikt wordt bij het beheer van projecten is „Projectorganisatie en controleprocedures” (POCP) (6) . Teneinde te beoordelen of het IT-governancekader adequaat is, worden internationaal erkende standaarden en beste praktijken, zoals het kennisorgaan betreffende projectbeheer (PMBOK) (7) van het Instituut voor projectbeheer (PMI), evenals de Control Objectives for Information and related Technology (COBIT) van het Instituut voor IT-governance in aanmerking genomen.

Het uitgangspunt voor de steekproef was het ECB-begrotingsonderdeel betreffende „grote ECB-projecten”. Voor het begrotingsjaar 2007 bevatte dit onderdeel 16 grote projecten, waarvan er 14 betrekking hadden op IT. De selectie was gebaseerd op de volgende criteria: i) soort project, ii) begroting van het project en iii) stadium van voltooiing van het project. Een beknopte beschrijving van ieder project wordt verstrekt in de bijlage, evenals informatie over de duur en de kosten van het project.

OPMERKINGEN

Beschikte de ECB over een adequaat governancekader voor het beheer van haar IT-projecten?

beschikte over een meerjarige IT-strategie die is afgestemd op de algemene doelen en oogmerken van de organisatie;

Had de ECB een meerjarige IT-strategie die is afgestemd op de algemene doelen en oogmerken van de organisatie?

Teneinde de middelen doeltreffend te benutten, dient er een meerjarige IT-strategie te worden opgesteld die afgestemd is op de algemene doelen en oogmerken van de organisatie. Deze strategie dient zodanig geformuleerd te worden dat zij richting geeft aan de planning en opzet van IT-activiteiten over een periode van een aantal jaren, en zorgt ervoor dat de IT-uitgaven op een adequaat niveau worden gesteld en geconcentreerd worden waar ze het hardst nodig zijn. Deze strategie dient gebaseerd te zijn op een globale beoordeling van IT-behoeften, hetgeen leidt tot goed geïnformeerde besluitvorming bij het stellen van prioriteiten voor de actieterreinen.

De Rekenkamer stelde vast dat de ECB niet beschikt over een meerjarige IT-strategie die haar strategische doelen en oogmerken op de middellange termijn voor IT beschrijft en presenteert. Een formele globale beoordeling van de behoeften, uitgevoerd om prioriteiten te stellen voor de actieterreinen met een middellang perspectief, ontbrak eveneens. Ondanks het voorgaande worden de brief van de president en de „strategische/beleidsnotities” van de werkeenheden gebruikt als uitgangspunten om nieuwe IT-projecten vast te stellen, die vervolgens een prioriteit krijgen toegekend tijdens de jaarlijkse bijwerking van de projectportefeuille (zie de paragrafen 19-21).

In 2008 initieerden directoraat-generaal Informatiesystemen (DG-IS) en directoraat-generaal HR, budget en organisatie, in nauwe samenwerking met de andere werkeenheden van de ECB, een strategisch onderzoek naar de IT-activiteiten van de ECB. Dit onderzoek was nog niet voltooid ten tijde van de controle door de Rekenkamer (eerste kwartaal 2009). De eerste fase van het onderzoek was erop gericht doelen en oogmerken van de werkeenheden uitvoerig te bekijken en de strategische vereisten ervan in termen van IT-systemen, projecten en diensten voor de komende vijf jaar (2009-2013) te identificeren. Deze fase werd in december 2008 afgerond. Naar verwachting zal dit leiden tot de formulering van een IT-strategie voor alle functies van DG-IS (inclusief IT-projecten).

Plande de ECB haar aan IT-projecten gerelateerde activiteiten op jaarbasis?

In 2007 bereidde DG-IS het document „strategische/beleidsnotitie 2007” voor waarin een aantal brede doelstellingen werd opgesomd, waarvan enkele betrekking hadden op het beheer van IT-projecten (8) . Deze werden echter niet omgezet in specifieke doelstellingen en acties, en de verwachte resultaten werden ook niet omschreven.

In 2008 bereidde DG-IS twee planningdocumenten voor: een globale strategische/beleidsnotitie 2008 op hoog niveau en een werkprogramma 2008. De strategische/beleidsnotitie 2008 bevatte een samenvattend deel over de voornaamste uitdagingen voor DG-IS in 2008 en een overzicht van de doelstellingen, alsmede KPI’s voor 2008. Sommige van deze doelstellingen hadden betrekking op het beheer van IT-projecten (9) . De verwezenlijking van deze doelstellingen diende gemeten te worden met specifieke kwantificeerbare KPI’s, waarvoor doelen waren bepaald voor het tweede en het vierde kwartaal van 2008.

Het werkprogramma voor 2008 verschafte meer details door de omschrijving van de verwachte acties die moesten worden uitgevoerd voor het bereiken van elk van de doelstellingen. Dit betekende een verbetering ten opzichte van de situatie in 2007 en is een positieve ontwikkeling die de kwaliteit van het planningsproces ten goede komt. Het werd echter duidelijk dat het werkprogramma voor 2008 aanzienlijk meer doelstellingen bevatte dan de strategische/beleidsnotitie voor 2008 die hierboven werd genoemd. Het werkprogramma was niet opgesteld om details uit te werken en te presenteren over de wijze waarop de doelstellingen die in de strategische/beleidsnotitie waren geselecteerd, konden worden bereikt, en evenmin om nieuwe doelstellingen te introduceren.

Was het proces voor het selecteren van uit te voeren IT-projecten gebaseerd op deugdelijke criteria?

In 2007 waren het stellen van prioriteiten voor projecten en het selectieproces gebaseerd op een driejarig plan voor de projectportefeuille op de middellange termijn. Ieder jaar beoordeelt de ECB alle projecten (actieve projecten, projecten die wel geregistreerd zijn in het projectsysteem maar nog niet zijn gestart en pas geregistreerde projecten) in het licht van de algemene doelstellingen van de ECB. Dit plan voor de middellange termijn wordt twee keer per jaar geactualiseerd teneinde rekening te houden met pas geregistreerde projecten en andere ontwikkelingen. De projectbeoordeling is gebaseerd op ingediende projectdossiers en op het verwachte toekomstige verbruik van middelen. Er zijn geen duidelijke criteria bepaald voor het stellen van prioriteiten. Hierdoor is de projectselectie minder objectief, waarmee het risico toeneemt dat de beschikbare middelen wellicht niet optimaal worden gebruikt.

In 2008 werd een verbeterde methodologie geïntroduceerd voor het stellen van prioriteiten voor projecten. Deze was gebaseerd op een „driepijlerconcept” (10) . De methodologie bestond uit domeinspecifieke (11) beoordelingen, gevolgd door een consolidatie van deze beoordelingen op ECB-niveau. Het systeem voor IT-projectbeheer dat werd opgezet in 2008, bood voldoende informatie om beslissingen te kunnen nemen.

Waren er adequate procedures ingesteld voor het beheer van de IT-projecten?

Procedures voor het beheer van IT-projecten

De levensduur van een project, zoals beschreven in de POCP, bepaalt de structuur voor een doeltreffende controle van projecten door de levensduur van het project in logische stadia te verdelen en besluitvormingsmomenten vast te stellen (zie figuur 1 ). Een vergelijking van de POCP met het PMBOK toonde aan dat de POCP in grote mate overeenkomt met deze beste praktijk. Twee punten waarop de POCP verbeterd zou kunnen worden, zijn: analyse van de belanghebbenden en een beoordeling achteraf van de impact van het project. De huidige gebreken en de invloed daarvan worden nader omschreven in de volgende paragrafen.

Figuur 1 — Fasen tijdens de levensduur van een project

Bron: Europese Centrale Bank.

De POCP schrijft geen formele voorbereiding en vastlegging van een analyse van de belanghebbenden voor. Dit betekent dat het projectteam niet verplicht is de belanghebbenden formeel te identificeren of hun specifieke projectbehoeften te bepalen (13) . Het ontbreken van een formele identificatie van alle belanghebbenden en hun behoeften zou een negatief effect kunnen hebben op het succes van een project. Er dient te worden opgemerkt dat in het geval van de specifiek onderzochte projecten, de behoeften van de gebruikers in aanmerking werden genomen (zie de paragrafen 33 en 36).

Er is niet voorzien in een beoordeling achteraf van de impact en resultaten van een project als het project al enige tijd loopt. Een dergelijke beoordeling zou onder andere een formeel oordeel bieden over de verwezenlijking van de verwachte kwalitatieve en kwantitatieve voordelen zoals beschreven in de goedkeuringsdocumenten van het project en zo ondersteuning bieden voor de planning van toekomstige projecten (zie paragraaf 53). Een recente positieve ontwikkeling op dit gebied was het nieuwe model dat jaarlijks feedback vereist van de afnemers van IT-projecten, met het doel de tevredenheid van eindgebruikers over de kwaliteit van de geleverde dienst te meten.

Toewijzing van verantwoordelijkheden en besluitvormingsstructuur

In het POCP-document is de organisatiestructuur neergelegd die dient te worden opgezet voor het beheer van ECB-projecten, inclusief de rollen en verantwoordelijkheden alsmede de samenstelling van de relevante deelnemende partijen (zie figuur 2 ).

Figuur 2 — Overzicht van het kader voor projectbeheer van de ECB

Bron: Europese Centrale Bank.

In de POCP zijn heldere rapportagelijnen omschreven tussen de organen en de functies die betrokken zijn bij het proces van projectbeheer. De projectstuurgroep (PSG) is het voornaamste interne besluitvormingsorgaan van de ECB voor het geven van prioriteiten aan projecten, voor planning, goedkeuring en toezicht. De structuur die is opgezet door de POCP omvat alle noodzakelijke functies en voorziet in heldere besluitvormingsprocedures met vooraf bepaalde rollen en verantwoordelijkheden.

Werd het voor het beheer van IT-projecten opgezette governancekader toegepast zoals bedoeld?

Werden individuele projecten adequaat gepland?

Het projectgoedkeuringsdocument (PSD)

Het voornaamste planningdocument is het projectgoedkeuringsdocument (PSD) (zie figuur 1). Dit document dient als uitgangspunt om te besluiten of de geselecteerde projectoplossing moet worden uitgevoerd. Bij alle zes projecten die onderzocht werden, was de inhoud van dit document zeer uitgebreid en kwamen alle belangrijke kwesties die bij de goedkeuring van een project in overweging moeten worden genomen, ook aan de orde.

Projectautorisatie en -selectie

Alle projecten werden goedgekeurd in overeenstemming met de procedures die zijn neergelegd in de POCP. Voor het begin van elk van de drie projectfasen (14) werd door het comité voor projectsturing een formeel besluit tot voortzetting genomen. Drie projecten (15) werden gezien als „noodzakelijk” voor de naleving van ESCB- of andere normen. De overige projecten (16) werden geselecteerd op basis van de methodologie voor het stellen van prioriteiten voor projecten. Alle projecten waren consistent met ofwel de „strategische/beleidsnotitie” van DG-IS, ofwel de algemene strategieën van de betreffende werkeenheden.

Gebruikerseisen en projectspecificaties

Voor drie van de onderzochte projecten (17) werden de gebruikerseisen beoordeeld en vastgelegd in de planningsfase. Daar de andere drie projecten slechts uitbreiding van het bestaande netwerk (TCERTO) of opwaardering van de bestaande infrastructuur (EER en MAU) inhielden, werden gebruikers in de planningsfase niet geraadpleegd. In het geval van MPIDS werden de projectspecificaties ontwikkeld met gebruikmaking van een iteratieve testaanpak. Deze aanpak werd niet optimaal toegepast. Dit leidde tot vertragingen en de testversies waren niet voldoende conform de verwachtingen ontwikkeld.

Risicobeoordeling

De modellen voor elk van de drie planningdocumenten bevatten een specifiek onderdeel over risicoanalyse (18) . Dit onderdeel was voltooid voor alle PSD’s behorende bij de projecten. Toch was er geen gemeenschappelijke aanpak voor de identificatie van risico’s waar de projecten mee te maken kregen of voor de beoordeling van de waarschijnlijkheid en de impact. De beoordeling was gebaseerd op de eigen ervaring van iedere afzonderlijke projectmanager. Bij de aanvankelijke risicobeoordeling van de MDP werd er uitsluitend gekeken naar risico’s die betrekking hadden op externe contractanten. Gedurende de tenuitvoerlegging van het project werden interne risico’s ook gerealiseerd, zoals budgettaire beperkingen. Omdat deze kwesties niet werden onderkend als risico’s, was in de planningsfase niet voorzien in corrigerende maatregelen. In het geval van MPIDS hadden ook andere risico’s kunnen worden voorzien, zoals de complexiteit van de activiteitenprocessen binnen het bestek van het project, maar deze werden niet genoemd in de PSD.

Werden projecten naar behoren uitgevoerd?

Beheer van middelen en deelname van gebruikers

Voor drie van de onderzochte projecten (19) volstonden de middelen en expertise die waren toegewezen om het project uit te voeren. Bij de andere drie projecten trad een probleem op in verband met gespecialiseerde krachten, die niet in voldoende mate op tijd beschikbaar werden gesteld. Voor MDP waren de gebruikers niet altijd beschikbaar omdat een vergelijkbaar project op hetzelfde moment afgerond moest worden. Dit leidde tot vertragingen bij de uitvoering van het project. Bij MPIDS was er geen businessanalist toegewezen aan het team, en medewerkers van DG-IS waren niet altijd beschikbaar wanneer zij nodig waren. Het inhuren van een extern ontwikkelaar veroorzaakte een vertraging van drie maanden. Nadat de overeenkomst gesloten was, wisselde de ontwikkelaar regelmatig, hetgeen problemen veroorzaakte voor de tenuitvoerlegging van het project. Vanwege de complexiteit werd het project in verschillende fasen uitgevoerd (20) . De kennisoverdracht van fase 2 naar fase 3 vond niet plaats zoals gepland, omdat de meeste voormalige teamleden van het project, inclusief de projectmanager, niet doorgingen naar fase 3.

Voor alle geselecteerde projecten geldt dat de gebruikers regelmatig werden geïnformeerd tijdens de uitvoering van het project. Bij het merendeel van de projecten waren de gebruikers vertegenwoordigd in de PSG en/of in de vergaderingen van het projectteam, en werden zij ook geïnformeerd door middel van de maandelijkse projectstatusverslagen.

Externe contractanten

Testen en acceptatie van geleverde projectresultaten gedurende de tenuitvoerlegging

Het testen van een nieuw of gewijzigd IT-projectresultaat maakt deel uit van de ECB-procedures en dient te worden uitgevoerd voordat een geleverd resultaat in gebruik wordt genomen. Alle zes projecten werden getest voordat zij werden vrijgegeven. De tests werden ontwikkeld door het projectteam. De eindgebruikers werden echter niet altijd betrokken bij het ontwikkelen van de tests, met als gevolg dat noodzakelijke verbeteringen niet op tijd werden geïdentificeerd.

Werden de projecten naar behoren gemonitord?

Beheersinformatiesystemen en toezichtverslagen

De ECB gebruikt verschillende instrumenten bij het toezicht op IT-projecten. De tijd die wordt besteed aan projecten, wordt samen met de financiële gegevens en informatie over de belangrijkste resultaten van het project en de geboekte vooruitgang weergegeven in het maandelijkse projectstatusrapport (PSR). Voor alle zes projecten werden gedurende de tenuitvoerlegging met regelmaat PSR's opgesteld die voldoende informatie bevatten. In het geval van Target 2 SSP werd echter vastgesteld dat een aantal rapporten niet was opgesteld bij gebrek aan personele middelen.

Desondanks wordt de tijd die aan projecten is besteed alleen vastgelegd voor medewerkers van DG-IS. De tijd die wordt besteed door medewerkers van de werkeenheden en nationale centrale banken, wordt slechts geschat. Voorts worden overuren in het algemeen niet consistent, of in het geheel niet vastgelegd. Het toezicht is derhalve niet gebaseerd op volledige en nauwkeurige tijdgerelateerde informatie.

Werden de projecten bij voltooiing formeel beoordeeld?

Bij de afsluiting van een project dient een formele beoordeling te worden verricht van de verwezenlijking van de projectdoelstellingen en de gebruikte middelen. De POCP voorziet in een afsluitend verslag voor projecten (PCR) dat dient te worden opgesteld zodra alle projectresultaten van de uitvoeringsfase met succes zijn geleverd en het eindproduct van het project door alle betrokken werkeenheden, de systeemeigenaar en door DG-IS/Operations is geaccepteerd. Het PCR dient dus als het document waarmee de goedkeuring wordt gegeven om een project formeel te beëindigen.

Dit document is zeer uitgebreid, aangezien het alle belangrijke kwesties aan de orde stelt die in overweging moeten worden genomen bij de afsluiting van een project. De belangrijkste onderdelen zijn:

Tot aan 15 april 2009 werden er PCR's uitgegeven en goedgekeurd voor vijf van de zes onderzochte projecten (zie de bijlage). Als algemene stelregel schrijft de POCP voor dat een project binnen drie maanden na acceptatie van de definitieve projectresultaten afgesloten dient te worden. In het geval van Target 2 SSP waren de verrichtingen in mei 2008 begonnen en werd het project op 15 april 2009 afgesloten. Dit was toe te schrijven aan het feit dat DG-IS en de systeemeigenaar het niet eens konden worden over de inhoud van de overeenkomst inzake het dienstverleningsniveau (SLA). In de PSG-vergadering van oktober 2007 werd aangegeven dat de SLA in werking moest zijn getreden vóór de oplevering van Target 2 SSP. Hiermee diende vroeg te worden begonnen, aangezien een heldere weergave van de verwachtingen/diensten en communicatie tussen „operations” en de verschillende gebruikers van groot belang was. Ook werd in het geval van MPIDS het project niet gesloten omdat ondertekening van de SLA aanzienlijk vertraagd was.

Beoordeling van de verwezenlijking van de goedgekeurde projectreikwijdte en -doelstellingen

In het geval van MAU ontstond er in de formele acceptatie en overdracht een vertraging van zes maanden, ook al was de technische infrastructuur schijnbaar beschikbaar en veel eerder in gebruik dan aangegeven in het PCR.

Beoordeling van het gebruik van personele en financiële middelen

De kwestie van de budgettaire onderbesteding bij projecten werd ook aangekaart door het begrotingscomité van de ECB in het evaluatierapport over het ECB-verslag aan het einde van het jaar over het begrotingstoezicht 2008. Daarin werd vermeld dat het comité een onderbesteding van 18 miljoen euro (28,8 %) had geconstateerd. Het comité was van oordeel dat dit voornamelijk te wijten was aan vertragingen in een aantal projecten en dat er „ruimte voor verbetering van de planning en het beheren van projecten” was. De Rekenkamer constateerde dat er vertragingen in de tenuitvoerlegging van projecten bestaan (zie de bijlage ) en dat ze wel degelijk effect hebben op de uitvoering van de begroting. Wanneer men echter in overweging neemt dat er in de oorspronkelijke planning meer middelen ter beschikking werden gesteld dan nodig, dan geeft dit aan dat oorspronkelijke begrotingen niet zo nauwkeurig worden bepaald als het geval zou moeten zijn. Dit leidt ertoe dat er begrotingsmiddelen worden vastgelegd en dus niet meer beschikbaar zijn voor meer gevorderde projecten.

Beoordeling van kwalitatieve en kwantitatieve voordelen

Bij de afsluiting van een project wordt een beoordeling uitgevoerd van de kwalitatieve en kwantitatieve voordelen die dienen te worden behaald bij de ingebruikneming van het eindproduct. Afwijkingen van de informatie die is verstrekt in het projectgoedkeuringsdocument en dus is gebruikt in de procedure voor het stellen van prioriteiten voor projecten en de selectieprocedure, moeten worden toegelicht.

Bij alle vier de projecten werd in het PCR vermeld dat de voordelen zoals weergegeven in het PSD nog altijd opgingen of waren verwezenlijkt. Een aantal van deze voordelen kan echter pas goed beoordeeld worden nadat projecten zekere tijd lopen (zie paragraaf 25).

Bij MDP ging het project verder dan slechts het bevestigen van de oorspronkelijke beoordeling die was opgenomen in het PSD. Er werd een tweede beoordeling uitgevoerd met gebruikmaking van een andere methodologie. De voordelen van het eindproduct werden geëvalueerd aan de hand van de vier dimensies van een gewogen scorelijst waarin positieve en negatieve indicatoren waren opgenomen. De beoordeling was derhalve bedoeld als een eerlijke evaluatie van de projectuitkomst. Dit was een positief initiatief en kan worden gezien als een goede praktijk bij toekomstige projecten. Excerpten van deze beoordeling worden weergegeven in tekstvak 1.

Tekstvak 1 — Beoordeling van de kwalitatieve en kwantitatieve voordelen van MDP bij de projectafsluiting (excerpten)

Financieel: (positief) het project is binnen de grenzen van de begroting uitgevoerd; (negatief) de kosten van de betaalde honoraria voor de ontwikkeling van een oplossing worden in vergelijking met de marktprijs te hoog geacht.

Innovatie: (positief) het project heeft bijgedragen aan de ontwikkeling van een toezichtsysteem ter ondersteuning van de overeenkomst inzake het dienstverleningsniveau; (negatief) het project introduceerde een nieuwe eigen databaseapplicatie die redelijk moeilijk te hanteren was en niet zo flexibel als andere applicaties die reeds in gebruik waren.

Verslag van geleerde lessen

In de POCP is voorzien dat er als bijlage bij het PCR een verslag moet worden opgesteld over de geleerde lessen. Het doel is te waarborgen dat de bij de tenuitvoerlegging van specifieke projecten opgedane ervaringen beschikbaar worden gemaakt aan de hele organisatie teneinde het beheer van toekomstige projecten te verbeteren.

Hoewel alle vier de PCR's een verslag over de geleerde lessen bevatten, varieerde het niveau van de inhoud nogal. In het geval van EER gaven de kwesties die werden genoemd als geleerde lessen eerder de indruk dat ze werden opgenomen om te tonen dat de zaken goed waren beheerd, en niet zozeer hoe zaken in de toekomst beter konden worden aangepakt. In het geval van MAU werden te veel details verstrekt, waardoor de boodschap van de geleerde lessen voor toekomstige projecten werd vertroebeld.

In het geval van zowel het MDP- als het TCERTO-project werden kwesties geïdentificeerd die in de toekomst inderdaad van belang zijn voor de ECB-procedures voor projectbeheer. Excerpten van kwesties die genoemd worden in het MDP-verslag, worden weergegeven in tekstvak 2.

Tekstvak 2 — Geleerde lessen in het projectafsluitingsverslag van MDP (excerpten)

Benadruk het belang van betrokkenheid en aansprakelijkheid van de gebruiker: zonder heldere verantwoordelijkheid is het mogelijk dat de gebruiker niet volledig op de hoogte is van het belang van zijn betrokkenheid bij het ontwerpen en testen van de oplossing.

Plan middelen in overeenstemming met de gestelde projectprioriteiten: het project had in iedere testfase te lijden onder een gebrek aan middelen vanwege een conflict met een ander projectresultaat voor dezelfde werkeenheid.

CONCLUSIES EN AANBEVELINGEN

Beschikte de ECB over een adequaat governancekader voor het beheer van haar IT-projecten?

Aanbevelingen (eerste controlevraag)

Werd het voor het beheer van IT-projecten opgezette governancekader toegepast zoals bedoeld?

In algemene zin heeft de ECB het opgezette governancekader voor het beheer van IT-projecten inderdaad toegepast zoals het is bedoeld. Alle gecontroleerde projecten werden in de planningsfase naar behoren goedgekeurd door middel van goedkeuring van het projectgoedkeuringsdocument. Er werden echter gebreken aangetroffen op het gebied van de projectrisicobeoordeling: het ontbrak aan details in de beoordeling en aan een gemeenschappelijke aanpak voor evaluatie. Bovendien waren budgetten die in de aanvankelijke plannen waren opgesteld niet zo nauwkeurig als ze hadden kunnen zijn.

In algemene zin beschikte de ECB over passende instrumenten en beheersinformatiesystemen voor het toezicht op haar IT-projecten. De personele middelen die ingezet werden voor IT-projecten, werden echter slechts gedeeltelijk in het oog gehouden.

In de voltooiingsfase wordt in het projectafsluitingsverslag een formele beoordeling uitgevoerd die alle belangrijke kwesties bevat die in deze fase aan de orde moeten komen. Slechts een van de zes projecten werd echter binnen de in het projectgoedkeuringsdocument gestelde termijn afgerond.

(1) Artikel 105, lid 1, van het Verdrag tot oprichting van de Europese Gemeenschap, thans artikel 127, lid 1, van het Verdrag betreffende de werking van de Europese Unie.

(2) De statuten van het ESCB en van de ECB vormen een protocol bij het Verdrag.

(3) Artikel 27.2 bepaalt: „De bepalingen van artikel 248 van het Verdrag zijn uitsluitend van toepassing op een doelmatigheidscontrole van de ECB”. De institutionele bepalingen betreffende de Europese Centrale Bank zijn opgenomen in de artikelen 112 t/m 115 van het EG-Verdrag, thans de artikelen 283, 294, 134 en 135 van het Verdrag betreffende de werking van de Europese Unie.

(4) De ECB is onderverdeeld in 17 werkeenheden die de breedte van de functies van de ECB weerspiegelen. Iedere werkeenheid, met uitzondering van de directieadviseurs en de vertegenwoordiging van de ECB in Washington, wordt aangestuurd door een hoger kaderlid (directeur-generaal of directeur) die verantwoording aflegt aan een directielid.

(5) Dit zijn ECB-projecten waarbij gebruik wordt gemaakt van IT-middelen en waarvoor het projectbeheer wordt uitgevoerd vanuit zowel de betrokken werkeenheid als het directoraat-generaal Informatiesystemen.

(6) De POCP werd voor het laatst bijgewerkt in 2006.

(7) De PMBOK beschrijft standaarden en richtlijnen die breed worden erkend als beste praktijk en die ook door de ECB gebruikt worden als standaard voor haar projectbeheerprocedures.

(8) Bijvoorbeeld: betere afstemming tussen de kernactiviteiten en IT, en een omschakeling van de project- naar een programmadomeinaanpak.

(9) Bijvoorbeeld: neem de beste praktijken voor projectoplevering en het beheerproces over en voer IT-projecten uit met inachtneming van de overeengekomen kosten, tijdsduur en kwaliteit, inclusief de gebruiksvriendelijkheid.

(10) Pijler één: standaardvragen (22 parameters), pijler twee: een geaggregeerde clustergewijze analyse, en pijler drie: geaggregeerde criteria voor het stellen van prioriteiten op het niveau van de ECB ten behoeve van definitieve besluitvorming.

(11) Het directoraat voor IT-projecten is onderverdeeld in vijf domeinen. Ieder domein heeft de leiding over projecten die zijn opgestart door verschillende werkeenheden.

(12) Uitgesloten van de POCP zijn kleine taken, projecten die worden uitgevoerd binnen één enkele werkeenheid of die geen IT-oplossing vereisen, of IT-infrastructuuropdrachten met een laag testvolume, een lage innovatiegraad of een lage organisatorische impact, die geen nieuwe dienst toevoegen. De projecten die werden geselecteerd voor een gedetailleerde controle door de Rekenkamer vielen alle binnen het bereik van de POCP.

(13) Overeenkomstig afdeling 2.2 van de PMBOK is dit noodzakelijk om „een succesvol project te waarborgen”. De PMBOK benadrukt verder dat „nalaten een belangrijke belanghebbende te identificeren een negatieve invloed kan hebben op het project”. In afdeling 10.1 van de PMBOK, betreffende de communicatieplanning voor projecten, wordt gesteld dat het „identificeren van de behoeften van stakeholders en het vaststellen van een geschikte wijze om aan die behoeften tegemoet te komen belangrijke factoren zijn voor het succes van een project”.

(14) Initiërings-, voorbereidings- en uitvoeringsfase van het project.

(15) TCERTO, Target 2 SSP en EER.

(16) MDP, MPIDS en MAU.

(17) MDP, MPIDS en Target 2 SSP.

(18) Projectinitiëringsdocument, -voorbereidingsdocument en -goedkeuringsdocument.

(19) TCERTO, MAU en EER.

(20) Fase 3 was geselecteerd voor een controle van de Rekenkamer.

(21) MDP en TCERTO.

ANTWOORD VAN DE EUROPESE CENTRALE BANK

De Europese Centrale Bank (ECB) verwelkomt het verslag van de Europese Rekenkamer voor het begrotingsjaar 2007 en spreekt haar waardering uit voor de door de Rekenkamer naar voren gebrachte opmerkingen en aanbevelingen voor verbeteringen. De ECB neemt tevens nota van de erkenning door de Rekenkamer dat: i) de ECB een governancekader voor het beheer van IT-projecten heeft opgezet; ii) de procedures van de ECB voor het beheer van IT-projecten grotendeels in overeenstemming met de beste praktijk zijn; en iii) de ECB het opgezette governancekader voor het beheer van IT-projecten in algemene zin inderdaad heeft toegepast zoals het is bedoeld.

De ECB heeft nota genomen van de door de Rekenkamer naar voren gebrachte opmerkingen en aanbevelingen voor verbeteringen. Hieronder volgen enkele opmerkingen van de ECB met betrekking tot specifieke paragrafen en de zes aanbevelingen.

Paragrafen 12, 13 en 60

De ECB is van mening dat haar meerjarige IT-projectportefeuille in overeenstemming is met de strategische doelstellingen van de ECB en de afzonderlijke werkeenheden. De prioriteiten van hoog niveau — uiteengezet in de brief van de president en de strategische notities van de werkeenheden — worden gebruikt als uitgangspunten om nieuwe projecten vast te stellen. Voor elk project is een beschrijving van de strategische zakelijke redenen noodzakelijk, met inbegrip van gegevens over de plaats ervan in de strategische doelstellingen op middellange termijn van de ECB en de betrokken werkeenheid. Tijdens de jaarlijkse bijwerking van de projectportefeuille krijgen de IT-projecten dan systematisch een score en een prioriteit toegekend.

Wat de meerjarige IT-strategie betreft, die een veel breder bereik heeft dan de IT-projectportefeuille, wijst de ECB erop dat het strategisch onderzoek van DG-IS (ISR) in juli 2008 van start is gegaan. De strategische vereisten die in de eerste fase van het onderzoek naar voren zijn gekomen, zijn in december 2008 goedgekeurd. Daarnaast is in januari 2009 een nota over de strategische oriëntatie van DG-IS goedgekeurd. De strategische oriëntatie van DG-IS en de strategische vereisten zijn vervolgens verwerkt in het strategische IT-plan 2009-13. De strategische IT-doelstellingen in het plan en de bijbehorende IT-initiatieven zijn in mei 2009 goedgekeurd (tweede fase van het strategisch onderzoek van DG-IS). Het strategische IT-plan 2009-13 is in augustus 2009 goedgekeurd (als onderdeel van de derde fase van het strategisch onderzoek).

Paragrafen 18 en 61

De strategische notities geven de richting van de meerjarige strategie aan. Het jaarlijkse werkprogramma verschaft meer details en wordt gebruikt voor de omschrijving van activiteiten ter uitvoering van de strategische doelstellingen, maar het bevat ook een opsomming van operationele activiteiten. Financiële details voor alle projecten worden verstrekt in verschillende projectgoedkeuringsdocumenten, te beginnen met het projectregistratieformulier. Voor elke projectactiviteit worden nadere planningdetails verstrekt om een doeltreffende planning en controle mogelijk te maken.

Activiteiten die geen verband houden met projecten (bijvoorbeeld operationele IT-activiteiten), financiële en personele middelen worden in de jaarlijkse begroting gepland en toegewezen. Daarnaast worden de personele middelen bestemd voor DG-IS voor zowel projectactiviteiten als operationele activiteiten gepland en toegewezen in het systeem voor de allocatie van middelen (iRACT).

Paragraaf 24

De ECB erkent dat de projectorganisatie en controleprocedures (POCP) geen formele vastlegging van een analyse van belanghebbenden voorschrijft. Er wordt echter wel degelijk een analyse van belanghebbenden verricht. Tijdens de projectinitiëringsfase, die resulteert in het projectinitiëringsdocument (PID), worden de belanghebbenden vastgesteld. De belangrijkste doelstelling van de projectinitiëringsfase is de aandacht te richten op het zakelijke probleem en/of de zakelijke behoefte, evenals op potentiële oplossingen, en zodoende de belanghebbenden (bijvoorbeeld de betrokken werkeenheden) en potentiële dienstverleners vast te stellen. Als onderdeel van de voorbereiding van het PID wordt een projectstuurgroep (PSG) gevormd, waarin alle belanghebbenden zitting hebben of vertegenwoordigd zijn.

Paragraaf 38

De ECB streefde er duidelijk naar de totale kosten en risico’s van ontwikkeling en exploitatie zo laag mogelijk te houden, en niet slechts een deel ervan (namelijk de ontwikkelingskosten), toen zij overwoog dezelfde leverancier in te schakelen voor zowel de ontwikkelingsfase van het MDP-project als voor gegevensdiensten. De bereikte resultaten hebben geleid tot de laagste totale bedrijfskosten en een verlaging van het projectrisico (dat wil zeggen een verlaging van het leveranciersrisico, aangezien de risico’s die verband houden met het beheren van verschillende leveranciers voor software en gegevenssets zijn vermeden).

De ECB erkent dat de ontwikkeling van software geen deel uitmaakte van de kernactiviteiten van deze leverancier. De uitbestede ontwikkeling was derhalve beperkt tot de minimale functies die nodig waren om de kernoplossing te integreren. Tijdens de looptijd van het project werden de tests geïntensiveerd om te waarborgen dat de producten van hoge kwaliteit waren.

Aanbeveling 1

De ECB is van mening dat zij beschikte over een passend governancekader voor het beheer van haar IT-projecten, met inbegrip van meerjarige strategische doelstelling en in overeenstemming met de IT-projectportefeuille. De ECB erkent het belang van een meerjarige IT-strategie die niet enkel IT-projecten, maar IT-diensten als geheel dekt. Dat is de reden waarom de ECB met ingang van 2009 een strategisch IT-plan heeft opgesteld. Het strategische IT-plan 2009-13 is een uitvloeisel van het strategisch onderzoek van DG-IS, dat in juli 2008 van start is gegaan. De strategische IT-doelstellingen en bijbehorende IT-initiatieven zijn in mei 2009 goedgekeurd (tweede fase van het strategisch onderzoek van DG-IS) en het strategische IT-plan 2009-13 is in augustus 2009 goedgekeurd (als onderdeel van de derde fase van het strategisch onderzoek).

Aanbeveling 2

Overeenkomstig haar opmerkingen over de paragrafen 18 en 61 van het verslag van de Rekenkamer is de ECB van mening dat het bestaande IT-governancekader voor de planning, de allocatie van middelen en het bewaken van IT-projecten adequaat is. Voor IT-diensten als geheel, met inbegrip van activiteiten die geen verband houden met projecten, is een allesomvattend document beschikbaar waarin doelstellingen, prestatie-indicatoren en acties worden beschreven. Verbetering is mogelijk bij de uitbreiding van koppelingen tussen afzonderlijke acties en de bijbehorende financiële kosten, indien van toepassing.

Aanbevelingen 3, 4 en 5

De ECB neemt de aanbevelingen 3, 4 en 5 over.

Aanbeveling 6

De ECB is al begonnen met de aanleg van een database/log van geleerde lessen, die ter beschikking van projectmanagers en projectstuurgroepen zal worden gesteld. Deze database zal ook door DG-H worden gebruikt voor het opstellen van projectbeoordelingen voor het comité voor projectsturing.

Uitvoering van aanbevelingen

Aanbeveling 1 is al ten uitvoer gelegd. Aanbeveling 2 is in 2008 grotendeels ten uitvoer gelegd. Het resterende onderdeel (zie antwoord hierboven) zal tegen het einde van 2010 volledig ten uitvoer zijn gelegd. Aanbevelingen 3 tot en met 6 zullen tegen het einde van 2010 ten uitvoer zijn gelegd.