ECLI: ECLI:NL:RBSGR:2010:BM6572

Titel: ECLI:NL:RBSGR:2010:BM6572 Rechtbank 's-Gravenhage , 01-06-2010 / 364237 - KG ZA 10-500

Gerecht: Rechtbank 's-Gravenhage

Datum uitspraak: 2010-06-01

Zaaknummer: 364237 - KG ZA 10-500

Proceduretype: Kort geding

Onderwerp: Civiel recht

Rechtsmacht: NL

Taal: nl

Uitspraaktype: Uitspraak

URL: https://data.rechtspraak.nl/uitspraken/content?id=ECLI:NL:RBSGR:2010:BM6572

---

Aanbesteding ICT-systeem ten behoeve van de rechterlijke organisatie (bestuursrechtspraak). Beoordeling kwalitatieve selectiecriteria. Beperkte toetsingsvrijheid rechter. Slechts in geval van aperte onjuistheden is plaats voor ingrijpen door de rechter. Rechter kan niet zelf de scores van de inschrijvers vaststellen. "Pilot" kan - in het algemeen - niet worden gelijkgesteld aan "volwaardig en volledig uitontwikkeld en in gebruik genomen ICT-systeem"? Beoordeling transparantie, proportionaliteit en objectiviteit.

RECHTBANK 'S-GRAVENHAGE 
     
     Sector civiel recht - voorzieningenrechter 
     
     
       Vonnis in kort geding van 1 juni 2010, 
       gewezen in de zaak met zaak- / rolnummer: 364237 / KG ZA 10-500 van: 
     
     
     
       de naamloze vennootschap 
       QURIUS N.V., 
       gevestigd en kantoorhoudende te Zaltbommel, 
       eiseres, 
       advocaat mr. M.C. Korpershoek te Eindhoven, 
     
     
     tegen: 
     
     
       DE STAAT DER NEDERLANDEN (ministerie van justitie, de rechterlijke organisatie, de Raad voor de rechtspraak), 
       zetelende te 's-Gravenhage, 
       gedaagde, 
       advocaat mr. S.C. Brackmann te Rotterdam. 
     
     
     Partijen worden hierna aangeduid als enerzijds "Qurius" en anderzijds "de Staat", dan wel "de RvdR". 
     
     
     1. De feiten 
     
     Op grond van de stukken en het verhandelde ter zitting van 20 mei 2010 wordt in dit geding van het volgende uitgegaan.  
     
     1.1.  De RvdR heeft op 6 februari 2010 de niet-openbare aanbesteding aangekondigd van de "Vernieuwing Informatiesystemen Rechterlijke Organisaties, Bestuursrechtspraak" (hierna "VIRO"). Daarbij worden geïnteresseerden opgeroepen om zich uiterlijk op 11 maart 2010 om 16.00 uur in te schrijven voor het project. Bij die aankondiging was een tweetal documenten gevoegd, te weten (i) het "Project Start Document", waarin op hoofdlijnen staat beschreven de architectuur van het project aan de hand waarvan gegadigden bij de selectieprocedure inzicht wordt gegeven in de uit te voeren opdracht, en (ii) de "Selectieleidraad", met zes annexen. 
     
     1.2.  Het Project Start Document vermeldt - voor zover hier van belang - het volgende: 
     
     
       "6.1 Doel 
       Het doel van het project VIRO Bestuursrecht is om het rechtsgebied Bestuursrecht van een nieuw primair processysteem te voorzien. De aanbesteding is hierin een eerste stap om de voorwaarden te creëren dit doel te bereiken: een overeenkomst met een Service Integrator waarmee de ontwikkeling en implementatie gerealiseerd worden. 
     
     
     (.....) 
     
     
       6.4. Fasering 
       De aanbesteding van VIRO heeft drie fasen: Voorbereiding, Selectie en Offerte. 
       (.....) 
       Fase Selectie: 
       De fase Selectie heeft als eindresultaat een aantal geselecteerde Gegadigden die doorgaan naar de Offertefase. In de Selectie fase: 
       • Wordt de uitnodiging tot deelneming (Selectieleidraad) gepubliceerd. 
       • wordt een inlichtingenperiode gehouden. 
       • worden binnengekomen verzoeken tot deelneming aan de procedure beoordeeld 
       • wordt een selectieadvies aan de Stuurgroep en de Opdrachtgever uitgebracht 
       • zal de uitkomst van de selectiefase gecommuniceerd worden, de fase afgesloten en gedocumenteerd". 
     
     
     1.3.  De Selectieleidraad houdt - voor zover hier van belang - het volgende in: 
     
     "1. Inleiding 
     
     Dit is de Selectieleidraad voor het selecteren van Gegadigden voor de Europese aanbesteding van de Opdracht "Vernieuwing Informatiesystemen Rechterlijke Organisaties, Bestuursrechtspraak", van de Raad voor de rechtspraak. Deze Selectieleidraad heeft tot doel Gegadigden te informeren over de Opdracht, de daarbij te hanteren selectiecriteria en de voorwaarden om uitgenodigd te worden om een Inschrijving te doen. (.....) 
     
     De Aanbestedende dienst is voornemens om vijf Gegadigden te selecteren. Deze Gegadigden, die dan Inschrijvers zijn, zal vervolgens worden gevraagd een Inschrijving uit te brengen. Deze bestaat uit een Offerte en een Proof of Concept. De Inschrijvingen, inclusief de Proof of Concept (PoC), worden beoordeeld op basis van de in de Uitnodiging tot inschrijving bepaalde gunningscriteria. Aan de Inschrijver die de 'economisch meest voordelige inschrijving' heeft gedaan, wordt de Opdracht gegund. (.....) 
     
     3. De aanbestedingsprocedure 
     
     (.....) 
     
     
       3.2. Inlichtingenbijeenkomst 
       Op woensdag 10 februari 2010 wordt een inlichtingenbijeenkomst georganiseerd door de Raad waarbij zal worden ingegaan op algemene achtergrondinformatie met betrekking tot de Raad en Aanbestedingsprocedure. (.....) 
     
     
     
       3.5. Voorwaarden gesteld aan het Verzoek tot deelneming 
       3.5.1. Voorwaarden gesteld aan de Gegadigde 
       Aan de Gegadigde worden de volgende voorwaarden gesteld: 
       i.	Het Verzoek tot deelneming dient te geschieden in overeenstemming met de bepalingen zoals gesteld in deze Selectieleidraad. 
       ii.	Het Verzoek tot deelneming moet volledig zijn, dat wil zeggen: alle gevraagde bewijsstukken, formulieren of andere informatie moeten zijn bijgesloten en Gegadigde dient alle in de Selectieleidraad vermelde vragen, zowel algemeen als specifiek, via de bijgevoegde formulieren (zie Annex I tot en met V) te beantwoorden. 
       (.....) 
       ix.	Door het indienen van een Verzoek tot deelneming gaat Gegadigde akkoord met alle voorwaarden en het daaromtrent gestelde in deze Selectieleidraad. 
     
     
     (.....) 
     
     3.7 Onjuistheden en bezwaar 
     
     (.....) 
     
     Indien een Gegadigde bezwaren heeft tegen een besluit dat de Aanbestedende dienst in het kader van deze Aanbestedingsprocedure neemt, dient hij binnen 15 kalenderdagen na verzending van het besluit door de Aanbestedende dienst een kort geding aanhangig te hebben gemaakt tegen dat besluit van de Aanbestedende dienst. (.....) 
     
     4. De beoordeling en selectie 
     
     4.1 Het inkoopteam 
     
     De Raad heeft ten behoeve van de beoordeling van de Verzoeken tot deelneming een Inkoopteam samengesteld. De volgende deskundigheid is in het Inkoopteam vertegenwoordigd: financieel, beheer, architectuur, functioneel bestuursrecht, aanbesteding en projectmanagement. 
     
     4.2. De beoordelingsmethode 
     
     De Verzoeken tot deelneming worden door alle leden van het Inkoopteam onafhankelijk van elkaar beoordeeld. Elk lid beoordeelt een Verzoek tot deelneming op basis van de hierna beschreven selectiecriteria en beoordelingsmethode. 
     
     Voor wat betreft de Kwalitatieve selectiecriteria 1, 2, 3 en 9 waarvoor binaire beoordelingen plaatsvinden (voldoet wel aan vereiste/voldoet niet aan vereiste) stellen de leden van het Inkoopteam gezamenlijk vast of een Verzoek tot deelneming wel of niet voldoet aan het criterium. Daar waar beoordeling op punten plaatsvindt (Kwalitatieve selectiecriteria 4, 5, 6, 7 en 8), stelt het Inkoopteam de score van Gegadigde per criterium vast door het gemiddelde te bepalen van de scores zoals toegekend door de leden van het Inkoopteam met deskundigheid op het betreffende vakgebied. De score van elk van deze leden wordt hierbij even zwaar meegeteld, waarbij onderling getoetst of zij de beoordelingssystematiek juist en op gelijke wijze hebben toegepast. 
     
     
       De volgende stappen worden doorlopen: 
       (.....) 
       Stap 4:	De Verzoeken tot deelneming worden beoordeeld aan de hand van de Kwalitatieve selectiecriteria. De Kwalitatieve selectiecriteria zijn in §4.3 beschreven en kunnen een binair of een schaalbaar karakter hebben. Indien een Verzoek tot deelneming niet voldoet aan een binair criterium leidt dat niet tot uitsluiting maar worden aan de betreffende referentie nul punten toegekend (van de maximale score van vijf punten). Deze Kwalitatieve selectiecriteria worden gebruikt om een score te kunnen bepalen voor het Verzoek tot deelneming van een Gegadigde. De totaal maximaal te behalen score (aantal punten x weging) voor de twee referenties tezamen is tien punten; de minimaal te behalen score om uitgenodigd te kunnen worden voor de Inschrijvingsfase is zes punten 
       Stap 5:	Wanneer de scores voor de Verzoeken tot deelneming zijn bepaald, worden de vijf hoogst scorende Gegadigden (met minimaal een totale score van zes), mits er voldoende geschikte Gegadigden zijn, gevraagd de bewijsstukken genoemd in formulier B van Annex II in te sturen (.....) 
       Stap 6:	Het Inkoopteam stelt een Selectieadvies op. Op basis van het Selectieadvies neemt de Raad een beslissing welke Gegadigden worden uitgenodigd voor de Inschrijvingsfase. Zij krijgen een schriftelijke bevestiging. Afgewezen Gegadigden zullen op de hoogte worden gebracht van de reden van afwijzing. 
     
     
     
       4.3 Kwalitatieve selectiecriteria 
       De kwalitatieve selectiecriteria worden gebruikt om het aantal Gegadigden op basis van een inhoudelijke beoordeling van de ingediende referenties en een weging tot een aantal van vijf (mits er voldoende geschikte Gegadigden zijn) terug te brengen. Gegadigden kunnen hun bekwaamheid aantonen door middel van het overleggen van bewijzen van gelijksoortige opdrachten die zij hebben uitgevoerd. 
     
     
     De beoordeling van deze Kwalitatieve selectiecriteria vindt plaats op basis van twee referenties. De Gegadigden leveren deze twee referenties aan door gebruik te maken van de standaardformulieren referentie 1 en referentie 2 in Annex IV. Deze twee referenties worden vervolgens afzonderlijk volgens onderstaande negen selectiecriteria beoordeeld. De beoordeling en de te behalen punten worden in tabel 2 beschreven. (.....) 
     
     Bij de beoordeling van het Verzoek tot deelneming wordt het volgende belang aan de criteria toegekend, uitgedrukt in maximale score en weging: 
     
     
       
         
           Kwalitatieve selectiecriteria 
           
             
           
           
       Tabel 1 Kwalitatieve selectiecriteria 
     
     
     
       NrCriteriumMax. scoreWeging in %1.Referentie van een project of opdracht, waarbij het project of de opdracht niet ouder is dan drie jaar (gerekend vanaf 11 maart 2010). 
       Nog lopende projecten worden alleen beoordeeld voor onderdelen die daadwerkelijk zijn uitgevoerd en afgerond.BinairReferentie die niet voldoet, wordt verder niet beoordeeld2.Referentie is conform de eisen ingevuld, te weten: minimaal en maximaal aantal woorden, gebruik referentieformulier 1 en 2.BinairReferentie die niet voldoet, wordt verder niet beoordeeld3.Indien Gegadigde zich beroept op de technische bekwaamheid van een onderaannemer is minimaal 1 referentie door Gegadigde uitgevoerd als hoofdaannemer. BinairReferentie die niet voldoet, wordt verder niet beoordeeld4.Financiële omvang van de opdracht is minimaal € 2 miljoen (incl. BTW) en de mate waarin de opdracht bestaat uit dienstverlening.515%5.De mate waarin wordt aangetoond dat een werkend ICT-systeem op basis van standaardsoftware, bestaande uit service-georiënteerde, inter-operabele en zelfstandig inzetbare componenten is ontwikkeld en opgeleverd met daarin de volgende samenhangende aspecten: zaaksturing, case management, digitale proces- en documentatieafhandeling, en inregelen van de user interface. 
       525%6.Uitvoeren van de implementatie van het bij onderdeel 5 genoemde systeem525%7.Uitvoeren van het beheer van het bij onderdeel 5 genoemde systeem525%8.Overeenkomst op basis van resultaat- of inspanningsverplichting. 
       Nakomen afspraken rondom tijd, geld en kwaliteit voor het bij onderdeel 5 genoemde systeem.510%9.De totale score (punten x weging) voor twee referenties tezamen is minmaal 6.BinairOm uitgenodigd te worden tot het doen van een Inschrijving, is een minimale totale score van zes vereist.Tabel 1: Kwalitatieve selectiecriteria 
     
     
     (.....) 
     
     
       4.4. Beoordeling en punten 
       In onderstaande tabel is aangegeven hoe de ingediende referenties beoordeeld worden. De nummers in de eerste kolom verwijzen naar de selectiecriteria in tabel 1   
     
     
     
       
         
           Beoordeling en punten 
           
             
           
           
       
         
           Beoordeling en punten 
           
             
           
           
     
     
     
     NrBeoordeling en punten4.(.....)5.Bepalend voor het aantal punten is de mate waarin wordt aangetoond dat een werkend ICT-systeem op basis van standaardsoftware, bestaande uit service-georiënteerde, inter-operabele en zelfstandig inzetbare componenten is ontwikkeld en opgeleverd met daarin de volgende samenhangende aspecten: zaaksturing, case management, digitale proces- en documentafhandeling, en inregelen user interfacePuntenWaaraan moet worden voldaan?0Geen van de vier bovengenoemde aspecten komt voor in de referentie of het ICT-systeem is niet werkend opgeleverd of niet op basis van standaardsoftware gerealiseerd1Wanneer de aspecten zaaksturing of case management niet voorkomen in de referentie zal er 1 punt gegeven worden 3Wanneer de aspecten zaaksturing en case management voorkomen in de referentie en tevens één van de twee overige aspecten (digitale proces- en documentafhandeling of inregelen user interface) voorkomt, dan worden 3 punten gegeven5Als alle vier de gevraagde aspecten in samenhang voorkomen in de referentie, worden 5 punten gegeven6.Bepalend voor het aantal punten is of de implementatie in van het bij onderdeel 5 genoemde systeem heeft plaatsgevonden. Er wordt onderscheid gemaakt tussen technische en organisatorische implementatie en of dit binnen één of meerdere organisatieonderdelen (bijvoorbeeld diverse vestigingen of dochterorganisaties) is uitgevoerdPuntenWaaraan moet worden voldaan?0Implementatie heeft (nog) niet plaatsgevonden. Er worden nul punten gegeven.1Technische implementatie in de OTAP-omgeving heeft plaatsgevonden. Er wordt 1 punt gegeven.2Naast de technische implementatie in de OTAP-omgeving is het systeem ook in de organisatie geïmplementeerd. Er worden twee punten gegeven.3Naast de technische implementatie in de OTAP-omgeving is het systeem in  verschillende organisatieonderdelen geïmplementeerd. Er worden drie punten gegeven.4Naast de technische implementatie in de OTAP-omgeving is het systeem in verschillende organisatieonderdelen geïmplementeerd en is het project gemanaged conform Prince2 (of vergelijkbare) methodiek. Er worden vier punten gegeven. De Gegadigde moet de vergelijkbaarheid van de gebruikte methodiek aantonen.5Naast de technische implementatie in de OTAP-omgeving is het systeem in verschillende organisatieonderdelen geïmplementeerd en is het project gemanaged conform de Prince2 (of vergelijkbare) methodiek (de gegadigde moet de vergelijkbaarheid van de gebruikte methodiek aantonen) en is er een beproefde methode voor de implementatie voor standaardsoftware gehanteerd. Er worden vijf punten gegeven. 7.Bepalend voor het aantal punten is of en welk beheer is uitgevoerd van het bij onderdeel 5 genoemde systeem.PuntenWaaraan moet worden voldaan?0Er is geen beheer uitgevoerd. Er worden nul punten gegeven 1Het technisch beheer van het systeem wordt uitgevoerd. Er wordt 1 punt gegeven2Het technisch beheer van het systeem wordt uitgevoerd conform de ITIL systematiek. Er worden twee punten gegeven3Het applicatiebeheer van het systeem wordt uitgevoerd. Er worden drie punten gegeven.4Zowel het technisch (conform de ITIL methodiek) als het applicatiebeheer van het systeem wordt uitgevoerd. Er worden vier punten gegeven.5Zowel het technisch als het applicatiebeheer van het systeem wordt uitgevoerd conform de methodieken ITIL en ASL. Er worden vijf punten gegeven.8.(.....)Tabel 2: Beoordeling en punten" 
     
     1.4. Annex IV behorend bij de Selectieleidraad - betreffende de opgegeven referenties - vermeldt onder andere: 
     
     
       "Bij de vragen 7, 8 en 9 van het standaardformulier wordt de Gegadigde gevraagd een aantal onderdelen toe te lichten. De Gegadigden dienen bij het beantwoorden van de vragen gebruik te maken van de volgende definities: 
       ?	Ontwikkeling: de realisatie van een ICT-systeem in ruime zin, dat wil zeggen alle activiteiten benodigd om te komen tot een werkend en geaccepteerd ICT-product op basis van de functionele specificaties en kwaliteitseisen, inclusief organisatorische afstemmingen en aansluiting op cq. hergebruik van bestaande voorzieningen. 
       ?	Implementatie: de (volgordelijke) invoering van het  daadwerkelijke gebruik van systeemonderdelen door eindgebruikers, met inbegrip van de daartoe benodigde voorbereiding in organisatie, personeel, proces, techniek, gegevens, en dito nazorg. 
       ?	Beheer: applicatie en technisch beheer zoals bedoeld in ASL en ITIL op operationeel en tactisch niveau. De wijze waarop samenwerking met en overdacht van beheer aan referentieorganisatie heeft plaatsgehad graag expliciet omschrijven." 
     
     
     1.5. Op 10 februari 2010 heeft een inlichtingenbijeenkomst plaatsgevonden, waarbij Qurius aanwezig was. Naar aanleiding van die bijeenkomst, alsmede ter beantwoording van gestelde vragen van (kandidaat-)inschrijvers heeft de RvdR "Nota's van Inlichtingen" opgesteld. 
     
     1.6. Qurius heeft - tijdig - bij de RvdR een Verzoek tot deelneming ingediend. De daarbij gevoegde referenties betreffen door Qurius uitgevoerde projecten bij (i) BDO en (ii) FNV Bondgenoten. 
     
     1.7. Voor wat betreft BDO heeft Qurius - voor zover hier van belang - het bij Annex IV behorende standaard vragenformulier als volgt ingevuld: 
     
     
       " 
       
         
           Referentie 1 
           
             
           
           
       
         
           
             
           
           
       " 
     
     
     1.8. Voor wat betreft FNV Bondgenoten heeft Qurius - voor zover hier van belang - het bij Annex IV behorende standaard vragenformulier als volgt ingevuld: 
     
     
       " 
       
         
           Referentie 2 
           
             
           
           
     
     
     " 
     
     1.9. Op 1 april 2010 heeft de RvdR - onder meer - het volgende bericht aan Qurius: 
     
     "Helaas moet ik u mededelen dat u niet bent geselecteerd om een Inschrijving te doen in het kader van de aanbestedingsprocedure Vernieuwing Informatiesystemen Rechtspraak Organisaties, Bestuursrecht (VIRO2010). 
     
     (.....) 
     
     De beoordeling van de referenties aan de hand van de kwalitatieve selectiecriteria kwam uit op een totaalscore van 5.50 punten. Met dat aantal punten voldoet het Verzoek tot deelneming niet aan criterium 9 van de kwalitatieve selectiecriteria, waarin is aangegeven dat de totaalscore voor de twee referenties samen minstens 6 punten moet zijn. Uw Verzoek tot deelneming zal daarom dan ook niet worden gehonoreerd. 
     
     In onderstaande tabellen heb ik de punten van uw Verzoek tot deelneming afgezet tegen de punten van het Verzoek tot deelneming van de Gegadigde die als vijfde is geselecteerd ("Nr. 5"). De totaalscore van deze als vijfde geselecteerde Gegadigde is 7.80. In de kolom "Reden punten" is de reden van de afwijking van het maximale aantal punten gegeven. Wanneer deze afwijking beperkt was, is daar geen reden opgenomen. Let wel: in de tabellen zijn de punten weergegeven, niet de gewogen scores. 
     
     " 
     
     
       
         Punten referenties 
         
           
         
         
     
     " 
     
     
     2.	De vordering, de gronden daarvoor en het verweer 
     
     
       2.1. Qurius vordert, zakelijk weergegeven: 
       Primair: 
       I. de Staat te gebieden Qurius toe te laten tot de Fase Offerte van VIRO; 
       Subsidiair: 
       II. de Staat te gebieden om tot herbeoordeling van de referenties over te gaan met een objectieve toepassing van de selectiecriteria zoals opgenomen in de Selectieleidraad; 
       Meer subsidiair 
       III. de Staat te bevelen de aanbestedingsprocedure binnen twee dagen na de betekening van het te wijzen vonnis af te breken en de opdracht op een transparante wijze opnieuw aan te besteden, waarbij de niet-transparante en disproportionele eisen moeten worden geëcarteerd; 
       IV. Iedere voorziening te treffen die de voorzieningenrechter passend acht en die recht doet aan de belangen van Qurius; 
       Primair, subsidiair en meer subsidiair 
       V. de Staat te gebieden de aanbestedingsprocedure te schorsen en geschorst te houden totdat in het onderhavige kort-geding uitspraak is gedaan; 
       VI. de Staat de geboden en/of verboden op te leggen onder verbeurte van een dwangsom; 
       VII. de Staat te veroordelen in de proceskosten. 
     
     
     
       2.2. Naast de hiervoor vermelde feiten voert Qurius daartoe - samengevat - het volgende aan.  
       De RvdR heeft de twee referenties van Qurius niet correct beoordeeld, waardoor aan haar te weinig punten zijn toegekend. Wanneer de beoordeling op juiste wijze zou hebben plaatsgevonden, was Qurius boven de thans als nummer vijf geselecteerde gegadigde geëindigd, zodat zij had moeten worden toegelaten tot de offertefase van de aanbestedingsprocedure. Daar komt bij dat de Selectieleidraad voor wat betreft de beoordelingsmethodiek niet transparant was en dat de selectie niet overeenkomstig het beginsel van proportionaliteit heeft plaatsgevonden. Bovendien was de beoordeling niet objectief. 
     
     
     2.3. De Staat voert gemotiveerd verweer, dat hierna - voor zover nodig - zal worden besproken.  
     
     3. De beoordeling van het geschil 
     
     Inleiding: 
     
     3.1. Door middel van de onderhavige procedure wil Qurius in de eerste plaats bewerkstelligen dat zij alsnog wordt toegelaten tot de volgende fase - de "Offertefase" - in de aanbestedingsprocedure betreffende VIRO, dan wel dat zodanige voorzieningen worden getroffen dat alsnog mogelijkheden worden geboden om tot die fase door te dringen. Met betrekking tot de tot dusver gevoerde aanbestedingsprocedure hebben de klachten van Qurius ten opzichte van de RvdR betrekking op (i) de beoordeling van de kwalitatieve selectiecriteria, (ii) de transparantie van de aanbesteding, (iii) de disproportionaliteit van de procedure en (iv) de objectiviteit van de beoordeling. Deze zullen hierna worden beoordeeld. 
     
     
       3.2. Alvorens daartoe over te gaan stelt de voorzieningenrechter het volgende voorop. 
       Enige mate van subjectiviteit is inherent aan de beoordeling van kwalitatieve selectiecriteria, zoals hier aan de orde. Weliswaar staat dat (enigszins) op gespannen voet met de objectieve beoordelingssystematiek van het aanbestedingsrecht en de daarop toepasselijke beginselen van transparantie en gelijke behandeling, maar het behoeft - op zichzelf - nog niet mee te brengen dat daadwerkelijk sprake is van strijd met dat recht c.q. die beginselen. Van belang is (i) dat zodanige criteria worden geformuleerd dat het voor een kandidaat-inschrijver volstrekt duidelijk is aan welke kwaliteitseisen hij moet voldoen en (ii) dat de inschrijvingen aan de hand van een zo objectief mogelijk systeem worden beoordeeld. Voorts komt de rechter slechts een beperkte toetsingsvrijheid toe wanneer het aankomt op de beoordeling van kwaliteitscriteria als hier aan de orde; aan de aangewezen - deskundige - beoordelaars moet dienaangaande de nodige vrijheid worden gegund. Dat klemt hier temeer nu van de rechter niet kan worden verlangd dat hij/zij specifieke deskundigheid bezit op het gebied van, zoals hier, ICT. Slechts in geval van aperte - procedurele dan wel inhoudelijke - onjuistheden is plaats voor ingrijpen van de rechter. Het is bovendien niet aan de rechter om op grond van eigen onderzoek de verschillende scores van de gegadigden vast te stellen. 
     
     
     
     
     
     Beoordeling van de kwalitatieve selectiecriteria: 
     
     3.3. Volgens Qurius zijn aan haar - voor wat betreft beide referenties - te weinig punten toegekend ter zake van criteria 5, 6 en 7. De grootste discrepanties tussen de door de RvdR toegekende en door Qurius verlangde scores betreffen criteria 6 en 7 ten aanzien van referentie BDO. Dienaangaande bedroeg de score steeds 0, terwijl Qurius zich op het standpunt stelt dat haar scores van respectievelijk 5 en (minimaal) 4 punten toekomen. Om proceseconomische redenen zal de voorzieningenrechter allereerst dienaangaande haar oordeel vormen. 
     
     3.4. Criteria 6 en 7 zien op respectievelijk de implementatie en het beheer van een "werkend ICT-systeem" dat door de gegadigde is "ontwikkeld" en "opgeleverd". Blijkens de definities in Annex IV ziet ontwikkeling op alle benodigde activiteiten om tot een werkend en geaccepteerd ICT-product te komen en implementatie op de invoering van het daadwerkelijke gebruik van systeemonderdelen door eindgebruikers. Dat betekent dat sprake moet zijn van een volwaardig en volledig uitontwikkeld en in gebruik genomen ICT-systeem. Qurius heeft dat ook aldus moeten (kunnen) begrijpen. 
     
     3.5. Bij de beantwoording van vraag 8, die betrekking heeft op criterium 6 (implementatie), heeft Qurius aangegeven dat het betreffende systeem (bij BDO) als "pilot" wordt gebruikt in meerdere landen bij verschillende dochterondernemingen, terwijl zij als antwoord op vraag 9, die betrekking heeft op criterium 7 (beheer), heeft aangegeven dat ter ondersteuning van de "huidige pilot" een tijdelijke beheerovereenkomst is afgesloten en dat beoogd wordt die - na afronding van een nieuwe release - om te zetten in een definitieve beheerovereenkomst. 
     
     3.6. De RvdR (lees: het inkoopteam) heeft voor wat betreft criteria 6 en 7 inzake BDO telkens 0 punten toegekend, omdat sprake is van een pilot, hetgeen - volgens hem - niet kan worden gezien als een volledig geïmplementeerd systeem. Tijdens de mondelinge behandeling heeft de RvdR de rechtmatigheid van die scores nader toegelicht - onder meer - door te stellen dat uit het antwoord van Qurius op vraag 6 niet volgt dat een technische implementatie in de "OTAP-omgeving" ("Ontwikkelen, Testen, Accepteren en Produceren") heeft plaatsgevonden. De omstandigheid dat het een pilot betrof,  onderschrijft - volgens de RvdR - dat daarvan geen sprake was.. 
     
     3.7. Wanneer in het kader van de implementatie van een ICT-systeem wordt gesproken van een pilot moet in het algemeen worden aangenomen dat de implementatie zich bevindt in het (laatste) stadium van het uittesten van het systeem, waarbij er rekening mee wordt gehouden dat zich nog allerlei problemen zullen/kunnen voordoen. Eerst wanneer dat stadium succesvol is gepasseerd kan - in beginsel - worden gesproken van een volwaardig en volledig uitontwikkeld en in gebruik genomen ICT-systeem, zoals hiervoor onder 3.4. bedoeld. Uit de beantwoording van de vragen 8 en 9 valt echter geenszins af te leiden dat zulks bij BDO het geval was. Anders dan Qurius stelt, behoefde van de RvdR niet te worden verwacht dat bij de beoordeling van criteria 6 en 7 ook het antwoord op vraag 10 zou worden betrokken. In dat verband worden immers enkel aan de orde gesteld de vragen of sprake was van een inspannings- of een resultaatsverplichting en of het project binnen de overeengekomen tijd, financiële middelen en kwaliteit is afgerond en dus niet (ook) de implementatie en het beheer van het systeem. Overigens laat het antwoord van Qurius op die vraag - in samenhang met de antwoorden op de vragen 8 en 9 - de nodige ruimte voor twijfel of volledig was voldaan aan de gestelde voorwaarden. Het beroep van Qurius op de "Nota van Inlichtingen IV", nummer 19, wordt ook verworpen. In geval van een pilot zijn - normaal gesproken -  de facetten "verbeteren, afsluiten en evalueren", nog niet (volledig) aan de orde geweest, hetgeen - zo volgt uit de Nota - wel het geval moet zijn voordat kan worden gesproken van implementatie. 
     
     3.8. Op grond van het vorenstaande heeft de RvdR- mede waar hij enkel mag afgaan op de door Qurius gegeven antwoorden - in redelijkheid tot de hier in geschil zijnde scores kunnen komen. Na erkenning door Qurius staat vast dat wanneer in die scores geen wijziging komt c.q. kan komen, Qurius niet meer boven de thans als nummer vijf geselecteerde gegadigde kan uitkomen. Dit brengt mee dat de overige door Qurius aangevallen scores - wegens gebrek aan belang - verder buiten beschouwing kunnen blijven. Aanpassing van die scores kan immers niet leiden tot het door haar (primair) beoogde doel. 
     
     Transparantie en proportionaliteit 
     
     3.9. Volgens Qurius zijn in de tot dusver gevolgde aanbestedingsprocedure de beginselen van transparantie en proportionaliteit geschonden. De argumenten die zij daarvoor ten aanzien van beide beginselen aanvoert zijn grotendeels identiek. Bovendien vloeien die argumenten voor het merendeel voort uit de bezwaren die door haar zijn aangevoerd in het kader van de (in haar ogen onjuiste) beoordeling door het inkoopteam van de kwalitatieve selectiecriteria, en wel met name andere criteria dan criteria 6 en 7 ter zake van BDO. Voor zover Qurius daarmee tracht te bereiken dat zij voor wat betreft die - andere - criteria hogere scores behaalt, c.q. kan behalen, ontbreekt het vereiste belang zoals uit r.o. 3.8. blijkt. 
     
     3.10. Kort gezegd komen de bezwaren van Qurius in dit verband erop neer dat de beoordelaars de selectiecriteria verschillend hebben geïnterpreteerd en (dus) verschillend of onjuist hebben toegepast. Daarbij baseert zij zich vooral op veronderstellingen, die door de RvdR gemotiveerd en op overtuigende wijze zijn weerlegd. Aangenomen moet zelfs worden dat een aantal ervan - zoals het aantal leden van het inkoopteam en de door de verschillende beoordelaars toegekende scores - zelfs apert onjuist zijn, nu Qurius de stellingen van de RvdR dienaangaande niet heeft weersproken. Daarnaast is van belang dat de kwalitatieve selectiecriteria naar het oordeel van de voorzieningenrechter voldoende duidelijk en concreet zijn beschreven in de Selectieleidraad, hetgeen ook geldt voor de samenstelling van het inkoopteam en de door dat team te hanteren beoordelingsmethode, die - op zichzelf - als voldoende objectief kan worden aangemerkt. Aangenomen moet worden dat een en ander niet tot onduidelijkheid c.q. onzekerheid leidde bij Qurius. Te minder nu Qurius geen gebruik heeft gemaakt van de mogelijkheid om in dit verband vragen te stellen aan de RvdR. Overigens lopen de scores van de verschillende beoordelaars niet ver uiteen, hetgeen een contra-indicatie vormt voor de stelling van Qurius dat de beoordelaars bepaalde selectiecriteria verschillend hebben uitgelegd en toegepast. Bovendien: dat er een verschil tussen de door de individuele beoordelaars toegekende scores kan zitten volgt uit het beoordelingssysteem, waarbij de score wordt bepaald door het gemiddelde van de door de individuele beoordelaars toegekende scores. 
     
     3.11. Op grond van het vorenstaande is niet aannemelijk geworden dat de beginselen van transparantie en/of proportionaliteit zijn geschonden. 
     
     Objectiviteit 
     
     3.12. Tot slot stelt Qurius dat de beoordeling van haar referenties niet objectief heeft plaatsgevonden. Daartoe voerde zij - in haar pleitnotities - aan dat is gehandeld in strijd met het bepaalde onder 4.2. van de Selectieleidraad, omdat de kwalitatieve selectiecriteria waarbij de beoordeling op punten plaatsvindt door alle leden van het inkoopteam zijn gescoord en niet alleen door de leden met deskundigheid op het betreffende vakgebied. Nadat de RvdR dat gemotiveerd had weersproken, heeft Qurius - in tweede termijn bij de mondelinge behandeling - twijfels geuit over de deskundigheid van de betreffende beoordelaars, hetgeen de RvdR ook gemotiveerd heeft weersproken. 
     
     3.13. Voor zover Qurius haar eerste stelling - dat alle leden punten hebben toegekend - heeft willen handhaven, wordt daaraan voorbijgegaan wegens onvoldoende onderbouwing, na de gemotiveerde bestrijding door de RvdR. Bovendien volgt - anders dan Qurius stelt - uit de afwijzingsbrief van 1 april 2010 niet dat in strijd met het bepaalde in artikel 4.2. van de Selectieleidraad is gehandeld. 
     
     3.14. Aan de tweede stelling komt de voorzieningenrechter reeds niet toe omdat deze te laat is geponeerd. Door daarmee eerst in de tweede termijn van de mondelinge behandeling te komen - waardoor de RvdR redelijkerwijs de mogelijkheid wordt onthouden om zich behoorlijk te verweren - handelt Qurius in strijd met de eisen van een goede procesorde. Dat door de RvdR gevoerde verweer treft dus doel. Overigens zou ook de juistheid van die stelling niet aannemelijk zijn geworden, na het gemotiveerde verweer van de RvdR. 
     
     Afronding 
     
     3.15. De slotsom van al het bovenstaande luidt dat de vorderingen van Qurius zullen worden afgewezen. 
     
     3.16. Qurius zal - als de in het ongelijk gestelde partij - uitvoerbaar bij voorraad worden veroordeeld in de proceskosten, te vermeerderen met de gevorderde wettelijke rente zoals in het dictum aangegeven. 
     
     
     4. De beslissing 
     
     De voorzieningenrechter: 
     
     - wijst het gevorderde af; 
     
     - veroordeelt Qurius om binnen 14 dagen na de betekening van dit vonnis de kosten van dit geding, tot op dit vonnis aan de zijde van de Staat begroot op € 1.079,--, waarvan € 816,-- aan salaris advocaat en € 263,-- aan griffierecht aan de Staat te betalen; 
     
     - bepaalt dat Qurius bij gebreke van tijdige betaling de wettelijke rente over de proceskosten is verschuldigd; 
     
     - verklaart dit vonnis voor wat betreft de proceskostenveroordeling uitvoerbaar bij voorraad. 
     
     Dit vonnis is gewezen door mr. M.Th. Nijhuis en in het openbaar uitgesproken op 1 juni 2010.  
     
     jvl