ECLI: ECLI:NL:RBROT:2011:BR2793

Titel: ECLI:NL:RBROT:2011:BR2793 Rechtbank Rotterdam , 07-06-2011 / 375160 / KG ZA 11-252

Gerecht: Rechtbank Rotterdam

Datum uitspraak: 2011-06-07

Zaaknummer: 375160 / KG ZA 11-252

Proceduretype: Kort geding

Onderwerp: Civiel recht

Rechtsmacht: NL

Taal: nl

Uitspraaktype: Uitspraak

URL: https://data.rechtspraak.nl/uitspraken/content?id=ECLI:NL:RBROT:2011:BR2793

---

aanbesteding; gunningscriteria en beoordelingssystematiek aanbestedingsprocedure voldoende objectief en transparant.

vonnis 
       RECHTBANK ROTTERDAM 
     
     
     Sector civiel recht 
     
     
     zaaknummer / rolnummer: 375160 / KG ZA 11-252 
     
     Vonnis in kort geding van 7 juni 2011 
     
     in de zaak van 
     
     
       1.	de besloten vennootschap met beperkte aansprakelijkheid 
       VAN DIJK EDUCATIE B.V., 
       gevestigd te Kampen, 
       2.	de besloten vennootschap met beperkte aansprakelijkheid 
       THIEMEMEULENHOF B.V., 
       gevestigd te Amersfoort, 
       eiseressen, 
       advocaat mr. J.F. van Nouhuys, 
     
     
     tegen 
     
     
       de stichting 
       STICHTING LANDSTEDE, 
       gevestigd te Zwolle, 
       gedaagde, 
       advocaat mr. S.C. Brackmann, 
     
     
     en 
     
     
       de besloten vennootschap met besloten aansprakelijkheid 
       NOORDHOFF UITGEVERS B.V., 
       gevestigd te Groningen, 
       tussengekomen partij, 
       advocaten mrs. D.C. Orobio de Castro en mr. D.R. Versteeg, 
     
     
     en 
     
     
       de besloten vennootschap met besloten aansprakelijkheid 
       LCG MALMBERG B.V., 
       gevestigd te ‘s-Hertogenbosch, 
       tussengekomen partij, 
       advocaat prof. mr. E. Steyger. 
     
     
     
     Eiseressen zullen hierna De Combinatie genoemd worden. De andere partijen zullen hierna worden aangeduid als Landstede, Noordhoff en Malmberg. 
       
     
       1.	De procedure 
       1.1.	Het verloop van de procedure blijkt uit: 
       -	de dagvaarding d.d. 18 maart 2011; 
       -	de akte houdende producties behorende bij de dagvaarding; 
       -	de mondelinge behandeling d.d. 23 mei 2011; 
       -	de pleitnota van mr. Van Nouhuys; 
       -	de pleitnota van mr. Brackmann; 
       -	de brieven d.d. 16, 17 en 19 mei 2011 van mr. Brackmann met producties; 
       -	de incidentele conclusie tot tussenkomst, althans voeging, tevens houdende eis in kort 
         geding alsmede akte indiening producties zijdens Noordhoff; 
       -	de pleitnota van mrs. Orobio de Castro en Versteeg; 
       -	de incidentele conclusie, inhoudende een vordering tot tussenkomst/voeging; 
       -	de pleitnota van mr. Steyger. 
     
     
     
       1.2.	De raadslieden van partijen hebben de respectieve standpunten toegelicht ter zitting van 23 mei 2011. 
       Noordhoff en Malmberg hebben primair verzocht te mogen tussenkomen in dit geding. Ter zitting hebben De Combinatie en Landstede verklaard daar geen bezwaar tegen te hebben. De voorzieningenrechter heeft daarop de tussenkomst toegestaan. 
     
     
     1.3.	Ten slotte is vonnis bepaald. 
     
     
     
       2.	De feiten 
       2.1.	Landstede biedt diensten aan op het gebied van beroepsopleidingen, voortgezet onderwijs en opleidingen voor volwassenen. 
     
     
     2.2.	In december 2010 heeft Landstede voor haar voortgezet onderwijs een “Offerteaanvraag openbare procedure advisering inzet leermiddelen en levering leermiddelen” (hierna: de aanvraag) gedaan, onderscheiden in 2 percelen. Landstede wordt bij de aanvraag ondersteund door IXion Advies en Aanbesteden (hierna: IXion). Op de aanbesteding is het “Besluit aanbestedingen overheidsopdrachten” (hierna: Bao) van toepassing.  De percelen worden separaat gegund aan de inschrijver die de economisch meest voordelige offerte offreert. Landstede zal met de winnaars van de afzonderlijke percelen een overeenkomst sluiten voor een periode van 4 jaar, met de mogelijkheid tot verlenging. 
     
     
       2.3.	Perceel 1 betreft het zogenaamde “abonnementsmodel”, waarin de leverancier van de schoolboeken tevens een ondersteunende taak heeft ten aanzien van de keuze en inzet van leermiddelen. Dit is geheel nieuw in de schoolboekenbranche. Voorheen waren aanbestedingen voor leermiddelen alleen gericht op de levering van de leermiddelen. 
       De kwaliteit van toetsen, het doel van toetsen, de inzet van leermiddelen en het inrichten van een elektronische leeromgeving zijn onderdeel van de kwaliteitszorg van een vakgroep. Volgens Landstede worden ICT en internet steeds belangrijker in de ondersteuning van het leerproces. Landstede hecht belang aan samenwerking en uitwisseling op vakgroepniveau. 
       Landstede vindt het noodzakelijk dat op al haar voortgezet onderwijs scholen met eenzelfde methode per vak wordt gewerkt. 
       Om voornoemde ambitie te bereiken zet Landstede bij de Europese aanbesteding voor 2011 in op duurzame samenwerking met één of meerdere leveranciers. 
     
     
     2.4.	Relevant zijn de volgende passages in de aanvraag. 
     
     2.4.1.	In de begrippenlijst van de aanvraag staat onder meer het volgende: 
     
     
       “Eenheid 
       Al het materiaal behorende bij een lesmethode voor een leerling in een bepaalde klas binnen het voortgezet onderwijs (klas 1 tot en met 6 van VWO, HAVO en VMBO), dat het verplichte lesprogramma volledig dekt, zoals de uitgever deze aan de commerciële markt aanbiedt inclusief alle toebehoren en opties. Dit zal, naast alle beschikbare docentenmateriaal voor de docent van deze leerling, bestaan uit een combinatie van een of meer van de volgende onderdelen: een leerboek, folio en digitaal, werkboek(en), folio en digitaal, (digitale) hulpmiddelen die bij de lesmethode horen, en een digitale licentie;” 
     
     
     
       “Leermiddelen 
       Leerboeken, werkboeken, project- en tabellenboeken, examentrainingen/bundels en bijbehorende cd’s en/of dvd’s, digitale leermiddelen, atlassen, woordenboeken, rekenmachines en andere benodigdheden die leerlingen of docenten gebruiken ter ondersteuning van het onderwijs en waarvan opdrachtgever verlangt dat ze door leerlingen en/of docenten gebruikt worden. 
       Uitgezonderd zijn leermiddelen die nog niet voor het eerst op de commerciële markt zijn verschenen;” 
     
     
     2.4.2.	Paragraaf 1.2. van de aanvraag luidt - voor zover van belang - : 
     
     
       “Omvang van de aanbesteding 
       De aanbesteding wordt onderscheiden in 2 percelen. 
       Het eerste perceel betreft de aanbesteding van een abonnementsmodel. In dit model stelt opdrachtnemer het gebruiksrecht ter beschikking aan opdrachtgever van verplicht gesteld lesmateriaal in het Voortgezet Onderwijk (voor verdere informatie betreffende dit abonnementsmodel wordt verwezen naar hoofdstuk 2). Dit eerste perceel omvat ongeveer 60-80% van de omvang van de opdracht. Opdrachtgever streeft ernaar zoveel mogelijk eenheden binnen dit perceel bij inschrijver te plaatsen, maar houdt zich het recht voor, om haar moverende redenen, eenheden niet bij inschrijver te plaatsen, maar een methode bij de opdrachtnemer van een ander perceel te bestellen. 
       Perceel 2 betreft de levering van verplicht gesteld lesmateriaal in het Voortgezet Onderwijs. Dit zijn met name leermiddelen waarvoor de opdrachtgever uit perceel 1 niet kan voldoen aan de gestelde eisen voor leermiddelen behorend tot een eenheid en de vervanging en of aanvulling van leermiddelen die in gebruik zijn en niet behoren tot een eenheid. Het betreft ongeveer 40-20% van het aantal te bestellen leermiddelen. 
       (…)” 
     
     
     2.4.3.	Paragraaf 2.2. van de aanvraag luidt - voor zover van belang - :  
     
     
       “Opdracht onderscheiden naar percelen 
       (…) 
       Perceel 1 abonnementsmodel 
       Bij perceel 1 wordt onderscheid gemaakt in 6 categorieën: 
       (…) 
       De verschillende vakken die binnen Landstede worden aangeboden, worden toegerekend naar een van deze 6 categorieën. Deze vakken kunnen op hun beurt weer worden onderscheiden in maximaal 6 leerjaren. 
       Opdrachtgever zal in het abonnementsmodel gefaseerd invoeren, waarbij zij het volgende model voor ogen heeft: 
       (…) 
       Opdrachtnemer moet in staat zijn om minimaal 60% van het totaal aantal eenheden, vermeld in onderstaande categorieën te leveren. 
     
     
     In onderstaand overzicht wordt het huidige aantal eenheden per leerjaar en vak, onderscheiden naar de 6 categorie weergegeven. Dit aantal kan ieder jaar wijzigen. 
     
     
       Categorie 1 “Exact tweede fase” 
       (…) 
       Eindtotaal			4871 
       Categorie 2 “Exact overig” 
       (…) 
       Eindtotaal			14813 
       Categorie 3 “Mens en Maatschappij tweede fase” 
       (…) 
       Eindtotaal			5592 
       Categorie 4 “Mens en Maatschappij overig” 
       (…) 
       Eindtotaal			10980 
       Categorie 5 “Talen tweede fase” 
       (…) 
       Eindtotaal			5580 
       Categorie 6 “Talen overig” 
       Eindtotaal			17442 
     
     
     Het abonnementsmodel wordt onderscheiden in het recht op gebruik van het leermiddel en daarnaast de ondersteuning die inschrijver aan opdrachtgever biedt bij de implementatie en gebruik van het leermiddel. 
     
     
       -	Gebruikersrecht 
         Inschrijver biedt opdrachtgever een lesmethode aan inclusief alle lesmateriaal die van doen heeft 
         met de betreffende lesmethode. Hierbij kan men denken aan leerboeken van de betreffende methode, 
         werkboeken, digitaal lesmateriaal en alle overige lesmateriaal die bij de betreffende methode hoort. 
         Tevens dient inschrijver toetsmateriaal aan te bieden om beoordeling van onderwijs mogelijk te 
         maken zoals wettelijk vastgesteld. Zodra de betreffende lesmethode wordt opgevolgd door een 
         recentere lesmethode, kan opdrachtgever de in gebruik zijnde lesmethode laten vervangen door de 
         recente lesmethode. Voorwaarde is dat de nieuwe lesmethode is aangeboden aan de commerciële 
         markt. Indien opdrachtnemer lesmethoden die vervangen worden retour wenst te ontvangen, zal 
         opdrachtgever zorg dragen voor inzameling van deze leermiddelen en deze per locatie aan 
         inschrijver aanbieden. Transport van leermiddelen is voor rekening en risico van inschrijver. 
       -	Ondersteuning 
         Inschrijver biedt opdrachtgever ondersteuning bij de keuze en inzet van leermiddelen. In onderling 
         overleg wordt een keuze gemaakt voor de verschillende leermiddelen. Vervolgens biedt inschrijver 
         ondersteuning bij de implementatie van de betreffende leermiddelen in het onderwijs. Ook tijdens 
         het gebruik van de leermiddelen is er overleg tussen vaksecties en inschrijver over de inzet van de 
         leermiddelen en waar mogelijk aanpassingen. Verder stelt opdrachtgever toetsmateriaal 
         beschikbaar en werken opdrachtgever en inschrijver samen in de verdere ontwikkeling van het 
         toetsmateriaal. Gedurende de looptijd van de overeenkomst zal opdrachtgever uiterlijk op 1 juni 
         aangeven welke eenheden in welk aantal op welke school voor het volgende schooljaar nodig zijn. 
         In de eerste week van de zomervakantie heeft opdrachtgever de mogelijkheid deze bestelling aan te 
         vullen. Opdrachtnemer levert de betreffende leermiddelen uiterlijk in de week voorafgaande aan het 
         nieuwe schooljaar. Opdrachtnemer kan de betreffende leermiddelen ook voor de zomervakantie 
         leveren, mits de eenheden zes weken voor leverdatum zijn doorgegeven. Levering vindt plaats op de 
         locatie van opdrachtgever die de leermiddelen heeft besteld. Gedurende het schooljaar kan 
         opdrachtgever ook nabestellingen plaatsen bij opdrachtnemer. Deze nabestellingen worden uiterlijk 
         10 werkdagen na moment van bestelling geleverd. Levering vindt plaats op de locatie van 
         opdrachtgever die de leermiddelen heeft besteld. 
     
     
     
       Perceel 2 levering leermiddelen 
       Leermiddelen die niet door de opdrachtnemer in perceel 1 geleverd kunnen worden (prognose 40-20% te bestellen leermiddelen) en leermiddelen die (nog) niet zijn opgenomen in het abonnementsmodel, maar toch gekocht moeten worden als gevolg van beschadiging of verlies, worden geleverd door de opdrachtnemer van perceel 2. Dit betekent dat opdrachtgever aan inschrijvers voor perceel 2 geen enkele garantie kan afgeven over de omvang van te bestellen leermiddelen. 
       Leermiddelen betreffen verplicht gesteld lesmateriaal voor het voortgezet onderwijs. 
       Gedurende de looptijd van de overeenkomst zal opdrachtgever uiterlijk op 1 juni een bestelling plaatsen voor leermiddelen. In de eerste week van de zomervakantie heeft opdrachtgever de mogelijkheid deze bestelling aan te vullen. Opdrachtnemer levert bestelde leermiddelen uiterlijk in de week voorafgaande aan het nieuwe schooljaar. Opdrachtnemer kan de bestelde leermiddelen ook voor de zomervakantie leveren, indien de leermiddelen zes weken voor leverdatum zijn besteld. Levering vindt plaats op de locatie van opdrachtgever die de leermiddelen heeft besteld. Gedurende het schooljaar kan opdrachtgever ook nabestellingen plaatsen bij opdrachtnemer. Deze nabestellingen worden uiterlijk 10 werkdagen na moment van bestelling geleverd. Levering vindt plaats op de locatie van opdrachtgever die de leermiddelen heeft besteld.” 
     
     
     2.4.4.	Paragraaf 4.2. van de aanvraag luidt - voor zover van belang - :  
     
     
       “-	beoordeling antwoorden op relatieve vragen 
       Bij deze beoordeling wordt het antwoord van de verschillende inschrijvers met elkaar vergeleken, waarna een beoordeling plaats vindt. 
     
     
     
       -		Individuele beoordeling 
       Nadat de beoordelaar het antwoord op een relatieve vraag van alle inschrijvers heeft bestudeerd geeft hij elke inschrijver een rapportcijfer. De beoordelaar kan kiezen uit de volgende scores en waarderingen: 
     
     
     
       Rapport cijfer 10	Het antwoord wordt als uitstekend beoordeeld 
       Rapport cijfer 8	Het antwoord wordt als goed beoordeeld 
       Rapport cijfer 6	Het antwoord wordt als matig beoordeeld 
       Rapport cijfer 4	Het antwoord wordt als slecht beoordeeld 
       Rapport cijfer 2	Het antwoord wordt als zeer slecht beoordeeld 
       Rapport cijfer 0	Er wordt geen antwoord gegeven 
       Het is mogelijk dan een beoordelaar een of meerdere inschrijvers een gelijk rapportcijfer geeft. 
     
     
     
       -		Collegiale beoordeling 
       Vervolgens vindt overleg plaats tussen de beoordelaars, waarbij argumenten tussen beoordelaars worden uitgewisseld. Hierna stelt elke beoordelaar zijn rapportcijfers definitief vast en wordt het gemiddelde rapportcijfer vastgesteld. Tenslotte wordt voor elke inschrijver het gemiddelde rapportcijfer gedeeld door het totaal van de maximaal mogelijke rapportcijfers, in casu 70 (7 beoordelaars kunnen maximaal een rapportcijfer 10 geven). Dit resultaat wordt vermenigvuldigd met de maximale score voor de betreffende vraag. 
       (…) 
       -		beoordeling presentaties 
       Inschrijvers wordt gevraagd voor perceel 1 een presentatie te verzorgen. Voor de 3 gevraagde onderdelen van de presentatie kan inschrijver punten scoren. Waardering door beoordelaars vindt op gelijke wijze plaats zoals bovenstaand aangegeven bij de relatieve beoordeling van vragen. Indien inschrijver na de schriftelijke beoordeling, een totaalscore heeft gerealiseerd die meer dan 300 punten lager ligt dan de score van de hoogste score op dat moment, wordt deze inschrijver niet uitgenodigd voor het verzorgen van een presentatie, aangezien deze inschrijver de aanbesteding ook met een maximale score voor de presentatie niet meer kan winnen” 
     
     
     2.4.5.	Paragraaf 6.2. van de aanvraag luidt ten aanzien van perceel 1 - voor zover van belang - : 
     
     “Kwaliteit: kenmerken van de leermiddelen, advisering en samenwerking 
     
     
       Vraag 1. 
       relatieve beoordeling	Gedurende de looptijd van de overeenkomst zullen alle lesmethoden eenmaal worden vervangen door eenheden. Zodra opdrachtgever aangeeft dat een methode wordt vervangen, dient inschrijver de opdrachtgever te informeren over de inhoud van de (nieuwe) voorgestelde eenheid. Hierbij hecht inschrijver grote waarde aan inhoudelijke informatie over doel en opzet van de materialen, informatie die de vaksecties persoonlijk wordt aangeboden, met een concreet implementatieplan dat voorziet in een zo optimaal mogelijke introductie van de lesmethode in het onderwijs. Inschrijver dient een toelichting te geven op welke wijze zij in de wensen van opdrachtgever voorziet.	Toelichting 
       Maximaal 2 
       A4 
       Score 
       vraag 1 
       max. 50 
       punten	Waardering van deze vraag betreft een relatieve beoordeling. Bij de beoordeling is het aantal ideeën in samenhang met de kwaliteit van de ideeën van belang. Voor de wijze van beoordeling wordt inschrijver verwezen naar hoofdstuk 4.2. Inhoudelijke beoordeling. 
       (…)	(…)	(…) 
       Vraag 4. 
       relatieve beoordeling	Opdrachtgever is voornemens een toetsendatabank te ontwikkelen met partijen. Inschrijver die opdrachtgever bij te leveren leermiddelen tevens het bijbehorende toetscontent aanbiedt en de relatie tussen deze content en de leermiddelen inzichtelijk maakt voor vakdocenten heeft de voorkeur van opdrachtgever. Inschrijver dient een toelichting te geven op welke wijze zij in de wensen van opdrachtgever voorziet.	Toelichting 
       Maximaal 1 
       A4 
       Score 
       vraag 1 
       max. 50 
       punten	Waardering van deze vraag betreft een relatieve beoordeling. Bij de beoordeling is het aantal ideeën in samenhang met de kwaliteit van de ideeën van belang. Voor de wijze van beoordeling wordt inschrijver verwezen naar hoofdstuk 4.2. Inhoudelijke beoordeling. 
       Vraag 5. 
       relatieve beoordeling	Opdrachtgever wenst een inschrijver te contracteren die opdrachtgever ondersteunt bij de verdere ontwikkeling van de toetsendatabank. Inschrijver die een concreet ontwikkelingsplan biedt, dat niet allen gericht op de vakdocent maar ook op de leerling heeft de voorkeur van opdrachtgever. Inschrijver dient een toelichting te geven op welke wijze zij in de wensen van opdrachtgever voorziet.	Toelichting 
       Maximaal 2 
       A4 
       Score 
       vraag 5 
       max. 50 
       punten	Waardering van deze vraag betreft een relatieve beoordeling. Bij de beoordeling is het aantal ideeën in samenhang met de kwaliteit van de ideeën van belang. Voor de wijze van beoordeling wordt inschrijver verwezen naar hoofdstuk 4.2. Inhoudelijke beoordeling. 
       Vraag 6. 
       absolute beoordeling	Leermiddelen die inschrijver aanbiedt dienen aan een aantal criteria te voldoen. Inschrijver dient voor elk van de onderstaande criteria aan te geven of de in te zetten leermiddelen hieraan voldoen. Indien inschrijver het betreffende criterium met ja beantwoordt, dient inschrijver per criterium deze bevestiging te motiveren door middel van maximaal een half A4 toelichting per criterium. 
       -	leermiddelen die maatwerk mogelijk maken; 
       -	leermiddelen die leerlingen motiveren; 
       -	leermiddelen die variatie bevatten; 
       -	leermiddelen die zelfstandig leren en werken 
         bevorderen; 
       -	leermiddelen die samenwerkend leren bevorderen; 
       -	leermiddelen die aansluiten bij de actualiteit; 
       -	leermiddelen die aansluiten bij kerndoelen en 
         eindtermen.	 
     
     
     
     
     
     
     
     
       Ja / Nee 
       Ja / Nee 
       Ja / Nee 
       Ja / Nee 
       Ja / Nee 
       Ja / Nee 
       Ja / Nee 
       Ja / Nee 
       Score 
       vraag 6. 
       max. 100 
       punten	Inschrijver die alle criteria met ja beantwoordt en deze ook voldoende motiveert scoort 150 punten. Voor elk criterium dat inschrijver met nee beantwoordt en of onvoldoende onderbouwt worden 30 punten in mindering gebracht. Indien inschrijver meer dan twee criteria met nee beantwoordt dan wel onvoldoende onderbouwt scoort inschrijver 0 punten. 
       Vraag 7. 
       relatieve beoordeling	Opdrachtgever heeft in paragraaf 2.1. haar visie gegeven over de wijze waarop opdrachtgever wenst om te gaan met leermiddelen. Indien inschrijver diensten aanbiedt die opdrachtgever nog niet heeft gevraagd in haar offerteaanvraag, maar naar de mening van inschrijver de visie van opdrachtgever ondersteunen, kan inschrijver deze hier offreren. Ideeën dienen naar de mening van opdrachtgever de visie van opdrachtgever te ondersteunen en mogen niet op een andere plaats in de offerteaanvraag gevraagd zijn. Inschrijver mag een toelichting te geven op welke wijze zij in de wensen van opdrachtgever voorziet.	Toelichting 
       Maximaal 2 
       A4 
       Score 
       vraag 7. 
       max. 50 
       punten	Waardering van deze vraag betreft een relatieve beoordeling. Bij de beoordeling is het aantal ideeën in samenhang met de kwaliteit van de ideeën van belang. Voor de wijze van beoordeling wordt inschrijver verwezen naar hoofdstuk 4.2. Inhoudelijke beoordeling. 
     
     
     2.4.6.	Paragraaf 6.5. van de aanvraag luidt ten aanzien van perceel 1: 
     
     “Presentatie 
     
     Inschrijvers die na beoordeling van de offerten (schriftelijk deel) met een maximale score voor de presentatie, de gunning voor perceel 1 kunnen winnen, worden uitgenodigd voor het verzorgen van een presentatie. Tijdens de presentaties dient inschrijver 3 vragen te beantwoorden. Voor deze antwoorden kan inschrijver dan ook punten scoren. 
     
     
       Vraag 1. 
       Relatieve beoordeling	Opdrachtgever wenst een inschrijver te contracteren die digitale middelen aanbiedt, die digitaal en interactief werken met directe feedback naar de leerling. Inschrijver dient toe te lichten hoe inschrijver hierin voorziet aan de hand van een presentatie.	(…) 
       Score 
       vraag 1. 
       max. 100 
       punten	Waardering van deze vraag betreft een relatieve beoordeling. Bij de beoordeling is het aantal ideeën in samenhang met de kwaliteit van de ideeën van belang. Voor de wijze van beoordeling wordt inschrijver verwezen naar hoofdstuk 4.2. Inhoudelijke beoordeling. 
       Vraag 2. 
       Relatieve 
       Beoordeling	Opdrachtgever wenst leermiddelen waarbij eenheid in middelen (massa) en variatie in het gebruik (maatwerk) ontstaat binnen opdrachtgever. Hier gaat het opdrachtgever met name om de digitale mogelijkheden die inschrijver bij de methode aanbiedt om flexibel en op maat de leerstof aan te vullen en aan te bieden aan de leerling. Inschrijver dient toe te lichten hoe inschrijver hierin voorziet aan de hand van een presentatie.	(…) 
       Score 
       vraag 2. 
       max. 100 
       punten	Waardering van deze vraag betreft een relatieve beoordeling. Bij de beoordeling is het aantal ideeën in samenhang met de kwaliteit van de ideeën van belang. Voor de wijze van beoordeling wordt inschrijver verwezen naar hoofdstuk 4.2. Inhoudelijke beoordeling. 
       Vraag 3. 
       Relatieve 
       Beoordeling	Inschrijver dient aan de hand van een presentatie toe te lichten op welke wijze inschrijver in staat en bereid is, om op aangeven van vakdocenten van opdrachtgever de inrichting van de elektronische leeromgeving bij de methode af te stemmen op de wensen van opdrachtgever.	(…) 
       Score 
       vraag 2. 
       max. 100 
       punten	Waardering van deze vraag betreft een relatieve beoordeling. Bij de beoordeling is het aantal ideeën in samenhang met de kwaliteit van de ideeën van belang. Voor de wijze van beoordeling wordt inschrijver verwezen naar hoofdstuk 4.2. Inhoudelijke beoordeling. 
     
     
     
     2.4.7.	Paragraaf 6.7. van de aanvraag luidt - voor zover van belang - :  
     
     
       “Voor het offreren van de prijs zijn voor inschrijver een aantal uitgangspunten van evident belang: 
       (…) 
       8. Opdrachtgever streeft ernaar zoveel mogelijk eenheden bij inschrijver te plaatsen, maar houdt zich het recht voor om, om haar moverende redenen, eenheden niet bij inschrijver te plaatsen. Dit zal met name het geval zijn indien inschrijver voor de betreffende eenheid geen leermiddelen kan leveren die voldoen aan de wensen van vraag 6 betreffende Kwaliteit. In dat geval zullen de leermiddelen voor de betreffende eenheid bij de winnaar van perceel 2 worden ingekocht. 
     
     
     9. Inschrijver dient voor elke van de 6 categorieën een afzonderlijke eenheidsprijs te vermelden waarvoor inschrijver de eenheid voor de betreffende categorie zal leveren. Uitgangspunt hierbij is het streven van opdrachtgever om minimaal 60% van de beschikbare eenheden bij inschrijver te bestellen. 
     
     10. Tevens kan inschrijver een kortingspercentage vermelden waarmee de eenheidsprijs van de afzonderlijke categorieën wordt verminderd indien inschrijver 80% van de beschikbare eenheden levert. Dit kortingspercentage dient voor alle categorieën gelijk te zijn. Indien inschrijver een kortingspercentage afgeeft, dient inschrijver de bijlage bij vraag 2 1. Logistiek tot 80% aan te vullen. Indien inschrijver hieraan niet voldoet zal opdrachtgever het kortingspercentage buiten beschouwing laten. 
     
     11. Jaarlijks wordt vastgesteld of opdrachtnemer minimaal 80% van de beschikbare eenheden heeft geleverd waardoor het geoffreerde kortingspercentage wel of niet van toepassing is op de eenheidsprijs.” 
     
     2.4.8.	Vraag 7 van de tabel “Invullen eenheidsprijzen” luidt: 
     
     “Vermeld het kortingspercentage op de bovenstaande eenheidsprijzen indien opdrachtgever ten minste 80% van de beschikbare eenheden van opdrachtgever afneemt. Indien inschrijver een percentage aanbiedt bij 80%, garandeert inschrijver tevens 80% van de genoemde eenheden in paragraaf 2.2. te kunnen leveren.” 
     
     2.5.	De beantwoording van de vragen (402 in aantal) naar aanleiding van de aanvraag en de antwoorden daarop zijn vastgelegd in vier nota’s van inlichtingen. 
     
     2.5.1.	Vraag 21 en het antwoord daarop in de 1e Nota van Inlichtingen luiden: 
     
     “Wat is de argumentatie rondom de verdeling tussen perceel 1 en 2? Met andere woorden, wat is de ratio achter de verdeling en hoe zijn de percentages vastgesteld? 
     
     
       Antwoord 
       Opdrachtgever wenst levering van leermiddelen en advisering rondom de inzet van deze leermiddelen. Het eisen van marktpartijen, dat deze combinatie voor alle leermiddelen wordt geboden, die ook nog aan specifieke eisen kunnen voldoen (zie ook het antwoord op vraag 23), zou naar verwachting van opdrachtgever tot geen dan wel tot een zeer kleine groep van inschrijvers leiden. Dit is niet in overeenstemming met de bedoeling van opdrachtgever, die een zo optimaal mogelijke marktwerking wil creëren. 
       Daarnaast is de invoering van het abonnementsmodel ambitieus en eist veel van de scholen. Opdrachtgever zal daarom het abonnementsmodel gefaseerd invoeren. 
       Percentages zijn gebaseerd op bovenstaande twee overwegingen.” 
     
     
     2.5.2.	Vraag 23 en het antwoord daarop in de 1e Nota van Inlichtingen luiden: 
     
     
       “Opdrachtgever streeft ernaar zoveel mogelijk eenheden binnen dit perceel bij inschrijver te plaatsen, maar houdt zich het recht voor, om haar moverende redenen, eenheden niet bij inschrijver te plaatsen, maar een methode bij de opdrachtnemer van een ander perceel te bestellen. 
       Wat zijn volgens opdrachtgever moverende redenen? 
     
     
     
       Antwoord 
       Er is bijvoorbeeld sprake van een moverende reden indien inschrijver voor de betreffende eenheid geen of onvoldoende leermiddelen kan leveren die voldoen aan de wensen van vraag 6 betreffende paragraaf 6.2. Kwaliteit (pag. 75). In dat geval zullen de leermiddelen voor de betreffende eenheid bij in een ander perceel worden ingekocht.” 
     
     
     2.5.3.	Vraag 25 en het antwoord daarop in de 1e Nota van Inlichtingen luiden: 
     
     “In deze paragraaf wordt géén eenduidige omschrijving gegeven van de eenheden die concreet onder perceel 1 worden besteld en de eenheden die concreet onder perceel 2 worden besteld. De ‘moverende’ redenen om niet bij de gegunde inschrijver van perceel 1 te bestellen worden niet toegelicht en vervolgens wordt voor perceel 2 de definitie gehanteerd dat het met name leermiddelen betreft waarbij de gegunde inschrijver van perceel 1 niet kan voldoen aan de gestelde eisen voor leermiddelen behorend tot een eenheid. Kunt u derhalve toelichten wat ‘moverende redenen’ kunnen zijn? Kun u ook toelichten wat de gestelde (minimum) eisen voor leermiddelen zijn waaraan de gegunde inschrijver van perceel 1 moet voldoen; met name gelet op de relevante gunningscriteria voor perceel 1 in hoofdstuk 6? 
     
     
       Antwoord 
       In paragraaf 2.2. wordt concreet toegelicht voor welke klassen in welk schooljaar eenheden worden besteld. Indien de opdrachtnemer uit perceel 1 niet aan een concrete vraag kan voldoen omdat de betreffende eenheid behoort tot de leermiddelen die hij niet kan leveren, dan wel voor deze leermiddelen niet aan de eisen kan voldoen van opdrachtgever (maximaal 40 dan wel 20%), dan worden de leermiddelen betrokken uit perceel 2. Voor wat betreft de eisen aan leermiddelen wordt verwezen naar vraag 6 van paragraaf 6.2. Kwaliteit.” 
     
     
     2.5.4.	Vraag 35 en het antwoord daarop in de 1e Nota van Inlichtingen luiden: 
     
     “Mogen wij er vanuit gaan dat ten behoeve van de gefaseerde invoering in onderling overleg wordt vastgesteld welke vakken in het ‘eerste deel’ en welke vakken in het ‘tweede deel’ vallen? Zo nee, hoe wordt dit vastgesteld? 
     
     
       Antwoord 
       De gefaseerde invoering wordt ingedeeld door de directie van de scholen op basis van de inschatting van de benodigde voorbereidingstijd voor een verantwoorde invoering.” 
     
     
     2.5.5.	Vraag 48 en het antwoord daarop in de 1e Nota van Inlichtingen luiden: 
     
     
       “Inschrijver biedt opdrachtgever ondersteuning bij de keuze en inzet van leermiddelen. In onderling overleg wordt een keuze gemaakt voor de verschillende leermiddelen 
       Op welke wijze en met welke partijen vindt dit overleg plaats? 
     
     
       
     
       Antwoord 
       Overleg vindt plaats tussen opdrachtgever en opdrachtnemer in de periode van januari tot de zomervakantie voorafgaand aan het schooljaar waarin de eenheid wordt ingevoerd.” 
     
     
     2.5.6.	Vraag 84 en het antwoord daarop in de 1e Nota van Inlichtingen luiden - voor zover van belang - : 
     
     “a. Kan Opdrachtgever duidelijke criteria aangeven waaraan een implementatieplan in haar ogen moet voldoen? Kan Opdrachtgever duidelijk formuleren binnen welk tijdpad de start en afronding van een implementatie dient te vallen? 
     
     
       Antwoord 
       Opdrachtgever wenst zo min mogelijke procedurele criteria te stellen aan inschrijver, maar vooral het te offreren implementatieplan toetsen op een zo optimaal mogelijke introductie. Hierbij zal begeleiding door vakbekwaam personeel van inschrijver die veel affiniteit heeft met de methode, rekening houdt met de eigen situaties van de scholen en daarnaast optimale aandacht en begeleiding biedt aan vakdocenten van groot belang zijn. Het implementatietraject start zodra opdrachtgever aangeeft een (nieuwe) eenheid te willen invoeren en eindigt zodra de eenheid volledig is geïmplementeerd. Deze datum kan variëren maar zal naar verwachting eindigen aan het einde van het eerste kwartaal van het schooljaar.” 
     
     
     2.5.7.	Vraag 86 en het antwoord daarop in de 1e Nota van Inlichtingen luiden - voor zover van belang - : 
     
     
       “Pedagogische / didactische ondersteuning is een continue proces. De inhoud daarvan zal zich richten naar voortschrijdende inzichten en (soms) ook afhankelijk zijn van politieke keuzes. Ook zal de inhoud afhankelijk zijn van de onderwijskundige visie die de school heeft. Zo kan het verwerven van een eigentijds didactisch repertoire bij de inzet van digitale hulpmiddelen bij het onderwijsleerproces een kernactiviteit kunnen worden als Landstede tot verregaande digitalisering van de ontsluiting van leermiddelen besluit. 
       a.	Kan Opdrachtgever duidelijk maken welke accenten zij wenst te leggen op de pedagogisch / didactische ondersteuning? 
     
     
     
       Antwoord 
       De pedagogisch didactische ondersteuning richt zich op het verbeteren van de kennis en/of vaardigheden van de betreffende docenten gekoppeld aan de inzet van de betreffende leermiddelen.” 
     
     
     2.5.8.	Vraag 101 en het antwoord daarop in de 1e Nota van Inlichtingen luiden:  
     
     “Elke inschrijver krijgt 3x 20 punten voor het presenteren van verschillende onderdelen. Valt het stellen van vragen door opdrachtgever binnen of buiten de 20 minuten presentatie? 
     
     
       Antwoord 
       De volledige presentatie duurt 60 minuten. Vragen worden aan het einde van elk onderdeel gesteld.” 
     
     
       
     2.5.9.	Vraag 102 en het antwoord daarop in de 1e Nota van Inlichtingen luiden:  
     
     “Diverse bij deze drie vragen behorende aspecten vertonen grote onderlinge samenhang. Staat Opdrachtgever toe dat Opdrachtnemer een presentatie van 1 uur verzorgt, waarin alle door Opdrachtgever genoemde aspecten in samenhang worden gepresenteerd? 
     
     
       Antwoord 
       Dat is toegestaan.” 
     
     
     2.5.10.	Vraag 180 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “…Dit eerste perceel omvat ongeveer 60-80% van de omvang van de opdracht… 
       Wilt u aangeven of het genoemde percentage van 60% een minimumpercentage betreft? 
     
     
     
       Antwoord 
       Dit is juist, met inachtneming van de gefaseerde invoering en de toelichting in de daaropvolgende zin: Opdrachtgever streeft ernaar zoveel mogelijk eenheden binnen dit perceel bij inschrijver te plaatsen. Het gaat dus om minimaal 60% van de op bladzijde 13, 14, en 15 genoemde eenheden.” 
     
     
     2.5.11.	Vraag 181 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “…Dit eerste perceel omvat ongeveer 60-80% van de omvang van de opdracht… 
       Wilt u aangeven waarom het eerste perceel niet 100% van de omvang van de opdracht omvat? 
     
     
     
       Antwoord 
       De overwegingen van de aanbestedende dienst zijn voor de voorbereiding van de inschrijving niet van belang.” 
     
     
     2.5.12.	Vraag 182 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “…Opdrachtgever streeft ernaar zoveel mogelijk eenheden binnen dit perceel bij inschrijver te plaatsen, maar houdt zich het recht voor, om haar moverende redenen, eenheden niet bij inschrijver te plaatsen, maar een methode bij de opdrachtnemer van een ander perceel te bestellen… 
       Wilt u bevestigen dat opdrachten voor opvolgende leveringen, van lesmateriaal vallend onder het abonnementsmodel dat door Opdrachtnemer van perceel 1 aan Opdrachtgever is geleverd, door Opdrachtgever niet kunnen worden geplaatst bij een Opdrachtnemer van een ander perceel? 
     
     
     Dit is juist. Zo lang inschrijver kan voldoen aan de eisen die opdrachtgever aan leermiddelen heeft gesteld, zal opdrachtgever de leermiddelen die onder het abonnementsmodel vallen, niet bij opvolgende leveringen kopen via perceel 2.” 
     
     2.5.13.	Vraag 183 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “…Opdrachtgever streeft ernaar zoveel mogelijk eenheden binnen dit perceel bij inschrijver te plaatsen, maar houdt zich het recht voor, om haar moverende redenen, eenheden niet bij inschrijver te plaatsen, maar een methode bij de opdrachtnemer van een ander perceel te bestellen… 
       Wilt u transparant maken in welke gevallen u hiertoe van dit recht gebruik wenst te maken? 
     
     
       
     
       Antwoord 
       Indien inschrijver leermiddelen voor een betreffende lesmethode niet kan leveren, dan wel de leermiddelen niet aan de geoffreerde wensen van vraag 6 betreffende paragraaf 6.2. Kwaliteit (pag. 76) voldoen.” 
     
     
     2.5.14.	Vraag 199 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     “Gezien de onzekerheden die in de offerteaanvraag aanwezig zijn over de omvang van perceel 1 en perceel 2, mede afhankelijk van de nog te ontvangen antwoorden op deze voorgaande vragen, hebben wij het volgende voorstel. 
     
     
       Wij zijn van mening dat het volume van de verschillende percelen heel anders kan uitpakken dan door u voorgesteld. Hierbij kan het zo zijn dat, afhankelijk van de nog te ontvangen antwoorden op gestelde vragen, het volume van perceel 1 veel lager zal zijn, waardoor automatisch het volume van perceel 2 veel hoger zal worden en ook het tegenovergestelde zou het geval kunnen zijn. 
       Bovendien in het volume van de verschillende percelen afhankelijk van de snelheid van invoeren van het abonnementsmodel. 
     
     
     Kunt u bijvoorbeeld garanderen dat voor genoemde vakken in de aangegeven klassen ook allemaal het abonnementsmodel ingevoerd wordt in de geplande jaren? Wat in ieder geval zo zal zijn is dat perceel 1 en perceel 2 als communicerende vaten gaan werken wat betreft het totaalvolume. Mocht er onzekerheid blijven bestaan over het volume van perceel 1 en perceel 2 dan is het volgens ons zeer aan te raden tevens een aanbieding in massa toe te staan. Door deze aanbieding te splitsen in twee percelen waarbij het ook mogelijk is om op het totaal (in massa) in te schrijven zal de mededinging worden bevorderd. Voor Opdrachtnemers is de extra mogelijkheid van aanbieden in massa een stimulans om een meer gebalanceerd totaalaanbod te doen waarbij het totaal van perceel 1 en perceel 2 goedkoper uit zal komen voor Opdrachtgever. 
     
     
       Antwoord 
       Opdrachtgever garandeert dat gedurende de looptijd van de overeenkomst alle lesmethoden eenmaal worden vervangen door eenheden in perceel 1. Zie ook het antwoord op de vragen 192 en 193. Daarnaast wil opdrachtgever dat zo veel mogelijk relevante marktpartijen kunnen deelnemen. Het aanbieden van beide percelen in een totaalaanbod zal naar de mening van opdrachtgever het aantal potentiéle inschrijvers aanzienlijk beperken. Het verzoek wordt dan ook niet gehonoreerd.” 
     
     
     2.5.15.	Vraag 204 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “…Inschrijver biedt opdrachtgever ondersteuning bij de keuze en inzet van leermiddelen. In onderling overleg wordt een keuze gemaakt voor de verschillende leermiddelen… 
       Hoe komt deze besluitvorming tot stand en wie is de uiteindelijke beslisser of leermiddelen opgenomen worden in het abonnementsmodel of besteld worden in perceel 2 (vaksectie/management/leverancier)? 
     
     
     
       Antwoord 
       De directie van de scholen besluit op basis van adviezen van de vaksecties in de periode van januari tot mei voorafgaand aan het schooljaar waarin de eenheid wordt ingevoerd. 
       Zie ook het antwoord op vraag 202 en 203.” 
     
     
       
     2.5.16.	Vraag 215 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “…Bij deze beoordeling wordt het antwoord van de verschillende inschrijvers met elkaar vergeleken, waarna een beoordeling plaats vindt… 
       Bij de vragen waarbij ‘het aantal ideeën in samenhang met de kwaliteit van de ideeën van belang’ is (…) 
       Wilt u de onderlinge weging tussen ‘het aantal ideeën’ en ‘de kwaliteit van de ideeën’ aangeven? 
     
     
     
       Antwoord 
       Er is geen sprake van een onderlinge weging. Het antwoord wordt integraal beoordeeld.” 
     
     
     2.5.17.	Vraag 216 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “…Bij deze beoordeling wordt het antwoord van de verschillende inschrijvers met elkaar vergeleken, waarna een beoordeling plaats vindt… 
       Bij de vragen waarbij ‘het aantal ideeën in samenhang met de kwaliteit van de ideeën van belang’ is (…) 
       Welke Inschrijver behaalt in uw visie de hoogste score. 
       1.	een Inschrijver die 5 ideeën aandraagt, waarvan er 4 als uitstekend worden beoordeeld, en 1 als slecht of 
       2.	een Inschrijver die 4 ideeën aandraagt, die allen als uitstekend worden beoordeeld. 
     
     
     
       Antwoord 
       Inschrijver schetst een zeer theoretische situatie. Ideeën krijgen niet afzonderlijk een score; het antwoord wordt integraal beoordeeld. Wel wenst de opdrachtgever op te merken dat indien er weinig dan wel nagenoeg geen verschil in waardering te constateren valt, de beoordelaar de mogelijkheid heeft de antwoorden met een gelijk rapportcijfer te beoordelen.” 
     
     
     2.5.18.	Vraag 221 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “…Inschrijver dient te garanderen dat Inschrijver voor ten minste 60% van het aantal hier vermelde eenheden, een eenheid kan leveren… 
       Bij deze vraag verzoekt u van Inschrijver om een garantie dat tenminste 60% van de in paragraaf 2.2 vermelde eenheden kan worden geleverd. Het betreft een vraag met een knock-out waardering (minimum eis, die absoluut wordt beoordeeld, volgens de scoretabel van pagina 71). Indien Inschrijver de vraag met ja beantwoord, dient deze een overzicht te verstrekken van de inhoud van de verschillende eenheden, die behoren tot de 60%. 
     
     
     
       Wilt u in dit licht aangeven op welke wijze u het gevraagde overzicht gaat beoordelen? Is sprake van een louter kwantitatieve toets (tellen van aantallen), of spelen kwalitatieve aspecten tevens een rol? Indien kwalitatieve aspecten tevens een rol spelen, wilt u dan aangeven 
       a). welke zijn dan de minimale eisen? 
       b). hoe wordt de kwaliteit gemeten en beoordeeld? 
     
     
     
       Antwoord 
       Bij het beoordelen van het gevraagde overzicht zal zowel het kwalitatieve als het kwantitatieve aspect beoordeeld worden. 
       a) De eenheden dienen te voldoen aan de begripsomschrijving: Al het materiaal behorende bij een lesmethode voor een leerling in een bepaalde klas binnen het voortgezet onderwijs (klas 1 tot en met 6 van VWO, HAVO en VMBO), dat het verplichte lesprogramma volledig dekt, zoals de uitgever deze aan de commerciële markt aanbiedt inclusief alle toebehoren en opties. Dit zal, naast alle beschikbare docentenmateriaal voor de docent van deze leerling, bestaan uit een combinatie van een of meer van de volgende onderdelen: een leerboek, folio en digitaal, werkboek(en), folio en digitaal, (digitale) hulpmiddelen die bij de lesmethode horen, en een digitale licentie; 
       b) Vervolgens wordt kwantitatief gecontroleerd of de eenheden die blijkens de kwalitatieve toets voldoen (a), inderdaad ten minste 60% van het aantal vermelden eenheden is.” 
     
     
     2.5.19.	Vraag 230 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “…Leermiddelen die inschrijver aanbiedt dienen aan een aantal criteria te voldoen. Inschrijver dient voor elk van de onderstaande criteria aan te geven of de in te zetten leermiddelen hieraan voldoen. 
       U vraagt om leermiddelen aan te bieden in eenheden voor verschillende vakken, op diverse niveaus. U vraagt om per criterium in maximaal een half A4 per criterium te motiveren waarom deze leermiddelen hieraan voldoen. In één criterium kunnen diverse verschillende methodes ondergebracht worden, afhankelijk van wat op het betreffende niveau en in de betreffende klas aan geschikte methodes voorhanden is. Zo moet dan voor het criterium ‘leermiddelen die aansluiten bij kerndoelen en eindtermen’ in een half A4 geschreven worden waarom (mogelijk 25 verschillende) methodes allen voldoen aan dit criterium. Ditzelfde geldt ook voor de overige criteria. Het is ons inziens al niet mogelijk om voor één methode alle aspecten van kerndoelen en eindtermen te berichten in een half A4. Hiermee kan dan onmogelijk een objectief beeld verkregen worden van de kwaliteit van aangeboden methodes. Wilt u dit op een andere wijze inrichten zodat de beoordeling objectief kan geschieden en vooraf duidelijk is op welke gronden u punten toekent. 
     
     
     
       Antwoord 
       Inschrijver dient bij de beantwoording van de vraag niet alle afzonderlijke leermiddelen te benoemen, maar te motiveren waarom de leermiddelen die inschrijver aanbiedt in algemene zin aan de verschillende aspecten voldoen. De motivering kan onderbouwd worden met voorbeelden van methoden. Opdrachtgever zal inschrijver tegemoet komen door per criterium niet het maximum van een half A4, maar per criterium een maximum Van 2 A4tjes te hanteren.” 
     
     
     2.5.20.	Vraag 232 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “…Leermiddelen die inschrijver aanbiedt dienen aan een aantal criteria te voldoen…” 
       Indien 2 Inschrijvers dezelfde methode(n) aanbieden kunnen zij in feite niet afwijkend van elkaar scoren, immers, de motivatie kan verschillen, maar de inhoud en mogelijkheden van de methode(n) zijn identiek en beoordeling gaat dan niet meer over de inhoud, maar over de schriftelijke toelichting van de Inschrijver. Wilt u dit bevestigen of motiveren waarom dit volgens u niet het geval is? 
     
     
     
       Antwoord 
       Opdrachtgever wenst een algemene toelichting per criterium waarom de in te zetten leermiddelen aan de gestelde criteria voldoen. Hierbij is het natuurlijk mogelijk de motivering te onderbouwen met voorbeelden van methoden. Indien motivering van inschrijvers op een of meerdere criteria overeenkomen, zal inderdaad een gelijke score plaatsvinden.” 
     
     
       
     2.5.21.	Vraag 242 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “Opdrachtgever wenst een inschrijver te contracteren die digitale leermiddelen aanbiedt, die digitaal en interactief werken met directe feedback naar de leerling. Inschrijver dient toe te lichten hoe inschrijver hierin voorziet aan de hand van een presentatie. 
       In hoeverre streeft Landstede naar een keuze voor digitale interactieve methodes als onderdeel van de invoering van het abonnementsysteem? 
     
     
     
       Antwoord 
       Ict en internet worden steeds belangrijker in de ondersteuning van het leerproces. 
       Digitale leermiddelen blijken effectief en krijgen daarmee een plaats in het onderwijs; Vrije content (WIKI-wijs, Teleblik e.a.) wint aan betekenis . 
       In dat licht hecht Landstede groot belang aan methodes waarmee de docent digitaal en interactief kan werken.” 
     
     
     2.5.22.	Vraag 243 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     “In hoeverre ligt bij de invoering van het abonnementsysteem de prioriteit bij het succesvol standaardiseren boven de gelijktijdige invoering van digitale interactieve methodes? 
     
     
       Antwoord 
       Standaardisering betekent het gebruikmaken van dezelfde methode. De docenten leveren met die standaard maatwerk voor hun leerlingen. De digitalisering van het onderwijs is een proces van jaren.” 
     
     
     2.5.23.	Vraag 244 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “…Inschrijvers die na beoordeling van de offerten (schriftelijk deel) met een maximale score voor de presentatie, de gunning voor perceel 1 kunnen winnen, worden uitgenodigd voor het verzorgen van een presentatie… 
       Wij nemen aan dat u bekend bent met de discussie in de literatuur over het gebruik van een presentatie als zelfstandig gunningscriterium. Dit wordt door velen gezien als ondergeschikt beoordelingsinstrument, omdat een presentatie als zodanig niet het voorwerp van de opdracht betreft, maar de inschrijving, hetgeen op gespannen voet zet met het transparantiebeginsel (…). In de jurisprudentie is de presentatie veelvuldig als ongeoorloofd geoordeeld. 
     
     
     Een presentatie wordt algemeen wel geschikt geacht in het geval deze wordt gebruikt om de aanbieding nader toegelicht te krijgen en daarmee de objectieve en correcte beoordeling van de aanbiedingen te faciliteren. Op deze wijze wordt een presentatie niet als gunningscriterium gebruikt, doch als verificatiemethode. 
     
     Wilt u om, bezwaren over de transparantie en objectiviteit ten aanzien van de beoordeling van de aangekondigde presentatie te voorkomen, de presentatie schrappen als zelfstandig gunningscriterium? 
     
     
       Antwoord 
       Opdrachtgever is bekend met de discussie waar u naar verwijst maar deelt de conclusie van inschrijver dat deze door velen als ondergeschikt wordt gezien niet. Opdrachtgever biedt inzicht in de criteria die getoetst worden tijdens de presentatie, de maximaal te verkrijgen score en de wijze van beoordelen (relatieve beoordeling als vermeld in hoofdstuk 4.2). De beoordeling zal plaatsvinden door 7 personen, waarvan 1 persoon een financieel-onderwijskundige achtergrond heeft en 6 personen een onderwijskundige achtergrond hebben. 
       Op grond van bovenstaande overwegingen en op basis van relevante jurisprudentie concludeert opdrachtgever, dat de visie van inschrijver niet wordt gedeeld en dat het verzoek niet wordt gehonoreerd.” 
     
     
     2.5.24.	Vraag 245 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     “In het geval u de presentatie handhaaft als zelfstandig gunningscriterium behouden wij ons ter zake uitdrukkelijk alle rechten voor, in het bijzonder om in een later stadium, hiertegen alsnog bezwaar te maken, eventueel ook in kort geding. 
     
     
       Antwoord 
       Indien inschrijver bezwaar heeft tegen een of meer onderdelen van de aanbestedingsprocedure verdient het aanbeveling die bezwaren in een zo vroeg mogelijk stadium naar voren te brengen zodat de voortgang van de aanbestedingsprocedure niet onnodig wordt belemmerd en zodat inschrijvers niet onnodig werkzaamheden verrichten.” 
     
     
     2.5.25.	Vraag 246 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “…Inschrijvers die na beoordeling van de offerten (schriftelijk deel) met een maximale score voor de presentatie, de gunning voor perceel 1 kunnen winnen, worden uitgenodigd voor het verzorgen van een presentatie… 
       Wilt u aangeven welke norm, of normen, u hanteert bij de beoordeling? 
     
     
     
       Antwoord 
       Zie het antwoord op vraag 244.” 
     
     
     2.5.26.	Vraag 247 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “…Inschrijvers die na beoordeling van de offerten (schriftelijk deel) met een maximale score voor de presentatie, de gunning voor perceel 1 kunnen winnen, worden uitgenodigd voor het verzorgen van een presentatie… 
       Wilt u aangeven welke beoordelaars en hoeveel beoordelaars aanwezig zullen zijn bij de presentatie en welke over de presentatie zullen oordelen? 
     
     
     
       Antwoord 
       Zie het antwoord op vraag 244. Verder zullen ook 2 vertegenwoordigers van IXion aanwezig zijn die het proces begeleiden, maar de presentaties niet zullen beoordelen.” 
     
     
     2.5.27.	Vraag 250 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “…het aantal ideeën in samenhang met de kwaliteit van de ideeën van belang… 
       Wilt u aangeven wanneer een idee van dermate kwaliteit is dat de maximale score kan worden behaald? 
     
     
       
     
       Antwoord 
       Voor elk van de 3 onderdelen heeft opdrachtgever de gewenste situatie beschreven bij de betreffende onderdelen. Indien 7 beoordelaars de presentatie van het antwoord op het betreffende onderdeel als uitstekend waarderen in relatie tot het antwoord van de andere inschrijvers, scoort inschrijver met de maximale score.” 
     
     
     2.5.28.	Vraag 251 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “…het aantal ideeën in samenhang met de kwaliteit van de ideeën van belang… 
       Wilt u de onderlinge weging tussen ‘het aantal ideeën’ en ‘de kwaliteit van de ideeën’ aangeven? 
     
     
     
       Antwoord 
       Zie het antwoord op vraag 215.” 
     
     
     2.5.29.	Vraag 252 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “…het aantal ideeën in samenhang met de kwaliteit van de ideeën van belang… 
       Welke Inschrijver behaalt in uw visie de hoogste score. 
       1.	een Inschrijver die 5 ideeën aandraagt, waarvan er 4 als uitstekend worden beoordeeld, en 1 als slecht of 
       2.	een inschrijver die 4 ideeën aandraagt, die allen als uitstekend worden beoordeeld. 
     
     
     
       Antwoord 
       Zie het antwoord op vraag 216.” 
     
     
     2.5.30.	Vraag 253 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “…Inschrijver dient aan de hand van een presentatie toe te lichten op welke wijze inschrijver in staat en bereid is, om op aangeven van vakdocenten van opdrachtgever de inrichting van de elektronische leeromgeving bij de methode af te stemmen op de wensen van de opdrachtgever… 
       Wij voldoen graag aan deze wens maar kennen uw wensen in deze niet. Om zo goed mogelijk te voldoen aan uw wensen hebben wij hierover meer gegevens nodig. Wilt u een opgave doen welke uw wensen hierbij zijn en op welke criteria u deze wilt gaan waarderen? 
     
     
     
       Antwoord 
       Het gaat hier niet om specifieke wensen maar om de bereidheid en mogelijkheden van de inschrijver om de elektronische leeromgeving af te stemmen op de wensen van opdrachtgever .” 
     
     
     2.5.31.	Vraag 287 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “Antwoord Er is bijvoorbeeld sprake van een moverende reden indien inschrijver voor de betreffende eenheid geen of onvoldoende leermiddelen kan leveren die voldoen aan de wensen van vraag 6 betreffende paragraaf 6.2. Kwaliteit (…) 
       Er worden verschillende moverende redenen aangegeven. Kan Opdrachtgever nog iets specifieker aangeven wat moverende redenen kunnen zijn? 
     
     
     
       Antwoord 
       Er zijn geen andere moverende redenen dan de redenen die zijn gekoppeld aan de (geoffreerde) wensen uit paragraaf 6.2.” 
       2.5.32.	Vraag 288 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
     “Begrijpen wij goed uit de antwoorden van de NvI vraag 23 en 25 dat als inschrijver alle eenheden kan leveren die ook voldoen aan de kwaliteitseisen van opdrachtgever dat, Opdrachtgever ook deze eenheden afneemt? 
     
     
       Antwoord 
       De kans is groot dat er in dat geval geen moverende redenen zullen zijn om minder dan 100% van de eenheden af te nemen.” 
     
     
     2.5.33.	Vraag 296 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     “Wilt u bevestigen dat van alle aangeboden leermiddelen achteraf kan worden besloten om deze niet af te nemen? 
     
     
       Antwoord 
       Nee, Opdrachtgever acht het niet mogelijk dat zij bij de winnende leverancier van perceel 1, die dus het meest voldoet aan haar wensen, achteraf besluit om geen enkel leermiddel af te nemen.” 
     
     
     2.5.34.	Vraag 314 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     “Moet uit dit antwoord de conclusie getrokken worden dat de directies van de scholen nog besluiten moeten nemen over de fase waarin vaksecties mogelijk zitten bij de invoering van de aanschaf van leermiddelen in perceel 1 of 2? 
     
     
       Antwoord 
       De veronderstelling is juist. Directies committeren zich echter wel aan de invoering genoemd in paragraaf 2.2.” 
     
     
     2.5.35.	Vraag 331 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     “Valt uit uw antwoord op te maken dat de Opdrachtgever de keuze voor het leermiddel bepaalt nadat de gunning heeft plaats gevonden? 
     
     
       Antwoord 
       Aanname van inschrijver is juist.” 
     
     
     2.5.36.	Vraag 390 en het antwoord daarop in de 2e Nota van Inlichtingen luiden: 
     
     
       “Inschrijver kiest ervoor om middels deze vraag duidelijkheid te verkrijgen over diverse antwoorden die naar het oordeel van inschrijver met elkaar samenhangen. 
       Inschrijver beoordeelt de huidige situatie thans als volgt: er is sprake van twee keuzemomenten: één voor en één na de gunning. Het moment voor de gunning is erop gericht om allereerst te bepalen of de aangeboden eenheden voldoen aan de eis dat het verplichte lesprogramma gedekt wordt en vervolgens vast te stellen of met die selectie de drempel van 60% gehaald wordt. Het moment na de gunning (uw antwoord bij 331) is erop gericht om uit het assortiment dat dan overblijft binnen een periode van 4 jaar te streven naar eenzelfde methode per vak. 
       Is die beoordeling van Inschrijver correct? Indien niet, kunt u dan duidelijk maken hoe het keuzeproces wel verloopt? 
       Antwoord 
       Zie de antwoorden op de vragen 221 en 331.” 
     
     
     2.6.	Op perceel 1 heeft Landstede inschrijvingen ontvangen van De Combinatie, Noordhoff en Malmberg. Op perceel 2 heeft Landstede vier inschrijvingen ontvangen. 
     
     2.7.	De Combinatie heeft onder protest ingeschreven op perceel 1. Op perceel 2 heeft Van Dijk Educatie B.V. zonder Thiememeulenhof B.V. ingeschreven, eveneens onder protest. 
     
     
       2.8.	De presentatie die onderdeel uitmaakt van het beoordelingsproces van perceel 1 heeft nog niet plaatsgevonden, in afwachting van dit kort geding. 
       Landstede heeft perceel 2 gegund aan Iddink Voortgezet Onderwijs B.V. Landstede heeft dit bij brief van 8 maart 2011 aan De Combinatie meegedeeld. 
     
     
     
     3.	Het geschil 
     
     3.1.	De Combinatie vordert   samengevat - Landstede te verbieden de aanbestedingsprocedure (en voornemen tot gunning) ter zake van beide percelen door te zetten totdat de gunningscriteria en beoordelingssystematiek van de aanbestedingsprocedure zodanig zijn uitgewerkt dat zij voldoende objectief en transparant zijn, waarna inschrijvers een redelijke termijn wordt gegund deze informatie in hun offertes mee te nemen, met veroordeling van Landstede in de kosten van de procedure, inclusief rente. 
     
     3.2.	Landstede, Noordhoff en Malmberg voeren verweer.  
     
     3.3.	Op de stellingen van partijen wordt hierna - voor zover van belang - nader ingegaan.  
     
     
     
       4.	De beoordeling 
       4.1.	Ter onderbouwing dat de gunningscriteria en beoordelingssystematiek van de aanbestedingsprocedure onvoldoende objectief en transparant zijn, heeft De Combinatie het volgende aangevoerd: 
     
     
     
       I.	Het voorwerp van de opdracht is onvoldoende duidelijk, met name wat betreft de onderlinge verhouding van de beide percelen en de omvang van de opdracht voor de verschillende percelen. De onderhavige structuur is in strijd met de regeling voor raamovereenkomsten; 
       II.	De (sub)gunningscriteria zijn onvoldoende uitgewerkt om beoordeling op een objectieve en transparante wijze mogelijk te maken; 
       III.	De Combinatie heeft een fundamenteel bezwaar tegen de presentatie, aangezien Landstede daardoor zaken gaat beoordelen die buiten de offerte liggen. 
       De Combinatie heeft een principieel bezwaar tegen de presentatie, omdat Landstede de offerte en de presentatie apart beoordeelt. 
     
     
       
     4.2.	Ad I 
     
     4.2.1.	De omvang van de opdracht van perceel 1 en perceel 2 is omschreven in paragraaf 1.2. van de aanvraag: perceel 1 omvat ongeveer 60 tot 80% van de omvang van de opdracht en perceel 2 ongeveer 40 tot 20%. 
     
     4.2.2.	In paragraaf 2.2. wordt ten aanzien van perceel 1 verder onderscheid gemaakt in 6 categorieën, waarbij in een overzicht het huidige aantal eenheden per leerjaar en vak wordt weergegeven. In totaal gaat het om 59.278 eenheden, waarvan opdrachtnemer in staat moet zijn om minimaal 60% te leveren. In de begrippenlijst is duidelijke omschreven wat een eenheid dient te omvatten (al het materiaal behorende bij een lesmethode voor een leerling in een bepaalde klas binnen het voortgezet onderwijs dat het verplichte lesprogramma volledig dekt, zoals de uitgever deze aan de commerciële markt aanbiedt inclusief alle toebehoren en opties). Verder is in de aanvraag inzichtelijk gemaakt hoe het abonnementsmodel gefaseerd zal worden ingevoerd. Daarnaast heeft Landstede in het antwoord op vraag 199 gegarandeerd dat gedurende de looptijd van de overeenkomst alle lesmethoden eenmaal worden vervangen door eenheden in perceel 1. 
     
     4.2.3.	Perceel 2 bestaat enerzijds uit leermiddelen die in gebruik zijn en die (nog) niet zijn opgenomen in het abonnementsmodel, maar toch gekocht moeten worden als gevolg van beschadiging of verlies en anderzijds uit de leermiddelen die de opdrachtnemer van perceel 1 niet kan leveren. Blijkens paragraaf 1.2. en 2.2. gaat het hierbij om 20 tot maximaal 40%. 
     
     4.2.4.	De onderlinge verhouding tussen perceel 1 en perceel 2 blijkt uit paragraaf 1.2. van de aanvraag waarin staat dat Landstede ernaar streeft zoveel mogelijk eenheden binnen perceel 1 bij inschrijver te plaatsen, maar zich het recht voorhoudt, om haar moverende redenen, eenheden niet bij inschrijver van perceel 1 te plaatsen, maar een methode bij de opdrachtnemer van een ander perceel te bestellen. 
     
     4.2.5.	Volgens De Combinatie leidt de term “om haar moverende redenen” tot strijd met de beginselen van transparantie en objectiviteit, omdat Landstede op deze manier volledige vrijheid heeft om in niet nader gespecificeerde gevallen te bepalen wat zij van perceel 1 en wat zij van perceel 2 zal afnemen. 
       
     4.2.6.	Naar het oordeel van de voorzieningenrechter heeft Landstede echter met haar antwoorden op de vragen en antwoorden 23, 25, 180, 181, 182, 183, 199, 221 en 288, genoegzaam uitgelegd wat zij met de term “haar moverende redenen” bedoelt, te weten de omstandigheid dat de opdrachtnemer van perceel 1 de gevraagde eenheden niet kan leveren, omdat hij ze niet heeft of omdat de eenheden die hij heeft niet voldoen aan de gestelde kwaliteitseisen, als gespecificeerd in paragraaf 6.2. van de aanvraag. 
     
     4.2.7. Er is geen sprake van een “dubbele toets”, zoals De Combinatie nog heeft aangevoerd. Landstede zal de leermiddelen bestellen die zijn geoffreerd. Het geoffreerde moet beantwoorden aan de gestelde kwaliteitseisen. Alleen in het geval de inschrijver de bij haar inschrijving gegarandeerde leermiddelen niet kan leveren, of deze leermiddelen niet voldoen aan het door haar geoffreerde kwaliteitsniveau, heeft Landstede de mogelijkheid om leermiddelen na gunning te bestellen in perceel 2. 
     
     4.2.8.	Dat Landstede de mogelijkheid heeft ingebouwd in haar opdracht om uit te wijken naar perceel 2 wanneer de winnaar van perceel 1 niet in staat is om aan haar verplichtingen die voortvloeien uit de opdracht te voldoen, acht de voorzieningenrechter niet in strijd met de beginselen van transparantie en objectiviteit. 
     
     4.2.9.	Niet aannemelijk is de stelling van De Combinatie dat Landstede, zelfs als de winnende inschrijver van perceel 1 alle eenheden in perceel 1 kan leveren, eenheden in perceel 2 zal plaatsen. Landstede streeft ernaar om zoveel mogelijk eenheden binnen perceel 1 te plaatsen. Dit staat niet alleen letterlijk in paragraaf 1.2. en 6.7. van de aanvraag - zodat Landstede daar ook aan kan worden gehouden bij de uitvoering van de opdracht - maar volgt ook uit de mogelijkheid, opgenomen in punt 10 van paragraaf 6.7. van de aanvraag, om een kortingspercentage af te geven bij levering door de inschrijver van 80% (of meer) van de beschikbare eenheden. Dit kortingspercentage kan de inschrijver invullen bij vraag 7 in de tabel “invullen eenheidsprijzen”. Evident is dan ook dat Landstede bij de opdracht ernaar zal streven om 80% af te nemen in perceel 1. Alle inschrijvers op perceel 1 hebben een kortingspercentage geoffreerd. Van de 59.278 eenheden heeft De Combinatie 51.326 eenheden geoffreerd, afgerond 87%. Dit percentage moet De Combinatie garanderen. Het geoffreerde percentage wordt opgenomen in de overeenkomst en tijdens de uitvoering van de overeenkomst moet Landstede dit waarmaken. Landstede heeft er dan ook alle belang bij om die leermiddelen van de opdrachtnemer van perceel 1 af te nemen. 
     
     4.2.10.	Gelet op het voorgaande en mede gelet op de manier waarop tot nu toe aanbestedingen voor leermiddelen in de markt zijn gezet, oordeelt de voorzieningenrechter dat Landstede haar behoefte voldoende duidelijk heeft gedefinieerd, zodat De Combinatie in staat moet worden geacht een aanbod te genereren. De omvang van de opdracht is (zeker vergeleken met hetgeen in het verleden gangbaar) was voldoende bepaald. Voorheen waren de aantallen per vak niet aangegeven en niet gegarandeerd was wanneer leermiddelen zouden worden vervangen. Hierdoor kon het gebeuren dat vakdocenten vasthielden aan de bestaande methode en geen leermiddelen inkochten bij de leverancier. Een redelijk geïnformeerde en normaal zorgvuldige inschrijver, waartoe De Combinatie gelet op haar ervaring en positie in de leermiddelenbranche moet worden gerekend, moet met de manier van aanbesteden door Landstede dan ook in staat worden geacht om aan de hand van de door Landstede verstrekte informatie een commercieel verantwoorde offerte op te stellen. Zij is gewend aan een bepaalde mate van onzekerheid die inherent is aan aanbestedingsprocedures en daaruit voortvloeiende opdrachten in de leermiddelenbranche. Daar komt bij dat deze onzekerheden gelden voor alle inschrijvers, zodat geen sprake is van schending van het krachtens artikel 2 Bao geldende gelijkheidsbeginsel. 
     
     4.2.11.	Er is geen sprake van een raamovereenkomst in de zin van artikel 32 Bao. Een raamovereenkomst bevat enkel afspraken voor toekomstige, mogelijk nog te verlenen opdrachten. In het onderhavige geval is sprake van een daadwerkelijke opdrachtverstrekking (de uitvoering van een opdracht met betaling van een tegenprestatie door de aanbestedende dienst) en derhalve van een overheidsopdracht. 
     
       
     4.3.	Ad II 
     
     4.3.1.	Voorop moet worden gesteld dat een aanbesteder, indien hij heeft aangegeven dat de opdracht wordt gegund aan de economisch meest voordelige aanbieding, kan kiezen welke (sub)gunningscriteria hij gaat toepassen. De aanbestedingsrechtelijke beginselen van objectiviteit en transparantie vereisen evenwel dat de aanbesteder vooraf op duidelijke, precieze en ondubbelzinnige wijze de gunningscriteria in de aanbestedingsstukken beschrijft. Dit dient een tweeledig doel: enerzijds stelt het inschrijvers in staat de draagwijdte van de beoordelingssystematiek te begrijpen, zodat zij daarmee bij het opstellen van hun offertes rekening kunnen houden. Anderzijds leidt dit tot een kader waaraan de aanbesteder gebonden is bij de beoordeling van de aanbiedingen, aan de hand waarvan inschrijvers kunnen toetsen of de aanbesteding correct is verlopen. 
     
     4.3.2.	Ter nadere onderbouwing dat de (sub)gunningscriteria onvoldoende zijn uitgewerkt om beoordeling op een objectieve en transparante wijze mogelijk te maken, verwijst De Combinatie naar pagina 70 tot en met 83 van de aanvraag, waarin (sub)gunningscriteria staan vermeld ten behoeve van perceel 1. De Combinatie heeft echter onvoldoende gesteld om tot het oordeel te komen dat al deze (sub)gunningscriteria objectiviteit en transparantie missen. De voorzieningenrechter zal zich derhalve bij zijn verdere beoordeling beperken tot de (sub)gunningscriteria die De Combinatie expliciet heeft genoemd, te weten vraag 1, 4, 5, 6 en 7 ten aanzien van de kwaliteit en vragen ten aanzien van de presentatie (waarover hierna onder “Ad III” meer). Dit zijn vragen waarbij van de inschrijver gevraagd wordt om een toelichting te geven op welke wijze hij in de wensen van de opdrachtgever voorziet. De antwoorden van de verschillende inschrijvers op deze vragen worden met elkaar vergeleken, waarna een beoordeling plaatsvindt. 
     
     4.3.3.	Met vraag 1 wordt de inschrijver gevraagd op welke wijze hij zal voorzien in de wens van Landstede om geïnformeerd te worden over de inhoud van de (nieuwe) voorgestelde eenheid wanneer een methode wordt vervangen. Daarbij is aangegeven dat Landstede grote waarde hecht aan inhoudelijke informatie over doel en opzet van de materialen, informatie die de vaksecties persoonlijk wordt aangeboden, met een concreet implementatieplan dat voorziet in een zo optimaal mogelijke introductie van de lesmethode in het onderwijs. 
     
     4.3.4.	Met vraag 4 wordt de inschrijver gevraagd op welke wijze hij zal voorzien in de wens van Landstede om met partijen een toetsendatabank te ontwikkelen. Inschrijver die opdrachtgever bij te leveren leermiddelen tevens het bijbehorende toetscontent aanbiedt en de relatie tussen deze content en de leermiddelen inzichtelijk maakt voor vakdocenten, heeft de voorkeur van opdrachtgever. 
     
     4.3.5.	Met vraag 5 wordt de inschrijver gevraagd op welke wijze hij zal voorzien in de wens van Landstede om een inschrijver te contracteren die haar ondersteunt bij de verdere ontwikkeling van de toetsendatabank. De inschrijver die een concreet ontwikkelingsplan biedt, dat niet alleen is gericht op de vakdocent maar ook op de leerling, heeft de voorkeur van opdrachtgever. 
     
     4.3.6.	Met vraag 6 wordt de inschrijver gevraagd aan te geven of de in te zetten leermiddelen aan een aantal criteria voldoen (maatwerk mogelijk maken, leerlingen motiveren, variatie bevatten, zelfstandig leren en werken bevorderen, samenwerkend leren bevorderen, aansluiten bij de actualiteit en bij kerndoelen en eindtermen) en moet inschrijver dit motiveren door middel van een toelichting. 
     
     4.3.7.	Met vraag 7 wordt de inschrijver gevraagd, in het geval hij diensten wil aanbieden die Landstede nog niet heeft gevraagd, deze diensten hier te offreren, met een toelichting. Ideeën dienen de in paragraaf 2.1.1 van de aanvraag geformuleerde visie van Landstede te ondersteunen en mogen niet op een andere plaats in de offerteaanvraag gevraagd zijn. 
     
     
       4.3.8.	Naar het oordeel van de voorzieningenrechter zijn deze (sub)gunningscriteria voldoende helder en transparant. In elke vraag heeft Landstede beschreven wat haar wensen zijn, waarbij zij waar nodig heeft aangegeven wat haar voorkeur verdient dan wel waar zij grote waarde aan hecht. Landstede geeft daarmee afdoende inzicht in wat beter door haar zal worden gewaardeerd en wat niet. In de antwoorden op vraag 84, 230 en 232 heeft Landstede dit nog verder toegelicht. Inschrijvers kunnen hun inschrijvingen hierop afstemmen. Er is dan ook geen sprake van dat inschrijver geacht wordt “van alles te verzinnen”, zoals De Combinatie heeft aangevoerd. 
       Juist omdat het hier gaat om een nieuwe manier van aanbesteden van lesmateriaal - althans wat het abonnementsmodel betreft - met aspecten waarin de inschrijvers zich van elkaar kunnen onderscheiden, behoeft van Landstede niet te worden verwacht dat zij de criteria nader inkleurt, in die zin dat zij op alle punten exact en zeer gedetailleerd aangeeft wat nodig is om een maximale score te behalen. Aldus zou - zoals Landstede, Noordhoff en Malmberg terecht aanvoeren - iedere innovatie, creativiteit of zelfstandig denkproces bij de inschrijvers worden geëcarteerd. Aan een gunningsystematiek op basis van de economisch meest voordelige inschrijving, zoals hier aan de orde, is inherent dat een inschrijvende partij een zekere ruimte wordt geboden om criteria op eigen wijze in te vullen. Daardoor wordt hij immers optimaal gestimuleerd om inventief in te schrijven en kenbaar te maken welke aspecten van de opdracht volgens hem relevant zijn voor de aanbestedende dienst. 
       Met name ten aanzien van vraag 6 geldt bovendien dat bij de beoordeling van leermiddelen sprake is van professioneel-intellectuele producten die met betrekking tot hun inhoudelijke kwaliteit moeilijk aan strikt objectieve maatstaven zijn te toetsen. Landstede is daar wel enigszins aan tegemoet gekomen door nader te specificeren dat de inschrijver kan aangeven of de door hem aangeboden leermiddelen “maatwerk mogelijk maken”, “variatie bevatten” enz.  
     
     
     
       4.3.9.	Ook de beoordelingssystematiek is naar het oordeel van de voorzieningenrechter voldoende helder. In hoofdstuk 4 heeft Landstede de beoordelingsprocedure van antwoorden op relatieve vragen beschreven: de beoordelaars, die overigens geen kennis hebben van de geoffreerde prijzen, beoordelen de geanonimiseerde inschrijvingen eerst individueel en daarna collegiaal aan de hand van rapportcijfers. Het hier bedoelde beoordelingsproces wordt bewaakt door IXion. 
       Volgens Landstede is De Combinatie gewend om met deze methode te werken, hetgeen door De Combinatie niet is betwist. Van ervaren inschrijvers, zoals De Combinatie, mag dan ook worden verwacht dat zij de door Landstede gehanteerde aanduidingen “zeer goed” of “zeer slecht” en de daarmee samenhangende rapportcijfers begrijpen. 
       Uit de antwoorden op vraag 215, 216, 250, 251 en 252 valt bovendien nog af te leiden dat “het aantal ideeën, in samenhang met de kwaliteit” een integrale beoordeling betreft, waarbij het mogelijk is dat antwoorden van verschillende inschrijvers met een gelijk rapportcijfer beoordeeld kunnen worden. 
       Van een “toevallige waardering”, waarvan volgens De Combinatie sprake is, is niet gebleken.  
     
     
     4.4.	Ad III 
     
     4.4.1.	Landstede beroept zich ten aanzien van het subgunningscriterium “presentatie” op rechtsverwerking, omdat De Combinatie tijdens de procedure in geen enkele vraag aan de orde heeft gesteld dat de onderwerpen van de presentatie niet tot de opdracht zouden behoren. Dat is onjuist. In vraag 244 heeft De Combinatie haar standpunt reeds naar voren gebracht, maar het antwoord van Landstede heeft haar bezwaar tegen de presentatie als zelfstandig gunningscriterium niet weggenomen. Landstede heeft in haar antwoord op vraag 245 De Combinatie aangemoedigd om dit bezwaar in een vroeg stadium naar voren te brengen, hetgeen De Combinatie ook heeft gedaan door middel van het onderhavige kort geding. Van De Combinatie kan dan ook niet gezegd worden dat zij niet proactief heeft gehandeld. Van rechtsverwerking is geen sprake. 
     
     
       4.4.2.	Anders dan De Combinatie is de voorzieningenrechter van oordeel dat het subgunningscriterium “presentatie”, bij een aanbesteding als de onderhavige, een deugdelijk criterium is, verband houdend met de opdracht in de zin van artikel 54 Bao. Immers is onderdeel van de opdracht voor perceel 1 het gebruiksrecht (paragraaf 2.2 van de aanvraag), waarin ondermeer is vastgelegd dat Landstede een inschrijver wenst te contracteren die “opdrachtgever een lesmethode [aanbiedt] inclusief alle lesmateriaal die van doen heeft met de betreffende lesmethode. Hierbij kan men denken aan leerboeken van de betreffende methode, werkboeken, digitaal lesmateriaal en alle overige lesmateriaal die bij de betreffende methode hoort. (…)”. 
       Bij het subgunningscriterium “presentatie” zijn drie wensen van Landstede beschreven die samenhangen met het genoemde digitale lesmateriaal en ook aansluiten bij het doel dat Landstede nastreeft om de aanbesteding op deze manier op te zetten. Landstede heeft immers duurzame samenwerking met de leverancier voor ogen teneinde tegemoet te komen aan de kwaliteitszorg van een vakgroep, waarvan onderdeel is de kwaliteit van toetsen, het doel van toetsen, de inzet van leermiddelen en het inrichten van een elektronische leeromgeving. ICT en internet worden volgens Landstede steeds belangrijker in de ondersteuning van het leerproces. Landstede heeft haar standpunt hieromtrent ook naar voren gebracht middels haar antwoord op vraag 242. 
       Overigens leest de voorzieningenrechter in vraag 3 niet dat Landstede wil dat de inschrijver een elektronische leeromgeving moet inrichten. Aanbieders van digitale leermiddelen, zoals ThiemeMeulenhof, Noordhoff en Malmberg, hebben een eigen beveiligde internetomgeving waarin het digitale lesmateriaal zich bevindt. Met Landstede is de voorzieningenrechter van oordeel dat deze vraag dan ook is gericht op de mogelijkheden met betrekking tot het doorschakelen naar c.q. koppelen van de digitale leeromgeving van Landstede met de elektronische leeromgeving van de opdrachtnemer. Van de Combinatie als redelijk geïnformeerde en normaal zorgvuldige inschrijver mag worden verwacht dat zij vraag 3 ook op deze manier begrijpt. 
     
     
     4.4.3.	Tegen deze achtergrond valt zonder nadere toelichting, welke ontbreekt, niet in te zien waarom Landstede de mogelijkheid heeft om de uitkomst naar eigen inzicht te sturen wanneer uitsluitend inschrijvers die nog voor gunning in aanmerking komen aan de presentatie mogen meedoen, zoals De Combinatie heeft aangevoerd. Wanneer deze inschrijvers in een eerder stadium al zijn afgevallen omdat zij niet kunnen voldoen aan het aanbieden van lesmethodes inclusief het lesmateriaal dat daarmee van doen heeft, waaronder digitaal lesmateriaal, behoeven ook in een presentatie de vragen betreffende dit digitale lesmateriaal niet te worden beantwoord en toegelicht en kunnen deze inschrijvers daarmee geen punten meer scoren. De presentatie brengt, anders dan De Combinatie betoogt, geen wijzigingen aan in de eerder ingediende schriftelijke offerte, maar vormt een toelichting op onderdelen van de schriftelijke offerte die inschrijvers niet of niet goed in hun schriftelijke offerte kunnen verwoorden. Digitaal lesmateriaal laat zich beter toelichten door middel van een (digitale) presentatie, die mogelijk maakt dat een beoordelaar direct kan zien en begrijpen wat de mogelijkheden van digitale leermiddelen inhouden. 
     
     4.4.4.	Ook ten aanzien van het subgunningscriterium “presentatie” is de beoordelingssystematiek voldoende helder. De beoordeling van de presentaties voldoet aan de daaraan te stellen eisen: de beoordelingsaspecten zijn van tevoren bekend gemaakt (relatief en integraal) en de beoordeling wordt uitgevoerd door een team van ter zake deskundigen, begeleid door een deskundig adviesbureau (zie hiervoor onder 4.3.9.). Een presentatie met één briljant idee kan dezelfde score krijgen als een presentatie met bijvoorbeeld drie behoorlijk goede ideeën. Wat briljant of behoorlijk goed is, hangt direct samen met de vraagstelling: maatwerk, interactief, directe feedback etc. 
     
     4.4.5.	Concluderend stelt de voorzieningenrechter vast dat met de verlangde presentatie geen aspecten die buiten het kader van de opdracht zouden vallen aan de orde worden gesteld. 
     
     4.5.	Het voorgaande brengt mee dat de vordering van De Combinatie zal worden afgewezen. De (sub)gunningscriteria en beoordelingssystematiek van de aanbestedingsprocedure zijn voldoende objectief en transparant. 
     
     
       4.6.	De Combinatie zal als de in het ongelijk gestelde partij in de proceskosten worden veroordeeld van Landstede, welke worden begroot op: 
       - griffierecht	EUR 	568,00 
       - salaris advocaat		816,00 
       Totaal	EUR 	1.384,00. 
     
     
     
       4.7.	Voor Malmberg geldt dat zij door de tussenkomst partij is geworden tegenover De Combinatie. De proceshandelingen van Malmberg waren gericht tegen De Combinatie, die in de zaak tegen Malmberg als de in het ongelijk gestelde partij heeft te gelden. De Combinatie zal dan ook in de proceskosten worden veroordeeld van Malmberg, welke worden begroot op: 
       - griffierecht	EUR 	568,00 
       - salaris advocaat		816,00 
       Totaal	EUR 	1.384,00. 
     
       
     4.8.        De door Landstede en Malmberg gevorderde wettelijke rente over de proceskosten zal als onbetwist worden toegewezen als gevorderd. 
     
     4.9.	Ten aanzien van de vordering van Noordhoff om de inschrijving van De Combinatie ongeldig te verklaren en De Combinatie uit te sluiten van verdere deelname, omdat De Combinatie bij haar inschrijving een voorbehoud zou hebben gemaakt, overweegt de voorzieningrechter als volgt. 
       
     4.9.1.	In de brief d.d. 23 februari 2011 waarmee De Combinatie haar offerte aanbiedt aan Landstede schrijft De Combinatie: 
     
     “Ondanks onze aanbieding blijven onze bezwaren, zoals eerder door ons aan u gesteld, van toepassing.” 
     
     4.9.2.	Naar het oordeel van de voorzieningenrechter kan hierin niet worden gelezen dat Noordhoff zich het recht voorbehoudt om op haar inschrijving terug te komen. Van een inschrijving onder voorwaarden is eerst sprake wanneer het (al dan niet) intreden van die voorwaarden zou kunnen leiden tot het algeheel of gedeeltelijk verval van de inschrijving. Daarvan is in het onderhavige geval geen sprake. 
     
     4.9.3.	Gelet op de afwijzing van zowel de vordering van Landstede als die van Noordhoff, zal de voorzieningenrechter de proceskosten in de procedure tussen Landstede en Noordhoff compenseren als na te noemen. 
     
     
     
       5.	De beslissing 
       De voorzieningenrechter 
     
     
     5.1.	wijst de vordering van De Combinatie af, 
     
     5.2.	veroordeelt De Combinatie in de proceskosten, aan de zijde van Landstede tot op heden begroot op EUR 1.384,-, te vermeerderen met de wettelijke rente over dit bedrag vanaf 14 dagen na betekening van dit vonnis tot de dag van volledige betaling, 
     
     5.3.	veroordeelt De Combinatie in de proceskosten, aan de zijde van Malmberg tot op heden begroot op EUR 1.384,-, te vermeerderen met de wettelijke rente over dit bedrag vanaf 14 dagen na betekening van dit vonnis tot de dag van volledige betaling, 
     
     5.4.	wijst de vordering van Noordhoff af, 
     
     5.5.	compenseert de proceskosten aldus dat in de procedure tussen Landstede en Noordhoff, beide partijen de eigen kosten dragen, 
     
     5.6.	verklaart dit vonnis wat betreft de kostenveroordeling uitvoerbaar bij voorraad. 
     
     
     
       Dit vonnis is gewezen door mr. A.F.L. Geerdes, voorzieningenrechter, in tegenwoordigheid van mr. V. Bouchla, griffier, en in het openbaar uitgesproken op 7 juni 2011. 
       615/676?