EVALUATIE PIANOO
Eindrapport

EVALUATIE PIANOO
Eindrapport
Den Haag, 14 maart 2014
Ir. B.J.F. Gooskens
R.M. van Schelven MSc.
Ir. A. Dijkzeul
I. van Roest MSc.

–

WIE WE ZIJN
Kwink Groep is een adviesbureau voor maatschappelijke vraagstukken. We
ontwikkelen beleid en voeren het uit. We evalueren organisaties en
wetgeving. En we zijn sterk in bedrijfsvoering en organisatieontwikkeling.
We hebben een eigen visie op vraagstukken, zoals op het gebied van
prestatiemeting. Onze aanpak is niet standaard. Op een creatieve manier
bundelen we inzichten vanuit verschillende disciplines en sectoren.
Adviseurs van Kwink Groep zijn enthousiast, nieuwsgierig en zetten graag
een extra stap voor het beste resultaat. Daarom kiezen opdrachtgevers
voor ons.
Kenmerkend voor Kwink Groep is ook de sterke link met de wetenschap.
We werken regelmatig in projecten samen met (hoogleraren van)
universiteiten. Gezamenlijk ontwikkelen we kennis die we toepassen in de
praktijk en delen via onze publicaties. Dat houdt ons scherp.

INHOUD
Samenvatting

5

1.

Inleiding

11

1.1. Achtergrond van het evaluatieonderzoek

12

1.2. Over PIANOo

12

1.3. Onderzoeksvraag

13

1.4. Onderzoeksaanpak

14

1.5. Leeswijzer

15

Context – complexe opgave

17

2.1. Tijdelijkheid en positionering

18

2.

2.1.1. Feiten

18

2.1.2. Percepties

18

2.2. Meetbaarheid toegevoegde waarde

19

2.2.2. Percepties

19

2.3. Doelgroep

3.

20

2.3.1. Feiten

20

2.3.2. Percepties

21

2.4. Bevindingen

23

Dienstverlening

24

3.1. Feiten

25

3.1.1. Diensten en producten

4.

19

2.2.1. Feiten

25

3.1.2. Bezoekcijfers
3.2. Percepties

25
27

3.2.1. Bekendheid

28

3.2.2. Gebruik

30

3.2.3. Waardering en toepasbaarheid

32

3.2.4. Vraaggericht – aanbodgericht

37

3.2.5. Rechtmatigheid – doelmatigheid

39

3.3. Bevindingen

40

Effecten

44

4.1. Feiten

45

4.2. Percepties

45

4.3. Bevindingen

51

5.

Doelmatigheid

54

5.1. Feiten

55

5.1.1. Opdracht

55

5.1.2. Middelen (budget, fte)

56

4.1.3 Voorzieningen voor doelmatige taakuitvoering

57

5.2. Percepties

58

5.2.1. Opdracht

58

5.2.2. Middelen (budget, fte)

59

5.2.3. Voorzieningen voor doelmatige taakuitvoering

61

5.3. Bevindingen

61

Bijlagen

65

A. uitkomsten enquête professionals

66

B. overzicht gesprekspartners

84

C. Overzicht geraadpleegde documenten

86

D. Overzicht bekendheid, gebruik en waardering meest gebruikte diensten

89

SAMENVATTING

Verbeteren van de
professionaliteit van
het aanbesteden en
de naleving van de
aanbestedingsregels in Nederland

Doel

Onderzoeksvraag:
In welke mate heeft PIANOo
de doelstellingen uit het
instellingsbesluit gehaald en
heeft PIANOo de taken uit het
instellingsbesluit doelmatig en
doeltreffend vervuld?

•

•

•
Belangrijkste
diensten:
• Website (51%)
• PIANOo-desk
(43%)
• Congres (23%)
• Metrokaart
(FAQ) (16%)
• Jurisprudentie
(16%)

Throughput

•

•

•

Output
Bekendheid is
groot.
Meeste
producten
worden goed
gebruikt.
Hoge waardering (7,7)

Doeltreffendheid
PIANOo is doeltreffend in de uitvoering van haar opdracht. De
toegevoegde waarde van PIANOo is echter niet voor alle
aanbestedende diensten gelijk.

Budget bijna
gehalveerd.
Opdracht: focus
op kennisfunctie.
Beperkte
betalingsbereidheid
onder
gebruikers.

Input

Doelmatigheid
• PIANOo heeft meer focus aangebracht in haar
werkzaamheden en
• PIANOo heeft verschillende voorzieningen getroffen voor
doelmatige taakuitvoering.
• Het aanbod van producten en diensten is nog steeds groot,
terwijl de betalingsbereidheid onder gebruikers beperkt is en
het budget van PIANOo bijna is gehalveerd.
•

•

•
Tijdelijke
positionering
Toegevoegde
waarde lastig
meetbaar
Heterogene
doelgroep

Context

Netwerkfunctie:
PIANOo stimuleert
en faciliteert de
samenwerking van
aanbesteden-de
diensten (50%)

Kennisfunctie:
Gebruikers zijn door
dienstverlening
beter in staat om
professioneel in te
kopen en aan te
besteden (57%).

Outcome

Schematische weergave uitkomsten evaluatie PIANOo

6

In dit evaluatieonderzoek staat de volgende onderzoeksvraag centraal:
In welke mate heeft PIANOo de doelstellingen uit het instellingsbesluit gehaald en heeft PIANOo de taken
uit het instellingsbesluit doelmatig en doeltreffend vervuld?
Uit het evaluatieonderzoek komen de volgende hoofdconclusies naar voren:
PIANOo heeft voor een groot deel van de aanbestedende diensten een belangrijke bijdrage geleverd aan
het verbeteren van de professionaliteit van het aanbesteden en de naleving van de aanbestedingsregels
in Nederland.
PIANOo heeft haar taken binnen de kenniscentrumfunctie en netwerkfunctie op een doeltreffende wijze
vervuld. De bekendheid en de waardering voor de producten en diensten van PIANOo onder gebruikers
is hoog en de meeste producten worden goed gebruikt.
Ten aanzien van de doelmatigheid constateren wij enerzijds dat PIANOo conform de opdracht van de
minister meer focus heeft aangebracht in haar werkzaamheden en zich met het beperktere budget
primair heeft gericht op het verstevigen van de kennisfunctie. Bovendien heeft PIANOo verschillende
voorzieningen getroffen voor doelmatige taakuitvoering. Anderzijds constateren wij dat het totale
aanbod van producten en diensten nog steeds groot is, terwijl de betalingsbereidheid onder gebruikers
beperkt is en het budget van PIANOo bijna is gehalveerd.

Over PIANOo en het evaluatieonderzoek
PIANOo1 is het Expertisecentrum Aanbesteden en heeft als doel om de professionaliteit van het
aanbesteden en de naleving van de aanbestedingsregels in Nederland te verbeteren.
Ter verwezenlijking van dit doel dient PIANOo de aanwezige kennis en ervaring over de rechtmatige en
doelmatige toepassing van de aanbestedingsregels beschikbaar te maken voor alle aanbestedende
diensten

(dit

wordt

gezien

als

de

kenniscentrumfunctie).

Ter

ondersteuning

van

de

kenniscentrumfunctie kan PIANOo de inhoudelijke en praktische samenwerking van aanbestedende
diensten stimuleren en faciliteren (dit wordt gezien als de netwerkfunctie).2
PIANOo is in 2005 ingesteld. Eind 2014 eindigt de huidige en de derde driejarige instellingsperiode van
PIANOo. Het Instellingsbesluit PIANOo schrijft voor dat de directeur-generaal Energie, Telecom en
Mededinging uiterlijk 1 mei 2014 een evaluatierapport opstelt, dat ingaat op de doelmatigheid en
doeltreffendheid van de taakvervulling van PIANOo. Het voorliggende rapport betreft het resultaat van
dit externe evaluatieonderzoek, dat is uitgevoerd door Kwink Groep.
Het onderzoek heeft plaatsgevonden in de periode van november 2013 tot en met maart 2014 en is
begeleid door de directie Mededinging en Consumenten van het Ministerie van Economische Zaken, een
begeleidingscommissie met vertegenwoordigers van de verschillende belanghebbenden en de
Stuurgroep PIANOo. De uitkomsten van het onderzoek zijn gebaseerd op diverse kwalitatieve en
kwantitatieve bronnen, zoals openbare onderzoeksrapporten en gegevens van PIANOo, maar vooral op
een enquête onder gebruikers (respons: 886), 21 (telefonische) interviews en zes groepsgesprekken met
voornamelijk aanbestedende diensten.

1
2

Professioneel en Innovatief Aanbesteden, Netwerk voor Overheidsopdrachtgevers.
Instellingsbesluit PIANOo 2012 (artikel 3). http://wetten.overheid.nl/BWBR0030770/geldigheidsdatum_08-12-2012

7

Leeswijzer
Deze samenvatting volgt de structuur van het rapport: om de bevindingen in het juiste perspectief te
plaatsen geven wij allereerst een beschouwing van de context van de opgave van PIANOo. Vervolgens
analyseren wij de bekendheid, het gebruik en de waardering van de dienstverlening van PIANOo. Op
basis daarvan beschrijven we de effecten die de dienstverlening van PIANOo heeft voor aanbestedende
diensten. We eindigen met een analyse van de doelmatigheid van de taakuitvoering.

Context – complexe opgave
Bevinding: de opgave van PIANOo is om meerdere redenen complex:


De tijdelijke positionering van PIANOo maakt dat een deel van de organisatiekracht van PIANOo
(tot aan het niveau van de stuurgroep) weglekt naar korte termijn doelen zoals reorganiseren
en overleven.



De toegevoegde waarde van de dienstverlening van PIANOo is lastig te meten. Waarneembare
effecten (bijvoorbeeld de naleving van de aanbestedingswet) zijn lastig toe te schrijven aan de
activiteiten van PIANOo.



PIANOo kent een brede doelgroep die wordt gekenmerkt door een variëteit in behoeften. Door
externe ontwikkelingen veranderen de behoeften van de gebruikers bovendien door de tijd.
Veel gebruikers ervaren een verschil tussen ‘voorlopers’ en ‘achterblijvers’ in het
aanbestedingsveld, die elk andere eisen stellen aan het aanbod van PIANOo. Ondanks deze
diverse en dynamische kennisbehoefte, wordt PIANOo geacht alle aanbestedende diensten te
ondersteunen.

Dienstverlening
Bevinding: de bekendheid en de waardering voor de producten en diensten van PIANOo onder
gebruikers is hoog en de meeste producten worden goed gebruikt.


Bekendheid: de bekendheid van PIANOo in het veld waarin ze actief is, is erg hoog. De website,
PIANOo-desk en het congres zijn veruit de meest bekende producten en diensten die PIANOo
aanbiedt.



Gebruik: ten opzichte van de vorige evaluatie (2011) hebben zich geen grote veranderingen
voor gedaan in het gebruik van producten en diensten. De website en de PIANOo-desk zijn de
meest gebruikte diensten. Ook het jaarlijkse (NEVI-)PIANOo congres en de jurisprudentie
aanbestedingsrecht

worden

regelmatig

gebruikt.

De

vakgroepen

en

de

leergang

aanbestedingsrecht worden door minder dan 10% van de respondenten gebruikt.


Waardering: gesprekspartners en respondenten beoordelen de dienstverlening overwegend als
(zeer) positief. Gemiddeld wordt de dienstverlening van PIANOo beoordeeld met een 7,7. Een
nadere uitsplitsing naar type gebruikers en producten levert geen opvallende afwijkingen op.
Ten opzichte van de vorige evaluatie hebben zich geen grote veranderingen voor gedaan.

Ter overweging: minimaliseer het vragenloket tot de generieke basisvoorziening, gericht op de
beantwoording van de meest complexe of vertrouwelijke vragen op het gebied van rechtmatigheid.
Hoewel het vragenloket een grote post vormt op de begroting van PIANOo, behoort het tot de minst
gebruikte diensten. Gebruikers geven aan dat de PIANOo-desk deels dezelfde behoefte vervuld als het
vragenloket. Bovendien wordt circa 30% van de vragen gesteld door bedrijven. Indien EZ van mening is

8

dat het gewenst is dat PIANOo vragen van bedrijven blijft beantwoorden (terwijl dit geen onderdeel is
van haar opdracht), bevelen wij aan hier budget voor beschikbaar te stellen.
Aanbeveling: Aanbevolen wordt om binnen de netwerkfunctie meer aandacht te besteden aan het
proactief ontsluiten van best practices van aanbestedende diensten die zichzelf beschouwen als
voorlopers. Deze voorlopers zijn bereid hun kennisvoorsprong te delen met andere aanbestedende
diensten, maar voelen zichzelf daartoe onvoldoende uitgenodigd. Gesprekspartners verschillen van
opvatting over de vraag of PIANOo meer vraaggericht of meer aanbodgericht zou moeten opereren.
Met de huidige middelen bevelen wij PIANOo aan om prioriteit te blijven geven aan het vraaggericht
antwoord geven op vragen die gesteld worden in plaats van het aanbodgericht verstrekken van
informatie die (nog) niet door gebruikers gevraagd is. We zien echter wel een verbindende rol voor
PIANOo weggelegd.
Aanbeveling: Wij bevelen PIANOo aan om zich met de beperkt beschikbare middelen prioriteit te
geven aan het aspect rechtmatigheid. Gebruikers zien zowel het bevorderen van rechtmatig inkopen als
het bevorderen van doelmatig inkopen als taken van PIANOo. Het budget van PIANOo is echter
ontoereikend om op volwaardige wijze invulling te geven aan deze verschillende functies. Op het aspect
rechtmatigheid kan PIANOo – meer dan op doelmatigheid – unieke meerwaarde bieden.

Effecten
Bevinding: we constateren dat PIANOo doeltreffend is in de uitvoering van haar opdracht. PIANOo
levert voor een groot deel van de aanbestedende diensten een belangrijke bijdrage aan het verbeteren
van de professionaliteit van het aanbesteden en de naleving van de aanbestedingsregels. Zowel de
kennisfunctie als de netwerkfunctie leveren een bijdrage aan de verwezenlijking van dit doel.
Bevinding: de toegevoegde waarde van PIANOo is echter niet voor alle aanbestedende diensten gelijk.
Hoewel zowel de kennisfunctie als de netwerkfunctie van PIANOo een belangrijke bijdrage leveren aan
het verbeteren van de professionaliteit van het aanbesteden en de naleving van de aanbestedingsregels
in Nederland, zijn er grote verschillen in de bijdrage en het belang van de verschillende typen
dienstverlening van PIANOo voor ‘voorlopers’ en ‘achterblijvers’.
Aanbeveling: gegeven de middelen waarover PIANOo beschikt en de wens vanuit EZ als
opdrachtgever om focus aan te brengen in de dienstverlening, bevelen wij PIANOo aan om de
kennisfunctie met name te richten op de aanbestedende diensten die worden gekenschetst als
‘achterblijvers’. De netwerkfunctie van PIANOo dient zich zoals hierboven beschreven juist met name
te richten op het ontsluiten van de kennis en ervaringen van de gebruikers die zichzelf zien als
‘voorlopers’.

Doelmatigheid
Bevinding: Wij constateren dat PIANOo conform het instellingsbesluit meer focus heeft aangebracht
in haar werkzaamheden en zich met het beperktere budget primair heeft gericht op het verstevigen
van de kennisfunctie. Om dit te bereiken heeft PIANOo verschillende voorzieningen getroffen voor

9

doelmatige taakuitvoering.3 Bovendien heeft de organisatie zich flexibel getoond in veranderende
omstandigheden.
Bevinding: Hoewel conform de opdracht van de Minister is gehandeld, plaatsen wij de kanttekening
dat het totale aanbod aan producten en diensten nog steeds groot is.


Het grote aanbod is opvallend, omdat het budget van PIANOo bijna is gehalveerd (van circa 3
miljoen Euro in 2010 en 2011 naar 1,6 miljoen Euro in 2012 en 2013)4 en een aantal producten
en diensten beperkt wordt gebruikt.5 Bovendien is de betalingsbereid onder aanbestedende
diensten beperkt (ongeveer de helft van de respondenten geeft expliciet aan niet bereid te zijn
te betalen voor gebruik van PIANOo-desk of bezoek van het PIANOo-congres).



Dit roept de vraag op of het dienstenaanbod van PIANOo ‘need to have’ of ‘nice to have’ is en
aan welke producten en diensten PIANOo prioriteit zou moeten geven.

Aanbeveling: gegeven de beperkt beschikbare middelen en het op dit moment brede dienstenaanbod,
geven wij PIANOo ter overweging mee een aantal van de overige producten en diensten te beëindigen
dan wel anders in te richten. Wij benoemen in dit onderzoek vijf perspectieven die van belang zijn bij de
afweging welke producten en diensten te beëindigen dan wel anders in te richten. 6 Wij geven ter
overweging mee om dit afwegingskader te gebruiken als basis voor een dialoog tussen opdrachtgever
(EZ) en opdrachtnemer (PIANOo).

3

PIANOo legt gestructureerd verantwoording af over haar middelen en activiteiten. EZ en PIANOo hebben zowel formeel als
informeel veel contact op verschillende niveaus. De kwaliteit van producten en diensten wordt op regelmatige basis gemonitord.
PIANOo handhaaft geen producten waarvoor de waardering beperkt is.
4
Het takenpakket van PIANOo is meerdere malen gewijzigd. Zo is het secretariaat van de Commissie van aanbestedingsexperts
een nieuwe taak binnen de kennisfunctie.
5
De vakgroepen en de leergang aanbestedingsrecht worden door minder dan 10% van de respondenten gebruikt. Het gebruik van
een aantal andere producten is op basis van de enquête minder dan 25%.
6
De vijf overwegingen zijn (1) de bekendheid, het gebruik, de waardering en het belang van de producten die volgen uit dit
onderzoek en monitoringsgegevens; (2) de kosten die het aanbieden van de specifieke producten met zich meebrengen; (3) de
bereidheid van aanbestedende diensten om de producten te financieren; (4) de mate waarin vergelijkbare producten en diensten
worden aangeboden door andere partijen (5) de mate waarin producten en diensten passen bij de positionering van PIANOo als
generieke basisvoorziening en specifiek van belang zijn voor de ‘achterblijvers’.

10

1. INLEIDING

11

In dit hoofdstuk presenteren we de onderzoeksvraag en geven we een toelichting op
de onderzoeksaanpak. We sluiten het hoofdstuk af met een leeswijzer bij het
rapport.
1.1. Achtergrond van het evaluatieonderzoek
PIANOo is het expertisecentrum aanbesteden en heeft als doel om de professionaliteit van het
aanbesteden en de naleving van de aanbestedingsregels in Nederland te verbeteren. Ter verwezenlijking
van dit doel dient PIANOo de aanwezige kennis en ervaring over de rechtmatige en doelmatige
toepassing van de aanbestedingsregels beschikbaar te maken voor alle aanbestedende diensten.7
PIANOo8 is in 2005 ingesteld. Eind 2014 eindigt de huidige en de derde driejarige instellingsperiode van
PIANOo. Het Instellingsbesluit PIANOo schrijft voor dat de directeur-generaal van Energie, Telecom, en
Mededinging, uiterlijk 1 mei 2014 een evaluatierapport opstelt, waarin aandacht wordt besteed aan de
doelmatigheid en doeltreffendheid van de taakvervulling van PIANOo.
De doelmatigheid en doeltreffendheid van de taakvervulling van PIANOo is in de voorgaande twee
instellingsperioden ook geëvalueerd910.

1.2. Over PIANOo
PIANOo is een zelfstandige dienst van het ministerie van Economische Zaken (EZ). Het eigenaarschap
over de dienst valt onder de Secretaris Generaal van het ministerie van EZ en is gedelegeerd aan de
directeur-generaal Energie Telecom en Mededinging (DG ETM). De leiding van PIANOo is in handen van
de directeur van PIANOo als hoofd van Dienst. De directeur wordt op voordracht van de directeurgeneraal ETM benoemd na consultatie van de stuurgroep. Het mandaat van de directeur is vastgelegd in
het Mandaatbesluit EZ.

11

De directeur van PIANOo legt verantwoording af aan de directeur-generaal

ETM. Voorts legt PIANOo haar jaarplan en begroting ter goedkeuring voor aan de directeur-generaal
ETM, na advies van de directie Financieel Economische Zaken (FEZ) van het ministerie van EZ. PIANOo
wordt inhoudelijk aangestuurd door een stuurgroep met een onafhankelijke voorzitter. Hierin zijn de
belangrijkste doelgroepen van PIANOo vertegenwoordigd.
Het doel van PIANOo is de professionaliteit van het aanbesteden en de naleving van de
aanbestedingsregels in Nederland te verbeteren.
1.

PIANOo heeft ter verwezenlijking van het doel tot taak de aanwezige kennis en ervaring over de
rechtmatige en doelmatige toepassing van de aanbestedingsregels beschikbaar te maken voor
alle aanbestedende diensten12 (kennisfunctie).

Ter verwezenlijking van dit doel, zal PIANOo de volgende activiteiten ter hand nemen 13:
7

Instellingsbesluit PIANOo 2012.
Professioneel en Innovatief Aanbesteden, Netwerk voor Overheidsopdrachtgevers.
9
EIM, (2008). Evaluatie PIANOo 2008. http://www.rijksoverheid.nl/bestanden/documenten-enpublicaties/rapporten/2008/05/19/1-evaluatie-pianoo/8056477-bijlage.pdf
10
EIM, (2011). Evaluatie PIANOo 2011. http://www.rijksoverheid.nl/bestanden/documenten-enpublicaties/rapporten/2011/11/04/rapport-evaluatie-pianoo-2011/rapport-evaluatie-pianoo-2011.pdf
11
Besluit van de minister van Economische Zaken van 7 december 2012, nr. WJZ / 12376584, houdende regels inzake de verlening
van mandaat, volmacht en machtiging EZ 2012 (Besluit mandaat, volmacht en machtiging EZ 2012).
12
Onder aanbestedende diensten wordt verstaan: de staat, een provincie, een gemeente, een waterschap, een publiekrechtelijke
instelling of een samenwerkingsverband van deze overheden of publiekrechtelijke instellingen.
8

12

a.
b.
c.
d.
e.
2.

verzamelen en verspreiden via haar website van informatie over de praktijk en de regels
voor aanbestedingen;
voeren van het secretariaat van de nog in te stellen commissie van aanbestedingsexperts 14;
geven van gezaghebbende antwoorden op vragen van aanbestedende diensten over
aanbesteden;
ontwikkelen en stimuleren van elektronisch aanbesteden15;
opstellen van handreikingen op het gebied van aanbesteden.

Ter ondersteuning van haar doelstellingen kan PIANOo, naast bovengenoemde taken, de
inhoudelijke en praktische samenwerking van aanbestedende diensten stimuleren en
faciliteren16 (netwerkfunctie).

Ter verwezenlijking van haar doelstellingen, biedt PIANOo verschillende diensten en producten aan,
zoals: een forum voor inkopers en aanbesteders (PIANOo-desk), regionale en landelijke
themabijeenkomsten en congressen, nieuwsbrieven, factsheets, jurisprudentieoverzichten etc. 17
In de Kamerbrief naar aanleiding van de vorige evaluatie 18, kondigt de minister van Economische Zaken
aan dat hij “gedurende drie jaar jaarlijks 1,2 miljoen Euro beschikbaar stelt voor de basisfinanciering van
PIANOo. De kennisfunctie kan hiermee gefinancierd worden en ook kan PIANOo hiermee het
secretariaat van de commissie van aanbestedingsexperts uitvoeren.” In het organisatiebesluit PIANOo
van 10 januari 2013 wordt het budget van 1,2 miljoen Euro gecontinueerd in de jaren 2013 en 2014. In
aanvulling op de basisfinanciering door het ministerie heeft PIANOo in 2012 en 2013 jaarlijks
financiering door derden georganiseerd. Voor een volledig overzicht van de budgettering, een
uitsplitsing naar kostenposten en de financiering door derden verwijzen we naar hoofdstuk 5.

1.3. Onderzoeksvraag
Het doel van de evaluatie van PIANOo is het informeren van de minister van EZ over 1) de doelmatigheid
en doeltreffendheid van PIANOo in de huidige instellingsperiode en of 2) de werkzaamheden (o.b.v. de
taken volgend uit het instellingsbesluit) van PIANOo hebben bijgedragen aan verbetering van de
professionaliteit van het aanbesteden in Nederland.
De tweeledige doelstelling van de evaluatie leidt tot de volgende centrale onderzoeksvraag:
In welke mate heeft PIANOo de doelstellingen uit het instellingsbesluit gehaald en heeft PIANOo de
taken uit het instellingsbesluit doelmatig en doeltreffend vervuld?
Bij het beantwoorden van de onderzoeksvraag zijn de volgende taken/activiteiten, op verzoek van de
opdrachtgever, buiten beschouwing gelaten:


Het voeren van het secretariaat van de commissie van aanbestedingsexperts (Artikel 3, derde
lid, onderdeel b): Deze taak wordt niet in deze evaluatie meegenomen, omdat deze taak nog
maar korte tijd door PIANOo wordt uitgevoerd (sinds 1 april 2013) en apart geëvalueerd zal
worden.



Het beheer van TenderNed: Dit onderdeel zal separaat geëvalueerd worden. De activiteit
‘ontwikkelen en stimuleren van elektronisch aanbesteden’ (artikel 3, derde lid, onderdeel d)

13

Instellingsbesluit PIANOo 2012 (artikel 3). http://wetten.overheid.nl/BWBR0030770/geldigheidsdatum_08-12-2012
Deze activiteit vormt geen onderdeel van dit evaluatieonderzoek.
Deze activiteit vormt geen onderdeel van dit evaluatieonderzoek.
16
Instellingsbesluit PIANOo 2012 (artikel 3). http://wetten.overheid.nl/BWBR0030770/geldigheidsdatum_08-12-2012
17
Voor een meer uitgebreide beschrijving van PIANOo en haar producenten en diensten verwijzen wij naar hoofdstuk 3
‘Dienstverlening’.
18
Ministerie van EL&I, (2011). Kamerbrief evaluatie PIANOo en tweede rapportage aanbestedingsambassadeur.
14
15

13

wordt dus beperkt tot de activiteiten die PIANOo daartoe onderneemt in haar
kenniscentrumfunctie.

1.4. Onderzoeksaanpak
Onderzoeksmodel
In de evaluatie is gebruik gemaakt van het onderstaand onderzoeksmodel:

Figuur 1. Analysekader

De verschillende elementen in het analysekader hangen met elkaar samen. Hierna lichten we de
elementen en hun samenhang kort toe. Het startpunt van de analyse wordt gevormd door het
geformuleerde doel (verbeteren van naleving en professionaliteit van de aanbestedingspraktijk). Om dat
doel te bereiken is PIANOo opgericht. PIANOo heeft een opdracht en - daaruit voortvloeiend - taken en
middelen (bijvoorbeeld fte’s en budgetten) meegekregen om het doel te bereiken (input). Met de
beschikbare input worden inspanningen geleverd en activiteiten ondernomen (throughput).
Dit levert resultaten (output) op die feitelijk vast te stellen zijn zoals het gebruik van diensten van
PIANOo door aanbestedende diensten en andere stakeholders (bijvoorbeeld het aantal deelnemers aan
het PIANOo-congres en het aantal pageviews van de website PIANOo.nl). Onder outcome verstaan we
(de percepties over) het functioneren van de netwerk- en kenniscentrum functie van PIANOo. Hoe
worden de activiteiten van PIANOo gewaardeerd door de gebruikers? In hoeverre passen stakeholders
de inzichten uit bijvoorbeeld het PIANOo-congres en de website toe in de aanbestedingspraktijk?
In figuur 2 worden de fasen van het onderzoek schematisch weergegeven. Daarna zullen de stappen uit
het schema worden toegelicht.

14

Figuur 2. Fasen van het onderzoek.

Toelichting op de stappen uit het schema:


Vaststellen aanpak: in deze voorbereidende fase is de onderzoeksaanpak vastgesteld.



Documentenanalyse: In deze fase is documentenanalyse uitgevoerd. De opgedane inzichten uit
eerdere onderzoeken, (product)evaluaties en het organisatiebesluit en de werkplannen van
PIANOo zijn in de analysefase gebruikt bij het formuleren van (concept)bevindingen.



Enquête: In deze fase is in aanvulling op het documentenonderzoek, een online enquête onder
gebruikers van PIANOo uitgezet om de opvattingen van gebruikers te toetsen. De enquête is
ingevuld door 886 professionals. In de eerste plaats is er gebruik gemaakt van een
(elektronische) enquête vanwege de grootte en verscheidenheid van de doelgroep van PIANOo.
Door in de vraagformulering grotendeels aan te sluiten bij de vragen die in het
evaluatieonderzoek uit 2011 aan de orde zijn gekomen, kunnen we de beoordeling van het
functioneren van PIANOo vergelijken met eerdere resultaten.



Interviews: Om een gedegen beeld te verkrijgen van de percepties van belanghebbenden, zijn
in totaal 21 telefonische interviews afgenomen onder gebruikers van PIANOo, die bijvoorbeeld
werkzaam zijn bij inkooporganisaties, overheden, kennisinstellingen en leveranciers. Daarnaast
zijn een zestal groepsgesprekken gevoerd (raadpleeg voor een volledig overzicht van de
gesprekspartners de bijlagen van het rapport). We zijn ons ervan bewust dat antwoorden van
gesprekspartners gekleurd kunnen zijn door bijvoorbeeld verschillende belangen en hebben
daarom in het onderzoekstraject gebruik gemaakt van triangulatie: dezelfde vraag is altijd aan
verschillende gesprekspartners voorgelegd.



Analyse door onderzoeksteam: In deze fase zijn de verzamelde feiten en percepties
geanalyseerd om te komen tot oordeelsvorming.



Toetsing (hoor en wederhoor): Conceptbevindingen zijn getoetst bij PIANOo zelf, het ministerie
van Economische Zaken, de begeleidingscommissie en de stuurgroep. Voor een overzicht van de
aanwezigen bij de vier toetsingsbijeenkomsten kunt u de bijlagen raadplegen.



Rapportage: De uiteindelijke bevindingen zijn opgenomen in deze rapportage.

1.5. Leeswijzer
In hoofdstuk 2 geven we allereerst een beschouwing van de context van de opgave van PIANOo. Dit stelt
ons in staat om richting te geven aan het onderzoek en de feiten en percepties van gesprekspartners in

15

het juiste perspectief te plaatsen. In hoofdstuk 3 gaan we in op de dienstverlening van PIANOo. Het
aanbod van PIANOo wordt toegelicht, waarbij de bekendheid, het gebruik en de waardering onder
gebruikers worden besproken. Ook wordt bezien hoe de dienstverlening en het gebruik hiervan zich in
de afgelopen jaren heeft ontwikkeld. In hoofdstuk 4 ‘Effecten’, beschrijven we de percepties van
inkopende- en aanbestedende diensten en andere stakeholders ten aanzien van de mate waarin
PIANOo bij heeft gedragen aan de verbetering van naleving en professionaliteit van de
aanbestedingspraktijk. Hoofdstuk 5 gaat in op de doelmatigheid van de taakvervulling van PIANOo. We
beschrijven in dit hoofdstuk de voorzieningen die PIANOo al dan niet heeft getroffen om een doelmatige
taakuitvoering te waarborgen.
In de bijlagen worden de uitkomsten van de enquête onder professionals gepresenteerd. Tevens
bevatten de bijlagen verschillende overzichten van gesprekspartners en geraadpleegde documenten.
Tot slot zijn in de bijlagen twee overzichtstabellen opgenomen waarin de bekendheid, het gebruik en
waardering van de belangrijkste diensten van PIANOo zijn gepresenteerd.

16

2. CONTEXT – COMPLEXE
OPGAVE

17

We starten dit onderzoek met een beschouwing van de context van de opgave van
PIANOo. Dit stelt ons in staat om richting te geven aan het onderzoek en de feiten en
percepties van gesprekspartners in het juiste perspectief te plaatsen om zo tot goed
afgewogen bevindingen te komen.
2.1. Tijdelijkheid en positionering
2.1.1. Feiten
PIANOo kent een tijdelijke instellingstermijn van drie jaar. Het huidige instellingsbesluit is met ingang
van 1 januari 2012 in werking getreden en vervalt met ingang van 1 januari 2015. Het beschikbare
budget van PIANOo voor de taken in de instellingsbeschikking is kleiner dan in de voorgaande periodes.
De minister van EZ heeft daarom aangegeven dat PIANOo focus dient aan te brengen in haar
activiteiten.19
Het aantal activiteiten dat PIANOo ten aanzien van haar taken ter hand dient te nemen is in de huidige
instellingsperiode dan ook verminderd ten opzichte van de voorgaande instellingsperiode.


Instellingsbesluit PIANOo 2009:
a. verzamelen en verspreiden van informatie over de praktijk en regels van aanbestedingen;
b. bundelen en delen van ervaring met en kennis van aanbestedingen met inbegrip van die in
het buitenland;
c.

geven van gezaghebbende antwoorden op vragen over aanbesteden;

d. methodiekontwikkeling voor innovatieve aanbestedingsvormen;
e. bevorderen van een juiste keuze of toepassing van verschillende aanbestedingsvormen;
f.

advisering over specifieke aanbestedingen;

g. (laten) verzorgen van training/scholing van overheidsinkopers;
h. ontwikkelen en stimuleren van elektronisch aanbesteden.


Instellingsbesluit PIANOo 2012:
a. verzamelen en verspreiden via haar website van informatie over de praktijk en de regels
voor aanbestedingen;
b. voeren van het secretariaat van de nog in te stellen commissie van aanbestedingsexperts;
c.

geven van gezaghebbende antwoorden op vragen van aanbestedende diensten over
aanbesteden;

d. ontwikkelen en stimuleren van elektronisch aanbesteden;
e. opstellen van handreikingen op het gebied van aanbesteden.
Overigens is de doelstelling van PIANOo in de huidige instellingsperiode breder geformuleerd.


Instellingsbesluit PIANOo 2009: Het doel van PIANOo is de professionaliteit van het
aanbesteden in Nederland te vergroten. 20



Instellingsbesluit PIANOo 2012: Het doel van PIANOo is de professionaliteit van het
aanbesteden en de naleving van de aanbestedingsregels in Nederland te verbeteren.21

2.1.2. Percepties
Gesprekspartners geven aan dat PIANOo door haar huidige positionering voor een aantal onzekerheden
en uitdagingen staat die van invloed zijn op het functioneren van PIANOo op de langere termijn.

19

Kamerbrief Minister van EZ 4 november 2011. Evaluatie PIANOo en tweede rapportage aanbestedingsambassadeur.
Instellingsbesluit PIANOo 2009, Artikel 3, lid 1. Staatscourant 2008 nr. 193, 24 september 2008.
21
Instellingsbesluit PIANOo 2012, Artikel 3, lid 1. Staatscourant 2011 nr. 22338, 13 december 2011.
20

18



Ten eerste wordt aangegeven dat door de tijdelijke instellingsperiodes van drie jaar de
toekomst voor PIANOo altijd onzeker is. Deze onzekerheid maakt het volgens een aantal
gesprekspartners lastigvoor PIANOo om te bouwen aan een stabiele organisatie. Ook is het voor
PIANOo minder zinvol om producten te ontwikkelen die binnen de instellingsperiode niet of
nauwelijks tot concrete resultaten leiden.



Ten tweede wordt door een aantal gesprekspartners aangegeven dat PIANOo een brede
doelstelling kent. De teruglopende financiering is volgens deze gesprekspartners niet gepaard
gegaan met een beperking van deze doelstelling. Gesprekspartners merken hierbij op dat
PIANOo ook nog veel activiteiten ontplooit die niet tot de activiteiten van het instellingsbesluit
behoren (bijvoorbeeld de activiteiten vallend onder de netwerkfunctie).



Ten derde maakt de teruglopende financiering dat PIANOo in de afgelopen perioden onderhevig
is geweest aan een aantal reorganisaties. In de huidige instellingsperiode heeft een
reorganisatie plaatsgevonden door de samenvoeging met TenderNed. Vanuit het Management
Team van PIANOo wordt aangegeven dat in de huidige instellingsperiode veel organisatiekracht
is gegaan naar deze reorganisatie.



Ten vierde lopen volgens gesprekspartners de baten en laten van PIANOo uiteen. Dit is een
voedingsbodem voor een doorlopende discussie over de financiering van (met name de
netwerkfunctie van) PIANOo. De Rijksoverheid financiert PIANOo voor het grootste gedeelte.
Gesprekspartners van de Rijksoverheid en grote aanbestedende diensten (bijvoorbeeld
Rijkswaterstaat en de Haagse Inkoopsamenwerking – HIS) geven aan in mindere mate
afhankelijk te zijn van de dienstverlening van PIANOo. Decentrale overheden (zoals provincies
en waterschappen) leveren een kleinere financiële bijdrage. Echter, nagenoeg alle
gesprekspartners geven aan dat deze groep wel het meest afhankelijk is van de dienstverlening
van PIANOo en er ook het meeste baat bij heeft.22

Bovengenoemde

onzekerheden

en

uitdagingen

maken

volgens

gesprekspartners

dat

veel

organisatiekracht van PIANOo (tot aan het niveau van de stuurgroep) ‘verloren gaat’ aan overleven, het
verwerven van bestaansrecht en het verwerven van financiering voor het ontplooien van (aanvullende)
activiteiten. Gesprekspartners geven aan dat PIANOo zich daardoor met name op de korte termijn richt
en in mindere mate is gericht op lange termijn (bestendigen, uitbouwen, samenwerken, oogsten).

2.2. Meetbaarheid toegevoegde waarde
2.2.1. Feiten
Voor de feitelijke achtergrondinformatie over de doelstelling en activiteiten van PIANOo verwijzen we
naar paragraaf 1.2.
2.2.2. Percepties
Uit de gesprekken komt naar voren dat de toegevoegde waarde van de dienstverlening van PIANOo ten
aanzien van het verbeteren van de professionaliteit van het aanbesteden en de naleving van de
aanbestedingsregels volgens gesprekspartners om een aantal redenen lastig te meten is.


Ten eerste kent PIANOo, zoals in paragraaf 2.1.1 omschreven, een brede doelstelling. Dit maakt
volgens gesprekspartners dat PIANOo een divers pallet aan producten en diensten kent.23 De

22

Overigens lijkt er bij het PIANOo-congres (netwerkfunctie) juist sprake te zijn van het omgekeerde. De Rijksoverheid is met 40%
van de deelnemers het sterkst vertegenwoordigd.
23
Hierbij wordt opgemerkt dat het aantal activiteiten in het instellingsbesluit beperkt is ten opzichte van de vorige
instellingsperiode. Activiteiten onder de netwerkfunctie staan niet omschreven in het instellingsbesluit.

19

individuele bijdrage van de verschillende producten en diensten aan de opdracht van PIANOo is
volgens gesprekspartners dan ook lastig te meten.


Ten tweede geven gesprekspartners aan dat de bijdrage van PIANOo aan effecten en resultaten,
bijvoorbeeld op het gebied van de professionalisering van aanbestedingen, lastig te meten zijn.
Ten eerste komt dit door het grote aantal aanbieders dat (deels) vergelijkbare producten en
diensten aanbiedt. Uit een onderzoek, naar organisaties actief op het gebied van
overheidsaanbestedingen24, blijkt dat er naast PIANOo een groot aantal andere partijen
informatie en advies verstrekt aan publieke inkooporganisaties. Ten tweede is aanbesteden
complex en blijven de regels in beweging. Mede door de komst van de nieuwe
Aanbestedingswet (2012) is het lastig om meetbaar te maken wat de bijdrage van PIANOo aan
rechtmatig aanbesteden is. Het is door de veranderde wetgeving niet meer mogelijk om
nalevingspercentages historisch te vergelijken.



Tot slot wordt door meerdere gesprekspartners aangegeven dat de toegevoegde waarde van
PIANOo buiten kijf staat, aangezien de doelgroepen van PIANOo jaarlijks voor ongeveer 60
miljard Euro aan diensten, werken en leveringen inkopen en aanbesteden. Deze
gesprekspartners beargumenteren dat wanneer de diensten van PIANOo zouden leiden tot een
minimale reductie van dit bedrag, PIANOo al de moeite waard zou zijn. Er is echter nooit een
analyse van de kosten en baten van PIANOo gemaakt. Daardoor wordt deze discussie gevoerd
op basis van ‘onderbuikgevoelens’, zonder dat de discussie uitkristalliseert. Om deze reden
benadrukken verschillende gesprekspartners de noodzaak tot het uitvoeren van een
maatschappelijke kosten-baten analyse van PIANOo.

2.3. Doelgroep
2.3.1. Feiten
Ter verwezenlijking van haar doel dient PIANOo “de aanwezige kennis en ervaring over de rechtmatige
en doelmatige toepassing van de aanbestedingsregels beschikbaar te maken voor alle aanbestedende
diensten”.25 Onder aanbestedende diensten wordt verstaan: de staat, een provincie, een gemeente, een
waterschap, een publiekrechtelijke instelling of een samenwerkingsverband van deze overheden of
publiekrechtelijke instellingen.26


Nalevingspercentages laten zien dat er verschillen zijn tussen de mate waarin de verschillende
aanbestedende diensten, die door PIANOo worden ondersteund, rechtmatig inkopen en
aanbesteden. Onderzoeksbureau Significant heeft in 2012 onderzoek gedaan naar de naleving
van de Europese aanbestedingsregels door aanbestedende diensten. Uit de conclusies blijkt dat
er grote verschillen waarneembaar zijn in de mate van naleving in Nederland. Dit was ook het
geval bij eerdere nalevingsmetingen. De naleving van de Europese aanbestedingsregels door
provincies, kerndepartementen en grote gemeenten is het hoogst. Kleine gemeenten en ROC’s
hebben de laagste naleving.27



Verschillende aanbestedende diensten werken sinds ongeveer tien jaar in toenemende mate
met elkaar samen. De samenwerking bestaat uit het behalen van schaalvoordelen door

24

Inventarisatie van organisaties rondom overheidsaanbestedingen (Kwink Groep, 2013).
Instellingsbesluit PIANOo 2012.
26
Besluit aanbestedingsregels voor overheidsopdrachten.
27
Significant (2012), Nalevingsmeting 2010. In opdracht van het Ministerie van Economische Zaken, Landbouw en Innovatie,
Pagina 22.
25

20

collectieve inkoop, het gezamenlijk opstellen van formats en procedures en het uitwisselen van
kennis en informatie.
-

De samenwerking van gemeenten en waterschappen varieert van shared service centers
tot informele samenwerkingsverbanden en gezamenlijke inkoopbureaus. 28 Ook zijn er
voorbeelden van grote gemeenten die de inkoop uitvoeren voor kleinere gemeenten in hun
regio.

-

De meer dan 300 inkooppunten van het Rijk zijn per 1 januari 2014 opgegaan in 20 Inkoop
Uitvoeringscentra (IUC’s). Bijna elk IUC doet inkopen voor één of meerdere opdrachtgevers
binnen de Rijksoverheid.29 Sommige IUC’s bestaan al langer. Zo voert de Haagse Inkoop
Samenwerking (HIS) sinds 1 januari 2012 de inkoop uit voor de ministeries van BZK, VWS,
SZW, BuZa, Financiën en AZ.

2.3.2. Percepties
Gesprekspartners zijn van mening dat PIANOo een ingewikkelde taak heeft: de doelgroep is breed,
waardoor de behoeften van gebruikers uiteen lopen. Mede als gevolg van de toegenomen
samenwerking tussen aanbestedende diensten, zien gesprekspartners een duidelijk verschil tussen de
behoeften van ‘voorlopers’ en ‘achterblijvers’. De verschillen tussen ‘voorlopers’ en ‘achterblijvers’
betreffen volgens gebruikers een aantal dimensies:


Primaire focus op doelmatig inkopen, waarbij rechtmatig inkopen een randvoorwaarde vormt
(‘voorlopers’) vs. primaire focus op rechtmatig inkopen (‘achterblijvers’).



Mate van kennis van de nieuwe aanbestedingswet (en implementatie van de wet in
werkprocessen).



Mate van aandacht voor innovatieve thema’s als MKB-vriendelijk inkopen of maatschappelijk
verantwoord inkopen.



Mate van borging van kennisontwikkeling en kennisuitwisseling in werkprocessen.



Mate van samenwerking met andere inkooporganisaties. Van verregaande samenwerking bij
inkoop- en aanbestedingsprocedures en kennisuitwisseling, bijvoorbeeld bij gemeentelijke
inkoopbureaus (‘voorlopers’), tot beperkte samenwerking met andere inkooporganisaties
(‘achterblijvers’).

Op basis van het onderhavige onderzoek is niet eenduidig vast te stellen welke aanbestedende diensten
tot de ‘voorlopers’ of ‘achterblijvers’ behoren. Bovenstaande dimensies zijn immers niet getoetst bij alle
aanbestedende diensten. Wel merken wij op dat het onderscheid tussen ‘voorlopers’ en ‘achterblijvers’
breed gedragen wordt door gesprekspartners. Op basis van de beelden uit deze gesprekken stellen wij
de volgende globale onderverdeling vast van ‘voorlopers’ en ‘achterblijvers’.

28

Voorbeelden van gemeentelijke samenwerkingsverbanden zijn BIZOB, Stichting Rijk en Stichting Inkoopbureau West-Brabant.
De waterschappen werken samen in de subwerkgroep Inkoop en Aanbesteden (SIA) van de Unie van Waterschappen. Voorts zijn
er vier Regionale Samenwerkingsoverleggen Inkoop (RSI’s) waarin een aantal waterschappen gezamenlijk inkopen en
aanbesteden.
29
http://www.rijksoverheid.nl/onderwerpen/inkopen-door-het-rijk/inkooporganisatie-van-het-rijk.

21

Voorlopers:

Rijksoverheid, inkoopsamenwerkingen (bijvoorbeeld gemeentelijke inkoopbureaus en inkoop
uitvoeringscentra – IUC’s30), grote gemeenten.
Achterblijvers:

Kleine gemeenten, middelgrote gemeenten, (kleine)waterschappen en (kleine) provincies.
Van de volgende organisaties hebben wij geen indicaties vernomen of zij tot de groep voorlopers of
achterblijvers behoren:

(Semi-)publieke organisaties zoals zorginstellingen, onderwijsinstellingen, woningcorporaties, etc.
Wij merken op dat bovenstaande onderscheid dient om de begrippen ‘voorlopers’ en ‘achterblijvers’
verder te duiden. Het onderscheid zal in de praktijk niet altijd zwart-wit zijn.
Aanbestedende diensten die zichzelf als ‘voorloper’ beschouwen zijn van mening dat het aanbod van de
kennisfunctie van PIANOo met name is gericht op de ‘achterblijvers’. Het niveau en de diepgang van het
aanbod sluit onvoldoende aan bij de behoefte van de ‘voorlopers’: het aanbod is gericht op kennis die
reeds bekend is of ontwikkelingen die achterhaald zijn. Hoewel alle aanbestedende diensten begrip
hebben voor de complexe opgave van PIANOo, ervaren veel ‘voorlopers’ de beperkte diepgang van de
aangeboden kennis en informatie als een beperking, aangezien PIANOo als wettelijke taak heeft alle
aanbestedende diensten te ondersteunen.
Overigens geven de ‘voorlopers’ aan wel de waarde van de netwerkfunctie in te zien. Zij zien dit als een
middel dat ze kunnen gebruiken om hun kennis te delen. Dit biedt volgens de ‘voorlopers’ een aantal
voordelen: 1) Kennis delen is een maatschappelijke taak / doelstelling, met behulp van PIANOo kan dit
op een doelmatige manier worden ingericht, 2) Vragen kunnen door PIANOo worden opgevangen
voordat deze bij de voorlopers zelf terecht komen, 3) Verschillen in aanpak en werkwijze van overheden
leidt tot hogere transactiekosten voor marktpartijen.
Nadere toelichting op de variëteit in doelgroepen:

Schaalgrootte van inkooporganisaties: Sommige aanbestedende diensten (bijvoorbeeld de HIS, de
Belastingdienst of gemeentelijke inkoopbureaus zoals Stichting Bureau Inkoop en Aanbestedingen
Zuidoost-Brabant - BIZOB) hebben meer dan 20 inkoop professionals. Bij een aantal kleine
gemeenten en sommige waterschappen wordt de inkoop uitgevoerd door een ‘éénpitter’.

Omvang van contracten: Aanbestedende diensten van grote organisaties zetten contracten in de
markt ter waarde van tientallen of honderden miljoenen Euro’s. Dit geldt met name voor
aanbestedende diensten die veel werken aanbesteden. Er zijn echter ook aanbestedende diensten
die zelden contracten in de markt zetten met een omvang van meer dan 1 miljoen Euro.

Type producten: Hoewel er een gedeeltelijke overlap bestaat in producten en diensten die worden
ingekocht, geven gebruikers aan dat een groot deel van de producten en diensten die worden
ingekocht juist sterk verschillen. Ziekenhuizen kopen veel ziekenhuisapparatuur, gemeenten
besteden onderhoud van openbare ruimte of leerlingenvervoer aan en het Rijk zet juist veel
mantelcontracten voor dienstverlening in de markt. De inhoudelijke kennis over het inkopen en
aanbesteden van deze specifieke producten is slechts relevant voor een beperkt deel van de
doelgroep.

Strategische inkopers vs. operationele inkopers: Er bestaat volgens gebruikers een duidelijk
onderscheid tussen de behoeften van strategische inkopers (coördinerende functie,
beleidsbepalend, ontwikkelen kaders) en tactische inkopers (beleidsuitvoerend, verantwoordelijk
voor de concrete uitwerking van contracten en begeleiden bij aanbestedingsprocedures).

30

http://www.rijksoverheid.nl/onderwerpen/inkopen-door-het-rijk/inkooporganisatie-van-het-rijk.

22

2.4. Bevindingen
We concluderen dat de opgave van PIANOo om meerdere redenen complex is.
Ten eerste maakt de tijdelijke positionering van PIANOo dat een deel van de organisatiekracht van
PIANOo (tot aan het niveau van de stuurgroep) weglekt naar korte termijn doelen zoals reorganiseren
en overleven. Hierdoor kan PIANOo zich in minder mate richten op de lange termijn (bestendigen,
uitbouwen, oogsten).
Ten tweede is de toegevoegde waarde van de dienstverlening van PIANOo ten aanzien van het
verbeteren van de professionaliteit van het aanbesteden en de naleving van de aanbestedingsregels
lastig te meten. Waarneembare effecten (bijvoorbeeld de naleving van de aanbestedingswet) zijn lastig
toe te schrijven aan de activiteiten van PIANOo.
Tot slot kent PIANOo een brede doelgroep die wordt gekenmerkt door een variëteit in behoeften, als
gevolg van onder andere een verschillende schaalgrootte van de aanbestedende dienst, omvang van
contracten en type producten dat wordt aanbesteed. Door samenwerking tussen inkooporganisaties,
bezuinigingen, decentralisaties en nieuwe wet- en regelgeving veranderen de behoeften van gebruikers
door de tijd. Mede als gevolg van deze ontwikkelingen ervaren veel gebruikers een verschil
tussen ‘voorlopers’ en ‘achterblijvers’ in het aanbestedingsveld. Ondanks deze diverse en dynamische
kennisbehoefte, wordt PIANOo geacht alle aanbestedende diensten te ondersteunen. In hoofdstuk 4
wordt nader toegelicht welke verschillen er zijn in de toegevoegde waarde van PIANOo voor
‘voorlopers’ en ‘achterblijvers’.

23

3. DIENSTVERLENING

24

In dit hoofdstuk gaan we in op de dienstverlening van PIANOo. Het aanbod van
PIANOo wordt toegelicht, waarbij de bekendheid, het gebruik en de waardering
onder gebruikers worden besproken. Ook wordt bezien hoe dienstverlening en het
gebruik hiervan zich in de afgelopen jaren heeft ontwikkeld.
3.1. Feiten
3.1.1. Diensten en producten
In deze paragraaf wordt ingegaan op de samenstelling van het aanbod van PIANOo en de bezoekcijfers
van de virtuele diensten en het PIANOo-congres. De activiteiten die PIANOo uitvoert, kunnen worden
onderverdeeld in producten en diensten. Conform het werkplan van PIANOo maken wij onderscheid
tussen de kenniscentrumfunctie en netwerkfunctie:
Type product/dienst
Virtuele diensten

Naam product/dienst

Website PIANOo.nl
PIANOo-desk
Vragenloket (info@pianoo.nl)
31
Bijeenkomsten
PIANOo-congres
Regionale bijeenkomsten
32
PIANOo-lunchlezingen
Marktontmoetingen
Instrumenten en publicaties
Metrokaart inkoop en aanbesteden (FAQ)
Factsheets
PIANOo handleidingen
Jurisprudentie aanbestedingsrecht
Nieuwsbrieven
PIANOo-alert
Opleidingen en vakgroepen
Leergang Aanbestedingsrecht
Vakgroep Aanbestedingsrecht
Vakgroep Inkoopmanagement Publieke
Sector
33
Vakgroep GWW Inkoop en Bouw
Tabel 1. Overzicht van het product- en dienstenaanbod van PIANOo.

Kenniscentrumfunctie
√

Netwerkfunctie

√
√
√
√
√
√
√
√
√
√
√
√
√
√
√

3.1.2. Bezoekcijfers34
Website
Het totale aantal websitebezoekers bedroeg in 2012 370.473. Eind oktober 2013 ligt dit aantal al op
376.955. Op basis van de beschikbare gegevens is de verwachting dat het totale aantal bezoekers in
2013 is opgelopen tot 447.000 (extrapolatie), wat een stijging is van 19% ten opzichte van 2012.
PIANOo-desk
De PIANOo-desk brengt inkopers en aanbesteders binnen de publieke sector op interactieve wijze bij
elkaar rond actuele inkoopgerelateerde thema’s met als doel kennisvermenigvuldiging door actieve
kennisdeling.35 In onderstaande tabel zijn de gebruiksgegevens van de PIANOo-desk weergegeven voor
2012 en 2013.

31

Vanaf 2012 het NEVI-PIANOo congres.
De laatste lunchlezing vond eind 2012 plaats. Daarna is deze dienst beëindigd.
33
Omdat deze vakgroep in december 2013, tijdens het onderzoeksproces is opgericht, wordt deze dienst niet meegenomen in dit
evaluatierapport.
34
In deze subparagraaf worden de bezoekcijfers van de website, PIANOo-desk, het vragenloket en het congres behandeld omdat
van deze diensten bezoekcijfers bekend zijn. Het gebruik van de andere diensten is gebaseerd op de enquête en wordt dan ook
behandeld binnen paragraaf 1.2 ‘Percepties’.
35
http://www.pianoo.nl/over-pianoo/online-instrumenten/pianoo-desk.
32

25

Gebruiksgegevens
Totaal aantal
Aantal nieuwe leden
PIANOo-desk
leden
2012-2013
Maand ↓
Jaar → 2012
2013
2012
2013
Januari
2700
2906
52
39
Februari
2752
2861
44
71
Maart
2796
2932
63
73
April
2859
2944
127
162
Mei
2986
3106
52
49
Juni
3038
3155
25
41
Juli
2722
3196
67
51
Augustus
2405
2994
37
24
September
2507
3022
103
38
Oktober
2612
3063
105
60
November
2648
3093
36
48
December
2691
2590
43
28
Gemiddeld per maand 2726
2989
46
57
Toe- of afname (%)
+9,6%
+ 23,9%
Tabel 2. Gebruiksgegevens PIANOo-desk 2012 – 2013.

Aantal bezoeken

Aantal bezoekers

2012
1902
1782
1448
1698
1578
1548
1477
1604
1674
1139
1841
1958
1637

2012
660
804
633
700
684
533
585
729
750
633
671
719
675

2013
1416
1297
1893
1757
1760
1515
1736
1342
1443
1597
1956
1186
1575
- 3,7%

2013
654
634
618
733
793
548
752
565
492
569
634
554
629
-6,8%

De toename van het aantal leden van PIANOo-desk (+9,6% in 2013 t.o.v. 2012) zegt niet zo heel veel,
aangezien PIANOo aangeeft maandelijks ongebruikte accounts te verwijderen. Relevanter is dat het
aantal nieuwe leden (per maand) op de PIANOo-desk ten opzichte van 2012 is toegenomen met 24%. 36
Het gemiddeld aantal bezoeken op de PIANOo-desk is in 2013 licht afgenomen ten opzichte van 2012 (3,7%). Het totale aantal bezoekers is in 2013 ten opzichte van 2012 eveneens afgenomen (-6,8%).
Vragenloket
Het vragenloket stelt gebruikers van PIANOo in staat om vragen over inkoop en aanbesteden aan een
deskundige van PIANOo te stellen 37, het vragenloket dient volgens PIANOo als achtervang voor de (met
name meer complexe) vragen die niet via de desk kunnen worden beantwoord.
Gebruiksgegevens vragenloket
2012
Aantal vragen
(gem. p/maand)
51
Waarvan complex
(gem. p/maand)
36
Afkomstig van bedrijven (gem. p/maand)
14
Totaal aantal ingediende vragen
613
Waarvan bedrijven
(%)
27%
Waarvan complex
(%)
71%
Gemiddelde doorlooptijd
(in dgn.)
3,7
Tabel 3. Gebruiksgegevens vragenloket 2012 – 2013.

2013
88
67
29
38
1055
33%
76%
2,8

Verschil (%)
+72,5%
+86%
+107%
+72%*
+6%
+5%
-24%

Op basis van bovenstaande tabel valt op te maken dat het totale aantal vragen dat in 2013 via het
vragenloket is ingediend, met 70% is gestegen ten opzichte van 2012. Ook valt op dat doorlooptijd in
2013 met ongeveer een kwart van de duur is afgenomen.
Uit de gegevens van PIANOo blijkt dat de grootste groep vragenstellers in 2013 bedrijven zijn (33%),
daarna volgen gemeenten (25%), daaropvolgend ‘accountants en adviseurs’ (13%) en tot slot gebruikers
vanuit het Rijk (11%). Uit de gegevens (2013) blijkt tevens dat de helft van de ingediende vragen
juridisch van aard is. 15% Van de vragen had betrekking op de aanbestedingswet (15%), 6% van de
vragen ging over TenderNed, en wederom 6% van de vragen was inkooptechnisch van aard.
36

Leden: ingeschreven gebruikers, bezoekers: in de betreffende maand PIANOo-desk daadwerkelijk bezocht.
https://www.pianoo.nl/formulier/140/contact.
38
Ongeveer 5% van het totale aantal ingediende vragen in 2013 waren zo eenvoudig dat men is terugverwezen naar de PIANOo
desk.
37

26

PIANOo-congres
Met ingang van 2012 wordt een bijdrage gevraagd van de bezoekers die niet meebetalen aan de
netwerkfunctie. De invoering hiervan is een mogelijke verklaring voor de bezoekersafname (-32,7%) in
2013 ten opzichte van 2011. In 2012 werd het PIANOo-congres bezocht door 450 bezoekers. In 2013 is
dit aantal toegenomen met +7,5%. Wel moet worden opgemerkt dat de bezoekersaantallen in de jaren
voor 2010 ook in de range 450-550 lagen.

Aanwezigen PIANOo-congres 2011 en 2013

2013 (N = 484)

2011 (N = 719)

Overige
deelnemers
12,2%

Overige
deelnemers 15,4%
Centrale
overheid
31,2%

Publiekrechtelijke
instellingen 12,7%
Decentrale
overheid 40,8%
(wv. 30,2%
gemeenten)

Publiekrechtelijke
instellingen 10,3%

Centrale
overheid 40,1%

Decentrale overheid 37,4%
(wv. 23,6% gemeenten)

Figuur 3. Congresbezoekers 2011 en 2013 naar organisatie van herkomst.

Voor 2012 gold een vergelijkbare verdeling als in 2013. In 2012 was zelfs 47% van de bezoekers
werkzaam bij de Rijksoverheid. 36% Van de bezoekers was werkzaam bij decentrale overheden
(waarvan 25,1% gemeenten), 13% binnen publiekrechtelijke instellingen en 4,5% ‘overige’.

3.2. Percepties
In deze paragraaf wordt ingegaan op de percepties van respondenten en gesprekspartners ten opzichte
van de dienstverlening van PIANOo. Allereerst zal de bekendheid, het gebruik en de waardering van
verschillende producten en diensten aan de orde komen. Ook komt de gemiddelde beoordeling van
PIANOo’s dienstverlening aan bod. Vervolgens wordt ingegaan op de percepties van gesprekspartners
ten aanzien van de werkwijze van PIANOo en de positionering en taakstelling van de dienst.
Bij het behandelen van bovengenoemde aspecten wordt, wanneer relevant, een uitsplitsing gemaakt
naar verschillende gebruikersgroepen.

27

3.2.1. Bekendheid

Met welke van de volgende producten en diensten van PIANOo bent u
bekend?
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

92%
76%
65%
54%
46%

44%

51%
43%
35%

26%

21%

29%
22%
6%

3%

Figuur 4. Bekendheid van de producten en diensten van PIANOo onder de doelgroep.

De bekendheid van PIANOo in zijn algemeenheid is groot onder inkopers en aanbesteders. Veel van de
gesprekpartners geven aan dat iedereen binnen het vakgebied bekend is met PIANOo. Ten aanzien van
bestuurders ligt dit anders. Respondenten vanuit verschillende gremia geven aan dat PIANOo niet goed
bekend is onder bestuurders. Enkele respondenten gaven echter wel aan de bekendheid onder
bestuurders toeneemt.
Quote van een respondent:
“PIANOo is een vanzelfsprekendheid, iedereen kent het.”
Op basis van figuur 4, concluderen we dat de website, de PIANOo-desk en het PIANOo-congres veruit de
meest bekende producten en diensten van PIANOo zijn. Het vragenloket, de PIANOo-vakgroep
aanbestedingsrecht, marktontmoetingen en de leergang aanbestedingsrecht zijn het minst bekend in
2013. Het karakter van deze diensten verklaart de beperkte bekendheid: de vakgroep
aanbestedingsrecht vindt plaats op basis van uitnodiging en de leergang aanbestedingsrecht kent slechts
een beperkt aantal plaatsen.

28

Uitsplitsing naar doelgroepen

Met welke van de volgende producten en diensten van PIANOo bent u
bekend?
100%
90%
80%
70%

PIANOo-desk

60%
50%

Website PIANOo.nl

40%
30%
20%
10%
0%

Metrokaart inkoop
en aanbesteden
(FAQ)
Jurisprudentie
aanbestedingsrecht
PIANOo-congres

Figuur 5. Bekendheid van de producten en diensten van PIANOo voor verschillende gebruikersgroepen.

Uit bovenstaande figuur valt af te leiden dat onder zorginstellingen de bekendheid van de website iets
achterloopt. De bekendheid van de PIANOo-desk is het hoogst onder middelgrote gemeenten en
onderwijsinstellingen. De metrokaart is het bekendst onder waterschappen, middelgrote en grote
gemeenten. Binnen de zorgsector is de metrokaart minder bekend. De jurisprudentieoverzichten zijn
het bekendst bij waterschappen en middelgrote gemeenten. Het PIANOo-congres is met name bekend
bij waterschappen, de Rijksoverheid en provincies.
Bekendheid van het vragenloket
Naar aanleiding van de vorige evaluatie, heeft de minister aangegeven de komende periode meer
bekendheid aan het vragenloket te willen geven. 39 Uit de enquête volgt dat 26% van de respondenten
bekend is met het vragenloket (2013). De bekendheid van het vragenloket is onder waterschappen
(42%) en middelgrote gemeenten (37%) hoger dan gemiddeld. De bekendheid onder zorg- en
onderwijsinstellingen is lager dan gemiddeld (respectievelijk 13% en 20%).
Aangezien gebruikers bij de vorige evaluatie niet zijn bevraagd op bekendheid, kunnen wij op basis van
uitkomsten van de enquête geen uitspraken doen over de stijging van de bekendheid. Respondenten
zijn in de beide evaluaties wel bevraagd op gebruik van het vragenloket. Deze is op basis van gegevens
uit de enquête gestegen van 9% (N =605) in 2011 naar 11% (N=886) in 2013. De beperkte stijging in het
gebruik van het vragenloket volgens de enquête is opvallend beperkt in vergelijking tot de stijging van
het feitelijke aantal gestelde vragen (van 613 naar 1055, +72%). Een gedeeltelijke verklaring voor dit
verschil is dat circa 30% van de vragen wordt gesteld door bedrijven, een groep die slechts 6% van de

39

Ministerie van EL&I, (2011). Kamerbrief evaluatie PIANOo en tweede rapportage aanbestedingsambassadeur.

29

respons vormt. De invoering van de nieuwe Aanbestedingswet is volgens gesprekspartner een
belangrijke verklaring voor de stijging van het aantal vragen in 2013.
Uit de interviews komt een vergelijkbaar beeld naar voren met betrekking tot de bekendheid van
PIANOo’s diensten en producten als uit de enquêteresultaten. Veel gebruikers zijn bekend met de
website en de PIANOo-desk. De bekendheid van het vragenloket is laag, zo gaven verschillende
respondenten tijdens het interview aan nog niet eerder van deze dienst (het ‘vragenloket’) te hebben
gehoord of van de mogelijkheid om vragen te stellen via info@pianoo.nl.
3.2.2. Gebruik
Van welke diensten van PIANOo maakt u gebruik?
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

88%
66%
45%

43%
35%

35%

31%
24%

11%

27%
14%

8%

9%
1%

2011
2013

40

Figuur 6. Gebruik van diensten in 2011 en 2013. Bron: EIM (2011) en Kwink Groep (2013).

In 2013 zijn de website en PIANOo-desk de meest gebruikte diensten, zoals blijkt uit figuur 6. Ook de
gesprekken bevestigen dit beeld. Toch geven verschillende gesprekspartners ook aan juist minder
gebruik te maken van de desk, dit wordt met name aangegeven door gebruikers die zichzelf als
‘voorloper’ beschouwen, de reden hiervoor is dat de meerwaarde van de informatie op de PIANOo-desk
(relatief) klein is voor deze groep omdat men zelf al veel kennis en ervaring in huis heeft.
De meest gebruikte diensten volgend op de website en PIANOo-desk, zijn het jaarlijkse PIANOo-congres
en de jurisprudentieoverzichten. Van bepaalde diensten zoals vakgroepen en de leergang
aanbestedingsrecht wordt weinig gebruik gemaakt. Zoals eerder in dit hoofdstuk werd vastgesteld,
wordt dit veroorzaakt door het kleinschalige dan wel besloten karakter van deze activiteiten. Wat wel
opvalt is het gebruik van de PIANOo handleidingen, dat is gestegen van 16% (2011) naar 31% (2013).
Ook de daling van het gebruik van de PIANOo-desk (van 74% naar 66%) is noemenswaardig. Bij de
gebruikscijfers moet een kleine kanttekening worden geplaatst. Het is niet uitgesloten dat het gebruik
40

EIM, (2011). Evaluatie PIANOo 2011. http://www.rijksoverheid.nl/bestanden/documenten-enpublicaties/rapporten/2011/11/04/rapport-evaluatie-pianoo-2011/rapport-evaluatie-pianoo-2011.pdf

30

van producten en diensten in werkelijkheid wellicht iets hoger ligt, omdat gebruikers van PIANOo niet
altijd op de hoogte zullen zijn van de precieze benamingen van producten die zij bijvoorbeeld verkrijgen
via PIANOo.nl.
Uitsplitsing naar doelgroepen

Van welke diensten van PIANOo maakt u gebruik?
100%
90%

PIANOo-desk

80%
70%
60%
50%
40%
30%
20%
10%
0%

Website
PIANOo.nl
Metrokaart
inkoop en
aanbesteden
(FAQ)
Jurisprudentie
aanbestedingsre
cht
PIANOo-congres

Figuur 7. Gebruik van de meeste gebruikte producten en diensten van PIANOo naar gebruikersgroep (N=728).

Op basis van bovenstaande grafiek, waarin de gebruikscijfers per doelgroep voor de vijf meest gebruikte
diensten en producten van PIANOo zijn opgenomen, valt af te leiden dat alle groepen actief gebruik
maken van de website. PIANOo-desk wordt het minst gebruikt door nutsbedrijven, woningcorporaties
en het bedrijfsleven, slechts 38% van deze doelgroep geeft aan gebruik te maken van deze dienst in
tegenstelling tot het gemiddelde van 65% onder alle gebruikersgroepen (N= 728). De metrokaart wordt
voornamelijk gebruikt door kleine gemeenten, middelgrote gemeenten (30.000 tot 95.000 inwoners) en
waterschappen. De groep middelgrote gemeenten maakt het meest gebruik van de metrokaart (48%
t.o.v. 34% gemiddeld, N = 728).
Gebruik van het vragenloket
PIANOo geeft ten aanzien van het vragenloket aan bewust niet teveel ruchtbaarheid te willen geven aan
het loket, omdat PIANOo de capaciteit niet heeft om alle vragen individueel te beantwoorden. Vragen
worden dus bij voorkeur beantwoord door collega’s via de PIANOo-desk. Het vragenloket dient dus
nadrukkelijk als ‘achtervang’. Uit onderstaande grafiek blijkt dat veel respondenten het vragenloket
inderdaad ervaren als een dergelijke achtervang voor PIANOo-desk:

31

Voordat ik een vraag stel via het vragenloket (info@pianoo.nl) kijk ik altijd
eerst op de PIANOo-desk
60%

43%

39%
40%
20%

10%

7%

1%

0%
Geheel eens

Eens

Neutraal

Oneens

Geheel oneens

Figuur 8. “Voordat ik een vraag stel via het vragenloket (info@pianoo.nl) kijk ik altijd eerst op de PIANOo-desk”.
(N=510)

Bijna de helft van de respondenten (N= 510) geeft aan een vraag te stellen via de PIANOo-desk alvorens
het vragenloket van PIANOo te gebruiken. Er zijn op dit onderwerp geen duidelijke verschillen te zien
tussen de verschillende type respondenten.
3.2.3. Waardering en toepasbaarheid
In deze subparagraaf komen de waardering en toepasbaarheid van de verschillende producten en
diensten van PIANOo aan bod. Allereerst zal kort de waardering van de PIANOo’s producten en diensten
worden weergegeven, vervolgens wordt per onderdeel (website, desk, congres en vragenloket) een
verdieping gepresenteerd waarin onder meer de verschillen tussen gebruikersgroepen aan bod komen.

Waardering producten en diensten
8,4

8,3

8,2

8,1

8
7,8

7,8
7,6

7,6

7,7
7,6

7,6
7,4

7,7
7,6

7,7
7,6

7,8
7,6

7,6

7,5
7,4 7,4 7,4

7,8

7,4

7,5 7,5

7,5
7,4

7,5

7,3

2011

7,2

2013

7

Figuur 9. Waardering van de verschillende producten en diensten van PIANOo.


Op basis van bovenstaande figuur valt af te leiden dat de waardering voor de leergang
aanbestedingsrecht net als in 2011 het hoogst is (rapportcijfers 8,1). De waardering voor alle
overige producten ligt tussen de 7,4 en 7,8. Er zijn geen grote veranderingen ten opzichte van
2011 in de waardering voor de verschillende diensten. De grootste wijziging is dat de
waardering voor het vragenloket, de jurisprudentieoverzichten en de marktontmoetingen met
0,3 punt is gestegen.



De gemiddelde beoordeling van het dienstenaanbod van PIANOo van de verschillende
gebruikersgroepen (niet weergegeven in bovenstaande figuur) varieert tussen de 7,6 en de 8,3.

32

Provincies en waterschappen zijn over het algemeen het meest tevreden, zij beoordelen het
dienstenaanbod met een 8,3 (provincies) en 7,9 (waterschappen). Verdieping waardering en
toepasbaarheid PIANOo.nl.

100%

Waardering PIANOo.nl
2%

90%

6%

6%

3%

Uitmuntend

80%
70%
60%

Goed
58%

62%
70%

71%

50%

Matig
Slecht

40%
30%
20%

Voldoende

32%

10%

21%

21%

31%

Begrijpelijkheid

Deskundigheid

Bruikbaarheid

0%
Vindbaarheid

Figuur 10.
Waardering PIANOo.nl op basis van vindbaarheid, begrijpelijkheid, deskundigheid en
bruikbaarheid.(N=642)

Figuur 10 laat zien dat de vindbaarheid van informatie op de website in het algemeen wordt
beoordeeld met voldoende tot goed. 66% Van de respondenten geeft aan dat de bruikbaarheid van de
voorlichting op de website uitmuntend tot goed is.
Waardering PIANOo.nl door verschillende doelgroepen


Vindbaarheid: Op het aspect vindbaarheid oordelen waterschappen opvallend vaker goed en
uitmuntend dan gemiddeld (77% scoort goed of uitmuntend t.o.v. 61% van de doorsnee
gebruiker). Ook de Rijksoverheid en kleine gemeenten zijn iets positiever over de vindbaarheid
van zaken op de website ten opzichte van de gemiddelde gebruiker. Provincies en
zorginstellingen zijn relatief het negatiefst over de vindbaarheid van de informatie op PIANOo.nl



Begrijpelijkheid: Op het aspect begrijpelijkheid oordelen waterschappen en kleine gemeenten
vaker goed en uitmuntend dan gemiddeld (84% van beiden groepen oordeelt ‘goed’ tot
uitmuntend t.o.v. 76% van de doorsnee gebruiker). Provincies en gebruikers uit de categorie
overige beoordelen de begrijpelijkheid van de website vaker met de termen matig en
voldoende dan de gemiddelde gebruiker.



Deskundigheid: Ten aanzien van de deskundigheid van de informatie op PIANOo.nl, kan er
gesteld worden dat kleine gemeenten en waterschappen hierover het meest positief oordelen.
Deze twee groepen beoordelen de deskundigheid vaker met goed tot uitmuntend dan
gemiddeld. Onderwijsinstellingen en provincies oordelen over de deskundigheid vaker matig
tot voldoende dan de gemiddelde PIANOo-gebruiker.



Bruikbaarheid: Ten aanzien van de bruikbaarheid van de voorlichting op de website, kan er
gesteld worden dat de bruikbaarheid gemiddeld hoger is voor overheden, de provincies vormen
daarop een uitzondering. De semipublieke overheidsgebruiker relatief wat minder goed uit de
voeten lijken te kunnen met de voorlichting op de website. Dit neemt niet weg dat de
bruikbaarheid gemiddeld erg positief wordt beoordeeld.



Toepasbaarheid: Uit de gesprekken volgt dat het merendeel van de gebruikers in de praktijk
goed uit de voeten kan met de aangereikte kennis over de rechtmatige en doelmatige

33

toepassing van aanbestedingsregels. Gesprekspartners geven bijvoorbeeld aan dat de
handreikingen en voorbeelddocumenten concreet handelingsperspectief bieden. Wel wordt
aangegeven dat de aanbestedende diensten de voorbeelddocumenten en adviezen veelal niet
één-op-één over kunnen nemen, gesprekspartners geven aan dit ook niet te verwachten.
Sommige respondenten geven aan de website of de zoekfunctie daarbinnen als onpraktisch te ervaren.
Een klein deel van de gesprekspartners geeft bovendien aan dat het soms onduidelijk is wie de afzender
is van documenten op de website en wanneer deze is opgesteld. Een beperkte groep gesprekspartners
geeft aan dat de kennis van PIANOo voor hen van beperkte toegevoegde waarde is omdat zij zelf al over
veel kennis beschikken (zoals grotere aanbestedende diensten en samenwerkingsverbanden). Dit neemt
niet weg dat andere gebruikers dit anders ervaren.
Quotes van respondenten over de website:


“Ik ben erg blij met de website van PIANOo. Het is voor mij een zeer belangrijke bron van informatie
die ik dagelijks bezoek.”



“PIANOo geeft mij de informatie die ik nodig heb, en in duidelijke taal.”



“Ik vind de kwaliteit van aangereikte informatie hoog en goed toepasbaar in de praktijk.”



“De website biedt een schat aan informatie. Mogelijk mede daardoor vind ik niet altijd meteen
datgene waar ik naar op zoek ben.”



“Ik vind de website niet altijd even duidelijk. Inmiddels ken ik de website wel redelijk en kan ik mijn
weg vinden, maar dit is zeker in het begin een zoekplaatje geweest.”

Verdieping waardering en toepasbaarheid PIANOo-desk

"De kwaliteit van de antwoorden op de PIANOo-desk is hoog"
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

6%

3%

52%

53%

39%

45%

39%

38%

4%

3%

3%

6%

3%

54%

52%

7%

3%

37%

37%

42%

45%

Oneens

Figuur 11.

5%

57%
13%

Neutraal

11%

52%

47%

43%

37%

42%

5%

5%

49%

42%

13%

Eens

4%

5%

Geheel eens

Beoordeling van de kwaliteit van de antwoorden op PIANOo-desk naar doelgroep. (N=459)

De kwaliteit van de antwoorden die via de PIANOo-desk worden gegeven, wordt door de helft van de
respondenten als hoog beoordeeld. Grote gemeenten, waterschappen en zorginstellingen zijn in iets
mindere mate overtuigd van de hoge kwaliteit van de PIANOo-desk antwoorden, 13% van de gebruikers

34

uit de zorg geeft aan oneens te zijn met bovenstaande stelling. Waterschappen en kleine gemeenten en
de categorie ‘overige’ (waaronder private sector) beoordelen de stelling het vaakst met ‘geheel eens’.

"De discussies op de PIANOo-desk zijn leerzaam"
100%

5%

90%

7%

23%

9%

5%

10%

6%

10%

5%

8%

80%
70%

54%

45%

48%

58%

55%

60%

67%

48%

50%

53%
59%

54%

40%
30%
20%

36%

19%

5%

10%

10%

Oneens

Figuur 12.

28%

32%

26%

3%

5%

37%

32%

5%

6%

23%

10%
0%

42%

34%

8%

8%

Neutraal

Eens

Geheel eens

Beoordeling van de leerzaamheid van discussies op de PIANOo-desk naar doelgroep. (N=459)

62% Van de respondenten vindt de discussies op de PIANOo-desk leerzaam. Kleine gemeenten,
waterschappen en de gebruikerscategorie ‘overige’ zijn het vaakst geheel eens met de vraag of de
discussies op de PIANOo-desk leerzaam zijn. De waterschappen oordelen het positiefst over de
leerzaamheid van PIANOo-desk discussies. Provincies en grote gemeenten zijn wat sceptischer, zij geven
minder vaak aan de discussies leerzaam te achten.
De PIANOo-desk wordt door gesprekspartners gewaardeerd om de vraagbeantwoording. De
interactieve component (het kunnen ‘sparren’ met vakgenoten) en de afgeschermde omgeving die de
verschillende subgroepen bieden, worden door veel gesprekspartners beschouwd als positieve
kenmerken van de PIANOo-desk. Echter vallen hier een aantal kanttekeningen bij te plaatsen. De
aanwezigheid van commerciële partijen wordt door bepaalde gebruikers als storend ervaren. Daarnaast
geven veel gesprekspartners aan dat ‘kritisch blijven’ ten aanzien van het gebruik van de PIANOo-desk
geboden is, omdat niet alle bijdragen per definitie waarheidsgetrouw of relevant zijn. De meeste
respondenten vinden dit echter niet bezwaarlijk. Wel moet worden opgemerkt dat het bestaan van een
beperkte groep zeer actieve gebruiker (waar PIANOo en verschillende gesprekspartners op duiden) het
zelfcorrigerend vermogen van de PIANOo-desk in het geding brengen.

35

Verdieping waardering en toepasbaarheid congres
"Het PIANOo Congres draagt ertoe bij dat ik best-practices en ervaringen kan
uitwisselen"
100%
90%

20%

80%

14%
31%

50%

6%
20%

29%

18%

39%
53%

50%

42%

62%

50%
60%

48%

58%

40%

42%

30%
20%

24%

10%

4%
2%

0%

10%

50%

70%
60%

21%

50%

12%
2%

12%

Geheel oneens

19%

Oneens

26%
11%

17%
10%

Niet oneens/Niet eens

14%
20%

Eens

10%
3%

10%

24%
7%
1%

Helemaal eens

Figuur 13.
Beoordeling van de mate waarin het PIANOo-congres bijdraagt aan het kunnen uitwisselen
van best-practices en ervaringen uitgesplitst naar doelgroep. (N=329)

Uit de enquêteresultaten komt naar voren dat 68% (N=329) van de respondenten van mening is dat het
congres ertoe bijdraagt dat zij best-practices en ervaringen kunnen uitwisselen met andere
aanbestedende diensten, 8% kan zich hier niet in vinden (figuur 13). De beoordeling loopt aanzienlijk
uiteen voor de verschillende gebruikersgroepen. Provincies, zorginstellingen en de gebruikers in de
categorie ‘overige’ zijn ervan overtuigd dat het PIANOo-congres bijdraagt aan het kunnen uitwisselen
van best-practices en ervaringen. Onderwijsinstellingen en kleine gemeenten zijn opvallend sceptischer
op dit punt. Zeker de helft van deze gebruikersgroepen onderschrijven de stelling niet of antwoorden
neutraal (niet oneens/niet eens) op de stelling.
Het congres wordt door gesprekspartners voornamelijk gewaardeerd om de kenniscomponent en het
onderhouden en aangaan van (nieuwe) contacten, zoals tevens blijkt uit PIANOo’s eigen
congresevaluaties. Alle gesprekspartners geven aan het congres als een belangrijk netwerkevenement
te beschouwen, waar “publieke aanbestedende diensten samenkomen, elkaar ontmoeten en kennis
uitwisselen”. Alle bezoekers (met uitzondering van de Rijksoverheid en de provincies) dienen sinds 2012
te betalen voor deelname aan het PIANOo-congres. Sindsdien is het aantal bezoekers afgenomen van
719 (2011) tot 450 (2012) en 484 (2013). In gesprekken geven aanbestedende diensten aan dat zij
voorheen met de gehele inkoopafdeling het congres bezochten, maar dat ze nu met een kleinere
delegatie gaan.

36

Verdieping waardering en toepasbaarheid vragenloket
"De toepasbaarheid van antwoorden van het vragenloket"
100%
90%

5%

10%

80%
70%
60%

5%

20%
50%

60%

67%

64%

50%

40%

80%

50%

80%

59%

100%

40%
30%

33%
25%

20%
10%

40%

40%

15%

32%

8%

20%

20%

8%

0%

Slecht

Matig

Voldoende

29%

33%

Goed

1%5%

Uitmuntend

Figuur 14.
Beoordeling van de toepasbaarheid van de antwoorden van het vragenloket gemiddeld en
naar doelgroep. (N=78)

Van de respondenten geeft 64% aan dat de toepasbaarheid van de antwoorden op het vragenloket
uitmuntend tot goed is. 29% Geeft de toepasbaarheid een voldoende. Wanneer de beoordelingen
uitgesplitst worden zien we dat veel gebruikersgroepen bestaan uit slechts vijf of minder respondenten.
Een interpretatie van bovenstaande verschillen zou te veel op toeval berusten. Slechts de groepen
Rijksoverheid, middelgrote gemeenten en grote gemeenten bevatten meer respondenten. Van de grote
gemeenten kan gesteld worden dat men de toepasbaarheid van de antwoorden van het vragenloket
lager beoordeeld dan de gemiddelde PIANOo-gebruiker. Rijksoverheidsgebruikers geven vaker dan
gemiddeld aan de toepasbaarheid van antwoorden van het vragenloket als matig te ervaren.
3.2.4. Vraaggericht – aanbodgericht
Bij de totstandkoming van het aanbod van kennisinstellingen zoals PIANOo kan onderscheid worden
gemaakt tussen een reactieve of proactieve werkwijze en een vraaggerichte of aanbodgerichte
werkwijze (normvrije begrippen: de ene werkwijze is niet beter dan de andere).


Reactief/proactief: Een reactieve werkwijze betekent dat de kennisinstelling de interactie af laat
hangen van het initiatief vanuit de gebruikers. Onder een proactieve werkwijze verstaan we
een anticiperende rol in het interactieproces met gebruikers, bijvoorbeeld door ongevraagd
organisaties met elkaar in contact te brengen.

37



Vraaggericht/aanbodgericht: Een vraaggerichte werkwijze stelt gebruikers in staat om hun
behoeften kenbaar te maken. Voorwaarde voor een vraaggerichte werkwijze is dat gebruikers
zicht hebben op waar hun kennislacunes liggen. Een aanbodgerichte werkwijze betekent dat de
kennisinstelling zelf keuzes maakt in de kennis die wordt aangeboden, antwoorden geeft op
vragen die gebruikers (nog) niet gesteld hebben.

De opdracht van PIANOo laat open welke werkwijze de voorkeur heeft. In het instellingsbesluit is niet
gespecificeerd op welke manier PIANOo de aanwezige kennis moet verzamelen en verspreiden. Wel is
opgenomen dat zij dit in ieder geval via de website doet.
Ervaren werkwijze onder gebruikers
Gebruikers van PIANOo ervaren de werkwijze met name als vraaggericht en reactief. De meeste
gebruikers zijn van mening dat PIANOo zich met name richt op het beantwoording van (impliciet of
expliciet) reeds gestelde vragen. PIANOo geeft — in de ogen van de gesprekspartners —in mindere mate
antwoord op vragen die nog niet gesteld zijn. Tevens geven gebruikers aan dat PIANOo — in hun ogen
— een meer reactieve vorm kiest in de totstandkoming van interactie met gebruikers. De vakgroepen
vormen volgens gebruikers een uitzondering op de gepercipieerde vraaggerichte werkwijze van PIANOo:
deze zijn juist gericht op het ontwikkelen van kennis en het geven van gezaghebbende antwoorden op
vragen die nog niet gesteld zijn (aanbodgericht).
PIANOo geeft zelf echter aan ook aanbodgericht en proactief te werk te gaan, zo wordt op eigen
initiatief veel informatie aangeboden op de website. Ook worden onderwerpen voor het congres
uitgewerkt na gedachtewisseling met het veld en worden onderwerpen die veel terugkomen op de desk,
behandeld op de website. De wijze waarop de diensten van PIANOo tot stand komen, blijkt voor het
gros van de gesprekspartners ondoorzichtig. Zij vinden dit echter niet bezwaarlijk, omdat de meesten
van hen van mening zijn dat PIANOo’s aanbod goed aansluit bij hun behoeften. De totstandkoming van
het aanbod resulteert in onderstaande matrix.
Vraaggericht
Reactief
Proactief
Figuur 15.

Aanbodgericht

PIANOo
PIANOo

Matrix met gepercipieerde werkwijze onder gebruikers en de feitelijke werkwijze.

Gewenste werkwijze onder gebruikers
Gesprekspartners verschillen van opvatting over de vraag of het aanbod van PIANOo vraaggericht of
aanbodgericht zou moeten zijn. Er is consensus onder gesprekspartners dat – gegeven de wens vanuit
het ministerie van EZ focus aan te brengen in de dienstverlening van PIANOo – haar kerntaak ligt bij het
beantwoorden van (impliciete) vragen van aanbestedende diensten, zoals momenteel met name
gebeurd via PIANOo-desk en PIANOo.nl.
Kennisontwikkelingsfunctie
Volgens een aantal gesprekspartners (met name wetenschappers en grotere aanbestedende diensten),
is er behoefte aan een partij die best practices ontsluit op basis van onderzoek, inzichten uit de private
sector en inzichten uit het buitenland. De kennisontwikkelingsfunctie is volgens deze gesprekspartners
beperkt ingevuld in het Nederlandse aanbestedingslandschap. De kennisontwikkelingsfunctie zou

38

volgens hen een zinvolle aanvulling zijn op het huidige aanbod van PIANOo, omdat zij de ‘spin-in-hetweb functie’ vervult in het aanbestedingsveld. Aanbestedende diensten die zichzelf als voorloper zien,
betwijfelen echter of PIANOo de kennis en capaciteit heeft om een dergelijke functie vorm te geven.
Kennisdeling
Waar het gaat om het geven van antwoorden op vragen die nog niet gesteld zijn, ligt er volgens
gebruikers een kans in het beter benutten van de netwerkfunctie. Voorlopers kunnen hun kennis delen
met andere aanbestedende diensten. Deze partijen geven achter aan dat ze hun kennis via PIANOo nog
niet optimaal kunnen ontsluiten. Men geeft aan de mensen van PIANOo minder frequent te zien,
waardoor de gelegenheid tot het aangaan van samenwerking zich wellicht minder vaak aandient.
Bepaalde voorlopers zijn los daarvan bang dat het aanreiken van kennis zal resulteren in gedachteloze
overname van materiaal door andere partijen, met vervelende neveneffecten tot gevolg. Deze partijen
geven aan hun kennis nu voornamelijk name ad-hoc te delen met andere gebruikers (reactiefvraaggericht), bijvoorbeeld met collega inkooporganisaties.
3.2.5. Rechtmatigheid – doelmatigheid
In enge zin bestaat het takenpakket van PIANOo uit het bevorderen van de professionaliteit van het
aanbesteden en de naleving van de aanbestedingsregels. PIANOo geeft op haar eigen website aan dit
met oog voor rechtmatigheid én doelmatigheid te willen doen. In de brede zin bestaat het takenpakket
dan ook mede uit het bevorderen van de doelmatigheid van inkopen en aanbesteden. Het onderscheid
tussen rechtmatigheid en doelmatigheid van inkopen en aanbesteden is een onderwerp dat in veel
gesprekken terug komt wanneer het gaat over de dienstverlening van PIANOo.
Invulling van ‘professioneel inkopen’
Respondenten zijn in de enquête gevraagd wat zij verstaan onder professioneel inkopen en
aanbesteden. 80% Noemt zowel rechtmatigheid als doelmatigheid als belangrijke elementen van
professioneel inkopen.

Visie inzake professionaliteit en gepercipieerde ondersteuning
90%

80%

80%

80%
70%
60%

67%
60%
51%

48%

50%
40%
30%
20%

51%
40%

38%

34%

30%
21%

23%

18%

35%

Onder
professioneel
inkopen en
aanbesteden
versta ik…?

24%

10%
0%

Op welke
thema's voelt u
zich
ondersteund
door PIANOo?

39

Figuur 16.
Visie respondenten op de definitie van professioneel inkopen en aanbesteden en de domeinen
41
waarop gebruikers zich ondersteund ervaren.

In de gesprekken wordt het beeld uit de enquête ondersteund dat doelmatigheid en rechtmatigheid
beiden elementen zijn van professioneel inkopen. Doelmatigheid vormt volgens de meeste
aanbestedende

diensten

het

kerndoel,

rechtmatigheid

de

randvoorwaarde.

Eén

van

de

gesprekspartners noemt als metafoor dat een voetbalcoach zijn spelers niet het veld in stuurt met het
doel de regels op te volgen.
Wanneer dit onderwerp ter sprake komt, wijzen meerdere gesprekspartners erop dat doelmatigheid in
de nieuwe Aanbestedingswet als doel is opgenomen (artikel 1.4, 1.6 en 1.7). Daarmee is doelmatigheid
min of meer onderdeel geworden van rechtmatigheid, wat de discussie minder relevant maakt.
Ondersteuning op rechtmatigheid en doelmatigheid
Rechtmatigheid: Uit de enquête volgt dat respondenten zich goed ondersteund voelen op het aspect
rechtmatigheid: 67% van de respondenten voelt zich goed ondersteund (op een populatie van 80% die
rechtmatigheid ook als onderdeel van professioneel inkopen ziet). In gesprekken geven aanbestedende
diensten aan dat PIANOo een uitstekende bron van informatie is waar het gaat om jurisprudentie en
interpretatie van de Aanbestedingswet.
Doelmatigheid: Respondenten zijn voorts van mening dat PIANOo minder ondersteuning biedt op het
aspect doelmatigheid. 34% Voelt zich ondersteund, terwijl de populatie van aanbestedende diensten die
dit als onderdeel van professioneel inkopen ziet ook 80% is. Op het aspect doelmatigheid is het volgens
gesprekspartners om verschillende redenen lastiger voor PIANOo om ondersteuning te bieden, omdat:
(1) de informatie op doelmatigheid sterk afhankelijk is van het type aanbestedende dienst; (2) de
informatie over doelmatigheid niet ‘zwart-wit’ maar ‘grijs’ is en (3) omdat de informatie over
doelmatigheid moeilijk in enkele regels via een website of antwoord op PIANOo-desk valt uit te leggen.


Overigens geeft een aantal gebruikers aan dat het niet erg is dat PIANOo minder ondersteuning
kan bieden op het doelmatigheidsaspect omdat deze kennis ook via alternatieve bronnen
(collega’s, andere aanbestedende diensten) te verkrijgen is. ‘Voorlopers’ geven echter aan dat
PIANOo hiervoor niet de nodige kennis en ervaring in huis heeft.



Gesprekspartners die zich wel ondersteund voelen op het aspect doelmatigheid, wijzen op de
aandacht die PIANOo wijdt aan thema’s als social return en duurzaamheid. Daarnaast
suggereren gesprekspartners dat de doelmatigheidsondersteuning verder vorm kan krijgen
door bijvoorbeeld (meer) aandacht te schenken aan 1) kostenbewust inkopen, 2)
innovatiegericht inkopen, 3) innovatieve cases en 4) in te zetten op de (door)ontwikkeling van
samenwerkingsverbanden.

3.3. Bevindingen
In deze paragraaf worden onze bevindingen ten aanzien van de dienstverlening van PIANOo
uiteengezet. De bevindingen hebben betrekking op de bekendheid, het gebruik en de waardering van de
dienstverlening. Onze bevindingen ten aanzien van het vragenloket zullen apart behandeld worden.

41

Wat in het algemeen opvalt in figuur 16, is het verschil tussen wat men onder professioneel inkopen verstaat en de mate waarin
respondenten zich daarin ondersteund voelen. Er lijkt een verschil te zijn tussen langlopende onderwerpen (rechtmatig inkopen),
afgebakende onderwerpen (duurzaam inkopen, social return) en nieuwe onderwerpen die nog niet eenvoudig af te bakenen zijn
(zoals innovatiegericht inkopen, MKB vriendelijk aanbesteden en doelmatig inkopen).

40

Bekendheid
Bevinding 1 – De bekendheid van PIANOo in het veld waarin ze actief is, is erg hoog. PIANOo.nl,
PIANOo-desk en het congres zijn veruit de meest bekende producten en diensten die PIANOo
aanbiedt.
Het vragenloket, de PIANOo-vakgroep aanbestedingsrecht, marktontmoetingen en de leergang
aanbestedingsrecht zijn de minst bekende producten en diensten, maar worden wel erg goed
gewaardeerd.
Gebruik
Bevinding 2 – In 2013 zijn de PIANOo.nl en de PIANOo-desk veruit de meest gebruikte diensten van
PIANOo. Ook het jaarlijkse (NEVI-)PIANOo-congres en de jurisprudentie aanbestedingsrecht worden
regelmatig gebruikt.
Alle aanbestedende diensten maken actief gebruik van de website. PIANOo-desk wordt het minst
gebruikt door nutsbedrijven, woningcorporaties en het bedrijfsleven, slechts 38% van deze doelgroep
geeft aan gebruik te maken van deze dienst in tegenstelling tot het gemiddelde van 65% onder alle
gebruikersgroepen.
Waardering
Bevinding 3 – Gesprekspartners en respondenten beoordelen de dienstverlening overwegend als
(zeer) positief. Gemiddeld wordt de dienstverlening van PIANOo beoordeeld met een 7,7 (N=509). Er
zijn geen opvallende (positieve of negatieve) afwijkingen in type gebruikers of type producten. Ten
opzichte van 2011 hebben zich geen grote veranderingen voor gedaan.
De kwaliteit van de dienstverlening van PIANOo is door slechts achttien respondenten (3,5%)
beoordeeld met een onvoldoende (rapportcijfer 3, 4 of 5). Provincies en waterschappen zijn over het
algemeen het meest tevreden, zij beoordelen het dienstenaanbod van PIANOo gemiddeld met
rapportcijfers van respectievelijk 8,3 en 7,9. De waardering voor de leergang aanbestedingsrecht is net
als in 2011 het hoogst van alle producten en diensten (rapportcijfers 8,1). De waardering voor alle
overige producten ligt tussen de 7,4 en 7,8. De grootste wijziging ten opzichte van 2011 is dat de
waardering voor het vragenloket, de jurisprudentieoverzichten en de marktontmoetingen met 0,3 punt
is gestegen.
Vragenloket
Bevinding 4 – We constateren dat het gebruik van het vragenloket onder de geënquêteerde doelgroep
nauwelijks is gestegen. Het daadwerkelijke gebruik van het vragenloket is in 2013 echter wel sterk
gestegen ten opzichte van 2012 (+72%). Bijna een derde deel van de ingediende vragen wordt gesteld
door bedrijven die formeel niet tot PIANOo’s doelgroep horen.
Het vragenloket behoort tot de minst gebruikte diensten (11% van de doelgroep gebruikt het
vragenloket). Slechts 5% van de respondenten noemt het vragenloket als een van de drie belangrijkste
diensten. Gebruikers geven aan dat de PIANOo-desk deels dezelfde behoefte vervuld als het
vragenloket. Voor de beantwoording van sommige vragen is het vragenloket echter cruciaal, omdat
gebruikers soms de vertrouwelijkheid van het vragenloket op prijs stellen en sommige vragen zodanig
complex zijn dat het niet waarschijnlijk is dat er via PIANOo-desk een goed antwoord op wordt gegeven
(PIANOo labelde in 2013 75% van de vragen als complex).
Op basis van de enquête is het gebruik van het vragenloket ten opzichte van de vorige evaluatie
gestegen van 9% tot 11%. Het aantal door PIANOo geregistreerde vragen is in 2013 echter toegenomen

41

met 72% (ten opzichte van 2012). De invoering van de aanbestedingswet is de meest waarschijnlijke
verklaring voor de stijging van het aantal vragen in 2013. Een verklaring voor het verschil tussen de
uitkomsten van de enquête en het aantal door PIANOo geregistreerde vragen is dat circa 30% van de
vragen wordt gesteld door bedrijven, een groep die slechts 6% van de respons vormt. De beantwoording
van vragen van bedrijven behoort strikt gezien niet tot de opdracht van PIANOo, de doelgroep van
PIANOo is immers aanbestedende diensten. Echter, aangezien bedrijven wel tot de doelgroep van
TenderNed en het ministerie van EZ behoren en bedrijven ergens anders geen antwoord krijgen op hun
vraag, vinden wij het een begrijpelijke keuze dat PIANOo deze vragen wel beantwoord.42
Aanbeveling 1 – Gezien het beperkte belang dat aanbestedende diensten hechten aan het
vragenloket, geven wij ter overweging om het vragenloket te minimaliseren tot een generieke
basisvoorziening, gericht op de beantwoording van de meest complexe of vertrouwelijke vragen op
het gebied van rechtmatigheid. Indien EZ van mening is dat het gewenst is dat PIANOo vragen van
bedrijven beantwoordt, bevelen wij aan — mede gezien de kosten van het vragenloket

43

— hier

budget voor beschikbaar te stellen.
Vraaggericht vs. aanbodgericht
Aanbeveling 2 – Met de huidige middelen bevelen wij PIANOo aan om prioriteit te blijven geven aan
het vraaggericht antwoord geven op vragen die gesteld worden in plaats van het aanbodgericht
verstrekken van informatie die (nog) niet door gebruikers gevraagd is. We zien echter wel een
verbindende rol voor PIANOo weggelegd. We bevelen EZ daarom aan om binnen de netwerkfunctie
meer aandacht te besteden aan het proactief ontsluiten van best practices van aanbestedende
diensten die zichzelf beschouwen als voorlopers. Deze voorlopers zijn bereid hun kennisvoorsprong te
delen met andere aanbestedende diensten, maar voelen zichzelf daartoe onvoldoende uitgenodigd.
Gesprekspartners verschillen van opvatting over de vraag of PIANOo meer vraaggericht of meer
aanbodgericht zou moeten opereren. Zij zijn het wel eens over de kerntaak van PIANOo, deze ligt bij het
beantwoorden van vragen van aanbestedende diensten. Sommige gesprekspartners geven aan meer
behoefte te hebben aan een partij die meer als kennisontwikkelaar optreedt. Gegeven de wens om
focus aan te brengen in de werkzaamheden zien wij PIANOo niet als de aangewezen partij om een
dergelijke rol te vervullen.
Rechtmatigheid vs. doelmatigheid
Aanbeveling 3 – Wij bevelen PIANOo aan om met de beperkt beschikbare middelen in de
kenniscentrumfunctie prioriteit te geven aan het verzamelen en verspreiden van informatie en het
geven van gezaghebbende antwoorden op het aspect rechtmatigheid. Op rechtmatigheid kan PIANOo
– meer dan op het doelmatigheidsaspect – unieke meerwaarde bieden.
We concluderen dat PIANOo beter in staat is om aanbestedende diensten te ondersteunen op het
aspect van rechtmatigheid dan op het aspect van doelmatigheid. Dit volgt onder andere uit de
observaties dat informatie op doelmatigheid sterk afhankelijk is van het type aanbestedende dienst, de
informatie over doelmatigheid niet ‘zwart-wit’ maar ‘grijs’ is en de informatie over doelmatigheid
beleidsmatig van aard is en daardoor moeilijk in enkele regels via een website of antwoord op PIANOo42

Het Ministerie van EZ geeft aan dat de Europese aanbestedingsrichtlijn in 2016 waarschijnlijk zodanig gaat wijzigen, dat
nationale overheden moeten voorzien in een vragenloket voor aanbestedende diensten en bedrijven. Aangezien er nu al vragen
van bedrijven worden beantwoord, lijkt het een pragmatische keuze om dat te blijven doen, zonder er te veel reclame voor te
maken.
43
2 Van de 9,5 FTE in 2012 en 2013 (circa 20%, exclusief TenderNed)

42

desk valt uit te leggen. Gebruikers hebben echter behoefte aan ondersteuning op beide aspecten. Het
budget van PIANOo is echter ontoereikend om op volwaardige wijze invulling te geven aan deze
verschillende functies.

43

4. EFFECTEN

44

PIANOo beoogt de professionaliteit van het aanbesteden en de naleving van de
aanbestedingsregels in Nederland te verbeteren. In dit hoofdstuk beschrijven we de
percepties van inkopende- en aanbestedende diensten en andere stakeholders ten
aanzien van de mate waarin PIANOo aan deze doelstelling heeft bijgedragen. We
sluiten dit hoofdstuk af met een uiteenzetting van onze bevindingen. Voor relevante
feiten en percepties over de bekendheid, het gebruik en de waardering van de
producten en diensten van PIANOo verwijzen we naar hoofdstuk 3.
4.1. Feiten
PIANOo heeft als doel om de professionaliteit van het aanbesteden en de naleving van de
aanbestedingsregels in Nederland te verbeteren. 44


Ter verwezenlijking van haar doel vervult PIANOo enerzijds de rol van kenniscentrum waarbij
PIANOo kennis en ervaring over de rechtmatige en doelmatige toepassing van
aanbestedingsregels beschikbaar dient te maken.



Anderzijds kan PIANOo ter ondersteuning van de kennisfunctie een netwerkfunctie vervullen
waarin PIANOo zorg draagt voor het stimuleren en faciliteren van de inhoudelijke en praktische
samenwerking van aanbestedende diensten. Indien hiertoe wordt overgegaan, zorgt PIANOo
voor sluitende financiering voor activiteiten die hieruit voortvloeien bij haar gebruikers.

Voor een uitgebreide beschrijving van de doelstelling van PIANOo verwijzen we naar paragraaf 1.2.

4.2. Percepties
Percepties ten aanzien van het doelbereik
Meer dan de helft van de respondenten (57%) die gebruik maken van de diensten van PIANOo geeft aan
dat de dienstverlening hen beter in staat stelt om professioneel in te kopen en aan te besteden. Met
deze stelling is slechts 7% van de respondenten het (zeer) oneens (zie figuur 17). Een uitsplitsing laat
geen significante verschillen zien in de percepties van verschillende typen aanbestedende diensten.
Door de dienstverlening van PIANOo ben ik beter in staat om professioneel in
te kopen en aan te besteden?
60%

48%

50%
35%

40%
30%
20%
10%

2%

5%

Geheel oneens

Oneens

9%

0%
Niet oneens/Niet eens

Eens

Helemaal eens

Figuur 17.
“Door de dienstverlening van PIANOo ben ik beter in staat om professioneel in te kopen en
aan te besteden”.

44

Bron: Instellingsbesluit PIANOo 2012.

45

Quotes van respondenten ten aanzien van het doelbereik:

“PIANOo is een belangrijk hulpmiddel bij aanbesteden.”

“Ga alsjeblieft door! Het is goed zo en zeer waardevol, zo niet onmisbaar, voor de publieke
inkoper.”

“Ik ervaar de diensten van PIANOo als een toegevoegde waarde voor mijn werkzaamheden.”

“Het aanbod is erg breed en er is bijna altijd wel iets terug te vinden dat aansluit bij de op dat
moment aanwezige behoefte. Niet altijd de gewenste diepte maar dat is in combinatie met breed
aanbod ook lastig.”
Ook geeft verreweg het grootste gedeelte van de respondenten aan dat het aanbod van PIANOo goed
aansluit bij hun behoeften (figuur 18). Een uitsplitsing naar de verschillende aanbestedende diensten
laat zien dat waterschappen het meest positief zijn (bijna 70% vindt het goed aansluiten).
Het aanbod van diensten van PIANOo sluit aan bij mijn behoeften
47%

50%

42%

40%
30%
20%
8%

10%

3%

1%

0%
Uitmuntend

Figuur 18.

Goed

Voldoende

Matig

Slecht

“Het aanbod van diensten van PIANOo sluit goed aan bij mijn behoeften”.

Met betrekking tot het verbeteren van de naleving van de aanbestedingsregels in Nederland geeft
eveneens meer dan de helft van de respondenten (57%) aan dat PIANOo een goede ondersteuning
heeft geboden bij de implementatie en doorvoering van de Aanbestedingswet 2012. Slechts 4% van de
respondenten is het hiermee (zeer) oneens (zie figuur 19).
PIANOo heeft goede ondersteuning geboden bij de implementatie en
doorvoering van de Aanbestedingswet 2012.
60%
48%

50%

39%

40%
30%
20%
10%

1%

3%

Geheel oneens

Oneens

9%

0%
Niet oneens/Niet eens

Eens

Helemaal eens

Figuur 19.
“PIANOo heeft goede ondersteuning geboden bij de implementatie en doorvoering van de
Aanbestedingswet 2012”.

Quotes van respondenten ten aanzien van de ondersteuning bij de Aanbestedingswet:

“Er is in Nederland een sterke behoefte aan een partij die duidelijkheid verschaft over de
Aanbestedingswet en aanbestedende diensten adviseert bij de inrichting van hun aanbestedingen.”

“Er wordt ook op het juridische vlak goed inzicht gegeven in de ins and outs van het
aanbestedingsrecht”

“Er worden altijd veilige risicoloze adviezen gegeven. Nooit wordt een advies gegeven dat de
grenzen van de aanbestedingswetgeving opzoekt. Wat mag nog net wel en wat mag net niet.”

46

Ten aanzien van het doelbereik van PIANOo komt uit de gesprekken een tweeledig beeld naar voren:


Enerzijds geven met name kleinere aanbestedende diensten van decentrale overheden en
beginnende inkopers aan voor een belangrijk deel afhankelijk te zijn van de dienstverlening van
PIANOo om professioneel in te kopen en aan te besteden. Gesprekspartners geven aan dat
PIANOo voor dit type van aanbestedende diensten een belangrijke rol vervult als kenniscentrum
en aanbestedende diensten in staat stelt om van elkaar te leren (kennisuitwisseling faciliteren).



Anderzijds

geven

gesprekspartners

van

grotere

aanbestedende

diensten

en

samenwerkingsverbanden (zoals gemeentelijke inkoopbureaus en inkoop uitvoeringscentra)
veelal aan dat zij intern

reeds over veel kennis beschikken, waardoor zij steeds minder

afhankelijk zijn van de dienstverlening van PIANOo om professioneel in te kopen en aan te
besteden. Voorts geven gesprekspartners van dergelijke aanbestedende diensten vaak aan dat
zij het gevoel hebben voorlopers te zijn en meer kennis over professioneel inkopen en
aanbesteden naar PIANOo te brengen dan dat zij er halen.45
Quotes van respondenten ten aanzien van het doelbereik:

“Er is nog een lange weg te gaan voor de inkoopprofessionalisering bij de waterschappen. Willen we
de Rijksoverheid bij kunnen blijven dan is de functie van PIANOo voor de waterschappen
onmisbaar.”

“De Rijksoverheid loopt mijlenver voor op de waterschappen wat inkoopprofessionalisering betreft.
Het doel van PIANOo is professionalisering van inkoop bij alle overheden. We hebben nog een lange
weg te gaan. Zonder PIANOo geen kruisbestuiving tussen centrale en decentrale overheden.”

“Ik ben nog niet zo lang actief als overheidsinkoper en het is prettig dat ook voor deze doelgroep
documenten te vinden zijn die het makkelijker maken.”

“De onderwerpen die PIANOo aandraagt en behandeld zijn allemaal relevant voor
(overheids)inkoop. Echter loop ik er regelmatig tegenaan dat wat meer diepgaande informatie
ontbreekt of dat de PIANOo medewerkers geen antwoord hebben op inhoudelijke vragen die net
iets dieper op de (theoretische)inhoud ingaan.”
Percepties ten aanzien van de kennisfunctie
Uit de gesprekken en de enquêteresultaten komt naar voren dat er verschillen zijn in het gepercipieerde
belang van de bijdrage van de verschillende producten en diensten die gericht zijn op de uitvoering van
de kennisfunctie. Respondenten zijn in de enquête gevraagd om de drie belangrijkste diensten voor hun
organisatie aan te geven. Hieruit komt een gespreid beeld naar voren met duidelijke uitschieters (figuur
20):


De website wordt door respondenten het meest genoemd. 50,7% van de respondenten is van
mening dat de website PIANOo.nl één van de belangrijkste diensten van PIANOo is. 46 Ook vanuit
PIANOo wordt aangegeven dat de website de ‘backbone’ van de organisatie vormt.



Andere diensten die onder de kennisfunctie van PIANOo vallen worden een stuk minder vaak
als belangrijkste diensten aangemerkt. Meest genoemd zijn de metrokaart (16,1%) en de
jurisprudentie aanbestedingsrecht (15,6%).



De vakgroepen inkoopmanagement (1,4%) en aanbestedingsrecht (2%) worden het minst vaak
genoemd als één van de belangrijkste diensten.



Opvallend is dat het vragenloket slechts door 5,4% van de respondenten genoemd wordt als
één van de belangrijkste diensten. In de brief van de minister van EZ naar aanleiding van de

45

In paragraaf 1.4. zetten we als context uiteen dat de doelgroepen divers zijn en dat er naar het idee van de aanbestedende
diensten een onderscheid bestaat tussen ‘voorlopers’ en ‘achterblijvers’.
46
Overigens wordt hierbij opgemerkt dat producten zoals de metrokaart en de jurisprudentie ook op de website te vinden zijn
waardoor mogelijk een vertekend beeld ontstaat. Echter, respondenten konden meerdere antwoorden aankruisen (maximaal
drie).

47

vorige evaluatie wordt het beantwoorden van vragen van aanbestedende diensten gezien als
een speerpunt van de kenniscentrumfunctie van PIANOo. 47
Welke diensten van PIANOo zijn voor uw organisatie de belangrijkste (maximaal
3)?
60,0%
50,0%

50,7%
42,6%

40,0%
30,0%

22,6%
16,1% 14,0%

20,0%
5,4%

10,0%

10,7%

15,6%

10,7%

12,3%

2,0%

8,1%

6,0%

1,4%

0,0%

Figuur 20.
Welke diensten van PIANOo zijn voor uw organisatie de belangrijkste? (Respondenten konden
maximaal drie antwoorden aankruisen).

In figuur 21 zijn de meest genoemde (belangrijkste) diensten uitgesplitst naar de verschillende
gebruikers vanuit de overheid. Hierin vallen de volgende zaken op:


Respondenten van kleine gemeenten (61,4%) en de Rijksoverheid (57,3%) geven het vaakst aan
dat PIANOo.nl één van de belangrijkste diensten van PIANOo is. Respondenten van
waterschappen noemen de website het minst vaak als één van de belangrijkste diensten
(40,4%).



Het belang dat gehecht wordt aan de metrokaart verschilt tussen de verschillende typen
aanbestedende diensten. 29,8% van de respondenten van waterschappen geven aan dat de
metrokaart een van de belangrijkste onderdelen van de dienstverlening van PIANOo is. De
respondenten van andere organisaties noemen de metrokaart daarentegen een stuk minder
vaak. Slechts 4,9% van de respondenten van provincies vindt de metrokaarten één van de
belangrijkste onderdelen van de dienstverlening van PIANOo. Uit de gesprekken komt naar
voren dat waterschappen de metrokaart als een opleidingsinstrument voor (nieuwe)
medewerkers zien en daardoor veel belang aan dit product hechten.



Uit de gesprekken komen de volgende beelden naar voren met betrekking tot de uitvoering van
de kennisfunctie door PIANOo.



Nagenoeg alle gesprekspartners (die gebruik maken van de dienstverlening van PIANOo)
benadrukken (in lijn met de enquêteresultaten) het belang van de website PIANOo.nl voor de
uitoefening van hun werkzaamheden. Gesprekspartners van nagenoeg alle aanbestedende
diensten die wij hebben gesproken geven aan PIANOo.nl regelmatig (vaak dagelijks) te

47

Brief van de Minister van Economische Zaken, Landbouw en Innovatie: Evaluatie PIANOo en tweede rapportage
aanbestedingsambassadeur, 4 november 2011.

48

raadplegen om informatie in te winnen. De website wordt door gesprekspartners omschreven
als “de kennisbank voor inkopende- en aanbestedende diensten”.48


Daarnaast wordt in gesprekken veelvuldig het belang van het verzamelen en verspreiden van
relevante jurisprudentie door PIANOo genoemd. Zowel inkopers van grote(re) aanbestedende
diensten als kleinere aanbestedende diensten geven aan dat PIANOo een belangrijke bijdrage
levert aan kennis over rechtmatig inkopen en aanbesteden door middel van deze dienst.
Welke diensten van PIANOo zijn voor uw organisatie de belangrijkste (maximaal
3)?
Uitsplitsing van de belangrijkste diensten naar type organisatie

70,0%
61,4%
60,0%

57,3%
52,3%

50,0%
50,0%

47,3%
43,9%

43,9%

40,4%
36,2%

40,0% 35,2%
31,7%

30,5%

34,0%

29,8%

30,0%
18,2%
20,0%

18,8%
16,4%

10,0%

15,9%
12,2%

21,5%
16,8%

17,6%

14,9%

9,9%
7,7%

9,3%

9,1%

4,9%

0,0%
Rijksoverheid

PIANOo-desk

Provincie

Website PIANOo.nl

Kleine gemeenten

Metrokaart (FAQ)

Middelgrote
gemeenten

Grote gemeente

Jurisprudentie aanbestedingsrecht

Waterschap

PIANOo-congres

Figuur 21.
Welke diensten van PIANOo zijn voor uw organisatie de belangrijkste? (Respondenten konden
maximaal de drie belangrijkste antwoorden aankruisen). Uitsplitsing van de meest genoemde (belangrijkste)
diensten naar type organistie (overheden).

Tot slot komen uit de enquêteresultaten en de gesprekken overwegend positieve beelden ten aanzien
van de toepasbaarheid van de kennis in de praktijk naar voren. 49


64% van de respondenten geeft aan dat de toepasbaarheid van de antwoorden op het
vragenloket uitmuntend tot goed is. 27% noemt de toepasbaarheid voldoende.



65% van de respondenten geeft aan dat de bruikbaarheid van de voorlichting op de website
uitmuntend tot goed is. 31% noemt de toepasbaarheid voldoende.



Uit de gesprekken komt naar voren dat het merendeel van de gebruikers in de praktijk goed uit
de voeten kan met de kennis. Een aantal gesprekspartners geeft aan dat de kennis van PIANOo
voor hen vaak niet praktisch toepasbaar is omdat zij tot de groep ‘voorlopers’ behoren (veelal
grotere aanbestedende diensten en samenwerkingsverbanden), waardoor bijvoorbeeld
voorbeelddocumenten en handreikingen onvoldoende relevant of reeds achterhaald zijn.
PIANOo geeft hierover aan dat zij vooral beoogt een generieke basisvoorziening te bieden. Deze

48

Via de website PIANOo.nl zijn ook de andere producten toegankelijk. De website vervult daarmee de rol als portal voor het
ontsluiten van kennis. Het is daarmee begrijpelijk dat de website een stuk vaker wordt genoemd dan individuele producten.
49
Zie hoofdstuk 2 voor een nadere toelichting van de toepasbaarheid van de producten en diensten van PIANOo.

49

basis wordt ook voor de ‘voorlopers’ geboden maar de toegevoegde waarde is voor deze groep
kleiner.
Percepties ten aanzien van de netwerkfunctie
Gesprekspartners en respondenten geven aan dat PIANOo de samenwerking van aanbestedende
diensten stimuleert en faciliteert. Hiervoor worden drie redenen genoemd.
Ten eerste zijn de PIANOo-desk en het PIANOo-congres gericht op de uitvoering van de netwerkfunctie.
Uit de enquête (figuur 20) komt naar voren dat deze diensten door respondenten als belangrijk
onderdeel van de dienstverlening worden gezien. 42,6% noemt PIANOo-desk als één van de
belangrijkste diensten. 22,6% noemt het congres als één van de belangrijkste diensten. Ook in
gesprekken wordt het belang van beide diensten veelvuldig benadrukt waarbij met name decentrale
overheden aangeven veel waarde te hechten aan de PIANOo-desk. Overigens laat het uitsplitsen van de
enquêteresultaten (figuur 21), in lijn met de gesprekken, zien dat niet alle gebruikers hetzelfde belang
hechten aan de onderdelen van de netwerkfunctie:


Met name gemeenten (klein: 50,9%, midden: 52,3% en groot: 47,3%) en provincies (43,9%) zien
PIANOo-desk als één van de belangrijkste onderdelen van de dienstverlening van PIANOo.
Daarentegen ziet 35,2% van de gebruikers van de Rijksoverheid PIANOo-desk als één van de
belangrijkste diensten.



Opvallend is dat gemeenten (klein: 9,1%, midden: 9,3% en groot: 17,6%) het congres in veel
mindere mate als een van de belangrijkste onderdelen van de dienstverlening van PIANOo zien
dan waterschappen (34%), provincies (31,7%) en de Rijksoverheid (30,5%). Als verklaring
hiervoor wordt genoemd dat dit komt omdat gemeenten dienen te betalen. Dit geldt echter
ook voor waterschappen.

Ten tweede wordt de praktische toepassing van beide diensten door de gebruikers van deze diensten
gewaardeerd. 68% van de respondenten van mening is dat het congres ertoe bijdraagt dat zij bestpractices en ervaringen kunnen uitwisselen met andere aanbestedende diensten. 60% van de gebruikers
geeft aan dat PIANOo-desk hen in staat stelt om best-practices en ervaringen tussen aanbestedende
diensten uit te wisselen.50
PIANOo stelt mij in staat meer samen te werken met andere
aanbestedende diensten
60%
36%

40%
20%

3%

42%

12%

8%

0%
Geheel oneens

Figuur 22.

Oneens

Niet oneens/Niet
eens

Eens

Helemaal eens

"PIANOo stelt mij in staat meer samen te werken met andere aanbestedende diensten".

Ten derde is 50% van de respondenten van mening dat PIANOo hen in staat stelt om meer samen te
werken met andere aanbestedende diensten (figuur 22). 15% van de respondenten geeft aan dat dit
niet het geval is. Uit de gesprekken komen nog een aantal keer de kritische kanttekening naar voren dat
de netwerkfunctie vooral lijkt te zijn gericht op de inhoudelijke uitwisseling van kennis.
50

Zie hoofdstuk 2 voor een nadere toelichting van de toepasbaarheid van de producten en diensten van PIANOo.

50

Gesprekspartners geven aan dat zij beperkt zicht hebben op de bijdrage van PIANOo aan het faciliteren
van de praktische samenwerking tussen aanbestedende diensten. Een andere kritische kanttekening
volgt uit de enquête: hoewel 48% inkoopsamenwerking ziet als een aspect van professioneel inkopen,
voelt maar 30% zich ook door PIANOo ondersteund op dit onderwerp.
Quotes van respondenten over het faciliteren van samenwerking:

“Ik mis een meer verbindende factor met andere gemeenten. Het lijkt een verzamel platform te zijn,
wat mij betreft zou een impuls aan de marktontmoetingen en de factsheets mogen worden
gegeven. Het mag wat actiever.“

“PIANOo biedt de mogelijkheid om buiten het persoonlijke netwerk vragen te stellen en te
klankborden, kennis te verzamelen bij inkoopprofessionals. Uiteindelijk draagt PIANOo bij aan
uitbreiding van het persoonlijke netwerk.”

4.3. Bevindingen
Bevinding 1 – We constateren dat PIANOo voor een groot deel van de aanbestedende diensten een
belangrijke bijdrage levert aan het verbeteren van de professionaliteit van het aanbesteden en de
naleving van de aanbestedingsregels in Nederland. Zowel de kennisfunctie als de netwerkfunctie
leveren een bijdrage aan de verwezenlijking van dit doel.
Dit concluderen wij op grond van de twee voorgaande paragrafen van dit hoofdstuk, alsmede de feiten
en percepties ten aanzien van de bekendheid, het gebruik en de waardering van de dienstverlening van
PIANOo in hoofdstuk 3:


Ten eerste concluderen we dat PIANOo een groot deel van de aanbestedende diensten beter in
staat stelt om professioneel in te kopen en de aanbestedingsregels na te leven. Respondenten
geven aan dat zij door de dienstverlening van PIANOo beter in staat zijn om professioneel in te
kopen en aan te besteden (57%). Meer dan de helft van de respondenten (57%) geeft aan dat
PIANOo een goede ondersteuning heeft geboden bij de implementatie en doorvoering van de
Aanbestedingswet 2012. In de gesprekken die wij hebben gevoerd met aanbestedende diensten
worden deze beelden bevestigd.



Ten tweede concluderen we dat PIANOo een bijdrage levert aan het verzamelen en verspreiden
van

kennis

en

ervaringen

over

de

rechtmatige

en

doelmatige

toepassing

van

aanbestedingsregels. De website wordt gezien als het belangrijkste onderdeel van deze
kennisfunctie (78% van de respondenten). Gesprekspartners van nagenoeg alle aanbestedende
diensten geven aan de website regelmatig (vaak dagelijks) te raadplegen om informatie in te
winnen. De website wordt door gesprekspartners omschreven als “de kennisbank voor
aanbestedende diensten”.


Ten derde concluderen we dat PIANOo de samenwerking van aanbestedende diensten
stimuleert en faciliteert. Uit het onderzoek komt naar voren dat de netwerkfunctie met name is
gericht op de inhoudelijke uitwisseling van kennis en in mindere mate op het faciliteren en
stimuleren van de praktische samenwerking. 51 We zijn van menig dat dit een logische
uitwerking vormt van het feit dat PIANOo een functie vervult als expertisecentrum voor

51

Ter ondersteuning van de doelstelling uit het eerste lid, kan PIANOo naast de taken uit het tweede lid, de inhoudelijke en
praktische samenwerking van aanbestedende diensten stimuleren en faciliteren. Indien PIANOo hiertoe overgaat, zorgt PIANOo
voor sluitende financiering voor deze taken bij de gebruikers van PIANOo.

51

aanbesteden, waarbij de netwerkfunctie ter ondersteuning van de kennisfunctie uitgevoerd
dient te worden.52
Bevinding 2 – We constateren dat de bijdrage die PIANOo levert niet voor alle aanbestedende
diensten gelijk is. Hoewel zowel de kennisfunctie als de netwerkfunctie van PIANOo een belangrijke
bijdrage leveren aan het verbeteren van de professionaliteit van het aanbesteden en de naleving van
de aanbestedingsregels in Nederland, zijn er grote verschillen in de bijdrage en het belang van de
verschillende typen dienstverlening van PIANOo voor ‘voorlopers’ en ‘achterblijvers’. 53


Toegevoegde waarde en belang voor ‘achterblijvers’. Met name kleinere aanbestedende
diensten van decentrale overheden zijn voor een belangrijk deel afhankelijk van de
dienstverlening van PIANOo om professioneel in te kopen en aan te besteden. PIANOo is een
generieke basisvoorziening, het belang daarvan is voor de ‘achterblijvers’ groter dan voor de
‘voorlopers’.



Toegevoegde waarde en belang voor ‘voorlopers’. Grotere aanbestedende diensten en
samenwerkingsverbanden (zoals gemeentelijke inkoopbureaus en IUC’s) maken ook gebruik van
de generieke basisvoorziening, maar zijn daar in veel mindere mate afhankelijk van. Ook geven
deze partijen aan dat de informatie van PIANOo voor hen niet altijd toepasbaar is omdat deze
niet up-to-date genoeg is en/of betrekking heeft op de thema’s die spelen bij deze
aanbestedende diensten. Voorlopers betwijfelen dan ook of PIANOo wel de kennis heeft om
hun nog van inhoudelijk advies te voorzien. Bovendien lijkt de behoefte onder de voorlopers
ook minder groot te zijn door de toegenomen onderlinge samenwerking. Dit betekent overigens
niet dat de dienstverlening van PIANOo geen toegevoegde waarde heeft voor de ‘voorlopers’.
Met name het belang van het netwerk van PIANOo wordt door de voorlopers benadrukt. Dit
wordt verder toegelicht bij aanbeveling 2.

Aanbeveling 1 – Gegeven de middelen waarover PIANOo beschikt en de wens vanuit EZ als
opdrachtgever om focus aan te brengen in de dienstverlening dient de kennisfunctie van PIANOo zich
met name te richten op de ‘achterblijvers’.
Op basis van de gesprekken met aanbestedende diensten maken wij op dat onder deze groep een groter
potentieel ligt ten aanzien van het verbeteren van de professionaliteit van het aanbesteden en de
naleving van de aanbestedingsregels. Bovendien is het belang van de generieke basisvoorziening voor
deze groep groter. Om de verwachtingen hierover duidelijk af te stemmen geven wij ter overweging
mee om deze focus van de kennisfunctie te expliciteren (in de formulering van de opdracht van PIANOo
of anderszins), zodat voor gebruikers duidelijk is wat ze van PIANOo kunnen verwachten (een generieke
basisvoorziening).
Aanbeveling 2 – Gegeven de middelen waarover PIANOo beschikt en de wens vanuit EZ als
opdrachtgever om focus aan te brengen in de dienstverlening dient de netwerkfunctie van PIANOo
zich met name te richten op het ontsluiten van de kennis en ervaringen van de ‘voorlopers’.
Het is van belang om de voorlopers voldoende aangehaakt te houden omdat zij een belangrijke rol
spelen in de totstandkoming en het delen van nieuwe kennis waar de ‘achterblijvers’ hun voordeel mee
kunnen doen. Voorlopers kunnen de netwerkfunctie van PIANOo gebruiken om hun kennis te delen. Dit
biedt volgens de voorlopers ook een aantal voordelen: 1) Kennis delen is een maatschappelijke taak /
doelstelling, met behulp van PIANOo kan dit op een doelmatige manier worden ingericht, 2) Vragen
52
53

Instellingsbesluit PIANOo 2012.
Voor een nadere toelichting van deze begrippen verwijzen we naar paragraaf 2.3.

52

kunnen door PIANOo worden opgevangen voordat deze bij de voorlopers zelf terecht komen, 3)
Verschillen in aanpak en werkwijze van overheden leidt tot hogere transactiekosten voor marktpartijen.
Voorbeeld – kennisdeling door voorlopers via PIANOo:
Rijkswaterstaat (RWS) wil zijn kennis op het gebied van inkopen en aanbesteden ter beschikking stellen
aan andere overheden. RWS maakt daarbij gebruik van het instrumentarium en de infrastructuur van
PIANOo. Hiervoor maakt Rijkswaterstaat gebruik van het inkoopkennispunt Grond-, water- en
wegenbouw (GWW), dat door PIANOo is geïnitieerd. 54
Doelstelling van het GWW inkoopkennisplatform is het delen van GWW inkoopkennis te beginnen met
de kennis van RWS via het PIANOo netwerk met andere overheden en het stimuleren van andere
overheden om deze inkoopkennis professioneel te gebruiken. Het achterliggende doel is om alle
overheden uniformer en meer gestandaardiseerd naar de markt te laten opereren.
Er worden verschillende activiteiten ondernomen om de doelstelling te realiseren. Onder andere:
- Een GWW dossier op PIANOo website maken en koppelen met de RWS website.
- Organiseren van netwerkbijeenkomsten om vraag en aanbod van kennis op elkaar af te stemmen.
- Opzetten van een GWW vakgroep o.l.v. een door RWS geleverde trekker.
- RWS praktijkervaringen en best practices gestructureerd aanbieden.
- Beantwoorden van vragen over kennis en ervaring van RWS.

54

GWW inkoopkennisplatform RWS bij PIANOo – Intern document Stuurgroep PIANOo, april 2013.

53

5. DOELMATIGHEID

54

In dit hoofdstuk gaan we in op de doelmatigheid van de taakvervulling van PIANOo.
Bij doelmatigheid gaat het om het verband tussen de ingezette middelen (input) en
de behaalde resultaten (output). De feiten en percepties in dit hoofdstuk hebben
achtereenvolgend betrekking op de opdracht die PIANOo heeft gekregen van het
ministerie van Economische Zaken, de daarvoor beschikbare middelen (in budget en
fte) en de voorzieningen die PIANOo heeft getroffen om haar taken doelmatig uit te
voeren.
5.1. Feiten
5.1.1. Opdracht
Opdracht van PIANOo
Op basis van de evaluatie (2011) heeft het ministerie van EZ eind 2011 besloten het voortbestaan van
PIANOo middels een instellingsbesluit met drie jaar te verlengen (zie voor een nadere beschrijving van
de opdracht en taken van PIANOo paragraaf 1.2).
In de brief die de minister van Economische Zaken aan de Tweede Kamer heeft gestuurd naar aanleiding
van de evaluatie 2011, worden een tweetal besluiten genomen ten aanzien van de doelmatigheid:
“Wel dient PIANOo, zoals ook uit het evaluatierapport blijkt, meer focus aan te brengen in haar
werkzaamheden. Dit is des te belangrijker, omdat het budget dat voor PIANOo beschikbaar zal zijn, de
komende periode minder zal zijn. PIANOo zal zich de komende periode gaan richten op het verder
verstevigen van de kenniscentrumfunctie, hetgeen ik voor de komende periode als belangrijkste
speerpunt beschouw.”55
“Ik wil ruimte bieden deze netwerkfunctie waar mogelijk te bestendigen, op basis van financiering door
de gebruikers van die netwerkfunctie, zijnde de aanbestedende diensten.”56
Inrichting van het aanbestedingsveld
In een eerder onderzoek naar de omgeving van PIANOo concludeert Kwink Groep dat er in Nederland
een aanzienlijk aantal andere organisaties en instellingen actief is op het terrein van ondersteuning en
professionalisering van inkoop en aanbesteding binnen de publieke sector. 57 Een quickscan heeft
geresulteerd

in

53

samenwerkingsverbanden,

kennisinstellingen,

verdeeld

opleidingsorganisaties,

over

de

sectorspecifieke

typen

kennisplatforms,

organisaties,

commerciële

dienstverleners en online netwerken/fora.


Kwink Groep concludeert in het omgevingsonderzoek dat het aanbod van kennis, informatie en
advies groot en versnipperd is. Er is in het inkoopveld echter sprake van een bepaalde
rolverdeling, waardoor het aanbod van de kennisinstellingen veelal complementair is.



De aanwezige overlap betreft met name

instrumenten en handvatten (zoals FAQ’s) en

opleidingen en trainingen (met name op ‘populaire’ onderwerpen als de nieuwe
Aanbestedingswet of duurzaam inkopen).


Inkooporganisaties onderschrijven dat er sprake is van enige overlap. Zij ervaren deze overlap
echter niet als storend of hinderlijk. Gebruikers geven aan goed in staat te zijn om in het geval
van overlappend aanbod op basis van hun eigen vraag en voorkeuren een specifieke
kennisinstelling te kiezen.

55

Ministerie van EL&I, (2011). Kamerbrief evaluatie PIANOo en tweede rapportage aanbestedingsambassadeur.
Ministerie van EL&I, (2011). Kamerbrief evaluatie PIANOo en tweede rapportage aanbestedingsambassadeur.
57
Kwink Groep (2013). Inventarisatie van organisaties rondom overheidsaanbestedingen, p15.
56

55

5.1.2. Middelen (budget, fte)
Middelen van het ministerie van EZ
In de Kamerbrief naar aanleiding van de vorige evaluatie kondigt de minister van Economische Zaken
aan dat hij “gedurende drie jaar jaarlijks 1,2 miljoen Euro beschikbaar stelt voor de basisfinanciering van
PIANOo. De kennisfunctie kan hiermee gefinancierd worden en ook kan PIANOo hiermee het
secretariaat van de commissie van aanbestedingsexperts uitvoeren.” Het budget van 1,2 miljoen Euro
wordt door de minister als volgt verdeeld: 58
Activiteit
Website, bestaande uit informatie over aanbesteden
Vragenloket
Handreikingen over aanbesteden
Secretariaat commissie van aanbestedingsexperts
Bedrijfsvoering
Communicatie
Onvoorzien
Totale bijdrage ministerie van EZ
Tabel 4. Verdeling budget PIANOo 2012-2014

Budget (x1000)
240
270
70
210
225
180
5
1.200

59

In het organisatiebesluit PIANOo van 10 januari 2013 wordt het oorspronkelijke budget van 1,2 miljoen
Euro voor de kennis- en netwerkfunctie gecontinueerd. Voor 2015 is geen budget voor de kennis- en
netwerkfunctie gereserveerd. Met hetzelfde organisatiebesluit is de formatie van PIANOo aangepast
conform de nieuwe taken rond het functioneel beheer van TenderNed, waarvoor jaarlijks 6,2 miljoen
Euro beschikbaar is. Hoewel dit budget wel door PIANOo wordt beheerd, is het niet beschikbaar voor de
kennis- en netwerkfunctie.
Middelen van derden
In aanvulling op de basisfinanciering door het ministerie van EZ heeft PIANOo in 2012 en 2013 jaarlijks €
400.000 aan financiering georganiseerd van andere partijen: € 140.000 van het ministerie van BZK, €
130.000 van Rijkswaterstaat, € 130.000 van het Interprovinciaal Overleg (IPO).60 Deze aanvullende
middelen worden deels ingezet voor (tijdelijk) personeel (2,5 FTE) en deels ingezet als programmageld
(€ 200.000).61
Met het verkrijgen van middelen van derden wordt gedeeltelijk invulling gegeven aan het besluit van de
minister om ruimte te bieden de netwerkfunctie te bestendigen op basis van financiering van
aanbestedende diensten. Echter, niet alle aanbestedende diensten hebben een bijdrage geleverd.
Daarom vraagt PIANOo sinds 2012 entreegeld voor het jaarlijkse congres aan vertegenwoordigers van
aanbestedende diensten die niet meebetalen aan de netwerkfunctie. 62
Wanneer het beschikbare budget voor de kennis- en netwerkfunctie wordt vergeleken met de
budgetten die in de vorige evaluatieperiode beschikbaar waren, is er sprake van een duidelijke daling: in
de periode 2005-2011 was er jaarlijks circa 3 miljoen Euro beschikbaar voor de kennis- en

58

Ministerie van EL&I, (2011). Kamerbrief evaluatie PIANOo en tweede rapportage aanbestedingsambassadeur.
Ministerie van EL&I, (2011). Kamerbrief evaluatie PIANOo en tweede rapportage aanbestedingsambassadeur. In deze tabel
wordt geen onderscheid gemaakt naar programmabudget en personeelsbudget. Zie voor een verdieping de jaarlijkse werkplannen
van PIANOo.
60
PIANOo, werkplan 2013, p11.
61
Organisatiebesluit PIANOo, d.d. 7 januari 2013, p12.
62
Ministerie van EL&I, (2011). Kamerbrief evaluatie PIANOo en tweede rapportage aanbestedingsambassadeur.
59

56

netwerkfunctie.63 Overigens is het takenpakket van PIANOo in die periode meerdere malen gewijzigd. Zo
is het secretariaat van de Commissie van aanbestedingsexperts een nieuwe taak binnen de
kennisfunctie.
Personeel
De personele bezetting van PIANOo bedroeg per januari 2013 20,3 FTE, waarvan 10,8 Fte voor
TenderNed en 9,5 FTE voor de kennis- en netwerkfunctie. 64 Gedurende de evaluatieperiode hebben zich
verschillende ontwikkelingen voorgedaan in het personeelsbestand:


Ten eerste is de taakuitvoering van PIANOo aangepast conform het besluit van de minister met
de instellingsbeschikking 2012-2014. Zo wordt in het werkplan 2011 geconstateerd dat “veel
capaciteit is gereserveerd voor overhead en beheer van systemen, terwijl inhoudelijke kennis
en vooral inkoopervaring van belang is voor de toekomst van PIANOo als expertisecentrum”. 65
Met het (al dan niet tijdelijk) detacheren van personeel van aanbestedende diensten heeft
PIANOo inhoudelijke kennis en inkoopervaring in huis gehaald. 66 In de nieuwe formatie wordt
meer dan 50% van de FTE’s aangemerkt als ‘inhoudelijke expertise’, terwijl dit in de grotere
organisatie van PIANOo in 2011 nog 35% was.67



Ten tweede is de bijdrage van het ministerie van Economische Zaken voor de kenniscentrumen netwerkfunctie is teruggebracht van 3 miljoen Euro naar 1,2 miljoen Euro. Het aantal FTE is
per 1 januari 2013 teruggebracht met 25%. Het jaar 2012 was een ‘transitiejaar’, waarin
TenderNed en PIANOo in één organisatie zijn geïntegreerd en de totale formatie is
teruggebracht van 27 FTE naar 20,3 FTE per 1 januari 2013.68 De bezetting van de
kenniscentrumfunctie is teruggebracht van 13 FTE (in dienst per 31 december 2011 conform
werkplan 2012) naar 9,5 FTE (organisatiebesluit 2013).



Tot slot heeft DG ETM eind 2011 besloten dat het functioneel beheer van TenderNed wordt
ondergebracht bij PIANOo. Het technisch beheer is belegd bij DICTU. PIANOo wordt dus
opdrachtgever van DICTU.69 Hoewel TenderNed in de nieuw gevormde organisatie
boekhoudkundig gescheiden blijft, zijn het management en de algemene ondersteuning
geïntegreerd met de kenniscentrumfunctie van PIANOo. 70

4.1.3 Voorzieningen voor doelmatige taakuitvoering
Wij stellen vast dat er meerdere voorzieningen zijn getroffen die bijdragen aan een doelmatige
taakuitvoering door het PIANOo:


De jaarlijkse verantwoordingscyclus vormt een eerste waarborg. PIANOo stuurt uiterlijk half
oktober van ieder kalenderjaar een jaarplan inclusief begroting aan de directeur-generaal van

63

PIANOo, werkplan 2011, p32 en organisatiebesluit 2013, p3.
Van de 9,5 FTE is 2 FTE bestemd voor de ‘nieuwe’ taak om het secretariaat te voeren van de Commissie van
aanbestedingsexperts.
65
PIANOo, werkplan 2011, p16.
66
PIANOo, werkplan 2011, p16. Als ‘beste voorbeeld’ wordt beschreven dat de Unie van Waterschappen gedurende meerdere
jaren 1 Fte aan ‘accountmanagers waterschappen’ financiert (deze constructie bestaat nog steeds). Ook de ervaringen met een
inkoopadviseur en accountmanager Scholen (OCW) en de projectleider Innovatiegericht inkopen (EZ) die deels bij PIANOo
werkzaam zijn, zijn volgens het werkplan 2011 goed (deze functies zijn gedurende de evaluatieperiode beëindigd).
67
Van de 9,5 FTE die conform het Organisatiebesluit 2013 beschikbaar is voor de kenniscentrumfunctie wordt 5,3 FTE beschreven
als ‘inhoudelijke expertise’, terwijl per 31 december 2011 5 FTE van de in totaal 13 FTE werd aangemerkt als ‘adviseur’ of ‘jurist’
(werkplan 2011).
68
PIANOo, werkplan 2013, p12.
69
PIANOo, organisatiebesluit 2013, p3.
70
Zie de formaties in het Organisatiebesluit 2013, p10.
64

57

ETM van het ministerie van EZ. Jaarlijks ontvangt PIANOo van FEZ een budgetbrief waarin het
beschikbare budget voor personeelskosten wordt bekend gemaakt. De besteding van het
beschikbare budget voor de activiteiten van PIANOo wordt door middel van een bestedingsplan
gemonitord

door

FEZ.

Jaarlijks

stelt

PIANOo

een

financiële

verantwoording

en

managementverklaring op en stuurt die aan de directie FEZ om verwerkt te worden in de
bedrijfsvoeringsparagraaf van

de jaarrekening van

EZ.

Elk half jaar worden

via

voortgangsgesprekken de tussentijdse resultaten besproken en eventueel bijgesteld met de
directeur-generaal ETM. De directeur PIANOo voert daarnaast regulier afstemmingsoverleg met
de directeur van de directie Mededinging en Consumenten. Voorts stuurt PIANOo éénmaal per
jaar

een

verslag

van

haar

werkzaamheden

aan

de

Stuurgroep,

bestaande

uit

vertegenwoordigers van de aanbestedende diensten. De Stuurgroep is verantwoordelijk voor
de inhoudelijke aansturing en wordt voorgezeten door een onafhankelijk voorzitter, die
benoemd wordt door de secretaris-generaal van het ministerie van EZ.71


Door het gebruik van verschillende monitoringstechnieken, vormt PIANOo zich een beeld van
de waardering en het gebruik van de producten en diensten die zij aan haar doelgroep
aanbiedt. Zo houdt PIANOo bijvoorbeeld uitgebreide webstatistieken bij. Ook de activiteit op
PIANOo-desk wordt gemonitord. Daarnaast wordt de ontwikkeling van PIANOo-alert abonnees
gevolgd en evalueert PIANOo de aangeboden congressen op een gedetailleerd niveau.



PIANOo heeft besloten een aantal producten en diensten te stoppen. Dit geldt voor de
bestekkenbibliotheek72, het tijdschrift, de regionale bijeenkomsten en de lunchlezingen. Voor
deze diensten stelde het ministerie van EZ in het huidige instellingsbesluit geen budget meer
beschikbaar. Een aantal andere diensten die niet langer door het ministerie van EZ worden
gefinancierd, zijn wel gecontinueerd met middelen van derden. Dit geldt voor de PIANOo-desk
en het PIANOo-congres.

5.2. Percepties
5.2.1. Opdracht
Opdracht van PIANOo
Respondenten geven aan dat het aanbod van PIANOo (dat grotendeels volgt uit de opdracht die PIANOo
heeft gekregen) aansluit bij hun behoeften. Ruim de helft van de respondenten (N=886) geeft aan beter
in staat te zijn professioneel in te kopen en aan te besteden dankzij het aanbod van PIANOo. Dit beeld
wordt bevestigd in de gesprekken: gesprekspartners zijn over het algemeen tevreden over de opdracht
die PIANOo heeft meegekregen van het ministerie, maar zijn kritisch of de beperkte middelen volstaan
voor de uitvoering van de opdracht. Veel gesprekspartners betwijfelen met name of het voor PIANOo
haalbaar is om met de beperkte middelen de brede doelgroep te bedienen (zie voor een toelichting op
de brede doelgroep ook paragraaf 2.3).
Inrichting van het aanbestedingsveld
Veel aanbestedende diensten vinden het aanbestedingsveld op overheidsniveau inefficiënt
georganiseerd. Een aantal gesprekspartners wijst hierbij specifiek op de overlap die bestaat in de
takenpakketten van Europa Decentraal en PIANOo, terwijl beide organisaties grotendeels door de

71
72

http://wetten.overheid.nl/BWBR0030770/geldigheidsdatum_08-12-2012.
Zie http://www.bestekkenbibliotheek.nl/ .

58

Rijksoverheid worden gefinancierd.73 Ook geven aanbestedende diensten aan dat meerdere overheden
(zowel Rijksoverheid als decentrale overheden) er voor kiezen om intern afdelingen op te zetten die als
taak hebben kennis, informatie en advies over inkoop en aanbesteden te delen, waardoor ‘het wiel
twee keer wordt uitgevonden’ en overheidsmiddelen niet efficiënt worden besteed. Deze
gesprekspartners zijn van mening dat de Rijksoverheid strakker zou moeten sturen op het gebruik van
PIANOo als het enige kenniscentrum voor inkoop en aanbesteden.
Respondenten zijn in de enquête expliciet gevraagd naar diensten van andere organisaties waarvan zij
gebruik maken. Uit de resultaten volgt dat respondenten naast PIANOo gebruik maken van verschillende
andere typen dienstverlening van andere organisaties. De uitkomsten van de enquête worden in de
gesprekken bevestigd.

Van welke diensten van andere organisaties maakt u gebruik?
80%
70%

67%

66%
58%

60%
47%

50%

50%

50%

40%
30%

26%

21%

20%

13%
3%

10%
0%

Figuur 23.

“Van welke diensten van andere organisaties maakt u gebruik?”.

5.2.2. Middelen (budget, fte)
Veel gesprekspartners geven aan waardering te hebben voor de manier waarop PIANOo haar taak
invult. Verscheidene gesprekspartners geven expliciet aan dat PIANOo veel bewerkstelligt met weinig
personele en financiële capaciteit.
Een aantal vertegenwoordigers van grotere aanbestedende diensten geeft aan dat de bezuinigingen
merkbaar invloed hebben op het aanbod van PIANOo. Zij stellen dat PIANOo de kennisuitwisseling meer
is gaan faciliteren in plaats van daar zelf een actieve rol in te spelen: medewerkers van PIANOo
bezoeken minder vaak aanbestedende diensten, de invulling van programma-onderdelen bij
bijeenkomsten wordt vaker overgelaten aan aanbestedende diensten en PIANOo organiseert geen
lunchlezingen en regionale bijeenkomsten meer.
PIANOo geeft zelf aan dat de op papier grote bezuiniging in de praktijk is opgevangen door (1) bewuster
met middelen om te gaan (‘elk dubbeltje omkeren’), (2) middels stagiairs en detacheringen tijdelijke
arbeidskrachten

te

verkrijgen,

(3)

slimme

samenwerkingsverbanden

aan

te

gaan

met

73

Deze opvatting betreft met name de gesprekspartners die zelf geen aanbestedende dienst zijn, maar ook een aantal
aanbestedende diensten deelt deze opvatting.

59

(vertegenwoordigers van) aanbestedende diensten (4) voor de netwerkfunctie financiering van derden
aan te trekken en (5) met de hele organisatie een stapje extra te doen. Door deze inspanningen is het in
staat geweest een aanzienlijk deel van het aanbod met een kleiner budget te handhaven.
Continuïteit PIANOo
Veel gesprekspartners geven aan te vrezen voor de continuïteit van PIANOo.


Sommige gesprekspartners zijn kritisch over de teruglopende financiering vanuit de
Rijksoverheid. Zij zijn van mening dat naleving van de Aanbestedingswet 2012 en uitvoering van
de kennis- en netwerkfunctie van PIANOo in het belang van de Rijksoverheid zijn. Deze
gesprekspartners benadrukken dat de Aanbestedingswet 2012 een ingewikkelde wet is die tot
veel vragen leidt bij aanbestedende diensten en dat het dan logisch is dat de verantwoordelijke
voor die wet (de Rijksoverheid) ook verantwoordelijk is voor het beantwoorden van die vragen.



Andere gesprekspartners hebben begrip voor de teruglopende financiering, aangezien de baten
voornamelijk ten goede komen aan decentrale overheden. Inkoopprofessionals van gemeenten
en waterschappen zouden graag zien dat hun werkgevers PIANOo blijven financieren, maar
geven aan daar geen invloed op te hebben. Vanuit gemeenten worden verschillende
argumenten genoemd die financiering zouden belemmeren: (1) Gemeenten willen niet
individueel betalen, maar vinden dat PIANOo collectief zou moeten worden gefinancierd via het
Gemeentefonds en Provinciefonds. Aangegeven wordt dat deze vorm van financiering
bestuurlijk complex is. (2) individuele gemeenten verkeren in veel gevallen in een benarde
financiële positie, waardoor alle ‘nieuwe’ uitgaven voorlopig uit den boze zijn, (3) bestuurders
van gemeenten vinden het vreemd om te betalen voor het verwerven van kennis waarvan
wordt geacht dat inkopers daar zelf al over beschikken.



Tot slot zijn er gesprekspartners die aangeven het belasten van gebruikers onlogisch te vinden,
aangezien de aanbestedende diensten zelf een belangrijke rol spelen bij het kennisaanbod dat
beschikbaar wordt gesteld via de PIANOo-desk en het PIANOo-congres (deze perceptie geldt
met name voor aanbestedende diensten die meer kennis bij PIANOo ‘brengen’ dan ‘halen’.

Betalingsbereidheid
In de enquête zijn respondenten expliciet gevraagd of zij bereid zijn te betalen voor gebruik van
PIANOo-desk en het bezoeken van het PIANOo-congres. Hoewel de waardering voor beide producten in
de enquête hoog is, is de betalingsbereidheid beperkt: Slechts 9% van de respondenten (N=509) staat
positief tegenover betaling voor gebruik van PIANOo-desk (56% is negatief en 34% is neutraal). 59% van
de respondenten (N=370) staat positief tegenover betaling voor het bezoeken van het PIANOo-congres.


Bij deze antwoorden bestaat bij uitstek het risico op strategisch gedrag volgens de redenering
dat respondenten hebben geantwoord dat ze niet willen betalen, omdat ze voorzien dat ze
anders moeten gaan betalen. In de gesprekken worden de uitkomsten van de enquête echter
bevestigd en geven sommige aanbestedende diensten aan niet bereid te zijn om te betalen voor
het gebruik van PIANOo-desk om redenen die in de vorige alinea reeds zijn genoemd. Een
andere kanttekening is dat de respondenten veelal geen budgetverantwoordelijkheid hebben
en daarom weinig reden hebben om strategisch te antwoorden.



In de praktijk dienen alle bezoekers (met uitzondering van de Rijksoverheid en de provincies)
sinds 2012 te betalen voor deelname aan het PIANOo-congres. Sindsdien is het aantal
bezoekers afgenomen van 719 (2011) tot 450 (2012) en 484 (2013). In gesprekken geven

60

aanbestedende diensten aan dat zij voorheen met de gehele inkoopafdeling het congres
bezochten, maar dat ze nu met een kleinere delegatie gaan.
5.2.3. Voorzieningen voor doelmatige taakuitvoering
Gesprekspartners hebben veelal geen duidelijke opvattingen over de voorzieningen die PIANOo heeft
getroffen voor doelmatige taakuitvoering. Een aantal gesprekspartners geeft aan dat hoewel er een
aantal producten en diensten zijn gestopt, het aanbod van PIANOo nog steeds opvallend breed is.
Uit de enquête blijkt niet dat PIANOo producten of diensten aanbiedt die door gebruikers niet
gewaardeerd of gebruikt worden (zie hoofdstuk 2). De minimale waardering is 7,3 en gevraagd naar de
producten en diensten waarvan het van belang is dat ze in de toekomst ook worden aangeboden, blijkt
dat alle producten en diensten wel door minimaal 15% van de gebruikers belangrijk worden gevonden
(zie hoofdstuk 4 voor een nadere analyse). In de gesprekken hebben aanbestedende diensten geen
aanbevelingen gedaan voor producten en diensten die beëindigd kunnen worden.
Van welke diensten vindt u het van belang dat die ook in de toekomst worden
aangeboden?
90%
80%
70%

82%
66%

62%

60%
50%

42%

40%

48%

47%
40%

38%
26%

30%

26%

36%

32%
25%
15%

20%
10%
0%

Figuur 24.

“Van welke diensten vindt u het van belang dat die ook in de toekomst worden aangeboden?”.

5.3. Bevindingen
Doelmatigheid betreft het verband tussen de ingezette middelen (input) en de behaalde resultaten
(output). Hierna beoordelen we de doelmatigheid van de taakvervulling van PIANOo. Ten eerste doen
we dat door – in lijn met één van de aandachtspunten uit de brief van de minister – uitspraken te doen
naar de mate waarin PIANOo is geslaagd in het aanbrengen van meer focus in haar werkzaamheden.
Ten tweede doen we uitspraken over de waarborgen en voorzieningen voor doelmatige besteding van
middelen.
Bevinding 1 – Wij concluderen dat PIANOo conform de opdracht van de minister meer focus heeft
aangebracht in haar werkzaamheden en zich met het beperktere budget primair heeft gericht op het
verstevigen van de kennisfunctie.

61

PIANOo heeft, conform de opdracht van de minister, in de nieuwe instellingsperiode een aantal
diensten beëindigd (de bestekkenbibliotheek, het tijdschrift, de regionale bijeenkomsten en de
lunchlezingen). Binnen de door het ministerie van EZ beschikbaar gestelde basisfinanciering is verder
focus aangebracht door een tweetal belangrijke diensten te laten financieren door derden (de PIANOodesk en het PIANOo-congres).
Bevinding 2 – Hoewel conform de opdracht van de minister is gehandeld, plaatsen wij de
kanttekening dat het totale aanbod aan producten en diensten nog steeds groot is (zie het
productenaanbod in paragraaf 3.1.1), terwijl het budget van PIANOo bijna is gehalveerd (van circa 3
miljoen Euro in 2010 en 2011 naar 1,6 miljoen Euro in 2012 en 2013).
Weliswaar zijn een aantal producten en diensten beëindigd, maar deze behoorden maar in beperkte
mate tot de ‘kern’ van het aanbod. Aan deze constatering kan een positieve uitleg gegeven worden dat
PIANOo met minder mensen en middelen een divers en breed gewaardeerd aanbod in stand heeft
gehouden, maar het roept ook de vraag op of PIANOo haar doelmatigheid zou kunnen vergroten door
zich met de beperktere middelen te richten op een beperkter aantal producten (zie ook de aanbeveling
hierna).
Bevinding 3 – Ten aanzien van het verkleinen van het aantal producten en diensten, is een relevante
observatie dat op basis van dit onderzoek de betalingsbereidheid van gebruikers beperkt is: ongeveer
de helft van de respondenten geeft expliciet aan niet bereid te zijn te betalen voor gebruik van
PIANOo-desk of bezoek van het PIANOo-congres; sinds de meeste bezoekers voor het congres moeten
betalen is het aantal bezoekers met 35% gedaald.
Deze bevindingen roepen de vraag op of het dienstenaanbod van PIANOo ‘need to have’ of ‘nice to
have’ is en aan welke producten en diensten PIANOo prioriteit zou moeten geven.
Aanbeveling 1 – Gegeven de beperkt beschikbare middelen en het op dit moment brede
dienstenaanbod, geven wij PIANOo ter overweging mee een aantal van de overige producten en
diensten te beëindigen dan wel anders in te richten.
Door een aantal producten te beëindigen of anders in te richten houdt PIANOo meer tijd over om de
overgebleven producten en diensten nog verder te verbeteren (mede aan de hand van de in dit rapport
benoemde behoeften van aanbestedende diensten).
Het beëindigen van producten en diensten is geen eenvoudige opgave, aangezien de behoeften van
aanbestedende diensten sterk verschillen (wat voor de ene gebruiker cruciaal is, is voor de andere
gebruiker overbodig). Een analyse van bekendheid, gebruik en waardering leert echter dat de website
(inclusief jurisprudentie), de PIANOo-desk en het PIANOo-congres voor vrijwel alle gebruikers de kern
van het aanbod van PIANOo vormen.
Wij benoemen hierna vijf perspectieven die van belang zijn bij de afweging welke producten en diensten
te beëindigen dan wel anders in te richten. Per product kunnen de vijf perspectieven tegen elkaar
afgezet te worden. Wij geven ter overweging mee om het onderstaande afwegingskader te gebruiken
als basis voor een dialoog tussen opdrachtgever (EZ) en opdrachtnemer (PIANOo).
1

Overweging
Voorbeeld
De bekendheid, het gebruik, de waardering en het belang De waardering voor alle producten en diensten is
van de producten die volgen uit dit onderzoek en groot, maar de vakgroepen (aanbestedingsrecht
monitoringsgegevens.
en inkoopmanagement) worden door slechts 2%

62

2

3

4

5

van de gebruikers als ‘belangrijk’ geoormerkt.
De kosten die het aanbieden van de specifieke producten In de kamerbrief naar aanleiding van de vorige
met zich meebrengen (het ene product drukt zwaarder op evaluatie worden de volgende bedragen begroot
de begroting dan het andere product). Deze factor is met voor de kennisfunctie (bijdrage MinEZ: 1,2
name interessant afgezet tegen het gebruik.
miljoen Euro per jaar):

Website: 240.000

Vragenloket 270.000

Handreikingen 70.000
De bereidheid van aanbestedende diensten om de Op basis van de enquête zijn er zijn meer
74
producten te financieren (algemeen of per gebruiker).
gebruikers bereid te betalen voor het bezoeken
van het PIANOo-congres (59%) dan voor het
gebruik van PIANOo-desk (9%).
De mate waarin vergelijkbare producten en diensten Opleidingen en trainingen zoals de leergang
worden aangeboden door andere partijen (met andere aanbestedingsrecht worden ook aangeboden
woorden: de mate waarin aanbestedende diensten ook bij door private partijen. Europa Decentraal heeft
andere partijen terecht zouden kunnen als het product van net als PIANOo een FAQ over de
PIANOo wordt beëindigd).
Aanbestedingswet 2012.
De mate waarin producten en diensten specifiek van belang Vakgroepen zijn vooral van belang voor
zijn voor de ‘achterblijvers’. De mate waarin een product voorlopers. PIANOo-desk is belangrijk voor
past bij de positionering van PIANOo als generieke achterblijvers. Vragenloket is belangrijk voor
75
basisvoorziening.
voorlopers.

Tabel 5. Overwegingen bij de beëindiging van producten en diensten

Aangezien wij op basis van deze evaluatie geen volledig inzicht hebben in de kosten van de verschillende
producten, de betalingsbereidheid van gebruikers en de mate waarin vergelijkbare producten en
diensten worden aangeboden door andere partijen, laten wij de uiteindelijke afweging op basis van
bovenstaande kader over aan PIANOo in afstemming met haar opdrachtgever.
Bevinding 4 – PIANOo heeft voldoende voorzieningen getroffen voor doelmatige taakuitvoering.
PIANOo legt gestructureerd verantwoording af over haar middelen en activiteiten. EZ en PIANOo
hebben zowel formeel als informeel veel contact op verschillende niveaus. De kwaliteit van producten
en diensten wordt op regelmatige basis gemonitord. Hoewel PIANOo regelmatig contact heeft met
aanbestedende diensten, hebben wij geen voorbeelden gevonden van onderzoek naar de behoeften
van gebruikers. Echter, de vragen die binnenkomen bij het vragenloket en de discussies op PIANOodesk, maken dat PIANOo automatisch goed op de hoogte is van de onderwerpen die leven in het veld.
Een andere voorziening voor doelmatige taakuitvoering is dat de waardering voor de producten en
diensten van PIANOo groot is. Alle producten die op de begroting staan (website, vragenloket,
handreikingen, PIANOo-desk, congres) worden goed gebruikt. Slechts 9% van de respondenten is
negatief over de mate waarin het aanbod van PIANOo aansluit bij hun behoeften. Aanbestedende
diensten hebben veel waardering voor de veelheid aan werk die PIANOo uitvoert met beperkte
middelen.
Bevinding 5 - PIANOo heeft zich flexibel getoond in veranderende omstandigheden.
Een vergelijking van de functies in het organisatiebesluit 2013 met het personeelsbestand eind 2011
leidt tot de conclusie dat PIANOo meer inhoudelijke kennis in huis heeft gehaald, wat een belangrijke
randvoorwaarde is voor goede uitvoering van de kenniscentrumfunctie (waarop de nadruk werd gelegd
74

De uitkomst van deze overweging kan reden zijn een product wel te continueren, maar de financiering anders in te richten.
Gebaseerd op de antwoorden van respondenten op de vraag ’ Welke dienst van PIANOo is voor uw organisatie de
belangrijkste?’. Zie ook Hoofdstuk 4.
75

63

in het instellingsbesluit). Naast de vaste bezetting heeft PIANOo op innovatieve wijze kennis van andere
partijen in huis gehaald via detacheringsovereenkomsten. Tot slot constateren wij op basis van de
enquête en de gesprekken dat de reorganisatie en bezuiniging geen gevolgen heeft gehad voor de
kwaliteit van de dienstverlening in de huidige instellingsperiode ten opzichte van de vorige
instellingsperiode.

64

BIJLAGEN

65

A. UITKOMSTEN ENQUÊTE
PROFESSIONALS
A.1. Achtergrond
Om te achterhalen welk beeld professionals in het veld hebben bij PIANOo en in welke mate PIANOo
aan haar opdracht voldoet, is een enquête uitgezet onder een grote groep professionals in de die actief
zijn in de aanbesteding- en inkoopwereld. Om deze groep te kunnen bereiken is gebruik gemaakt van de
relatiedatabase van PIANOo. De enquête is uitgezet onder 4287 professionals. De enquête is door 886
respondenten ingevuld. Dit is een responspercentage van 20,7%.
De resultaten van de enquête bieden inzicht in de bekendheid, het gebruik, de waardering en de
toepassing van de diensten en producten die PIANOo in het algeheel Tevens geven de resultaten een
indicatie van de gepercipieerde volledigheid van het aanbod van PIANOo, alsmede van de effectiviteit
en de impact van het handelen van PIANOo.

A.1.1. Achtergrond respondenten
Type organisatie waar u werkzaam bent
35%
30%
25%
20%
15%
10%
5%
0%

Figuur 25.

31%

15%
5%

7%

12%

12%
6%

5%

6%
2%

0%

“Type organisatie waar u werkzaam bent”. (N=886)

Uit bovenstaande grafiek valt af te leiden dat veruit de meeste respondenten werkzaam zijn binnen de
Rijksoverheid (inclusief op afstand geplaatste organisaties, zoals ZBO’), namelijk 30,6%. De decentrale
overheden (provincies, gemeenten en waterschappen) vormen gezamenlijk ook een grote groep,
namelijk 45,1% van de respondenten. De overheidsgebruikers vormen dus zo’n 70,7 % van de
respondentengroep. Het overige deel (29,3%) is werkzaam binnen de semipublieke sector en het
bedrijfsleven.

66

Welke functie vervult u hoofdzakelijk?

Figuur 26.

“Welke functie vervult u hoofdzakelijk?” (N=723)

Heeft u eerder meegewerkt aan een evaluatie van PIANOo?
90%

78%

80%
70%
60%
50%
40%
30%
20%
10%

10%

9%

Ja, in 2011

Ja, in 2008 en 2011

3%

0%

Ja, in 2008
Figuur 27.

Nee

“Heeft u eerder meegewerkt aan een evaluatie van PIANOo?” (N=886)

67

Met welke van de volgende producten en diensten van PIANOo bent u
bekend?
100%

92%

90%
80%

76%
65%

70%
60%

54%

51%
46%

50%

44%

43%
35%

40%

29%

26%

30%

22%

21%

20%
6%

10%

3%

0%

Figuur 28.

“Met welke van de volgende producten en diensten van PIANOo bent u bekend?

Van welke diensten van PIANOo maakt u gebruik?
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

Figuur 29.

88%

62%
45%

43%
35%

35%

31%
24%

11%

8%

27%
14%

9%
1%

“Van welke diensten van PIANOo maakt u gebruik?”

68

Welke dienst van PIANOo is voor uw organisatie de belangrijkste?
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%

77%

32%
23%

32%

18%

32%
18%

14%

14%

14%
5%

Figuur 30.

“Welke dienst van PIANOo is voor uw organisatie de belangrijkste?”

Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de
diensten van PIANOo?

PIANOo-desk
50%

39%

38%

40%
30%
20%
10%

9%
0%

1%

3%

3

4

5

9%
1%

0%

Figuur 31.

6

7

8

9

10

“Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de PIANOo-desk?” (N=509)

Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de
diensten van PIANOo?

Website PIANOo.nl
60%
36%

40%
20%
0%

0%

0%

2%

6%

2

3

4

5

6

42%
12%
1%

0%

Figuur 32.

7

8

9

10

“Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de website? ”(N=718)

69

Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de
diensten van PIANOo?

Vragenloket (info@PIANOo.nl)
36%

34%

40%
30%

16%

20%
10%

9%
2%

2%

0%
5
Figuur 33.

6

7

8

9

10

“Met welke cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van het vragenloket?” (N=91)

Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de
diensten van PIANOo?

Metrokaart inkoop en aanbesteden (FAQ)
50%

42%

40%

31%

30%
20%
10%

14%

9%
0%

1%

1

5

3%

0%
6

7

8

9

10

Figuur 34.
“Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de metrokaart inkoop en
aanbesteden?” (N=288)

Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de
diensten van PIANOo?

Factsheets
47%

50%
40%
31%
30%
20%

15%

10%
1%

4%

1%

0%

5
Figuur 35.

6

7

8

9

10

“Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de factsheets? (N=289)

70

Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de
diensten van PIANOo?

PIANOo handleidingen
46%

50%
40%

35%

30%
20%

13%

10%

4%

0%

2%

0%

5
Figuur 36.
(N=250)

6

7

8

9

10

“Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de PIANOo handleidingen?”

Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de
diensten van PIANOo?

Jurisprudentie aanbestedingsrecht
60%
49%

50%
40%
30%

23%
18%

20%
6%

10%
0%

1%

1

5

3%

0%

Figuur 37.
(N=349)

6

7

8

9

10

“Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de jurisprudentieoverzichten?“

71

Met welk cijfer, tussen 1 en 10, beoordeeldt u de kwaliteit van de
diensten van PIANOo?

PIANOo-vakgroep aanbestedingsrecht
50%

42%

37%

40%
30%
20%
10%

11%

6%

2%

2%

0%
5

6

7

8

9

10

Figuur 38.
“Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de vakgroep
aanbestedingsrecht?” (N=62)

Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de
diensten van PIANOo?

PIANOo-alert
50%

41%

40%

31%

30%
16%

20%
10%

8%
1%

3%

4

5

1%

0%

Figuur 39.

6

7

8

9

10

“Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de PIANOo-alerts?” (N=193)

Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de diensten van
PIANOo?

PIANOo-congres (jaarcongres in samenwerking met NEVI)
40%

35%

35%

30%
20%

14%

11%
10%
0%

1%

3

4

3%

2%

0%

Figuur 40.

5

6

7

8

9

10

“Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van het PIANOo-congres?” (N=370)

72

Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de
diensten van PIANOo?

Regionale bijeenkomsten
50%

42%

40%

40%
30%
20%
10%

1%

11%

6%

0%
5
Figuur 41.
(N=319)

6

7

8

9

“Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de regionale bijeenkomsten?”

Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de
diensten van PIANOo?

Marktontmoetingen
45%

50%
40%
29%

30%

21%

20%
10%

4%

0%
6
Figuur 42.
(N=117)

7

8

9

“Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de marktontmoetingen?”

Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de
diensten van PIANOo?

Leergang aanbestedingsrecht
47%

50%
40%

29%

30%
20%
10%

13%
5%

5%

0%
6
Figuur 43.
“ (N=75)

7

8

9

10

“Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de leergang aanbestedingsrecht

73

Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de
diensten van PIANOo?

Vakgroep Inkoopmanagement
60%

50%

50%
33%

40%
30%

17%

20%
10%
0%

7

8

9

Figuur 44.
“Met welk cijfer, tussen 1 en 10, beoordeelt u de kwaliteit van de vakgroep
inkoopmanagement?“ (N=12)

De vindbaarheid van de voorlichting op de website over inkoop en
aanbesteding is
70%
58%

60%
50%
40%

32%

30%
20%
10%

7%

2%

1%

0%
Uitmuntend
Figuur 45.

Goed

Voldoende

Matig

Slecht

De beoordeling van de vindbaarheid van de voorlichting op de website. (N=718)

De begrijpelijkheid van de voorlichting op de website over inkoop
en aanbesteding is
80%

71%

70%
60%
50%
40%
30%

21%

20%
10%

6%

2%

0%

Uitmuntend
Figuur 46.

Goed

Voldoende

Matig

De beoordeling van de begrijpelijkheid van de voorlichting op de website. (N=718)

74

De deskundigheid van de voorlichting op de website over inkoop
en aanbesteding is
80%
70%
60%
50%
40%
30%
20%
10%
0%

70%

21%
6%

Uitmuntend
Figuur 47.

Goed

Voldoende

3%

0%

Matig

Slecht

De beoordeling van de deskundigheid van de voorlichting op de website. (N=718)

De bruikbaarheid van de voorlichting op de website over inkoop
en aanbesteding is
62%

70%
60%
50%
40%
30%
20%
10%
0%

31%

3%
Uitmuntend

Figuur 48.

Goed

Voldoende

3%

0%

Matig

Slecht

De beoordeling van de bruikbaarheid van de voorlichting op de website. (N=718)

De snelheid waarmee vragen worden beantwoord door het
vragenloket (info@pianoo.nl) is
56%

60%
50%
40%

32%

30%
20%

7%

4%

10%

1%

0%
Uitmuntend
Figuur 49.
(N=91)

Goed

Voldoende

Matig

Slecht

De beoordeling van de snelheid waarmee vragen door het vragenloket worden beantwoord.

75

De deskundigheid van het vragenloket is
80%

63%

60%
40%
20%

25%
7%

5%

0%
Uitmuntend
Figuur 50.

Goed

Voldoende

Matig

De beoordeling van de deskundigheid van het vragenloket. (N=91)

De vindbaarheid van het vragenloket is
60%

52%

50%
40%

29%

30%
20%
10%

12%

8%

0%

Uitmuntend
Figuur 51.

Goed

Voldoende

Matig

De beoordeling van de vindbaarheid van het vragenloket. (N=91)

De bereikbaarheid van het vragenloket is
54%

60%
40%
20%

32%
8%

7%

0%
Uitmuntend
Figuur 52.

Goed

Voldoende

Matig

De beoordeling van de bereikbaarheid van het vragenloket. (N=91)

De toepasbaarheid van antwoorden van het vragenloket is
70%

60%

60%
50%
40%

27%

30%
20%
10%

7%

4%

1%

0%

Uitmuntend
Figuur 53.

Goed

Voldoende

Matig

Slecht

De beoordeling van de toepasbaarheid van de vragen van het antwoordloket. (N=91)

76

Het meedenken door PIANOo over mijn vraag is
60%

54%

50%
40%
24%

30%
20%

11%

11%

10%
0%
Uitmuntend
Figuur 54.

Goed

Voldoende

Matig

De beoordeling over het meedenken door PIANOo over gestelde vragen. (N=91).

De kwaliteit van de antwoorden op de PIANOo-desk is hoog
60%

49%

50%

41%

40%
30%
20%
10%

6%

5%

0%
Geheel eens
Figuur 55.

Eens

Neutraal

Oneens

De beoordeling over de kwaliteit van de antwoorden op PIANOo-desk. (N=509)

Als ik een vraag stel op de PIANOo-desk krijg ik snel antwoord
53%

60%
50%

39%

40%
30%
20%
10%

5%

3%

0%

0%

Geheel eens
Figuur 56.

Eens

Neutraal

Oneens

Geheel oneens

“Als ik een vraag stel op de PIANOo-desk krijg ik snel antwoord”. (N=509)

77

De discussies op de PIANOo-desk zijn leerzaam
54%

60%
50%
40%

32%

30%
20%
10%

8%

6%

0%

Geheel eens
Figuur 57.

Eens

Neutraal

Oneens

“De discussies op de PIANOo-desk zijn leerzaam”. (N=509)

Voordat ik een vraag stel via het vragenloket (info@pianoo.nl) kijk
ik altijd eerst op de PIANOo-desk
50%

39%

40%

43%

30%
20%

10%

7%

10%

1%

0%
Geheel eens
Figuur 58.

Eens

Neutraal

Oneens

Geheel oneens

“Voordat ik een vraag stel via het vragenloket, kijk ik altijd eerst op de PIANOo-desk”. (N=509)

De PIANOo-desk draagt ertoe bij dat ik best-practices en
ervaringen kan uitwisselen
60%

53%

50%
35%

40%
30%
20%
10%

7%

4%

1%

0%
Geheel eens
Figuur 59.

Eens

Neutraal

Oneens

Geheel oneens

“De PIANOo-desk draagt ertoe bij dat ik best-practices en ervaringen kan uitwisselen” (N=509)

78

Ik zou bereid zijn te betalen voor het gebruik van de PIANOodesk
40%

37%

34%

30%
20%
20%
8%

10%
1%
0%

Geheel eens
Figuur 60.

Eens

Neutraal

Oneens

Geheel oneens

“Ik zou bereid zijn te betalen voor het gebruik van de PIANOo-desk” (N=509)

Het PIANOo Congres draagt ertoe bij dat ik best-practices en ervaringen
kan uitwisselen
60%
50%
40%
30%
20%
10%
0%

50%
24%
1%
Geheel oneens

Figuur 61.
(N=370)

18%

7%
Oneens

Niet
oneens/Niet
eens

Eens

Helemaal eens

“Het PIANOo-congres draagt ertoe bij dat ik best-practices en ervaringen kan uitwisselen”.

Bent u (of is uw organisatie) bereid om te betalen voor deelname aan het PIANOo-Congres

Nee; 41%

Figuur 62.
(N=370)

Ja; 59%

“Bent u (of is uw organisatie) bereid om te betalen voor deelname aan het PIANOo-Congres?”

79

PIANOo stelt mij in staat meer samen te werken met andere
aanbestedende diensten
50%

42%
36%

40%
30%
20%

12%

10%

8%

3%

0%
Geheel oneens

Oneens

Niet oneens/Niet
eens

Eens

Helemaal eens

Figuur 63.
“PIANOo stelt mij in staat meer samen te werken met andere aanbestedende
diensten.”(N=677)

Het aanbod van diensten van PIANOo sluit aan bij mijn behoeften
47%

50%
45%
40%
35%
30%
25%
20%
15%
10%
5%
0%

42%

8%
3%

1%

Uitmuntend
Figuur 64.

Goed

Voldoende

Matig

Slecht

“Het aanbod van diensten van PIANOo sluit aan bij mijn behoeften” (N=677)

De transparantie over wat je wel en niet van PIANOo kunt verwachten,
is
47%

50%

42%

40%
30%
20%
8%

10%

3%

1%

0%
Uitmuntend
Figuur 65.
(N=677)

Goed

Voldoende

Matig

Slecht

Beoordeling van de transparantie over wat je wel en niet van PIANOo kunt verwachten.

80

PIANOo heeft goede ondersteuning geboden bij de implementatie
en doorvoering van de Aanbestedingswet 2012.
60%

48%

50%

39%

40%
30%
20%
10%

1%

3%

Geheel oneens

Oneens

9%

0%
Niet oneens/Niet
eens

Eens

Helemaal eens

Figuur 66.
“PIANOo heeft goede ondersteuning geboden bij de implementatie en doorvoering van de
Aanbestedingswet 2012.” (N= 677)

Overzicht van hetgeen respondenten verstaan onder professioneel inkopen en in hoeverre zij zich op
deze thema’s ondersteund voelen door PIANOo.
90%
80%

80%

80%

67%

70%
60%

60%

51%

48%

50%
40%

51%
40%

38%

34%

30%
30%
21%
20%
10%

35%

24%

23%
18%

Onder
professioneel
inkopen en
aanbesteden
versta ik…?
Op welke thema's
voelt u zich
ondersteund door
PIANOo?

0%

Figuur 67.
Overzicht van hetgeen respondenten verstaan onder professioneel inkopen en de
gepercipieerde ondersteuning op deze onderdelen vanuit PIANOo.

81

Maakt u gebruik van diensten van organisaties anders dan PIANOo
op het gebied van inkoop en aanbesteden?

38%

Ja
Nee
62%

Figuur 68.
Maakt u gebruik van diensten van organisaties anders dan PIANOo op het gebied van inkoop
en aanbesteden? (N=886)

Van welke diensten van andere organisaties maakt u
gebruik?
80%
70%

67%

66%
58%

60%
47%

50%

50%

50%

40%
30%

21%

26%

20%
10%

13%
3%

0%

Figuur 69.

“Van welke diensten van andere organisaties maakt u gebruik?”

82

Door de dienstverlening van PIANOo ben ik beter in staat om
professioneel in te kopen en aan te besteden?
60%
48%

50%
40%

35%

30%
20%
10%

9%

5%

2%

0%
Geheel oneens

Oneens

Niet
oneens/Niet
eens

Eens

Helemaal eens

Figuur 70.
“Door de dienstverlening van PIANOo ben ik beter in staat om professioneel in te kopen en aan
te besteden” (N=886)

Van welke diensten vindt u het van belang dat die ook in de toekomst
worden aangeboden?
90%

82%

80%
70%

66%

62%

60%
50%
40%
30%
20%

48%
42%

47%
40%

38%
26%

26%

36%

32%
25%
15%

10%
0%

Figuur 71.

“Van welke diensten vindt u het van belang dat die ook in de toekomst worden aangeboden?”

83

B. OVERZICHT GESPREKSPARTNERS
Begeleidingscommissie
Organisatie

Contactpersoon

Min. van Economische Zaken

Mw. Annet Jonk / dhr. Remco de Haan (voorzitter)
Dhr. Maurits Berger
Mw. Babs Banning / dhr. Gebrand Hendrikse
Dhr. Marc Bressers /dhr. Martijn Jebbink
Dhr. Wim Holleman

FEZ (directie Financieel Economische Zaken)
Min. van Binnenlandse Zaken
Min. van Infrastructuur en Milieu /
Rijkswaterstaat
Gemeenten
Provincies
Waterschappen

Dhr. Marcel Stuijts
Dhr. Martin Scherpenisse
Mw. Cathelijn Peters

Stuurgroep PIANOo
Organisatie

Contactpersoon

Onafhankelijk voorzitter
Provincie Noord-Holland
Min. van Economische Zaken
Min. van Infrastructuur en Milieu
Min. van Binnenlandse Zaken
Gemeente Hoorn
Waterschap Hollandse Delta
PIANOo

Dhr. Hans van der Vlist
Mw. Annemieke van Dam
Dhr. Mark Dierikx
Dhr. Jan Hendrik Dronkers
Dhr. Jaap Uijlenbroek
Dhr. Onno van Veldhuizen
Dhr. Arnoud van Vliet
Dhr. Wouter Stolwijk
Dhr. Maarten Kaster
Mw. Carl van den Berg

Overzicht groepsgesprekken
Gremium
Managementteam PIANOo

Organisatie
PIANOo

Accounthouders EZ

Min. van Economische Zaken

Rijkswaterstaat

Rijkswaterstaat

Rijksinkopers

Haagse Inkoop Samenwerking (HIS)
Inkoopuitvoeringscentrum
Belastingdient

Gesprekspartners
Dhr. Wouter Stolwijk
Dhr. Maarten Kaster
Mw. Carla van den Berg
Mw. Jacobien Muntz
Dhr. Henk Wijnen
Dhr. Mark Dierikx
Mw. Annet Jonk
Dhr. Maurits Berger
Mw. Maaike Daanen
Dhr. Huub Lavooij
Dhr. Henk van Putten
Dhr. Dick de Waart
Dhr. Eric van Duijse

84

BIZOB

Unie van Waterschappen

Expertisecentrum Aanbesteden
Rijksgebouwendienst
BIZOB

Waterschap Velt en Vecht
Waterschap Groot-Salland
Hoogheemraadschap Hollands
Noorderkwartier
Waterschap Aa en Maas

Dhr. Jeroen Oehler
Mw. Inge de Vos
Mw. Corine Vriends
Dhr. Eric Ernst
Mw. Sanne Kerremans
Dhr. Jeroen Zegveld
Dhr. Frank Weerheijm
Mw. Gerie Bootsman
Dhr. Job Looijenga
Mw. Brigitte Broekert
Dhr. Bert Trip

Individuele gesprekken
Organisatie

Contactpersoon

Stuurgroep PIANOo

Dhr. Hans van der Vlist (voorzitter)

Samenwerkingsverbanden, inkooporganisaties en koepels
Stichting RIJK en BIZOB

Dhr. Ditmar Waterman & dhr. Marcel Stuijts

Uitvoeringsorganisaties, provincies, waterschappen, hoogheemraadschappen
Belastingdienst
Veiligheidsregio Brabant Zuid-Oost
Provincie Gelderland
Provincie Friesland
Provincie Noord - Holland
Stichting Inkoopbureau West - Brabant
Waterschap de Dommel

Dhr. Harald Derksen
Dhr. Douwe van de Goorberg
Dhr. Friso Feenstra
Dhr. Harry de Vries
Mw. Odile Uijlenbroek
Dhr. Hugo ‘t Hart
Mw. Birgitte de Kraker

Gemeenten
Amsterdam
(groot)
Enschede
(groot)
Rotterdam
(groot)
Deventer
(groot)
Hoorn
(middelgroot)
Alphen a/d Rijn (middelgroot)
Oost-Gelre
(klein)

Dhr. Hans Dussel
Mw. Marijke van Hees
Dhr. Marcel de Ruiter
Dhr. Arjan Dankert
Dhr. Onno van Veldhuizen
Dhr. Stan Lyczak
Dhr. André Lurvink

Kennisinstellingen
NEVI-publiek
Vrije Universiteit Amsterdam

Dhr. Jan Telgen
Dhr. Chris Jansen

Leveranciers
COAB
Nederland ICT
Bouwend Nederland

Dhr. Pieter van de Eijnden
Mw. Annechien Sloots
Dhr. Joost Fijneman

85

C. OVERZICHT GERAADPLEEGDE
DOCUMENTEN
Type document

Activiteiten en
Producten

Eerdere evaluaties
en onderzoeken

Jaar
2012

Organisatie
PIANOo

Titel
Aanvullende activiteiten PIANOo

2013

PIANOo

Activiteitenkalender 2012-2013

2013

PIANOo

Congres 2013: Samenwerking met NEVI

2013

PIANOo

Inkooploket RWS

2013

PIANOo

Regionale bijeenkomsten - Aanbestedingswet

2012

PIANOo

Stavaza klacht TenderNed bij EC

2008

EIM

Evaluatie EIM 2008

2011

EIM

Evaluatie EIM 2011

2013

Kwink Groep

Omgevingsonderzoek PIANOo

20122013
2013

PIANOo

Eindevaluatie PIANOo - Congres

PIANOo

Evaluatie NEVI-PIANOo - congres 2013

2012

PIANOo & NEVI publiek

Bijeenkomst aanbestedingswet: Evaluatie Amersfoort

2012

PIANOo & NEVI publiek

Bijeenkomst aanbestedingswet: Evaluatie Breda

2012

PIANOo & NEVI publiek

2012

PIANOo & NEVI publiek

2012

PIANOo & NEVI publiek

Bijeenkomst aanbestedingswet: Evaluatie Amsterdam
Mozeshuis
Bijeenkomst aanbestedingswet: Evaluatie Amsterdam
Waternet
Bijeenkomst aanbestedingswet: Evaluatie Leeuwarden

2012

PIANOo & NEVI publiek

Bijeenkomst aanbestedingswet: Evaluatie Venray

2012

PIANOo & NEVI publiek

Bijeenkomst aanbestedingswet: Totaaloverzicht Evaluatie

2012

PIANOo

Ontwikkeling samenwerking met de NEVI

2012

PIANOo

Ontwikkeling organisatie PIANOo-TenderNed

2013

PIANOo

Onderzoeksvoorstel PIANOo

2013

PIANOo

Verslag Heidag

2012

PIANOo

Medewerkertevredenheidsonderzoek 2012

2012

PIANOo

Reactie MT-PIANOo op MTO

2011

PIANOo

Risicoanalyse 2013 tbv MT

2012

PIANOo

Beheer en Controleplan 2012

2013

PIANOo

Beheer en Controleplan 2013

20122013
20092013
20122013
2012

PIANOo

2012 2013 pdesk info eulab

PIANOo
PIANOo

DOMUS #13122561v1_Bereik_per_doelgroep_congres_2009-2013
Gegevens PIANOo-Desk

PIANOo

PIANOo.nl Jaarstatistieken 2012

2011

PIANOo

Prestatie-indicatoren

Interne evaluaties

Interne rapportages
en documenten

Monitoringsgegevens

86

Opdracht PIANOo

Stuurgroepdocumenten

Werkplannen

2012

PIANOo

Rapportage Grote ICT-Projecten BZK

2012

PIANOo

Samenvatting evaluatie Hub

2013

PIANOo

Website Statistieken 2013 - Rapportage jan tm sep

2013

PIANOo

Website Statistieken 2013 - Rapportage jan tm okt

2013

Ministerie van EZ

Brief + Organisatiebesluit PIANOo 2013

2011

PIANOo

Brief voorzitter aan DG Dierikx EL&I

2012

Ministerie van EZ

Instellingsbesluit PIANOo 2012

2011

Ministerie van EZ

2012

PIANOo

Kamerbrief nov.2011_Evaluatie PIANOo en tweede
rapportage aanbestedingsambassadeur
Managementverklaring Pianoo 2012

2012

Ministerie van EZ

Mandaat PIANOo 2012_Staatscourant

2012

PIANOo

Oriëntatiepunten PIANOo

20122013
20122013
2013

Stuurgroep PIANOo

Agenda's stuurgroep

Stuurgroep PIANOo

Verslagen stuurgroep

Stuurgroep PIANOo

Notities stuurgroep

2013

Stuurgroep PIANOo

Notitie: GWW_Inkoopkennisplatform_bij_PIANOo

2013

Stuurgroep PIANOo

Notitie: verantwoording_2012

2013

Stuurgroep PIANOo

Notitie: Stand_van_zaken_TenderNed

2013

Stuurgroep PIANOo

Notitie: Stand_van_zaken_PIANOo_2013

2013

Stuurgroep PIANOo

Notitie: PIANOO_en_gemeenten

2013

Stuurgroep PIANOo

Notitie: Stand_van_zaken_PIANOo

2013

Stuurgroep PIANOo

Notitie: Omgevingsonderzoek_Kwink

2013

Stuurgroep PIANOo

Notitie: Stand_van_zaken_TenderNed

2013

Stuurgroep PIANOo

Notitie: Duurzaam inkopen

2013

Stuurgroep PIANOo

2013

Stuurgroep PIANOo

Notitie:
Uitgebreide_reactie_PIANOo_Omgevingsonderzoek_Kwink
Notitie: Stand_van_zaken_PIANOo

2013

Stuurgroep PIANOo

Notitie: TenderNed

2013

Stuurgroep PIANOo

Notitie: Werkplan 2014

2013

Stuurgroep PIANOo

Notitie: Duurzaam inkopen

2012

Stuurgroep PIANOo

Notitie: Stand van zaken aanbesteden in Nederland

2013

PIANOo

Managementafspraak - Jaarplancyclus

2014

PIANOo

Strategisch Mobiliteitsplan PIANOo 2014

20122014

PIANOo

Werkplan

87

88

D. OVERZICHT BEKENDHEID, GEBRUIK
EN WAARDERING MEEST GEBRUIKTE
DIENSTEN
Product/Dienst →
Doelgroep ↓
Rijksoverheid
ZBO's e.d.)

PIANOo-desk

Bekend Gebruik
73,1%
51,1%
(inclusief

Metrokaart inkoop en
aanbesteden (FAQ)

Website PIANOo.nl
Cijfer
7,5

Bekend Gebruik
93,8%
90,9%

Cijfer
7,6

Bekend
54,5%

Gebruik
34,2%

Cijfer
7,8

Provincie

73,1%

70,7%

7,2

93,0%

82,9%

7,6

46,5%

19,5%

7,4

Kleine gemeente

69,2%

66,0%

7,5

92,3%

95,7%

7,7

50,0%

42,6%

7,5

Middelgrote gemeente

90,5%

79,8%

7,3

94,8%

92,7%

7,7

67,2%

47,7%

7,6

Grote gemeente

82,5%

66,0%

7,5

94,8%

88,3%

7,6

58,8%

31,9%

7,4

Waterschap

75,0%

63,8%

7,5

93,8%

83,0%

7,8

72,9%

42,6%

7,7

Zorg, ziekenhuis

82,1%

83,8%

7,4

84,6%

73,0%

7,2

38,5%

27,0%

7,6

Onderwijsinstelling

87,9%

69,0%

7,5

93,4%

82,1%

7,4

51,6%

35,7%

7,8

Overige (oa nutsbedrijven,
woningcorporatie
en
bedrijfsleven)

56,5%

38,0%

91,9%

90,0%

37,1%

28,0%

76,4%

62,5%

92,4%

88,1%

54,4%

35,3%

Gemiddeld (gewogen)

76

7,2

Product/Dienst →
Doelgroep ↓
Rijksoverheid
ZBO's e.d.)

7,4

7,7

7,6

Jurisprudentie
aanbestedingsrecht

Factsheets

Bekend Gebruik
43,0%
31,5%
(inclusief

7,4

Cijfer

PIANOo-congres

Bekend
51,2%

Gebruik
47,0%

Cijfer

7,8

51,2%

36,6%

7,6

50,0%

42,6%
53,2%

7,7

7,6

Bekend
71,1%

Gebruik
53,4%

Cijfer

7,6

72,1%

63,4%

7,7

7,6

57,7%

29,8%

7,2

39,4%

7,2

8,0

7,7

Provincie

51,2%

29,3%

Kleine gemeente

46,2%

40,4%

Middelgrote gemeente

57,8%

49,5%

7,8

64,7%

7,7

66,4%

Grote gemeente

52,6%

41,5%

7,7

48,5%

34,0%

7,8

59,8%

40,4%

7,3

Waterschap

56,3%

42,6%

8,1

60,4%

55,3%

7,9

79,2%

61,7%

7,4

Zorg, ziekenhuis

23,1%

21,6%

7,6

43,6%

37,8%

7,9

61,5%

27,0%

7,9

Onderwijsinstelling

40,7%

27,4%

7,6

46,2%

35,7%

7,8

59,3%

36,9%

7,2

Overige (oa nutsbedrijven,
woningcorporatie
en
bedrijfsleven)

32,3%

32,0%

45,2%

40,0%

50,0%

42,0%

45,9%

35,5%

51,2%

42,8%

64,9%

45,4%

Gemiddeld (gewogen)

77

7,6
7,7

7,7
7,8

76 Dit gemiddelde is gewogen (gecorrigeerd voor de groepsgrootte van gebruikersgroepen).
77 Dit gemiddelde is gewogen (gecorrigeerd voor de groepsgrootte van gebruikersgroepen).

89

7,4
7,5

Postadres
Postbus
93063
2509 AB DEN HAAG
Bezoekadres
Hartogstraat 11
2514 EP DEN HAAG
+31 (0)70 359 6955
info@kwinkgroep.nl
www.kwinkgroep.nl

90