Source: EUR LEX
URL: 31998Y1116_01_nl.json

{
  "url": "http://europa.eu.int/eur-lex/lex/LexUriServ/LexUriServ.do?uri=CELEX:31998Y1116(01):NL:HTML\">",
  "content": "EUR-Lex - 31998Y1116(01) - NL Avis juridique important | 31998Y1116(01) Speciaal verslag nr. 15/98 over de evaluatie van de bijstandsverlening van de Structuurfondsen betreffende de perioden 1989-1993 en 1994-1999, vergezeld van de antwoorden van de Commissie (vastgesteld krachtens artikel 188 C, lid 4, tweede alinea, van het EG-Verdrag) Publicatieblad Nr. C 347 van 16/11/1998 blz. 0001 - 0047 SPECIAAL VERSLAG Nr. 15/98 over de evaluatie van de bijstandsverlening van de Structuurfondsen betreffende de perioden 1989-1993 en 1994-1999, vergezeld van de antwoorden van de Commissie (vastgesteld krachtens artikel 188 C, lid 4, tweede alinea, van het EG-Verdrag) (98/C 347/01) 1. INLEIDING 1.1. In het kader van de hervorming van de Structuurfondsen (SF's) van 1988 is bepaald dat de Commissie en de lidstaten verplicht zijn het Europese structuurbeleid te evalueren. In 1993 is deze plicht tot evaluatie bekrachtigd middels de gewijzigde regelgeving in het kader van de herziening van de hervorming van de SF (1994-1999), alsook door de standaardclausules van de nieuwe communautaire bestekken voor bijstandsverlening (CB's) en van de enige programmeringsdocumenten (EPD's). 1.2. De evaluatie, een onmisbaar instrument voor een goed beheer van de SF's, wordt in de belangrijkste rechtsvoorschriften (1) omschreven als een beoordeling van de doeltreffendheid op drie niveaus: a) het effect van alle structurele acties op de doelstellingen zoals beoogd in artikel 130 A van het Verdrag; b) het effect van alle acties waarin de CB's voorzien; c) het specifieke effect van elke operationele actie (programma's en andere acties tot bijstandsverlening). 1.3. De uitvoering van de evaluatie bestaat hoofdzakelijk uit drie fasen: a) de beoordeling vooraf (2), om enerzijds op juiste wijze de op te lossen sociaal-economische problemen en de te bereiken doelen en anderzijds de gevolgde strategie, met de beschikbare middelen om hierop in te spelen, vast te stellen; b) de tussentijdse evaluatie, om tijdens de uitvoering van een programma na te gaan of de doelstellingen nog adequaat zijn en of de gewenste resultaten redelijkerwijs kunnen worden behaald; c) de evaluatie achteraf die plaatsvindt wanneer het programma eenmaal is afgesloten en die dient om na te gaan of de behaalde resultaten en effecten als positief kunnen worden beschouwd, ervan uitgaande dat de effecten op lange termijn van een structurele actie pas enkele jaren na afsluiting hiervan merkbaar zijn. 1.4. In de regelgeving zoals die in 1993 is gewijzigd, wordt gewezen op de verantwoordelijkheid van zowel de lidstaten als van de Commissie inzake evaluatie in het kader van het partnerschap (3). In dit verband heeft de Commissie het initiatief genomen tot de begeleiding en de algehele coördinatie van de uitvoering van de evaluatie, en legt zij om de drie jaar overeenkomstig artikel 16 van Verordening (EEG) nr. 2052/88 een evaluatierapport over betreffende de geboekte vooruitgang op het gebied van economische en sociale samenhang en betreffende de manier waarop met name de Structuurfondsen en de nationale medefinanciering hieraan hebben bijgedragen. 2. REIKWIJDTE VAN DE CONTROLE 2.1. De algemene doelstelling van de controle van de Kamer (4) was na te gaan in hoeverre er vooruitgang was geboekt inzake evaluatie van de communautaire structurele acties, zowel op het gebied van evaluatiesystemen en -procedures als op methodologisch gebied. De controle had betrekking op de wijze waarop de evaluatie van de structurele acties, zowel door de Commissie als in het kader van het partnerschap werd uitgevoerd. Er is onderzoek verricht naar de wettige en regelmatige aanwending van de begrotingskredieten van de Europese Gemeenschappen voor de evaluatie alsook naar de kwaliteit van het financieel beheer van deze kredieten. 2.2. De controle omvatte tevens het beoordelen van de technieken voor het evalueren van het sociaal-economische effect van de structurele acties. Hoewel het onderzoek niet was bedoeld als een rechtstreekse evaluatie van de programma's die nieuwe wetenschappelijke resultaten zou opleveren, worden hierin toch enkele van deze door deskundigen geconstateerde resultaten vermeld om duidelijker het verband tussen de aangewende economische beleidsinstrumenten en de behaalde resultaten aan te geven. 2.3. Specifieke controles hadden betrekking op de evaluaties achteraf van de CB's en operationele programma's (OP's) van de doelstellingen 1 en 2 voor de programmeringsperiode 1989-1993 en op tussentijdse evaluaties van de CB's, EPD's en OP's van de programmeringsperiode 1994-1999. Alle evaluaties achteraf van de CB's 1989-1993 van doelstelling 1 zijn in aanmerking genomen, alsook ongeveer 20 % van de rapporten betreffende de evaluatie achteraf van de CB's 1989-1993 van doelstelling 2 en 15 % van de rapporten betreffende de tussentijdse evaluatie van de CB's 1994-1999, die zijn geselecteerd naar gelang van hun geografische spreiding en de aard van de acties (CB, EPD, OP). Bovendien zijn 15 van de 25 evaluatierapporten, die hoofdzakelijk over macro-economische aspecten handelen, geanalyseerd. Het onderzoek is uitgevoerd bij de diensten van de Commissie en in acht lidstaten (België, Griekenland, Spanje, Frankrijk, Ierland, Italië, Nederland, Portugal), alwaar de beoordelaars en de verantwoordelijke functionarissen van de betreffende nationale overheden zijn geraadpleegd. 3. SAMENVATTING VAN DE BELANGRIJKSTE BEVINDINGEN 3.1. De evaluatie, die ten tijde van de hervorming van de Structuurfondsen in 1988 door veel subjecten van de communautaire programma's nog niet in voldoende mate werd gezien als een onontbeerlijk instrument voor geïntegreerd beheer, heeft zich vooral op instigatie van de Commissie in de loop van de programmeringsperiode 1994-1999 ontwikkeld en verspreid, met name in het kader van het EFRO, hetgeen tot gevolg had dat het nut van dit middel eveneens werd erkend op het gebied van beheer en programmering. Vanaf deze tweede programmeringsperiode van de SF's (1994-1999) wordt de evaluatie systematisch toegepast in de eerste twee fasen (vooraf, tussentijds) en zal zij ook worden toegepast in de laatste fase (achteraf) (zie de paragrafen 4.2-4.8). 3.2. De Commissie beschikt niet altijd over alle informatie in verband met de uitgaven die de evaluatie in het kader van het partnerschap met zich meebrengt, ook al kent zij de hoogte van de uitgaven die rechtstreeks door haar worden gefinancierd (zie de paragrafen 4.9-4.11). 3.3. De Commissie heeft in sterke mate bijgedragen tot de verspreiding van de evaluatiecultuur, ofschoon zij geen toereikende begeleiding in haar programma \"Methoden voor de evaluatie van structuurmaatregelen\" (MEANS - Méthodes d'évaluation des actions de nature structurelle) heeft verschaft voor de indicatoren en de evaluatiemethodiek. Gezien het ingewikkelde methodologische karakter van de evaluatie bestaat er niet één enkele methodiek die op elke specifieke situatie kan worden toegepast. Het is desalniettemin van belang dat de Commissie methodologische begeleiding kan bieden waardoor de beschikking wordt verkregen over passende richtsnoeren voor de uitvoering van aan specifieke situaties aangepaste evaluaties (zie de paragrafen 4.12-4.13). 3.4. De kwaliteit van de indicatoren hangt nauw samen met de betrouwbaarheid van de gegevens van de follow-up van de bijstandsverlening en van de bestaande statistische basisgegevens. Deze statistieken, die onder de verantwoordelijkheid van de lidstaten vallen, blijken vaak niet toereikend te zijn en de lidstaten zouden de kwaliteit ervan moeten verbeteren (zie de paragrafen 4.14-4.21). 3.5. Veel evaluaties worden laat afgerond, waardoor de aanpassingen van de programma's navenant later worden uitgevoerd. Bovendien zouden de evaluatieresultaten in termen van rendement of doeltreffendheid van de soorten bijstandsverlening beter in aanmerking kunnen worden genomen door het besluitvormingssysteem als het de herprogrammeringen betreft (zie de paragrafen 4.22-4.27). 3.6. Wat de objectiviteit van de evaluaties betreft, wordt door de Commissie geen enkele vorm van controle ter plaatse uitgevoerd op de cohesie en de betrouwbaarheid van de indicatoren of van de systemen waaruit ze voortkomen (zie de paragrafen 4.29-4.30). 3.7. In de procedures voor de gunning van contracten aan consultants op het gebied van evaluatie zijn er bij de Commissie nog belangrijke zwakke punten te vinden. De selectie van de consultants wordt niet altijd duidelijk gemotiveerd. De bestekken zijn erg vaag over de technische aspecten van de methodiek, de indicatoren of de verplichting tot het behalen van resultaten. Hieruit vloeien vertragingen en verstoringen bij het uitbrengen van evaluatierapporten voort, alsmede een wisselende kwaliteit van de analyse en soms vage aanbevelingen (zie de paragrafen 4.31-4.36). 3.8. Bij de toepassing van de methodieken die betrekking hebben op de evaluaties achteraf van de doelstellingen 1 en 2 van 1989-1993, zijn statistische lacunes, het ontbreken van doelstellingen en van voorlopige gekwantificeerde indicatoren, alsmede een ondoeltreffende follow-up van de effecten geconstateerd. Daarnaast was de wijze waarop de methodieken werden toegepast niet altijd voldoende consequent. Deze evaluaties hebben evenwel een toegevoegde communautaire waarde van de SF's aan het licht gebracht, zowel op het stuk van de uitvoeringen, de resultaten en de effecten van de CB's, OP's en maatregelen, als op het gebied van de programmering, de organisatie, het toezicht, de coördinatie, het partnerschap en de additionaliteit (zie de paragrafen 4.15-4.19, 5.1, 5.4, 5.10-5.16). 3.9. Bij de tussentijdse evaluaties die betrekking hebben op de acties uit hoofde van de SF's 1994-1999 die binnen het partnerschap worden aangewend in het kader van de toezichtcomités, speelt de analyse van de materiële en financiële uitvoeringen altijd een grote rol, ook al wisselt de aan verschillende doelstellingen verleende prioriteit. De evaluatie van de effecten wordt belemmerd door problemen die zich met name met de indicatoren en het opstellen van modellen voor de effecten voordoen. Deze evaluaties hebben dikwijls nog slechts een beperkt nut voor het besluitvormingsproces, het beheer van de projecten, de herprogrammering of het opzetten van toekomstige acties (zie de paragrafen 4.16-4.21, 6.5, 6.7, 6.14-6.26). 3.10. Wat in het bijzonder doelstelling 2 (D2) betreft, heeft de evaluatie met name de volgende zwakke punten aan het licht gebracht: a) de uitvoering van de programma's en de communautaire financiering zijn niet op elkaar afgestemd - aangezien de overdrachten van kredieten van het ene programma naar het andere belangrijk blijven - in de orde van gemiddeld 12 % voor de overgang van de periode 1994-1996 naar de periode 1997-1999 (zie paragraaf 6.27); b) vanwege de reeks korte programmeringsperiodes kan er geen optimaal gebruik worden gemaakt van de uit de evaluatie voortgekomen resultaten (zie paragraaf 4.23); c) de indirecte effecten zijn nog steeds onvoldoende gemeten om het effect van de structurele acties te kunnen afbakenen, met name waar het gaat om werkgelegenheid (zie de paragrafen 5.12-5.15). 3.11. De uitgevoerde macro-economische evaluaties hebben ondanks lacunes in de programmerings-, uitvoerings- en controlesystemen voor de structurele acties, positieve resultaten aan het licht gebracht, met name ten aanzien van het effect van deze acties (toename van het BBP, invloed op vraag en aanbod, verbetering van de werkgelegenheid en de convergentie, doeltreffendheid van de instrumenten van de CB's)(zie de paragrafen 7.1-7.14). 3.12. De evaluaties van de subprogramma's of maatregelen zijn nog steeds gebrekkig. Bovendien doen zich hierbij technische problemen voor die worden veroorzaakt door de spreiding van en het gebrek aan cohesie tussen een groot aantal maatregelen en subprogramma's (zie paragraaf 7.17). 4. ALGEMENE PROBLEMEN Inleiding 4.1. De evaluatie heeft tot doel vast te stellen welke de sociaal-economische effecten van de uitgevoerde acties zijn, dat wil zeggen na te gaan welke resultaten zijn geboekt, deze te vergelijken met de geïnvesteerde middelen en de kosten te analyseren. Al deze punten dienen tevens te worden geanalyseerd in het licht van de prognoses. Voor een goede uitvoering van deze evaluatietaak is het noodzakelijk dat er een goede statistische basis is, dat gekwantificeerde doelstellingen op basis van een indicatorensysteem worden geformuleerd en dat het methodologische en analytische kader wordt ontwikkeld, waarbij wordt uitgegaan van een analyse van de relatie tussen aangewende middelen, uiteindelijke resultaten en tussentijdse resultaten. De Kamer heeft tekortkomingen op al deze niveaus geconstateerd, waardoor het nut van de afgeronde evaluaties in het kader van de Structuurfondsen tot dusver beperkt is, ook al is er duidelijke vooruitgang waargenomen, die bijdraagt tot de verwezenlijking van een duurzame evaluatiedynamiek. 4.2. Sinds de hervorming van 1988 vindt de evaluatie uitdrukkelijk plaats in het kader van het partnerschap (artikel 26 van Verordening (EEG) nr. 4253/88 - nader uitgewerkt in de gewijzigde verordening van 20 juli 1993). Gedurende de eerste programmeringsperiode en tot in 1995 zijn de evaluaties echter voornamelijk op initiatief van de Commissie (5) uitgevoerd. Deze evaluaties - en met name de evaluaties die als evaluaties achteraf kunnen worden getypeerd - zijn belemmerd door vage ontwikkelingsstrategieën en door gebrekkige follow-up. Bovendien hebben de toezichtcomités er in de meeste gevallen niet werkelijk rekening mee gehouden of ze diepgaand besproken. 4.3. De Commissie heeft aanvankelijk vooral gezorgd voor de invoering van haar eigen evaluatiesysteem voor alle CB's die betrekking hebben op de vijf prioritaire doelstellingen van de hervorming (6). Van de initiatieven van de Commissie die verband houden met de ontwikkeling van de evaluaties en de daarmee samenhangende methoden, dienen met name de oprichting van de technische groep \"Evaluatie van regionaal beleid\" in 1992 en, op methodologisch vlak, de entamering van het programma \"Methoden voor de evaluatie van structuurmaatregelen\" (MEANS) in 1994 te worden vermeld. 4.4. Voor de programmeringsperiode 1994-1999 heeft de Commissie de grondslag gelegd voor een nieuwe evaluatiedynamiek, namelijk de systematische toepassing van de evaluatie op de eerste twee fasen (vooraf, tussentijds) en later in de fase achteraf. 4.5. Hoewel de verordeningen inzake de SF's niet expliciet voorzien in de tussentijdse evaluatie, is zij vanaf 1995-1997 toegepast op alle CB's, EPD's en OP's voor de programmeringsperiode 1994-1999. Deze evaluatie is een concrete maatregel in het kader van het partnerschap, die de toezichtscomités als instrument voor geïntegreerd beheer kunnen gebruiken, waardoor de evaluatiecultuur op zeer grote schaal kan worden verspreid. De Commissie heeft voor de tussentijdse evaluatie een systeem in opeenvolgende fasen opgezet voor de uitvoering ervan bij de lidstaten (7). 4.6. In dit systeem wordt echter de concrete wijze waarop dit proces dient plaats te vinden (omschrijving van de bestekken, selectiecriteria voor de beoordelaar, structuur van het evaluatierapport, gegevensverzameling, vereiste kwaliteitsnormen, tijdschema, enz.) niet nauwkeurig omschreven. 4.7. Tegelijkertijd heeft de Commissie evenementen georganiseerd, aangevuld met talrijke publicaties (8). Door de evaluatiedeskundigen en de beheerders van de SF's bijeen te brengen, hebben deze evenementen bijgedragen aan de ontwikkeling van de evaluatiecultuur en aan de bewustmaking van de beheerders met betrekking tot dit onderwerp. De evaluatie is voornamelijk gepresenteerd als een proces van leren door ervaring. 4.8. De Commissie heeft in mei 1998 in het kader van het voorontwerp van de algemene begroting van de Europese Gemeenschappen voor het begrotingsjaar 1999 het werkdocument \"Evaluatiebalans 1996/1997\" gepresenteerd. Hierin worden de in 1996-1997 uitgevoerde evaluatie-activiteiten beschreven, wordt de lijst met evaluaties vermeld die reeds zijn uitgevoerd of momenteel worden uitgevoerd, en worden in grote lijnen de resultaten van de in 1996-1997 uitgevoerde evaluaties gegeven. 4.9. De uitgaven die de evaluatie met zich meebrengt kunnen rechtstreeks door de Commissie worden gefinancierd of worden medegefinancierd uit hoofde van het partnerschap met de lidstaten. In de tabellen 1 en 2 worden de directe uitgaven aangegeven die DG XVI heeft gemaakt in verband met de evaluatie voor de twee programmeringsperioden 1989-1993 en 1994-1999. 4.10. Voor de periode 1989-1993 liggen de aan de evaluatie bestede uitgaven in de orde van 10 Mio ECU, zoals blijkt uit tabel 1. Ongeveer tweederde van deze uitgaven is gedaan op twee gebieden die rechtstreeks onder de verantwoordelijkheid van de Commissie vallen en die voortvloeien uit haar eigen initiatief: enerzijds de communautaire initiatieven uit hoofde van artikel 11 van Verordening (EEG) nr. 4253/88 ten bedrage van 3,1 Mio ECU en anderzijds de transversale en thematische evaluaties zoals de KMO's, telecommunicatie, het milieu of menselijk potentieel ten bedrage van 3,2 Mio ECU. De bedragen die bestemd zijn voor de evaluatie van D1 en D2 van de SF's zijn daarentegen nog steeds relatief laag, aangezien het partnerschap zich gedurende dezelfde periode nauwelijks ontwikkeld heeft op het gebied van evaluatie. In april 1998 is het aan de evaluatie van de periode 1994-1999 bestede bedrag 25,2 Mio ECU, zoals blijkt uit tabel 2. Deze toename ten opzichte van de voorafgaande periode valt te verklaren door de ontwikkeling van de tussentijdse evaluatie en de hierop betrekking hebbende methodiek in het kader van het partnerschap. 4.11. Wat betreft de door de Commissie en de lidstaten in dit kader gedane uitgaven, die sinds 1996 sterk zijn toegenomen, beschikt de Commissie niet altijd over alle hiermee samenhangende gegevens, vooral wanneer de evaluaties worden opgenomen in de maatregel \"technische bijstand\" van de operationele programma's, waaronder ook andere uitgaven kunnen vallen. Wanneer vanaf de beginfase van de programmering voor een bedrag zou kunnen worden gezorgd dat specifiek is toegewezen aan de evaluatie, zou er een doorzichtiger beeld van de hieraan verbonden kosten ontstaan. Referentiekader 4.12. In de ontwikkeling van de evaluatie neemt het MEANS-programma (1995-1998), met een bedrag van in totaal 2,8 Mio ECU, een specifieke plaats in (9). Met de toegepaste benaderingswijze wordt gestreefd naar een uniforme en coherente ontwikkeling op methodologisch vlak, door de door de lidstaten gehanteerde methodieken te inventariseren en bruikbare voorbeelden onder de aandacht te brengen. Met deze aanpak, die voornamelijk als aansporing en empirisch is bedoeld, kan de Commissie zich niet uitspreken over de concrete uitvoeringsvoorschriften voor evaluatiemethodes of over de keuze van indicatoren, in het bijzonder indicatoren die de sociaal-economische effecten op het vlak van regionale ontwikkeling beogen te meten. Gezien het ingewikkelde methodologische karakter van de evaluatie bestaat er niet één enkele methodiek die op elke specifieke situatie kan worden toegepast. Het is desalniettemin van belang dat de Commissie methodologische begeleiding kan bieden waardoor de beschikking wordt verkregen over passende richtsnoeren voor de uitvoering van aan specifieke situaties aangepaste evaluaties. 4.13. De resultaten van het MEANS-programma hebben tot dusver gediend voor het leggen van de eerste grondslagen van een nieuwe benaderingswijze inzake evaluatie, met name door het invoeren van een gemeenschappelijke taal. Bovendien kon aan de hand van deze resultaten de tussentijdse evaluatie in het kader van het partnerschap worden opgezet. In de tabellen 3 en 4 wordt de algemeen geaccepteerde benaderingswijze voor de evaluatie gegeven. Het MEANS-programma heeft echter nog geen grondig antwoord op vragen over met de evaluatie verband houdende praktische of operationele aspecten gegeven. Derhalve zijn twee fundamentele vragen nog steeds niet beantwoord: enerzijds, welk indicatorensysteem is het meest geschikt om een algemeen oordeel over een communautair structureel programma te formuleren en, anderzijds, welke aanpak voor evaluatie is het meest geschikt om het sociaal-economische effect van een specifiek structureel programma in het kader van de regionale ontwikkeling te meten. De Commissie is nog niet in staat precieze instructies te formuleren wat betreft de concrete technieken die in elke specifieke evaluatiesituatie moeten worden toegepast. Dit heeft met name een negatieve invloed op de uitvoering van de tussentijdse evaluaties van acties voor bijstandsverlening van de programmeringsperiode 1994-1999. Statistische basisgegevens en informatie over de doelstellingen 4.14. Bij de evaluaties, of ze nu vooraf, tussentijds of achteraf plaatsvinden, worden vaak te algemeen geformuleerde doelstellingen geconstateerd, zelfs met betrekking tot de doelstellingen van de maatregelen. 4.15. Het ontwikkelingsniveau van de bestaande statistische basisgegevens vormt een belemmering voor het toezicht op en de evaluatie van de programma's en maatregelen die door de Structuurfondsen worden medegefinancierd. De lacunes betreffen met name het gebrek aan statistische gegevens met betrekking tot de betreffende gebieden, het ontbreken van statistische gegevens voor bepaalde aspecten, en een periodieke informatievergaring die niet is afgestemd op de behoeften aan toezicht en evaluatie. Indicatoren 4.16. De aanwezigheid van betrouwbare en geschikte indicatorensystemen is een onmisbaar element van het programmeringsproces. Voor de evaluatie is het nodig dat de structurele programma's informatie bevatten over de financiële en fysieke uitvoering alsook over de resultaten of het functioneren van de acties. Aan de hand van deze indicatoren moeten de beheerders inzicht kunnen verkrijgen in de onmiddellijke of duurzame effecten van de uitgevoerde acties en kan bovendien de geboekte voortgang in het licht van de algemene doelstellingen van de programma's, zoals regionale groei of daling van de werkloosheid, worden gemeten. 4.17. De betrouwbaarheid van de financiële indicatoren is nauw verbonden met die van de verklaringen inzake de uitgaven die aan de Commissie zijn toegezonden om de hierop betrekking hebbende communautaire betaling op gang te brengen. De fysieke indicatoren worden vaak gezien als aanvullende informatie en de betrouwbaarheid ervan is relatief. Met de bestaande gegevensbestanden is het niet altijd mogelijk de fysieke ontwikkeling van de uitvoering te registreren en de uiteindelijke begunstigden stellen de beheerders niet altijd regelmatig op de hoogte van de staat waarin de fysieke uitvoering zich bevindt. In de tussentijdse evaluatie van het OP Lisboa e Vale do Tejo in Portugal wordt gewag gemaakt van fysieke indicatoren die strikt overeenkomen met de uitgaven en worden er geen afwijkingen vermeld die kunnen ontstaan door vertraging in de uitvoering of door andere oorzaken. De lidstaten zouden hun toezichtsmechanismen en de databanken ter ondersteuning van de indicatoren moeten verbeteren. 4.18. Bij het vaststellen van de resultaten en de effecten van de subprogramma's en maatregelen enerzijds en van het effect van de programma's anderzijds, worden onduidelijkheden geconstateerd die een negatief effect hebben op het vaststellen van causale verbanden tussen de verschillende niveaus waarop de doelstellingen betrekking hebben en tussen de doelstellingen en de maatregelen en projecten, alsmede op het vaststellen van horizontale complementaire en coherente verbanden tussen maatregelen en tussen doelstellingen. Het is derhalve moeilijk het specifieke effect van een maatregel op de regionale ontwikkeling of het effect van een investering op de vraag of, a fortiori, op het aanbod, te bepalen. In dit kader blijkt de zoektocht naar indicatoren die een adequaat hulpmiddel vormen voor de evaluatie van de resultaten en van het effect wat het CB 1994-1999 betreft, nog niet afgerond (zie 6.23). 4.19. De beoordeling vooraf van het CB is onontbeerlijk voor de latere evaluaties. Hiermee worden namelijk alle indicatoren van resultaten en effect opgesteld en gekwantificeerd zodat het verwachte effect van het programma kan worden beoordeeld en met het werkelijke effect kan worden vergeleken. In dit verband is de werkwijze van beheer per doelstelling niet altijd op geharmoniseerde wijze dan wel in voldoende mate toegepast, hetgeen gevolgen heeft gehad voor de voor de evaluatie vereiste indicatoren. Zo bevat het CB 1994-1999 van Italië een gering aantal indicatoren, wat latere evaluaties ervan zou kunnen bemoeilijken. Het CB 1994-1999 van Portugal, dat zonder dat er al te grote wijzigingen in waren aangebracht, door de Commissie werd goedgekeurd, bevat daarentegen een te groot aantal indicatoren, te weten om en nabij de 300, wat de evaluatie eveneens moeilijker maakt. Het feit dat de indicatoren voor de verschillende CB's zo uiteenlopen, benadrukt nog eens het gebrek aan coherentie van de programmering. De aanwezigheid van talrijke algemene en weinig kwantificeerbare doelstellingen leidt bij de tussentijdse evaluatie soms tot herziening van het indicatorensysteem dat door de Commissie was goedgekeurd in de periode waarin de beoordeling vooraf plaatsvond, aangezien deze niet duidelijk genoeg omschreven was en er niet goed mee te werken was. 4.20. De structurele acties en de sociaal-economische omstandigheden die hierdoor worden beïnvloed, geven aanleiding tot een grote verscheidenheid aan indicatoren die vaak gedecentraliseerd worden vastgesteld. De Commissie heeft geen lijsten met indicatoren opgesteld die zij onontbeerlijk en representatief acht voor regionale ontwikkeling of in het kader van de verschillende actievormen, ook al zijn gedeeltelijke lijsten wel verstrekt aan bepaalde nationale of regionale instanties en zijn daarover reeds discussies gevoerd. 4.21. In het kader van het toezicht zou een grotere kwantificering van de indicatoren van de resultaten en het effect moeten worden ontwikkeld, zonder de betrouwbaarheid van deze kwantificering uit het oog te verliezen. Het komt namelijk voor dat deze kwantificering niet betrouwbaar is, zodat niet kan worden voorkomen dat in bepaalde gevallen gecreëerde arbeidsplaatsen twee keer worden geteld, of dat het niet mogelijk is de bruto-effecten op de werkgelegenheid te onderscheiden van de netto-effecten. Dit is geconstateerd na vergelijking van het tussentijds evaluatierapport van het OP Brandenburg met de statistische gegevens betreffende de inschrijving van personen in het socialezekerheidsstelsel. Benutting van de evaluatie 4.22. De mate waarin de evaluatie bijdraagt aan een efficiënte aanwending van de communautaire middelen hangt grotendeels af van de kwaliteit van de inhoud, alsook van de datum van ontvangst van de resultaten en de datum van het besluit tot wijziging van het beleid. Een aantal tussentijdse evaluaties van de CB's, EPD's en OP's van de programmeringsperiode 1994-99 is echter vrij laat afgerond, waardoor eventuele wijzigingen met vertraging werden uitgevoerd. 4.23. Wat de programmering van D2 betreft, is het gevolg van de reeks kortere (in verhouding tot D1) programmeringsperioden dat de data waarop de programmeringsbesluiten moeten worden genomen zeer waarschijnlijk niet samenvallen met de data waarop de evaluatieresultaten beschikbaar zijn, zodat het mogelijk wordt lering te trekken uit het verleden en de latere acties aan te passen. In zekere zin verlopen de programmeringscyclus van D2 en de evaluatiecyclus ervan niet parallel; zo is de definitieve versie van het samenvattend rapport van de evaluatie achteraf van D2 voor de periode 1989-1993 in de zomer van 1997 aan de Commissie overgelegd, terwijl de beoordeling vooraf van de programmering 1997-1999 reeds gaande was en met de evaluatie achteraf van de periode 1994-1996 nog niet was begonnen. 4.24. Ongeacht de resultaten van de structurele programma's waarop in de evaluatierapporten de aandacht wordt gevestigd, blijft de begrotingstoewijzing ten gunste van deze of volgende programma's vaak onveranderd. Er is in de eerste programmeringsperiode in het besluitvormingssysteem zeer zelden rekening gehouden met de evaluaties, aangezien herprogrammeringen over het algemeen voornamelijk waren gebaseerd op de bestedingsgraad. Dit was het geval voor de nuttige aanbevelingen die de voornaamste consultant heeft gedaan in het kader van de evaluatie achteraf van doelstelling 1 van de CB's 1989-1993 (zie paragraaf 5.7). 4.25. De meer kwalitatieve aspecten betreffende resultaten of doeltreffendheid van de programma's die in tussentijdse evaluaties of uitvoeringsverslagen worden behandeld, hebben onvoldoende invloed gehad op het operationeel beheer van de SF's, noch op het proces dat moet leiden tot grotere betrokkenheid en zelfredzaamheid van de partners voor wie de programma's worden ontwikkeld. 4.26. De resultaten van de tussentijdse evaluatie van de EPD's, CB's en OP's in het kader van doelstelling 2 (1994-1996), alsook die van het toezicht, maken duidelijk dat de geprogrammeerde financiering en de uitvoering van de programma's niet op elkaar zijn afgestemd. Deze situatie leidt ertoe dat de aandacht voor de besteding van de kredieten gaat overheersen en kan uitmonden in een onderwaardering van de rol van de evaluatie in de analyse van het betrokken gebied, met name wat betreft de coherentie tussen de doelstellingen, de toegewezen middelen en het effect van de structurele acties. 4.27. Vaak zijn de conclusies en aanbevelingen van evaluaties voor de beheerders van acties voor bijstandsverlening vanzelfsprekend, ook al kunnen ze nuttig voor andere partners zijn. Dat geldt zowel voor de evaluaties achteraf (zie paragraaf 5.8) als voor de tussentijdse evaluaties in het kader van het partnerschap. Objectiviteit van de evaluaties 4.28. Het ontbreken van een duidelijk referentiekader belemmert de toepassing van adequate en objectief toepasbare methoden op de specifieke evaluatieomstandigheden, zodat een vlotte controle van de resultaten kan plaatsvinden en de onafhankelijkheid van de beoordelaar kan worden gegarandeerd. Het komt echter voor dat de motivering van de aanbevolen methode niet objectief is, dat de beoordelaar zijn benadering te gemakkelijk afstemt op de problemen waarmee hij wordt geconfronteerd of dat hij de indicatoren afhankelijk van de beschikbare informatie kiest. 4.29. Lang niet altijd is er sprake van onafhankelijkheid ten aanzien van de beheerders, met name als het gaat om informatie (zie paragraaf 6.11), terwijl in de evaluatierapporten niet altijd de informatiebron wordt vermeld waarop de hierin gegeven bevindingen zijn gebaseerd. Deze lacune kan ertoe leiden dat de betrouwbaarheid en validiteit van de informatie die in de evaluatierapporten wordt gegeven, in twijfel worden getrokken. 4.30. Terwijl de objectiviteit zou moeten worden gegarandeerd door een controlesysteem dat gericht is op de kwaliteit van indicatoren (van uitvoering, resultaten en effect), de betrouwbaarheid van de basisinformatie en de mate waarin de methodiek wordt toegepast, analyseren de diensten van de Commissie de in het kader van de evaluatie gepresenteerde informatie en resultaten, maar oefenen geen enkele controle ter plaatse uit of gaan niet na of de in de lidstaten voorhanden zijnde evaluatiesystemen goed functioneren. De door de Commissie gegunde evaluatiecontracten 4.31. Het onderzoek naar de procedures voor de gunning van contracten voor de evaluaties die de Commissie heeft laten uitvoeren, heeft zwakke punten aan het licht gebracht: inadequate selectieprocedures, te vage bestekken, vertragingen en povere kwaliteit van de rapporten. 4.32. De beoordelings- of onderzoeksfactoren die bepalen wie door de Commissie als consultant wordt aangewezen, worden niet altijd precies vermeld in de notulen van de vergaderingen over de aanbestedingsprocedure. De door de Kamer uitgevoerde controle heeft niet kunnen vaststellen dat de beste deskundigen met de meest geschikte capaciteiten zijn geselecteerd. 4.33. In het geval van de evaluatie achteraf van de CB's 1989-1993 in het kader van D1 en die in het kader van D2 had de selectie bovendien betrekking op respectievelijk één voornaamste consultant plus een aantal andere nationale consultants en coördinerende consultants die later zelf de onderzoeken uitbesteedden aan andere consultants. Hierdoor kan de Commissie de controle verliezen op de uitvoeringsvoorschriften van de evaluatie ter garantie van de coherentie, de homogeniteit en de kwaliteit van de resultaten. 4.34. De bestekken zijn soms onduidelijk wat betreft de omschrijving van de te verrichten werkzaamheden en de verwachte verplichting tot het boeken van resultaten. De contractbepalingen zijn zeer algemeen. De wijze waarop de evaluatie wordt uitgevoerd kan vaak nog in een later stadium worden goedgekeurd op basis van een overeenkomst met de Commissie over de methodiek. 4.35. Er worden vaak vertragingen geconstateerd wat betreft het tijdschema voor de indiening van de rapporten. Zo werd wat betreft de evaluatie van alle CB's 1989-1993 D1, in het contract bepaald dat het rapport op 28 februari 1995 diende te worden overgelegd, maar dit was pas in november 1995 volledig. De Commissie had geen enkele sanctie met betrekking tot het niet nakomen van de contractuele verplichtingen wat betreft de uiterste datum van indiening voorzien. Zij heeft daarentegen op 11 juli 1995 de laatste betaling van 40 % overeenkomstig artikel 4 van het contract overgemaakt. 4.36. Het ontbreken van precieze en duidelijke contractbepalingen over de te volgen methodiek en de beoogde resultaten kan ten aanzien van de rapporten uiteenlopende reacties van de diensten van de Commissie opleveren. Zo komt het voor dat soms rapporten worden geaccepteerd die zich beperken tot eenvoudige beschrijvingen of tot vage analyses van het nut van projecten of programma's, of die zijn gebaseerd op algemene beweringen van ondervraagde personen, of die weer leiden tot te algemene aanbevelingen. In het geval van de evaluatie achteraf van het CB 1989-1993 Ierland raadt een dienst ontbinding van het contract met de consultant aan op grond van de slechte kwaliteit, terwijl een andere dienst het heeft goedgekeurd. In het geval van de evaluatie achteraf van het CB 1989-1993 Portugal zijn de betrokken diensten het erover eens dat het rapport geen evaluatieonderdelen bevat, maar zich beperkt tot het weergeven van reeds door de lidstaat voorgelegde onderdelen van de fysieke uitvoering. Evenzo wordt erop gewezen dat het rapport inzake de evaluatie achteraf van het CB 1989-1993 Spanje te beschrijvend is en slechts weinig analyses bevat. De evaluatie achteraf van het CB 1989-1993 Noord-Ierland wordt onvolledig geacht. Het rapport inzake de evaluatie achteraf van het CB 1989-1993 Italië wordt beschouwd als slecht gestructureerd en georganiseerd. Bij de evaluatie van het CB 1989-1993 Griekenland ontbreekt de algemene conclusie, terwijl hierin wel conclusies per hoofdstuk worden vermeld. 5. EVALUATIES ACHTERAF VAN DE CB'S IN HET KADER VAN DOELSTELLINGEN 1 EN 2 (1989-1993) Inleiding 5.1. De beoordelaars worden vaak geconfronteerd met de volgende problemen: a) de aanvankelijke programmering is dikwijls in haast verricht en zonder evaluaties vooraf van de programma's, met name van de inherente economische grondslagen vooral wat betreft de regio's van D1; b) het ontbreken van gekwantificeerde doelstellingen en resultaatindicatoren; c) statistische lacunes met betrekking tot de sociaal-economische situatie zoals die was vlak vóór de acties uit hoofde van de SF's in het kader van D2 en zoals die is na de acties, met name wat betreft de industriële structuur, de investeringen en het bruto regionaal product. De statistische instrumenten zijn niet altijd afgestemd op de gekozen onderzoeksgebieden (gemeente, arrondissement, arbeidsmarkt); d) bepaalde acties zijn niet afgerond; e) de aanwezigheid van exogene factoren die ertoe bijdragen dat een verklaring kan worden gegeven voor de ontwikkeling van de sociaal-economische situatie; f) het heterogene karakter van de projecten en van de doelstellingen ervan, terwijl de toekenning van steun niet voldoende is afgestemd op de regionale of lokale behoeften; g) de aan de maatregelen en het programma inherente effecten die niet eenvoudig kunnen worden waargenomen wegens het grote aantal acties ten behoeve van dezelfde regio of hetzelfde gebied; h) het feit dat de indirecte effecten van het programma moeilijk te meten zijn (met name met betrekking tot werkgelegenheid), aangezien hiervoor geen observatiemechanisme is ingesteld sinds de entamering van de programma's en er na afronding van de programma's geen diepgaand onderzoek naar dit onderwerp is uitgevoerd. Evaluatie achteraf van de CB's in het kader van doelstelling 1 (1989-1993) 5.2. De evaluatie achteraf van de CB's in het kader van D1 werd gecoördineerd door één centrale consultant en bestaat uit evaluaties achteraf van de betreffende CB's die door nationale consultants tussen januari 1994 en juni 1995 zijn uitgevoerd. De consultant die belast was met de coördinatie heeft de te hanteren methodiek uitgewerkt op basis van analyses, zowel op macro-economisch niveau als op niveau van maatregelen en projecten. Het doel van deze aanpak is enerzijds de aan de CB's, OP's en maatregelen inherente strategie en logica te analyseren en anderzijds een eerste overzicht van de fysieke uitvoeringen en van het effect te bieden, en in laatste instantie de uitvoeringsmechanismen te onderzoeken. In bijlage I wordt een samenvatting van deze benaderingswijze gegeven. 5.3. Hoewel de voorgestelde methodiek in haar geheel coherent is, vertoont deze toch zwakke punten. Zo wordt ervan uitgegaan dat de analyse van de aan de CB's, OP's en maatregelen inherente strategie en logica is gebaseerd op een geharmoniseerde doelstellingenstructuur die verband houdt met een standaardnomenclatuur voor activiteiten. Deze aanpak zou een vergelijking tussen lidstaten mogelijk moeten maken, maar leidt niet noodzakelijkerwijs tot een rangschikking van de doelstellingen, die zowel op de prioriteiten zoals vastgesteld door de lidstaten gefundeerd is als op de criteria rangorde, complementariteit, vervangbaarheid en synergie. Hiermee kunnen evenmin alle zwakke punten in de coherentie binnen de voor elk CB of OP kenmerkende strategie worden geïdentificeerd. Bovendien kunnen met de fysieke en effectindicatoren die in het methodologische document worden vermeld de relevante vragen over de al dan niet verwachte effecten waarop middels de methodiek wel een antwoord dient te worden gegeven vaak niet worden beantwoord. 5.4. De Kamer heeft bovendien lacunes vastgesteld, zoals: a) wat betreft de ontwikkeling van het sociaal-economisch klimaat van de CB's en de OP's zijn de beginsituatie waarop de communautaire actie moet inwerken (1988-1989) en de situatie wanneer de uitvoering is afgerond (1993-1994) niet altijd met elkaar vergeleken; soms zijn de gegevens te oud, met name die welke betrekking hebben op regionale verschillen; b) de rangschikking van de doelstellingen waarin de methodiek voorziet, is meestal niet in voldoende mate geanalyseerd; hetzij omdat deze rangschikking nog niet was vastgesteld, hetzij omdat deze nog niet volledig was en alleen de OP's en maatregelen die waren geselecteerd voor een specifiek onderzoek erin waren opgenomen, of de structureringscriteria er niet op systematische wijze in werden toegepast; zo kwam het voor dat de rangschikking van de doelstellingen en de instrumenten niet leidde tot een betere vaststelling van de problemen inzake coherentie en relevantie van prioriteiten en het relatief belang ervan; c) soms is er geen grondige analyse gemaakt van de oorzaken van de in de CB's en OP's aangebrachte wijzigingen; d) terwijl de financiële uitvoering, de uitvoeringsmechanismen en de fysieke uitvoeringen over het algemeen ruimschoots worden behandeld in de evaluatierapporten, is er, behalve in termen van gecreëerde arbeidsplaatsen, in bepaalde gevallen geen onderzoek gedaan naar de effecten van de programma's of maatregelen of worden de effecten in niet-kwantitatieve termen geformuleerd. De enige gekwantificeerde effecten komen soms tot stand door de toepassing van macro-economische modellen en hebben betrekking op de toename van het BBP, het creëren van werkgelegenheid, het concurrentievermogen. Hieruit bleek het tekort aan gegevens die door de beheerders in het kader van de toezichtsystemen zijn verschaft; e) de bottom-up-analyses leidden er over het algemeen niet toe dat er conclusies kunnen worden getrokken wat betreft het effect van programma's; f) de toegevoegde waarde op communautair niveau wordt soms slechts uitgedrukt in kwalitatieve termen (bijvoorbeeld de mate waarin rekening wordt gehouden met de logica van het programma, de uitvoering van een geïntegreerde strategie, het effect op het organisatieproces); het onderzoek naar deze toegevoegde waarde geschiedde overigens niet altijd op systematische wijze; g) op de verwachte langetermijneffecten is niet ingegaan of slechts in kwalitatieve zin. 5.5. Het CB Spanje in het kader van D1 is zowel onderwerp geweest van een evaluatie achteraf waartoe opdracht was gegeven door de Commissie, als van een andere evaluatie waartoe de aanzet was gegeven door de nationale overheden en die communautaire medefinanciering genoot. Hoewel deze twee evaluaties in dezelfde periode zijn uitgewerkt en dezelfde doelstellingen werden nagestreefd, zijn deze toch onafhankelijk en los van elkaar uitgevoerd. 5.6. Wat resultaten en effect betreft, blijken uit de evaluaties achteraf een aantal zaken, te weten de fysieke uitvoeringen uit hoofde van de CB's in het kader van D1, de macro-economische effecten van de CB's die in sommige nationale evaluaties in overweging zijn genomen, en de vorderingen die bij de planning zijn geboekt, hoewel op dat gebied bij de aanpak per programma een aantal obstakels zijn geconstateerd (10). In deze evaluaties achteraf wordt eveneens de nadruk gelegd op de bijdrage die de CB's leveren als het gaat om innoverende organisatiestructuren, financieel beheer, toezicht, informatie-, coördinatie- en partnerschapssystemen, hoewel op al deze niveaus nog altijd belangrijke vooruitgang dient te worden geboekt. 5.7. De door de voornaamste consultant in 1995 geleverde samenvatting bevatte enkele nuttige aanbevelingen waaraan de Commissie niet geheel gevolg heeft kunnen geven: bijvoorbeeld duidelijker onderscheid bij de uitwerking van de programmering tussen de communautaire structurele acties waarmee de endogene groeifactoren worden bevorderd en die welke het regionaal herstel van het evenwicht of de verbetering van de welvaart ten doel hebben; of afstemming van de aan investeringen in de infrastructuur toegekende prioriteit op specifieke karaktereigenschappen van de regio's die moeten worden ontwikkeld, of groter evenwicht tussen enerzijds de bestrijding van werkloosheid en anderzijds de noodzaak dat de productiviteit en het concurrentievermogen toenemen; of tot slot dat in het regionaal beleid meer rekening dient te worden gehouden met de werkgelegenheid. 5.8. De door de beoordelaars op nationaal niveau uitgevoerde evaluatie achteraf van alle CB's 1989-1993 in het kader van D1 was voornamelijk gericht op verbetering van de systemen voor het uitoefenen van toezicht en beheer van de lidstaten, en niet zozeer op een werkelijke evaluatie van het effect van de SF's. Evaluaties achteraf in het kader van doelstelling 2 (1989-1993) 5.9. De evaluaties achteraf van de programma's in het kader van D2 voor de periode 1989-1993 werden in de 60 subsidiabele regio's gecoördineerd door een externe beoordelaar. Elke regio is onderworpen aan een algemene analyse, terwijl in het geval van 22 regio's grondig onderzoek is verricht. Het belangrijkste doel van deze evaluaties was het analyseren van het effect van deze structurele acties op het industriële omschakelingsproces in deze regio's en hieruit lering trekken voor de volgende programmering. Een samenvatting van de manier waarop de evaluatie is aangepakt, is te vinden in bijlage II. 5.10. Hoewel was voorzien in een gemeenschappelijk kader, zijn de gekozen benaderingen erg heterogeen, met name wat betreft de prioriteiten en het ontwikkelingsniveau van de analyse, het beschrijvende of kritische karakter ervan, de gebruikte methoden en technieken. 5.11. De analyse van de geschikte strategie en het geschikte karakter voor de CB's en de OP's en van de wijzigingen die ze hebben ondergaan in verband met het sociaal-economisch klimaat, heeft zelden geleid tot herformulering van de structuur van de doelstellingen, de subprogramma's en de maatregelen op basis van de logica van regionale ontwikkeling of omschakeling en op basis van de criteria voor rangorde, complementariteit en vervangbaarheid. Via een dergelijke herformulering in uitgewerkte vorm zou een systematischer opsporing van de lacunes in de uitgevoerde strategie mogelijk moeten zijn, voor wat betreft de coherentie, het juiste relatieve belang van de prioriteiten, de synergieën, de complementariteit, de doeltreffendheid met betrekking tot het sociaal-economisch klimaat. Veel strategieanalyses die uitgaan van de structuur van de CB's en de OP's zijn daarentegen niet volledig en weinig kritisch ten aanzien van die strategie. 5.12. Wat het effect van de acties in het kader van de SF's betreft, slagen de beoordelaars er niet in om op basis van een steekproef onder projecten en een analyse van de resultaten, de toegevoegde waarde en additionaliteit ervan, hun bevindingen ook toe te passen op de beoordeling en het sociaal-economisch effect van het programma. 5.13. Slechts weinig evaluaties waren gebaseerd op een echte combinatie van een top-down- en bottom-upbenadering. Deze combinatie is met name gebruikt voor de evaluatie met betrekking tot de acties in het kader van D2 ten behoeve van Toscane. In dit geval kon met de top-downbenadering, waarbij werd uitgegaan van een biregionaal econometrisch model, zowel voor Toscane als voor de rest van Italië een schatting worden gemaakt van het globale effect van de toegenomen vraag op de productie per sector, op de verbruiksniveaus en op de toegevoegde waarde. Met dit model kunnen tevens multiplier-effecten per soort actie (infrastructuren, diensten aan ondernemingen, steun voor particuliere investeringen) en effecten op de werkgelegenheid (11) worden geraamd. De directe effecten op de werkgelegenheid zijn ingeschat met behulp van een techniek die gebruik maakt van standaardcoëfficiënten voor de verschillende actievormen. Deze top-downbenadering heeft dus betrekking op de directe met de vraag samenhangende effecten op korte termijn. De bottom-upbenadering, waarbij wordt uitgegaan van een steekproef onder projecten en maatregelen, is meer bedoeld om de effecten op lange termijn zichtbaar te maken - de meer structurerende en indirecte effecten die vooral betrekking hebben op het aanbod en de externe besparingen, zodat de productiekosten kunnen worden teruggebracht. Zelfs al zijn deze effecten moeilijker te isoleren en te kwantificeren en al kunnen via deze benadering de effecten niet worden vastgesteld voor de maatregelen en het programma hetgeen toch vooral het doel was van de diepgaande evaluatie, vormen de kwalitatieve overwegingen ten aanzien van de doeltreffendheid van de maatregelen en de additionaliteit van de communautaire acties niettemin een nuttige aanvulling op de top-downbenadering. De combinatie van de twee benaderingswijzen kan een reële toegevoegde waarde aan de analyse geven, met name wanneer deze combinatie is gebaseerd op technieken die verband houden met het opstellen van modellen en met formalisering. 5.14. De effectevaluaties waarbij wordt uitgegaan van systematisch onderzoek - zoals ook het geval is bij verscheidene onderzoeken naar de additionaliteit van maatregelen of naar de toepassing van een specifieke methode om ramingen te maken van als gevolg van de maatregelen gecreëerde nettobanen door een experimentele en een controlegroep met elkaar te vergelijken - zijn ook dun gezaaid. Toch kennen ze een reële toegevoegde waarde toe aan de evaluatie van het effect. De evaluatie van de doeltreffendheid van de maatregelen en de programma's zou beter zijn geweest indien de beoordelaars een statistisch onderzoek hadden gedaan naar bepaalde resultaatindicatoren, waarbij het overigens wel zo is dat ze een dergelijk onderzoek soms wel hadden willen uitvoeren. Derhalve ontbreekt het soms aan gegevens over het aantal ondernemingen in de nieuwe industriegebieden die met steun van de SF's zijn opgezet, of gegevens over de technologische overdracht van onderzoeksinstituten naar de ondernemingen. De gesprekken met de beheerders van maatregelen en projecten waarin de evaluatiebenaderingen meestal voorzien, verschaffen maar zelden duidelijke informatie inzake de uitvoeringen, de resultaten en het effect van acties. 5.15. De resultaten op het gebied van gecreëerde banen zijn niet zeker in termen van duurzaamheid en ten aanzien van de vraag welk deel specifiek kan worden toegeschreven aan de structurele acties. Bovendien bevatten de evaluatierapporten af en toe tegenstrijdige gegevens. 5.16. Wat het effect van de programma's in het kader van D2 betreft, blijkt uit de evaluaties achteraf met name dat: a) de OP's in het kader van D2, weliswaar nog niet vaak voor een verbetering van de sociaal-economische situatie hebben gezorgd, maar toch een verdere achteruitgang van deze situatie hebben helpen voorkomen, met name wat betreft het behoud van werkgelegenheid (12), en hebben geholpen de grondslagen voor de omschakeling te leggen; in de meeste regio's wordt namelijk gestreefd naar diversificatie van de economie en de industriële structuur en eventueel geprobeerd het imago kwijt te raken van een gebied dat uitsluitend op industrie is gericht; b) ondanks de geïntegreerde aanpak waarbij wordt uitgegaan van het programmaconcept, de OP's soms een wijziging van reeds ingevoerde nationale en regionale beleidslijnen zijn en niet altijd een programmeringsinstrument vormen; c) het feit dat OP's in het kader van D2 en communautaire initiatieven gelijktijdig worden uitgevoerd, aanleiding heeft gegeven tot verwarring en overlapping van verschillende vormen van steunverlening; d) de actie in het kader van de SF's een positieve invloed heeft gehad op de programmering, de uitvoeringsvoorschriften, het partnerschap, de synergieën, de coördinatie en de evaluatie. Vaak wordt echter gewezen op het gebrek aan synergie en uitwisseling tussen beheerders en acties van het EFRO en het ESF; e) wat de additionaliteit betreft, met de SF's nieuwe wegen kunnen worden bewandeld, projecten kunnen worden uitgevoerd die zonder communautaire steun niet hadden bestaan, de uitvoering kan worden bespoedigd of ambitieuzere projecten kunnen worden uitgevoerd, of ook nog een structurerend karakter kan worden gegeven aan het aanvankelijke project. De additionaliteit van de soorten maatregelen (steun voor infrastructuur, diensten aan ondernemingen, steun voor particuliere investeringen) kan nogal verschillend blijken; f) de SF's vaak geen drijfveer vormen voor participatie van particuliere fondsen of althans in de evaluaties wordt nagelaten dit aspect te behandelen; g) in de evaluaties wordt benadrukt dat de voorbereidende studies en onderhandelingen en de administratieve procedures voor de goedkeuring en uitvoering van bepaalde projecten, alsmede de integratie van nieuwe nationale beleidslijnen, vaak met zich meebrengen dat de termijnen worden onderschat. 5.17. Wat het beheer betreft, is uit de evaluaties vooral gebleken dat bepaalde methoden voor toezicht op de programma's ontoereikend zijn en dat de interne aanpassingen gedurende de programmeringsperiode hoofdzakelijk betrekking hadden op een zo hoog mogelijke bestedingsgraad van de kredieten en niet op een aanpassing van de prioritaire zwaartepunten van de regionale ontwikkeling. 6. TUSSENTIJDSE EVALUATIES (1994-1999) Ontwikkeling en integratie van de beginselen van de tussentijdse evaluatie 6.1. De tussentijdse evaluatie komt ter sprake in het hoofdstuk over de uitvoeringsvoorschriften die in alle CB's, EPD's en andere actievormen ter versterking van het toezicht zijn opgenomen. Er wordt op gewezen dat de tussentijdse evaluaties een kritische analyse van de in het kader van het toezicht verzamelde gegevens met zich meebrengen, dat met deze evaluaties mogelijke afwijkingen met betrekking tot nagestreefde doelstellingen kunnen worden verklaard en dat hiermee de verwachte resultaten van de actie kunnen worden ingeschat. Ze bevatten tevens een oordeel over de validiteit van de lopende actie en de relevantie van de doelstellingen. 6.2. In berichten die in de loop van het begrotingsjaar 1995 aan de lidstaten werden gericht heeft de Commissie erop gewezen dat in de tussentijdse evaluaties de voor het toezichtcomité adequate signalen voor het goed functioneren van de programma's moesten worden gegeven, eventuele herprogrammeringsacties moesten worden voorgesteld en een objectief, onpartijdig beeld van de geboekte vooruitgang moest worden geschetst. Ook werd voorgesteld zich in een eerste stadium te concentreren op de voorwaarden waaraan de bijstandsverlening moet voldoen en dan met name op de indicatoren, de beheerscapaciteiten van de leiding en de procedures voor de selectie van projecten. In een tweede stadium moesten in het tussentijdse evaluatierapport de relevantie van de strategie en de gegrondheid van de doelstellingen van de uitgevoerde acties aan de orde komen, alsmede de doeltreffendheid van het programma in termen van uitgevoerd werk en de eerste resultaten met betrekking tot de doelstellingen, de efficiëntie van het programma, de juiste toepassing van de communautaire beleidslijnen (milieu, overheidsopdrachten, enz.) en het meten van de resultaten op het gebied van werkgelegenheid en KMO's, teneinde suggesties te kunnen doen voor de noodzakelijke wijzigingen en de programmering te kunnen aanpassen. 6.3. Bovendien stelde de Commissie voor dat de evaluatie van algemene aard moest zijn en dat thematische evaluaties van een specifieke sector of een specifiek geografisch gebied in een later stadium moesten plaatsvinden. 6.4. Sommige lidstaten, met name Spanje (13), Frankrijk (14), Ierland (15) en Nederland (16), hebben eveneens een kader voor de tussentijdse evaluatie geformuleerd. Volgens al deze lidstaten moet in de tussentijdse evaluatie het volgende aan de orde komen: a) de ontwikkeling van de sociaal-economische context; b) de analyse van de strategie en van de interne en externe coherentie; c) de uitvoeringsvoorwaarden, waaronder de programmering en de selectiecriteria, de bestuurlijke organisatie, het toezichtsysteem, de financieringskanalen voor de projecten; d) de implementatie en de uitvoeringen, waarbij rekening wordt gehouden met de verwachte resultaten; e) de eerste reeds verkregen effecten aangevuld met een een schatting van de nog te verwachten effecten; f) de kosten voor het meten van de efficiëntie, dat wil zeggen de verhouding middelen-resultaten. Men is van mening dat de tussentijdse evaluatie eventueel moet leiden tot voorstellen tot wijziging van prioriteiten of geplande acties. 6.5. Het partnerschapsbeginsel werd in 1988 geïntroduceerd als een van de middelen om de efficiëntie van de SF's te waarborgen, maar pas vanaf 1995, met de tussentijdse evaluatie van het alle CB's 1994-1999, speelt het een volwaardige rol in het gedecentraliseerde beheersysteem. Bij die gelegenheid werd bepaald dat het de taak is van de toezichtcomités om de doelstellingen van de evaluatie vast te stellen, alsmede de verwachte kwaliteitsnormen die de coherentie tussen alle benaderingswijzen moeten garanderen, de aanbestedingsdossiers aan te passen aan de bijzondere kenmerken van de regio's in kwestie en hierbij rekening te houden met de doelstelling van de evaluatie, de beoordelaars na een openbare aanbestedingsprocedure te selecteren op basis van shortlists die zijn opgesteld door degenen die verantwoordelijk zijn voor de evaluatie (lid van het toezichtcomité en communautair rapporteur). De tussentijdse evaluatie heeft bijgedragen tot een werkelijke versterking van het partnerschap, door het partnerschap te betrekken bij de causale analyse van structurele acties. De tabellen 5 en 6 geven een overzicht van de operationele uitvoering der tussentijdse evaluaties, evenals de belangrijke verplichting van de lidstaten in het kader van het partnerschap om het effect van de SF's vast te stellen. 6.6. De aanpak via een tussentijdse evaluatie in het kader van het partnerschap heeft eveneens in sterke mate de institutionele structuren en de nationale of regionale tradities van de bevoegde overheidsinstanties beïnvloed. Deze aanpak heeft ook gezorgd voor een betere verbreiding van de meerjarige programmering, waarvan de evaluatie een onmisbaar onderdeel vormt, voor het opmaken van een kritische balans van de structurele acties en het voorbereiden van de nodige aanpassingen. Het partnerschap met betrekking tot de evaluatie is vooral goed uitgewerkt in het kader van D1. 6.7. Tegenwoordig zijn de werkzaamheden in het kader van de tussentijdse evaluatie erop gericht om algemene antwoorden aan te dragen voor alle partners, van de programmaontwerper via de beheerder tot de politiek verantwoordelijke persoon. Deze werkzaamheden resulteren in zeer omvangrijke verslagen die informatie bevatten uit het programma zelf, uit de beoordeling vooraf, uit de jaarlijkse uitvoeringsverslagen, uit de tussentijdse evaluaties of de evaluaties achteraf. Volgens zegslieden die tijdens de controles zijn geraadpleegd, is slechts een deel van de resultaten of van de aanbevelingen werkelijk bruikbaar als hulpmiddel bij de besluitvorming, bij het beheer van projecten, bij de herprogrammering of om de basis te leggen voor de uitwerking van toekomstige acties. Uitvoeringsprocedures 6.8. Van de 389 tussentijdse evaluaties die zijn uitgevoerd, hebben er 320 betrekking op de doelstellingen 1, 2, 5b en 6 (17). De uitvoering van deze evaluaties liep in verscheidene lidstaten behoorlijke vertraging op. 6.9. De oorspronkelijke planning was dat de tussentijdse evaluatie in twee aparte fasen zou plaatsvinden. De eerste fase had betrekking op de vraag in hoeverre evaluatie mogelijk was, zodat hiermee samenhangende problemen konden worden vastgesteld. De tweede fase betrof de eigenlijke evaluatie die moest uitmonden in de uitwerking van een rapport. In de praktijk is deze opzet slechts zelden toegepast. 6.10. Over het algemeen heeft de Commissie erop aangedrongen dat de tussentijdse evaluaties door externe deskundigen worden uitgevoerd teneinde niet alleen de geloofwaardigheid van specifieke know-how te waarborgen maar ook de onpartijdigheid van de conclusies met betrekking tot de ontvankelijkheid van de strategie, de coherentie tussen de sociaal-economische analyses, en de objectieve kwantificering van de verwachte effecten. De behoeften inzake evaluatie op het gebied van de SF's hebben binnen enkele jaren geleid tot een netwerk van externe beoordelaars die bekend zijn bij de Commissie en de lidstaten, wat tot voordeel heeft dat er geput kan worden uit een grotere deskundigheid op dit gebied; hierdoor wordt echter ook een specifieke markt afgebakend. 6.11. In de praktijk hebben de controles ter plaatse van de Kamer de beperkingen aan het licht gebracht die nadelig zijn voor de onafhankelijkheid van de externe consultant. Daar de beoordelaar over een beperkte hoeveelheid tijd beschikt, doorgaans ongeveer twee tot drie maanden, en voor het verkrijgen van de benodigde informatie de facto afhankelijk is van de beheerders van de programma's, is de scheiding van de respectieve functies niet erg duidelijk. De verkregen resultaten met betrekking tot het functioneren zijn maar al te vaak slechts een weergave en bijwerking van de informatie die via het toezichtsysteem is verkregen, terwijl ze worden gepresenteerd als een externe bijdrage. 6.12. Bovendien is niet altijd de gebruikelijke openbare aanbestedingsprocedure met bekendmaking in het Publicatieblad toegepast om een evaluatieconsultant te selecteren. In Nederland bestond deze procedure uit het uitnodigen van een beperkt aantal consultants die voorkwamen op een lijst met potentiële beoordelaars en wie werd verzocht een offerte te doen. Vervolgens heeft aan de hand van deze offertes de selectie plaatsgevonden. 6.13. Terwijl de Commissie regelmatig vergaderingen van de toezichtcomités bijwoont en zij de mogelijkheid heeft daar haar criteria inzake de selectie van consultants te laten gelden, is haar manier van handelen in dit proces niet altijd dezelfde. Zo is er in België, Griekenland en Portugal sprake van een actieve deelname van de diensten van de Commissie aan de procedure voor het selecteren van de beoordelaar in het kader van de technische groepen of van het technisch begeleidend ad-hoccomité die de keuze van de adviseur voorbereiden en de uitvoering van de evaluatie volgen. In Frankrijk daarentegen worden de diensten van de Commissie pas officieel op de hoogte gesteld na de selectie van de twee offertes die als beste zijn beoordeeld. Deze offertes gaan dan vergezeld van het eindvoorstel waarbij de prefect van de regio, die de opdrachtgever terzake is, verzoekt op de hoogte te worden gehouden van eventuele opmerkingen. Wat Nederland betreft, heeft de Commissie, die deelneemt aan de werkzaamheden van het nationaal begeleidingscomité (dat leiding geeft aan de evaluaties vooraf en achteraf, alsmede aan de tussentijdse evaluaties voor de regio's waarop de doelstellingen 1 en 2 betrekking hebben) en aan de werkzaamheden van de toezichtcomités, pas laat gereageerd op de inhoud van het ontwerprapport van de tussentijdse evaluatie van het D1-EPD Flevoland. Aan de evaluatiedoelstellingen toegekende prioriteiten 6.14. Wat de uitvoering van de tussentijdse evaluaties betreft, varieert de aan de evaluatiedoelstellingen toegekende prioriteit, met uitzondering van de analyse van de fysieke en financiële uitvoeringen van de acties, die een belangrijke plaats inneemt in elke tussentijdse evaluatie. De ontwikkelingen die voorrang hebben, beantwoorden vaak aan een reële regionale behoefte, zoals in het geval van Corsica waar de nadruk voornamelijk wordt gelegd op de aanpak van problemen op het gebied van beheer, toezicht en samenhang tussen evaluatie en toezicht. Het nastreven van bepaalde evaluatiedoelstellingen wordt overigens belemmerd door technische problemen, zoals het meten van indicatoren voor de evaluatie van het effect. 6.15. Bij de tussentijdse evaluaties wordt vaak niet voldoende belang gehecht aan de kritische beoordeling van de gekozen strategie voor regionale ontwikkeling, aan de levensvatbaarheid van door de SF's gefinancierde projecten, aan de criteria voor de selectie van projecten, en aan de effecten in het licht van de specifieke en algemene doelstellingen van programma's. 6.16. De analyse van de toegevoegde waarde op communautair niveau is een van de doelstellingen van de evaluatie achteraf van de CB's in het kader van D1 en D2 voor de programmeringsperiode 1989-1993; deze toegevoegde waarde wordt echter slechts bij wijze van uitzondering in het kader van de tussentijdse evaluaties aan de orde gesteld. 6.17. Veranderingen in de sociaal-economische context, waarop de communautaire bijstandsverlening invloed uitoefent en die uit hoofde van de evaluatiecontracten over het algemeen moeten worden gecontroleerd en geactualiseerd, worden in sommige gevallen op systematische wijze aan de orde gesteld (bijvoorbeeld, wat het Waalse Gewest betreft, door middel van uitgebreide overzichten), en in andere gevallen op ontoereikende wijze, hetgeen een directe invloed heeft op de kwaliteit en het bijwerken van de analyses van sterke punten/zwakke punten die over het algemeen in het kader van de tussentijdse evaluatie worden uitgevoerd. 6.18. Er wordt slechts zelden op systematische wijze onderzoek gedaan naar de mate waarin wordt vastgehouden aan de interne en externe coherentie van elk programma-onderdeel (doelstellingen van het programma, van de subprogramma's en van de maatregelen, relaties in de vorm van complementariteit en synergie tussen doelstellingen en tussen maatregelen). Zo geldt voor het OP Brandenburg dat de financiële vastleggingen ten behoeve van de zwaartepunten 1.1 (productieve investeringen) en 1.2 (infrastructuur) voor de periode 1994-1996 respectievelijk 138 % en 242 % uitmaken van de oorspronkelijke raming, zonder dat de beoordelaar ook maar enige rechtvaardiging voor de regionale ontwikkelingsstrategie gaf. De synergieën zijn soms onderwerp van overigens vaak onvolledige analyses. Dit aspect zou een systematischer aanpak verdienen, met name wat de synergieën tussen de activiteiten van het EFRO en die van het ESF betreft. 6.19. Ook resulteren de evaluatiewerkzaamheden niet altijd in een algemene en coherente weergave van de voorgestelde wijzigingen noch in een toelichting, terwijl de heroriëntering van de prioriteiten van het programma en van de toewijzing van middelen toch een expliciete doelstelling van de evaluatie is. De implicaties van de voorgestelde uitbreiding of inkrimping van maatregelen worden evenmin altijd nauwkeurig opgegeven. 6.20. Uit vele geanalyseerde evaluaties blijkt dat de beoordelaar niet in staat was aan alle doelstellingen waarin het contract voorzag, te voldoen, met name wat de evaluatie van het effect betreft. De beschikbare tijd en de middelen waren evenmin altijd afgestemd op de doelstellingen. Benaderingen, methoden en technieken 6.21. Aangezien de evaluatiedoelstellingen en de toe te passen benaderingen in de contracten vaak nog steeds in algemene bewoordingen worden geformuleerd, wordt de keuze van de benaderingen, methoden en technieken vaak overgelaten aan de beoordelaars, die ze soms gedurende de uitvoering aanpassen aan de problemen die ze hebben ondervonden. Zo komt het voor dat de beoordelaars de enige beschikbare informatie omzetten in indicatoren. 6.22. De technieken en methoden zijn niet altijd op een zodanig ontwikkeld dat hiermee kan worden beantwoord aan de evaluatiedoelstellingen. Er bestaat overigens nog geen echte consensus over de geschikte operationele methoden voor het evalueren van de regionale ontwikkeling, en de Commissie stelt zich tevreden met het in algemene termen bekendmaken van \"de beste werkwijzen\" zonder de uitvoering ervan werkelijk te coördineren of te harmoniseren. Deze vaagheid, die verband houdt met de verschillen tussen lidstaten op het gebied van programmering, uitvoering of evaluatie, leidt tot evaluatierapporten van wisselende kwaliteit en maakt het erg moeilijk de resultaten met elkaar op Europees niveau te vergelijken. 6.23. Uit de beoordeling van het effect blijkt derhalve duidelijk dat er lacunes zijn in de toegepaste technieken die met name verband houden met het specifieke karakter en de complexiteit van de te evalueren effecten: a) er is niet altijd een grondig onderzoek verricht naar indicatoren die nog relevanter zijn; soms dienen de geplande indicatoren slechts om de fysieke en financiële uitvoering te meten; b) de effectindicatoren zijn niet altijd aangegeven; c) de evaluatie van het sociaal-economisch effect of van het effect op de regionale ontwikkeling lijkt te worden belemmmerd door de veelheid aan acties, subprogramma's en maatregelen (doelstelling 1), en daar komt bij dat talloze programma's die ten doel hebben een bijdrage te leveren aan de omschakeling en/of het nieuw leven inblazen van de industriële structuur (OP's, communautaire initiatieven, nationale programma's), gelijktijdig kunnen worden gemobiliseerd. Bovendien hebben de communautaire en nationale acties soms betrekking op verschillende gebieden en gaan de acties op verschillende data van start. Tot slot worden de doelstellingen vaak niet gekwantificeerd en in te algemene termen geformuleerd (18). Tegen deze achtergrond lijkt het verband tussen de diagnose van de op te lossen sociaal-economische problemen en de doelstellingen van alle uitgevoerde maatregelen, subprogramma's en projecten alsmede het verband tussen al deze doelstellingen onderling, niet altijd evident, mede omdat de fysieke en effectindicatoren die betrekking hebben op de verschillende niveaus van een programma de behoeften aan evaluatie van een programma niet volledig weergeven. Evenzo blijkt het moeilijk de resultaten van elk programma vast te stellen en ze los te zien van andere particuliere, regionale of nationale acties; d) het opstellen van modellen waarmee de te verwachten effecten kunnen worden geraamd op basis van de tussentijdse en nog te verwachten uitvoeringen, wordt nog steeds weinig toegepast. De tussentijdse evaluatie van bepaalde nationale CB's is gebaseerd op een input-outputmodel (Portugal) of op een macro-econometrisch model (Spanje, Ierland), terwijl het opstellen van regionale modellen nog steeds erg marginaal is. In dit verband dient het voorbeeld van het ontwikkelingsmodel voor de provincie Henegouwen (België) te worden vermeld dat in het kader van de tussentijdse evaluatie is gehanteerd. Het opstellen van modellen voor de effecten in het kader van maatregelen is evenmin erg gangbaar, behalve op het gebied van de vervoersinfrastructuur. Vermeldenswaard is de toepassing van het input-outputmodel bij het project Expo 1998 (Portugal) in het kader van evaluaties vooraf alsmede van tussentijdse evaluaties, al moet voorzichtigheid worden betracht wat betreft de ramingen; e) de schatting van de effecten op de werkgelegenheid is eveneens nog steeds een precair punt. De toepassing van modellen en andere analyse- en onderzoeksmethoden verschaffen onvoldoende details over enerzijds de netto-omvang van gecreëerde arbeidsplaatsen met inachtneming van de nieuwe arbeidsplaatsen die gecreëerd zouden zijn zonder de actie in kwestie en van de vervangingseffecten, en anderzijds de mate van duurzaamheid van de werkgelegenheid. In het algemeen verschafte deze evenmin duidelijkheid over het aantal gecreëerde arbeidsplaatsen dat niet aan de uitvoering van het programma is toe te schrijven. 6.24. bepaalde evaluatiecontracten voorzien, in het kader van de bottom-upbenadering, onderzoeken die dienen te worden verricht bij partners voor plaatselijke economische ontwikkeling en bij uiteindelijke begunstigden, waaronder ondernemingen die communautaire steun genieten, teneinde de bijdrage van het communautaire programma vanuit kwantitatief of kwalitatief oogpunt te beoordelen. De resultaten van de enquêtes zijn soms niet representatief genoeg gezien het aantal ondernemingen en partners dat is geënquêteerd, en gezien de twijfelachtige betrouwbaarheid, want ze worden niet altijd aan onderzoek onderworpen. 6.25. wat de resultaat- en effectindicatoren betreft, wordt geconstateerd dat: a) de tijd die nodig is om de gegevens en statistieken te verzamelen vaak lang is; b) de bestaande gegevens betrekking hebben op geografische gebieden die niet overeenkomen met de beoogde gebieden; c) de gegevens over de ondernemingen niet per bedrijf worden geregistreerd, hetgeen leidt tot een vertekening van de plaatselijke statistische gegevens als zich slechts één enkel bedrijf in het gebied bevindt, terwijl de onderneming meerdere vestigingen heeft op het nationale grondgebied; d) veel statistiekbureaus niet in staat zijn de algemene gegevens gericht uit te vergroten met het oog op een gegeven gebied of een gegeven problematiek. 6.26. Wanneer de beoordelaar indicatoren aangeeft die geschikter zijn om het effect te meten, zij het om in een leemte te voorzien of om hiermee de voorgeschreven indicatoren te vervangen, licht hij deze niet toe en laat hij onzekerheid bestaan over de toepasbaarheid ervan. Bovendien vermeldt hij niet altijd de onderzoeken die nog moeten worden verricht om ze een concrete vorm te geven, noch geeft hij een raming van de kosten. Er wordt eveneens op gewezen dat het moeilijk is de op de programmadoelstellingen betrekking hebbende indicatoren te kwantificeren zonder informatie over historische reeksen. Uitvoering van de programma's in het kader van doelstelling 2 (1994-1996) 6.27. Uit de resultaten van de tussentijdse evaluatie van de EPD's, CB's en OP's van de periode 1994-1996, evenals van het toezicht, blijkt dat de geplande financiering en de uitvoering van de programma's niet op elkaar zijn afgestemd. Ondanks talloze aanpassingen van de programma's tijdens de laatste programmeringsfase 1994-1996 waarin de opname van de bedragen van de financiële bijstand werd beoogd, hebben transfers plaatsgevonden van kredieten van de programmering 1994-1996, van gemiddeld ongeveer 12 %, naar de programmering 1997-1999. Deze situatie zou ertoe kunnen leiden dat de aandacht voornamelijk uitgaat naar de besteding van kredieten en dat de rol van de evaluatie wordt ondergewaardeerd, met name wat betreft de coherentie tussen de doelstellingen, de toegewezen middelen en het effect van de structurele acties. 7. EFFECT VAN DE STRUCTUURFONDSEN EN EVALUATIEMODELLEN Effect op het niveau van de CB's en de programma's Resultaten van de modellen wat betreft het effect van de Structuurfondsen 7.1. Met de voor de macro-economische evaluatie op het gebied van de SF's gehanteerde modellen (zie bijlage III) wordt, met inachtneming van de specifieke kenmerken hiervan, op gedifferentieerde wijze het effect van de SF's beoordeeld wat betreft: a) de verwezenlijking van doelstellingen van de SF's in termen van toename van het BBP, reële convergentie van het BBP per hoofd van de bevolking, werkgelegenheid en werkloosheid; b) het vervullen van de voorwaarden die verband houden met de uitvoering van de SF's, zoals additionaliteit, duurzame ontwikkeling, met name betreffende de beheersing van de overheidsschuld en de betalingsbalans, inkomensverdeling, milieubescherming; c) de effecten in termen van vraag en aanbod; d) de doeltreffendheid van de instrumenten van de SF's, zoals overheidsinvesteringen, investeringen in personele middelen en steun aan particuliere ondernemingen. Toename van het BBP 7.2. Zoals blijkt uit tabel 7, duiden de resultaten van de belangrijkste gehanteerde modellen ter beoordeling van het effect van de SF's (HERMIN, OGM en DIO) voor de cohesielanden op een positieve groei van het BBP en dientengevolge op een verbetering van de convergentie. De cumulatieve groei van de economie van de cohesielanden van 1994 tot en met 1999 die toe te schrijven is aan de structurele acties die deel uitmaken van de CB's, zou derhalve, in reële termen van het BBP, voor Portugal 5,5 %, voor Griekenland 5,9 %, voor Spanje 2,6 % en voor Ierland 3,3 % bedragen. Deze resultaten berusten op de veronderstelling dat het additionaliteitsbeginsel volkomen wordt nageleefd, en kunnen dientengevolge worden gewijzigd in geval van niet-naleving (zie paragrafen 8.11 tot 8.13). Bovendien hebben de verschillende macro-economische modellen resultaten opgeleverd die voldoende coherentie vertonen om het effect van het CB's 1994-1999 op de toename in reële termen van het jaarlijks BBP als aannemelijk te kunnen beschouwen. De meeste effecten die verband houden met de vraag doen zich echter nog steeds vooral op korte termijn voor, terwijl de effecten op het aanbod pas veel later optreden. Evenzo wordt met het HELM-model dat voor de regio Henegouwen is gehanteerd, geschat dat het effect van het EPD in termen van jaarlijkse toename van de totale toegevoegde waarde een toename van 1,7 tot 2,5 % inhoudt voor de periode 1994-2002. In het geval van de Mezzogiorno in Italië lijkt het effect van de SF's op de toename daarentegen zeer beperkt, zelfs bijna nihil. Het QUEST-model van de Commissie komt, op basis van hypothesen over de wijze waarop bedrijven en consumenten zullen anticiperen, uit op lagere schattingen over de effecten op groei en werkgelegenheid dan de voorgaande modellen. Volgens dit model zullen de voordelen in de zin van groeimogelijkheden en vermindering van de werkloosheid eerst op lange termijn zichtbaar worden. 7.3. Wat betreft de gemiddelde versnelde jaarlijkse toename die kan worden toegeschreven aan de structurele acties die deel uitmaken van de CB's, blijkt uit tabel 8 dat een toename van het BBP met 1 %, gegenereerd door de multiplier-effecten van de CB's, voor de periode 1994-1999 leidt tot een extra toename per jaar met 0,2 % tot 0,3 % van de vraageffecten en met maximaal 0,2 % van de aanbodeffecten. Op economisch vlak draagt het overwicht van het effect op de vraag, dat aan het licht is gekomen door het HERMIN-model en welk effect zou verdwijnen zodra de communautaire steun wordt stopgezet, slechts bij aan de verwezenlijking van de doelstellingen van artikel 130 A van het Verdrag wanneer het effect op het aanbod zich op duurzame wijze ontwikkelt en het de productiecapaciteiten van de betreffende regio's versterkt. Doordat het effect op het aanbod zich veel later voordoet dan dat op de vraag, is het mogelijk dat de hiermee samenhangende multiplier-effecten worden onderschat. Reële convergentie in termen van het BBP per hoofd van de bevolking 7.4. Uit de in het kader van de SF's gehanteerde modellen blijkt dat het convergentieproces niet altijd wordt gewaarborgd en dat bepaalde CB-programmeringen hooguit het verschil kleiner kunnen maken dan dat ze bijdragen aan de ontwikkeling van de convergentie. 7.5. Wat Ierland betreft, voorspellen Bradley (HERMIN 1994) en Honohan (HERMIN 1997) wat het effect van de steun in het kader van de CB's 1989-1993 en 1994-1999 op het BBP per hoofd van de bevolking zou kunnen zijn. Bradley is van oordeel dat de bijdrage van de CB's 1994-1999 aan deze inhaalrace bescheiden blijkt te zijn, terwijl volgens Honohan de CB's een belangrijke rol spelen in het convergentieproces. Beutel (1997) voorspelt dat Ierland de rest van Europa zelfs zonder CB 1994-1999, dat het jaarlijkse groeicijfer met 0,6 % zou doen toenemen, zal inhalen. In het geval van Spanje, Portugal en Griekenland zou het geraamde jaarlijkse groeicijfer voor de periode 1994-1999 dankzij de SF's stijgen met respectievelijk 0,4 %, 1,1 % en 1 %, hetgeen in alle gevallen een positief effect heeft gehad op de reële convergentie in termen van BBP per hoofd van de bevolking. 7.6. De prognostische simulaties die zijn uitgevoerd met behulp van het OGM-model dat betrekking heeft op de convergentie in reëel BBP per hoofd van de bevolking in vergelijking met het gemiddelde van de Unie, geven schattingen aan die er de aandacht op vestigen dat, ook al zijn de in 1995 voorspelde tendensen te pessimistisch voor Ierland (zie tabel 9), de nettobijdrage van de CB's aan de convergentie nog steeds bescheiden is voor de cohesielanden. 7.7. Wat Henegouwen betreft, wordt in het HELM-model rekening gehouden met de aspecten van de reële convergentie voor de tussentijdse evaluatie en wordt hierin geschat dat het geraamde jaarlijkse groeicijfer van Henegouwen ongeveer 1,4 % tot 1,6 % boven het Europese gemiddelde zal liggen dankzij de SF's, hetgeen een echte inhaalrace mogelijk zou maken. 7.8. Uit deze ramingen blijkt dat, gezien de verschillen in de regionale of sectorale productieve structuren van de lidstaten van D1, de steun van de SF's uiteenlopende effecten sorteert. Hiermee wordt eveneens bevestigd dat de kwaliteit van de programmering van de SF's dient te worden verbeterd, opdat, met convergentie als doel, middels de acties in het kader van de SF's de productieve capaciteiten van de economie kunnen worden verbeterd. Werkgelegenheid en werkloosheid 7.9. In tabel 10 worden de resultaten van de evaluaties van het effect van de SF's op de werkgelegenheid en de werkloosheid kort weergegeven. Uit alle studies blijkt dat de CB's nettobanen opleveren. Deze nieuwe banen worden vaak gecreëerd in de sector van niet-verhandelbare diensten, terwijl de productiviteitseffecten van de CB's hoofdzakelijk waarneembaar zijn in de industriële sector. Tot slot wordt in sommige studies melding gemaakt van een vermindering van het aantal arbeidsplaatsen in de industriële sector die te wijten is aan een toename van de arbeidsproductiviteit. Doeltreffendheid van de CB-instrumenten 7.10. Uit de HERMIN-evaluaties voor Spanje, Ierland en Portugal blijkt dat de steun voor overheidsinvesteringen, met name voor infrastructuur, productiever is in termen van groei dan de steun voor investeringen in personele middelen (met uitzondering van Spanje) en die voor particuliere investeringen. Dit blijkt uit tabel 11 dat per instrument de toename laat zien van het nationale BBP als gevolg van de toename met 1 % van het aandeel van het CB in het cumulatief BBP, voor de periode 1994-1999. In de HERMIN-studie voor Griekenland wordt eveneens geconcludeerd dat de investeringen in infrastructuur (\"hard infrastructure\") zoals opgenomen in de CB's meer bijdragen aan de toename van het BBP dan de investeringen in personele middelen. Door het OGM-model (Pereira 1991) toe te passen voor de evaluatie van de effecten van vervanging van steun voor particuliere investeringen of voor investeringen in personele middelen door aanvullende steun voor investeringen in infrastructuur, wordt duidelijk dat als gevolg van de SF's een verbetering optreedt in termen van toename van het BBP en in het convergentieproces. Verplichting tot additionaliteit en medefinanciering 7.11. De modellen hebben het eveneens mogelijk gemaakt het belang van de additionaliteit en de medefinanciering door de overheid te beoordelen. Zo is Honohan (HERMIN, 1997) van mening dat zonder de verplichting tot medefinanciering door de overheid, het groeicijfer van de economie van Ierland 1 % lager zou zijn geweest, en dat de werkgelegenheid in mindere mate zou zijn toegenomen. Daarentegen verwacht Honohan een aanzienlijker reductie van de ratio overheidsschuld/BBP en van het batig saldo op de betalingsbalans wanneer de verplichting tot medefinanciering door de overheid ontbreekt. Wat Portugal betreft, leidt de voorwaarde van medefinanciering volgens de HERMIN-evaluatie tot een extra cumulatief voordeel van 1,3 % voor het BBP, maar leidt eveneens tot een minder positieve ontwikkeling op het vlak van overheidsschuld. 7.12. In de HELM-evaluatie voor Henegouwen wordt grote waarde gehecht aan de additionaliteit. De gemiddelde groeicijfers van de toegevoegde waarde van de drie scenario's - het regionale beleid met inbegrip van het EDP, de voortzetting van het regionale beleid zonder communautaire steun, het regionale beleid waaruit het EDP is voortgekomen - voor de periode 1994-1999 nemen volgens de HELM-evaluatie toe tot respectievelijk 2,5 %, 1,7 % en 0,1 %, en het groeicijfer van de werkgelegenheid zou dalen van 0,8 % naar 0,2 %. De toestand waarin de industrie verkeert zou eveneens aanzienlijk verslechteren. Met de HELM-evaluatie werd, door het variabel subsidiepercentage te laten schommelen, eveneens vastgesteld dat de mate waarin investeringen worden bevorderd niet evenredig is aan het steunbedrag en dat talloze investeringen ook met lagere steunniveaus zouden plaatsvinden. Duurzame ontwikkeling 7.13. Uit tabel 10 blijkt dat er niet altijd een evaluatie wordt uitgevoerd van de effecten van de SF's op het saldo van de handelsbalans, van de lopende rekening van de betalingsbalans of van het overheidstekort. De verschillende studies leiden bovendien tot uiteenlopende conclusies; zo leidt de door de CB's teweeggebrachte economische groei in sommige gevallen tot een verbetering van de overheidsfinanciën via de belastingen, terwijl de CB's volgens andere modellen begrotingstekorten veroorzaken. Rol van de evaluatie op macro-economisch niveau in het besluitvormingsproces met betrekking tot de Structuurfondsen 7.14. Gezien de effecten op korte termijn van de SF's op de vraag, worden in de tussentijdse evaluaties de problemen ten aanzien van de besteding van communautaire middelen door de overheid vaak overschat en de effecten op langere termijn op het aanbod vaak onderschat. Dit kan een vertekening teweegbrengen van de heroriënteringen of herprogrammeringen van de OP's of CB's. Maatregelen of projecten die niet snel genoeg gebruik maken van de communautaire kredieten, lopen dan ook het risico dat ze worden geschrapt, met name op gebieden waar de uitvoering gecompliceerd is, zoals innovatie of nieuwe technologieën, ten gunste van reeds bestaande structuren met een veel geringere productiviteit, zonder dat de macro-economische aspecten van duurzame ontwikkeling altijd in aanmerking worden genomen. 7.15. In deze context zijn de aanvullende macro-economische evaluaties waarin de aspecten duurzaamheid, groei of convergentie zijn opgenomen, onmisbaar voordat er ook maar enig besluit kan worden genomen ten aanzien van de oorspronkelijke programmering en de wijziging ervan. In talloze gevallen, zoals in Spanje, in Griekenland of in de nieuwe Duitse deelstaten, zijn reeds herprogrammeringen in het kader van de tussentijdse evaluatie uitgevoerd zonder serieuze algemene macro-economische analyse. Wat de regio's van D1 in Duitsland betreft, is geen enkele macro-economische analyse van het effect uitgevoerd ten tijde van de tussentijdse evaluatie. Effect van subprogramma's, maatregelen en projecten 7.16. Er zijn zeer weinig evaluaties van de subprogramma's en maatregelen, hoewel de subprogramma's of maatregelen de drijvende kracht van de programmering van de SF's vormen. De versnippering, het gebrek aan afbakening en coherentie van veel subprogramma's of maatregelen, alsmede de gebrekkige kwantificering van ermee samenhangende specifieke doelstellingen kunnen onder meer een verklaring zijn voor het feit dat het effect moeilijk te meten is. 7.17. Deze lacune bemoeilijkt elke poging om de synergie en de complementariteit van maatregelen onderling of tussen verschillende programma's vast te stellen en te meten. Bovendien is de samenhang tussen de algemene doelstellingen van het programma en de specifieke doelstellingen van subprogramma's of maatregelen zeer vaak niet erg duidelijk. Zo zijn in de tussentijdse evaluatierapporten talloze coherentieproblemen in de programma's van de CB's 1994-1999 in het kader van D1 aan het licht gekomen. 7.18. De technieken die zijn afgestemd op het meten van het effect van een specifiek subprogramma of van een specifieke maatregel zijn overigens dun gezaaid. Zo kan met de hierboven beschreven macro-economische modellen uitsluitend een evaluatie van de doeltreffendheid van de voornaamste CB-instrumenten - overheidsinvesteringen, particuliere investeringen en investeringen in menselijk potentieel - worden gegeven voor wat betreft de respectieve bijdrage die ze leveren aan de toename van het BBP. De uitgaven voor infrastructuur, die een aanvulling vormen op het particulier kapitaal, lijken het rendement van dit kapitaal te doen toenemen en zouden een groter versnellingseffect hebben op het tempo van de convergentie dan andere investeringsvormen (zie tabel 11). 7.19. Niettemin is de keuze van de maatregelen of subprogramma's waaruit het programma is opgebouwd en de financiering ervan niet neutraal wat betreft het effect van de regionale ontwikkeling in termen van duurzame endogene groei. Aan de hand van de evaluaties die de Commissie of de lidstaten in het kader van hun partnerschap met betrekking tot de subprogramma's of maatregelen hebben uitgevoerd kunnen overigens nog steeds niet de gevolgen van een specifieke maatregel op andere gebieden of sectoren worden geanalyseerd en kan deze maatregel niet met andere maatregelen worden vergeleken waarmee soortgelijke doelstellingen worden nagestreefd. Bovendien zal bij de analyse van het effect van maatregelen of subprogramma's eveneens de oorspronkelijke afweging tussen groei en interregionale gelijkheid, die de gemaakte keuze bij voorbaat bepaalde, in aanmerking moeten worden genomen, teneinde de verwachte en reeds bereikte vooruitgang in doeltreffendheid te kunnen vergelijken. 7.20. De kosten-batenanalyse van de projecten wordt in beginsel gemaakt met het oog op goedkeuring van de financiering van het project. Deze analyse is verplicht overeenkomstig artikel 5 van Verordening (EEG) nr. 2083/93 (EFRO) voor de grote projecten waarvan de totale kosten meer dan 25 Mio ECU bedragen voor de investeringen in infrastructuur en meer dan 15 Mio ECU voor productieve investeringen. Deze beoordelingen vooraf van grote projecten maken deel uit van het onderzoek van de aanvragen om communautaire steun en bepalen de financieringstoewijzing, maar de verordeningen inzake de SF's voorzien niet in evaluaties ervan achteraf en de Commissie kan niet eisen dat deze plaatsvinden om na te gaan of de verwachte sociaal-economische voordelen ten aanzien van de hiervoor ter beschikking gestelde communautaire middelen ook daadwerkelijk zijn behaald. Door deze tekortkoming in het evaluatieproces van grote projecten valt zelfs met het begrip evaluatie op dit niveau niet te werken, aangezien een beoordeling vooraf slechts gegrond is wanneer er daadwerkelijk een evaluatie achteraf plaatsvindt. Bovendien zou met deze micro-economische en sectorale studies tevens het potentiële effect van de SF's op de productiviteit kunnen worden ingeschat en zouden ze aldus een bruikbaar instrument kunnen worden om dit effect op korte of middellange termijn te analyseren. 7.21. Bij de evaluatie van de projecten moet ook rekening worden gehouden met de synergieën en de complementariteit die nog altijd onvoldoende of slechts oppervlakkig worden geëvalueerd. Het is noodzakelijk de projecten op het punt van complementariteit en synergie op elkaar af te stemmen, teneinde het te verwachten effect niet af te zwakken. 7.22. In de tussentijdse evaluatie worden vaak problemen met betrekking tot het beheer van programma's aangesneden, maar hierbij wordt vaak geen rekening gehouden met de criteria die de keuze van projecten hebben bepaald, zoals de duurzaamheid van het project of de mate waarin het project bijdraagt aan de regionale ontwikkeling. Met het systeem voor het beheer van de programma's moet de zekerheid kunnen worden geboden dat de criteria voor de selectie van projecten zo worden gehanteerd dat de resultaten van het programma worden geoptimaliseerd. Met name projecten die een zeer geringe toegevoegde waarde in termen van ontwikkeling hebben, dienen vermeden te worden, ook al bieden zij het voordeel dat de kredieten erg snel worden opgenomen. Het systeem voor de selectie van projecten moet doorzichtiger worden, teneinde toezicht hierop mogelijk te maken en ervoor te zorgen dat ze kunnen worden geëvalueerd. 8. CONCLUSIE 8.1. De evaluatie van de communautaire structurele acties is voorgeschreven in de regelgeving die is voortgekomen uit de besluiten van de Raad en wordt tegenwoordig op grote schaal toegepast in het kader van het partnerschap. De evaluatie is een systeem geworden ter ondersteuning van het ontwerpen en beheren van de bijstandsverlening en draagt zodoende bij aan een betere kennis van de effecten en het nut daarvan. Voor de periode 1994-1999 zijn in de loop van 1997 meer dan 250 tussentijdse evaluaties door de toezichtcomités (19) afgerond. 8.2. Met de herziening van de hervorming van de SF's bereikt de evaluatie een stadium van volledige ontwikkeling dat vanaf heden via een betere methodologische begeleiding dient te worden geconsolideerd. In het kader van de regionale ontwikkeling dient nog het nodige te worden gedaan om te bepalen welke evaluatiemethoden het meest geschikt zijn voor het meten van het sociaal-economisch effect van programma's, aangezien het MEANS-programma geen bevredigende oplossing heeft kunnen bieden. 8.3. Daarnaast dient bijzondere aandacht te worden geschonken aan de indicatoren op alle niveaus wat betreft hun relevantie, de manier waarop ze informatie verschaffen en de daarmee samenhangende kosten. Ook dienen de kwalitatieve aspecten te worden geformaliseerd. Zonder nieuwe ontwikkelingen op deze gebieden dreigt het evaluatieproces te stagneren. 8.4. Hetzelfde geldt voor de zwakke statistische basis, waardoor de validiteit van de indicatoren ter discussie staat en waardoor het proces van toezicht en evaluatie in sterke mate wordt beïnvloed. 8.5. Het huidige grote aantal min of meer relevante indicatoren komt de kwaliteit van de evaluatie niet ten goede en staat een effectieve werking van de evaluatie in de weg. Een klein aantal voor rechtvaardiging of heroriëntering van een structureel beleid noodzakelijke effectindicatoren dient zorgvuldig te worden geselecteerd, waarbij rekening wordt gehouden met de moeilijkheden ten gevolge van de regionalisering der gegevens en met de materiële mogelijkheden inzake informatievergaring. De betrouwbaarheid van deze indicatoren dient te worden gecontroleerd. De vergelijkbaarheid van de indicatoren en de integratie ervan op Europese schaal dienen te worden verbeterd. 8.6. Opdat in het besluitvormingsproces en bij het operationeel beheer van de SF's volledig rekening kan worden gehouden met de evaluaties, dient ervoor te worden gezorgd dat de evaluaties doorzichtig en objectief zijn, dat de doelstellingen ervan overeenkomen met de behoeften en dat de gestelde einddatum adequaat is. 8.7. Om de objectiviteit van de resultaten van de evaluatie te garanderen, dient de onafhankelijkheid van de beoordelaars ten opzichte van de beheerders en de betreffende overheidsinstanties te worden beschermd. 8.8. De hantering van een gemeenschappelijk referentiekader zou bevorderlijk zijn voor de begrijpelijkheid en vergelijkbaarheid van de evaluatierapporten, alsmede voor de uitwisseling van ervaringen. 8.9. Voor elke evaluatie dienen meer operationele doelstellingen te worden vastgesteld. De taakomschrijving en het bestek, die in het algemeen door de Commissie worden goedgekeurd, dienen duidelijk aan te geven welke methoden het meest geschikt zijn om regionale, sectorale of nationale aspecten te behandelen of vooral het effect op korte of lange termijn te beoordelen. De sterke en zwakke punten van alle andere methoden moeten met die van de door de Commissie gehanteerde methoden worden vergeleken. Zo ook moet het referentiekader van elke evaluatie een door de Commissie voorgestelde minimumlijst met indicatoren bevatten om de resultaten van de doelstellingen van programma's te meten, teneinde een voor de analyse onontbeerlijke coherentie te garanderen. Andere indicatoren die betrekking hebben op de sociaal-economische en structurele situatie kunnen natuurlijk worden gebruikt om deze analyse aan te vullen en te verfijnen. 8.10. Gezien de verscheidenheid aan benaderingen met betrekking tot de evaluatie, moet de Commissie eisen dat de beoordelaars in het stadium van de uitnodiging tot inschrijving hun aanpak veel explicieter formuleren, met name het soort effecten dat hiermee dient te worden gemeten en voor welke tijdsduur, teneinde de volledigheid van de aangewende methodieken te kunnen beoordelen. Bovendien dient de evaluatie een uitvoerige analyse te bevatten van de samenhang tussen de doelstellingen van de programma's en de zwaartepunten en maatregelen waarmee deze doelstellingen worden nagestreefd, alsmede de noodzakelijke trapsgewijze weergave van doelstellingen/resultaten/uitvoeringen van de programma's, zwaartepunten en maatregelen. 8.11. In deze context is een betere onderverdeling van de de evaluatie, naar gelang van de betrokken begunstigden, noodzakelijk om de doeltreffendheid ervan te doen toenemen en om beter aan hun specifieke verwachtingen te voldoen, met name op het vlak van de tussentijdse evaluaties. Ook dient een betere beheersing van de kosten te worden nagestreefd, aangezien de Commissie niet altijd op de hoogte is van de voor de evaluatie in het kader van het partnerschap bestemde uitgaven. 8.12. De Commissie dient eveneens aan te geven welke aspecten van het regionale beleid meer in het bijzonder moeten worden geëvalueerd: additionaliteit, convergentie, partnerschap, concentratie, werkgelegenheid, endogene economische ontwikkeling of sociaal welzijn. Bij een beoordeling van de doeltreffendheid van de structurele acties mag de meting van het BBP per hoofd van de bevolking niet de enige maatstaf zijn. 8.13. De inschatting van het effect en van de toegevoegde waarde van het programma op communautair niveau moet gebaseerd kunnen worden op nationale en regionale ontwikkelingsmodellen, alsmede op effectmodellen voor maatregelen. 8.14. De macro-economische resultaten van de structurele acties dienen te worden verfijnd met inachtneming van de tekortkomingen van de toegepaste modellen, de neveneffecten van deze acties en alle effecten ervan op het sociaal welzijn. 8.15. Bij het opstellen van macro-economische modellen wordt een fundamenteel onderscheid gemaakt tussen het effect op de vraag op kortere termijn en de structurele aanpassingen van het aanbod. De programmering van de bijstandsverlening van de SF's dient meer op verbetering van de productiecapaciteit van de economie te worden gericht om te waarborgen dat de effecten duurzaam zijn en om een te duidelijke afhankelijkheid van de vraag te vermijden. Een dergelijke afhankelijkheid zou tot een situatie leiden waarin de communautaire steun op lange termijn onontbeerlijk zou blijven. 8.16. Aangezien het effect op het aanbod pas na lange tijd zichtbaar wordt, wordt in de tussentijdse evaluatie over het algemeen meer aandacht geschonken aan het effect op de vraag. De Commissie dient actie te ondernemen om instrumenten te ontwikkelen die nodig zijn voor het toezicht op en de evaluatie van het structurerende effect op de economie. 8.17. Uit de macro-economische modellen blijkt eveneens dat een beleid dat is gericht op economische groei niet altijd verenigbaar is met duurzame ontwikkeling. De relatie tussen het effect op de groei en het effect op de duurzame ontwikkeling moet nog verder worden geanalyseerd en bij de programmering van de bijstandsverlening van de SF's dient met deze dualiteit systematisch rekening te worden gehouden. 8.18. Het effect van de verplichting tot additionaliteit en tot medefinanciering door de overheid is niet eenvoudig af te bakenen en het wordt niet altijd onderzocht. Dit effect dient systematischer en grondiger te worden geanalyseerd. 8.19. Het is niet de bedoeling dat de evaluatie op zich het politiek besluitvormingsproces, waarin belangrijker overwegingen zijn opgenomen, vervangt, maar ze moet wel een onmisbaar instrument voor een evenwichtig en doeltreffend beheer van de communautaire structurele acties vormen dat de sociaal-economische resultaten in aanmerking neemt. Dit verslag werd door de Rekenkamer te Luxemburg vastgesteld te harer zitting van 26 september 1998. Voor de Rekenkamer Bernhard FRIEDMANN President >RUIMTE VOOR DE TABEL> >RUIMTE VOOR DE TABEL> >RUIMTE VOOR DE TABEL> >RUIMTE VOOR DE TABEL> >RUIMTE VOOR DE TABEL> >RUIMTE VOOR DE TABEL> >RUIMTE VOOR DE TABEL> >RUIMTE VOOR DE TABEL> >RUIMTE VOOR DE TABEL> >RUIMTE VOOR DE TABEL> >RUIMTE VOOR DE TABEL> (1) Het betreft met name: a) artikel 6 van de kaderverordening (Verordening (EEG) nr. 2052/88 zoals gewijzigd bij Verordening (EEG) nr. 2081/93) betreffende de taken van de Fondsen met structurele strekking, hun doeltreffendheid alsmede de coördinatie van hun bijstandsverlening onderling; b) artikel 26 van de verordening met betrekking tot de coördinatie van de Fondsen (Verordening (EEG) nr. 4253/88 zoals gewijzigd bij Verordening (EEG) nr. 2082/93). (2) De \"beoordeling vooraf\" wordt soms ook \"evaluatie vooraf\" genoemd. In het onderhavige verslag heeft de Kamer de voorkeur gegeven aan de bewoordingen van de verordeningen, te weten \"beoordeling vooraf\". (3) De communautaire structurele actie wordt opgezet als een aanvulling op de overeenkomstige acties op nationaal niveau of als een bijdrage daaraan. Deze actie wordt vastgesteld via nauw overleg dat partnerschap wordt genoemd, tussen de Commissie, de lidstaat, de regionale en plaatselijke overheden, de economische en sociale partners en de overige bevoegde instanties. Het partnerschap komt tot stand met volledige inachtneming van de respectieve institutionele, juridische en financiële bevoegdheden van alle partners. (4) In haar jaarverslagen over met name de begrotingsjaren 1990 (hoofdstuk 7), 1993 (hoofdstukken 6, 7, 8 en 9) en 1994 (hoofdstuk 4), heeft de Kamer reeds op talloze tekortkomingen in de evaluatie voor de programmeringsperiode 1989-1993 gewezen. (5) Het betreft de volgende evaluaties: a) voor de programmeringsperiode 1989-1993: - beoordelingen vooraf van de CB's in het kader van D1 en D5b (1990-1991), - evaluaties achteraf van de CB's in het kader van D1 (1994-1995), - evaluaties achteraf van de CB's in het kader van D2 (1996-1997); - thematische evaluaties (KMO's, telecommunicatie); b) voor de programmeringsperiode 1994-1999: - beoordelingen vooraf van de regionale ontwikkelingsplannen in het kader van D1 - beoordelingen vooraf van de programma's in het kader van D5b, - beoordelingen vooraf van de EPD's in het kader van D2 1994-1996, - beoordelingen vooraf van de EPD's in het kader van D2 1997-1999, - kritische analyses van de EPD's en CB's in het kader van D1 (1995). De Commissie heeft tevens opdracht gegeven tot evaluaties per lidstaat van het effect van het Europese structurele beleid op de economische en sociale cohesie van de Unie. (6) Nota van DG XII van 14 maart 1991. (7) a) de uitwerking in 1994 van de eerste taakomschrijving voor de lopende evaluatie van de CB's en voor de actievormen in het kader van doelstelling 1. Hierin wordt de rol van de tussentijdse evaluatie als besluitvormingshulpmiddel voor de toezichtcomités en voor de uitvoering ervan binnen het partnerschap, bevestigd. Ook worden hierin de uitvoeringsvoorschriften, met name het profiel van het evaluatieteam en zijn taken, nauwkeurig beschreven; b) de verspreiding in 1995 van de gemeenschappelijke richtsnoeren voor het toezicht en de tussentijdse evaluaties voor de communautaire SF's, waarin de onderdelen van de analyse (algemene en specifieke doelstellingen, indicatoren) worden omschreven alsmede de samenhang tussen het toezicht en de tussentijdse evaluatie; c) verzending van brieven aan de lidstaten (1995) waarin ze worden herinnerd aan de verplichting tot tussentijdse evaluatie en waarin de gewenste wijze van uitvoering opnieuw wordt gepreciseerd. (8) Zoals: a) de in Brussel gehouden conferentie over de evaluatie van het Europees regionaal beleid (16 november 1995) die hoofdzakelijk betrekking had op de resultaten van de evaluaties achteraf van D1 1989-1993 en van de beoordelingen vooraf 1994-1999; b) de Europese conferentie over de evaluatiemethoden voor de bijstandsverlening van de SF's (Berlijn, 2 en 3 december 1996) die voornamelijk betrekking had op de problemen bij de evaluatie van het effect op micro-economisch, macro-economisch en thematisch niveau; c) de in maart 1998 in Sevilla gehouden conferentie die ten doel had de uitwisseling van ervaringen op het gebied van evaluatie in het kader van het partnerschap te bevorderen. (9) Dit programma wordt gezamenlijk beheerd door de Commissie en een externe consultant, wiens medewerking uit begrotingslijn B2-1820 werd gefinancierd voor een bedrag van 932 000 ECU per jaar. (10) De benadering per programma werd belemmerd door: i) het korte tijdsbestek van de planning die met name ertoe leidde dat de evaluatie vooraf ontbrak; ii) het ontbreken van concrete doelstellingen, van gekwantificeerde indicatoren op het gebied van uitvoering, resultaat en effect; iii) administratieve knelpunten, met name wanneer subprogramma's van een zelfde programma onder verschillende overheidsinstanties vallen, of wanneer de sectorale en regionale benaderingen elkaar overlappen; iv) tekortkomingen in de communautaire voorschriften die met name leiden tot het in het kader van communautaire initiatieven goedkeuren van projecten die door de OP's in het kader van D1 zijn afgewezen; v) de benadering per project van het Cohesiefonds, die geen positieve uitwerking meer heeft op een evenwichtige toepassing van de benadering per programma. (11) Dat wil echter niet zeggen dat het gaat om het creëren van werkgelegenheid, omdat het econometrisch model uitgaat van de veronderstelling dat er sprake is van volledige werkgelegenheid en de ondernemingen in een periode van laagconjunctuur een productieovercapaciteit hebben. (12) In het achtste jaarverslag inzake de SF's wordt melding gemaakt van belangrijke multiplier-effecten die betrekking hebben op bruto resultaten zoals het creëren van werkgelegenheid of de oprichting van ondernemingen. (13) \"Evaluación intermedia de programas operativos regionales del objetivo numero 2 (fase 1994-1996). Orientaciones sobre contenidos comunes a recoger en los pliegos de condiciones técnicas, 23 mei 1996\". (14) DATAR, reglementair en bestuurlijk tijdschema. (15) \"General criteria to underpin Terms of Reference for Mid-Term Evaluation of Operational Programmes/Community Initiatives\". (16) \"Evaluatiekader voor de programma's van de Europese Structuurfondsen, Terp Advies-CBEA Pieter van Run\", december 1997. (17) Waarvan er 36 ter plaatse en/of bij de Commissie zijn onderzocht. (18) Bijvoorbeeld: het weer doen opleven van het platteland, versterking van de economische structuur in de regio, structurele wijzigingen die verband houden met regionale ontwikkeling. (19) De toezichtcomités bestaan uit vertegenwoordigers van de betrokken nationale instanties en van de Commissie. BIJLAGE I SAMENVATTING VAN DE IN HET KADER VAN DE EVALUATIE ACHTERAF VAN DE CB'S VAN DOELSTELLING 1 1989-1993 TOE TE PASSEN METHODEN 1. Het uitdrukkelijke doel van de evaluatie achteraf van de CB's in het kader van D1 1989-93 was: a) beoordelen van de strategie en de doelstellingen in het kader van de CB's en hieruit lering trekken voor het toekomstig optreden. Analyse van de gevolgen voor de oorspronkelijk vastgestelde doelstellingen, van de bijstelling en aanpassing van de acties gedurende de uitvoeringsperiode; b) opmaken van een eerste balans op het vlak van de CB's en de OP's, van de materiële resultaten van de belangrijke acties en een eerste beoordeling van het effect ervan; c) analyseren van de doeltreffendheid van de uitvoeringsmechanismen en hieruit lering trekken voor eventuele aanpassingen in de toekomst. 2. Methodologische benaderingen zijn uitgewerkt door de voornaamste consultant die belast is met de coördinatie van de door andere consultants voor de betreffende lidstaten uitgevoerde evaluaties: a) de eerste doelstelling betreft, om de logica die inherent is aan de CB's en OP's en aan de aanpassingen van de CB's en OP's sinds 1989 te evalueren - en, meer specifiek, om de oorzaken van deze aanpassingen te analyseren, alsmede de toegevoegde waarde op communautair niveau, de interne coherentie, de externe coherentie, de relevantie van de strategie ten aanzien van de problemen en de mate waarin de financieringen hierop zijn afgestemd - dienen de volgende taken, die deel uitmaken van een top-downbenadering, te worden uitgevoerd: - vergaring van informatie en van sleutelgegevens: financiële gegevens, doelstellingen vooraf, verwachte output/effecten, doelgroepen en -gebieden, voornaamste gehanteerde instrumenten, aantal goedgekeurde projecten/maatregelen, aantal uitgevoerde projecten, - beschrijving van de omgeving en de ontwikkeling van het programma (beginsituatie-huidige situatie); identificatie van externe factoren die van invloed zijn op de ontwikkeling en het welslagen/mislukken van het programma; analyse van de fundamentele problemen en oorzaken; het vaststellen van de essentiële indicatoren van de regionale ontwikkeling, waaronder indicatoren voor de verandering van ongelijkheden, - identificatie van beleidsinstrumenten (leningen, subsidies, technische bijstand), - rangschikking van doelstellingen, identificatie van hiërarchische niveaus en van de verbanden tussen doelstellingen en instrumenten; b) de tweede doelstelling betreft, werden de uit te voeren analyses gebaseerd op zowel top-down als bottom-upbenaderingen: - analyse van de output en van de effecten op het niveau van de OP's, van maatregelen en projecten, waarbij rekening is gehouden met nettoverliezen en met substitutie- en multiplier-effecten, - analyse van de relatieve doeltreffendheid van maatregelen en van gecombineerde maatregelen; analyse van de oorzaken van welslagen/mislukken, - vergelijking van output en input, bovendien moesten essentiële en facultatieve indicatoren vastgesteld worden; c) de derde doelstelling betreft, werd een analyse beoogd van de doeltreffendheid van uitvoeringsmechanismen met betrekking tot de CB's en OP's en een beperkt aantal maatregelen, alsmede identificatie van de reeds in het proces van programmering, uitvoering, toezicht en evaluatie aangebrachte en nog aan te brengen verbeteringen; voor elke lidstaat zou een onderzoek plaatsvinden naar de mechanismen met betrekking tot besluitvorming, planning, financiële controle, uitvoering, toezicht en controle, de financiële circuits, het partnerschap, de additionaliteit, de coördinatie van middelen, het vereenvoudigings- en harmonisatieproces, grotere flexibiliteit, grotere doorzichtigheid; er zou ook een grondige analyse van de uitvoering van en het toezicht op een klein aantal maatregelen/grote projecten worden verricht; d) werd gekozen voor ad-hocsteekproeven van programma's, maatregelen en projecten, enerzijds met het doel een beperkt aantal fysieke en effectindicatoren aan te geven, anderzijds om grondige analyses uit te voeren. BIJLAGE II SAMENVATTING VAN DE BENADERING VAN DE EVALUATIE ACHTERAF VAN DOELSTELLING 2 1989-1993 De evaluatie achteraf van de communautaire acties in het kader van doelstelling 2 voor de programmeringsperiode 1989-1993 die doorgaans EFRO- en ESF-componenten bevatten, bestond uit: a) algemene analyses die betrekking hadden op alle D2-regio's en -gebieden, teneinde de sociaal-economische situatie vlak vóór de SF-actie in het kader van D2 en de sociaal-economische situatie na deze acties te vergelijken; deze analyses moesten eveneens leiden tot een analyse van de strategie, van de rangorde van de doelstellingen, prioriteiten en maatregelen, van de indicatoren, van de geplande en niet geplande effecten, van de synergieën tussen componenten van de programma's, van de integratie van de verschillende fondsen. Deze analyses moesten zijn gebaseerd op de inhoud van de CB's en de OP's, op de jaarlijkse uitvoeringsverslagen of op de aan het toezichtcomité voorgelegde verslagen en, als ze voorhanden waren, op evaluaties vooraf en achteraf; b) grondige studies die betrekking hadden op 22 regio's en die ten doel hadden: - de CB's, de OP's en de soorten aangepaste maatregelen grondig te onderzoeken; - de institutionele structuren en de wijze waarop de programma's worden beheerd te analyseren; - het \"toegevoegde waarde\"-effect dat aan de CB's en aan de OP's kan worden toegeschreven, aan een evaluatie te onderwerpen; - de kosten en de doeltreffendheid van de maatregelen aan een evaluatie te onderwerpen; - een onderzoek in te stellen naar de mate waarin de actie van het D2-programma aan het regionaal ontwikkelingsproces bijdraagt. De grondige evaluaties zijn gebaseerd op de bottom-upbenadering, met als doel, de processen bij de keuze van de acties, de soorten acties, de beheersprocedures, het effect van de acties, ook in de zin van toegevoegde waarde, de synergieën en de additionaliteit te onderzoeken, de bevindingen bijeen te brengen en zo naar het niveau van de maatregel en tenslotte van het programma op te klimmen. BIJLAGE III KENMERKEN VAN DE IN HET KADER VAN DE EVALUATIE VAN DE SF'S GEHANTEERDE MACRO-ECONOMISCHE MODELLEN 1. De voornaamste modellen die in het kader van de macro-economische evaluatie op het gebied van de SF's zijn gehanteerd, bestaan uit: a) econometrische modellen, zoals HERMIN (1), HELM (2) en QUEST II (3); b) modellen voor een algemeen berekenbaar evenwicht, zoals OGM (4) en BBM (5); c) input-output-modellen, zoals DIO (6) en FIDIMI (7); d) structureel-residuele analyse. De kenmerken van de toepassing van deze modellen in de onderzochte gevallen worden schematisch weergegeven in de tabellen III 1 en III 2. In tabel III 3 wordt wat dat betreft het model van de kenmerken van de CB's gegeven. 2. Doordat het mogelijk is de economische ontwikkeling van D1-landen over een tijdsinterval van meer dan tien jaar en uitgaande van meerdere sectoren te simuleren, kan bovendien de door de SF's teweeggebrachte structurele verandering worden begrepen en kan de betrouwbaarheid van het inhaalproces worden geëvalueerd dat via de communautaire hulp moet worden ondersteund en geïntensiveerd. 3. In het kader van haar onderzoek heeft de Kamer een analyse (8) laten uitvoeren om te kunnen beoordelen in welke mate deze macro-economische technieken geschikt zijn voor het meten van het effect van de structurele acties en of deze op doeltreffende wijze kunnen bijdragen aan het besluitvormings- en strategisch proces van de programmering. 4. Uit deze analyse blijkt dat de gezichtspunten ten aanzien van de endogene of exogene factoren die van invloed zijn op het welslagen van de structurele programma's, variëren naar gelang van de gehanteerde methoden en theoretische benaderingen. Met de macro-economische modellen wordt immers beoogd de mechanismen van het economische systeem van een land of regio weer te geven en de effecten van een exogene schok te achterhalen of te simuleren zoals die welke teweeg wordt gebracht door de uitvoering van structurele programma's. Er bestaat geen unieke en volledige weergave van de economische realiteit. 5. In het econometrische HERMIN-model, waarin rekening wordt gehouden met het specifieke karakter van elke lidstaat en waarin de effecten op nationaal niveau worden geïntegreerd, wordt uitgegaan van de veronderstelling dat de productiecapaciteiten van de economieën niet ten volle worden benut en dat, dientengevolge, de multiplier- en versnellingseffecten die verband houden met de toegenomen investeringen voor een toename van de productie en de werkgelegenheid zorgen. Dit model lijkt bevredigende resultaten op te leveren in termen van effecten op de vraag. Wat de effecten op het aanbod betreft, leidt een afname van de werkloosheid volgens het model tot hogere lonen, waarbij rekening wordt gehouden met de Phillipscurve en het effect op de inflatie wordt beperkt; bovendien wordt expliciet rekening gehouden met de effecten op de productiviteit door de effecten van externe besparingen in de modellen op te nemen die de toename en verbetering van het menselijk potentieel en het fysiek kapitaal van de overheids- en particuliere sector op de productiviteit hebben. De mate waarin hiermee rekening wordt gehouden verschilt echter van land tot land. Het model verschaft slechts gedeeltelijke informatie over duurzame ontwikkeling, waarbij met name geen rekening wordt gehouden met aspecten die verband houden met schommelingen in de wisselkoers, om het evenwicht op de betalingsbalans te waarborgen, of schommelingen in belastingtransfers. 6. Het macro-econometrische HELM-model, dat voor de tussentijdse evaluatie van het EPD 1994-1999 D1 voor de provincie Henegouwen (België) werd gehanteerd, is een van de weinige modellen die specifiek rekening houden met de regionale ontwikkelingsaanpak, aangezien hierin de effecten van de endogene groei die verband houden met de productiviteit op lange termijn in aanmerking worden genomen, hoewel de verbetering van de productiviteit die te danken is aan de bijstandsverlening van de SF's grotendeels beperkt blijft tot de industriële sector en uitsluitend de arbeidsproductiviteit betreft. Hierin worden globale en toegevoegde effecten van het EPD op de economie van Henegouwen aangegeven, zoals de cumulatief gegenereerde investering, de toegevoegde waarde of de werkgelegenheid in de sectoren handwerksnijverheid en verhandelbare diensten gedurende de periode van 1994 tot 2002 of 2005, waarbij wordt uitgegaan van hetzelfde soort uitgangspunt als in het HERMIN-model wat betreft de aanwending van productiecapaciteiten en de multiplier- en versnellingseffecten van investeringen op de vraag. Opgemerkt zij dat in het HELM-model wel rekening wordt gehouden met de regionale export, maar niet met de uit andere regio's afkomstige import, zodat het risico bestaat dat de effecten op de vraag te hoog worden ingeschat. Het cijfer met betrekking tot de vraag valt ook nog hoger uit doordat geen rekening is gehouden met de loonaanpassingen die verband houden met de afname van de werkloosheid, noch met hogere kosten of capaciteitsbeperkingen. Het HELM-model geeft eveneens weinig aanwijzingen met betrekking tot de ontwikkeling van de werkloosheid of tot het werkaanbod. Het is immers gebaseerd op reeds lang bestaande statistische informatie waarbij echter niet is nagegaan of deze wordt gestaafd door andere relevante informatie. 7. De modellen voor een algemeen berekenbaar evenwicht worden meer in het bijzonder op nationaal niveau toegepast. Deze modellen vestigen de aandacht op de aanbodeffecten op de lange termijn die voortvloeien uit de communautaire structurele acties. Met het OGM-model, waarin een tussentijds endogeen groeikader wordt gehanteerd, wordt ervan uitgegaan dat de markten van productiefactoren in evenwicht zijn en dat de economie volledig gebruik maakt van de productiecapaciteit. Veranderingen in de vraag hebben geen enkel effect op de productie en de werkgelegenheid, en met de SF-programma's kan de groei slechts worden bevorderd wanneer de productiviteit erdoor wordt verhoogd; deze productiviteitseffecten worden duidelijk gespecificeerd in de productiefunctie. Het model beoogt een optimale waarde voor het land vast te stellen door een functie van tussentijds sociaal welzijn te maximaliseren. Uitgaande van een bestendige situatie, worden de economische actoren, terwijl ze volkomen de omvang van de middelen voorzien die hen zullen worden toegekend, alsmede de periode waarover de steun zal worden gespreid, geacht de meest gunstige besluiten te nemen over besteding en investering op basis van deze gegevens. Tot slot voorziet het OGM-model op lange termijn het evenwicht op de betalingsbalans en het begrotingsevenwicht. 8. Het BBM-model voorziet voor bepaalde sectoren dat de arbeidsmarkten in evenwicht zijn en dat derhalve de vraageffecten niet van invloed zijn op de productie en de werkgelegenheid, terwijl voor andere sectoren groei moet leiden tot een toename van de vraag. In het model zijn eveneens productiviteitseffecten opgenomen die verband houden met de technologische veranderingen welke een afname van input met zich meebrengen. 9. Met het DIO-model voor input-output wordt getracht het verband weer te geven tussen alle middelen waarover een economie de beschikking heeft en de gehele uiteindelijke besteding van deze middelen. Op deze wijze wordt de onderlinge afhankelijkheid van de verschillende sectoren van een land vastgesteld, die met elkaar verbonden zijn op basis van intermediair verbruik. De input-outputbenadering zorgt ervoor dat de effecten van structurele acties op de vraag zo groot mogelijk zijn en laat de effecten op het aanbod (effecten op de productiviteit, op de lonen, aanpassing van de inflatie) buiten beschouwing. De duurzame ontwikkeling komt hierin niet aan bod. Het FIDIMI-model is een combinatie van het model voor een algemeen evenwicht en van het input-outputmodel en hiermee kunnen de effecten van de in het zuiden van Italië uitgevoerde communautaire acties op het noorden van Italië worden geanalyseerd. 10. Van de andere bestaande technieken voor het evalueren van de effecten van regionaal beleid, hanteert Eurostat vooral de structureel-residuele analyse voor het uitvoeren van evaluaties van het effect van de SF's in bepaalde gebieden die in aanmerking komen voor D1 of D2. Deze analyse is gericht op het vaststellen van het overschot, dat tot stand komt door het verschil tussen de werkelijke en de gesimuleerde situatie als gevolg van de toepassing van geraamde nationale tendensen. Door het effect aldus af te bakenen worden echter de resultaten van het programma waarvan de evaluatie gaande is, van andere politieke acties op nationaal en Europees niveau alsmede van het reeds uitgevoerd regionaal beleid onderling vermengd. Bovendien bevatten de door Eurostat in 1997 uitgevoerde studies gegevens over indicatoren waarvan de meest recente uit 1993 dateren, hetgeen de waarde van de conclusies van deze studies behoorlijk relativeert. 11. Met het QUEST II-model wordt getracht de economieën van de lidstaten en de interactie hiervan met de rest van de wereld, vooral met de Verenigde Staten en Japan te analyseren. Het model is meer in het bijzonder gericht op de doorwerking van de effecten van het economisch beleid op nationaal en internationaal niveau. Dit model is aanvankelijk geconcipieerd om te dienen als middel voor simulatie en niet zozeer voor prognose. In het QUEST II-model is nu meer dan in het eerdere model het effect van het aanbod opgenomen en wordt meer rekening gehouden met de interacties in termen van voorraden. Desalniettemin worden in QUEST II de implicaties in de zin van veranderingen in het gedrag van de economische subjecten weinig of onvoldoende opgenomen. >RUIMTE VOOR DE TABEL> >RUIMTE VOOR DE TABEL> >RUIMTE VOOR DE TABEL> (1) HERMIN: Econometrisch model dat is gebaseerd op het oorspronkelijk HERMES-model (Harmonised Econometric Research for Modelling Economic Systems) maar met als specifiek kenmerk dat het een minimale omvang heeft (Min), vandaar (HER)MIN. (2) HELM: Hainaut Economic Lead-in Model. (3) QUEST II: een Multy Country Business Cycle and Growth Model - Economic Papers nr. 123 - Oktober 1997. DG II - Economische en financiële zaken. (4) Optimal Growth Model (OGM) van Pereira (1991 en 1995). (5) Bourguignon, Branson en de Melo model (BBM) van Lolos en Zonzilas (1992). (6) Dynamic Input-output model (DIO) van Beutel (1995, 1996 en 1997). (7) FIDIMI Consulting Company, Evaluatie van het macro-economische effect van het CB in het kader van doelstelling 1 - Italië en van de uitvoeringsmechanismen. (8) De Kamer heeft gebruik gemaakt van de diensten van een externe beoordelaar die in hoge mate gespecialiseerd was op het gebied van macro-economische modellen en de Europese economie. ANTWOORDEN VAN DE COMMISSIE I. ALGEMEEN De Commissie geeft toe dat het evaluatieproces, dat voor velen nog nieuw is, een aantal leemten en onnauwkeurigheden vertoont, zowel wat betreft de inhoud als het gebruik dat er kan worden van gemaakt; zij wijst er evenwel op dat er in enkele jaren tijd toch opmerkelijke vorderingen zijn gemaakt. De Commissie is zich bewust van de problemen die nog een oplossing moeten krijgen; daarom heeft zij, zowel op het vlak van de organisatie als op dat van de methodologie, haar inspanningen uitgebreid teneinde tot een zo bevredigend mogelijke situatie te komen, met name door een permanente dialoog te voeren met al degenen die in de verschillende landen van de Unie werkzaam zijn op dit gebied. De ontwikkeling van de evaluatie van de bijstand uit de Structuurfondsen kan in drie grote fasen worden ingedeeld, die overeenstemmen met de drie programmeringsperioden. Periode 1989-1993 De verordeningen betreffende de eerste hervorming van de Structuurfondsen werden pas in december 1988 door de Raad goedgekeurd; de nationale programma's die begin 1989 werden ingediend, beantwoordden slechts gedeeltelijk aan de vereisten inzake strategie, keuze van de te bereiken doelstellingen en kwantificering van de verwachte effecten. Daarom werd getracht deze leemten aan te vullen door in een evaluatie achteraf de bereikte resultaten te vergelijken met herziene doelstellingen. Dit was een aanzienlijke opdracht waaraan specifieke beperkingen waren verbonden, die duidelijk naar voor zijn gekomen in de rapporten over de bijstand in de gebieden van doelstelling 1 en doelstelling 2. Niettemin werd daarmee de basis gelegd voor een coherente analyse van het effect van deze hervorming op de economische en sociale samenhang. Periode 1994-1999 Na dit eerste experiment werden op verzoek van bepaalde lidstaten en de Commissie strengere voorschriften vastgesteld inzake toezicht en evaluatie, waarbij drie fasen werden ingevoerd: een beoordeling vooraf, een tussentijdse evaluatie en een evaluatie achteraf. De tussentijdse evaluatie is van onbetwistbaar nut gebleken. Voor het eerst werden deze evaluaties verricht op het niveau van de diverse toezichtcomités, zodat nauwere contacten ontstonden tussen de beoordelaar en de te beoordelen begunstigden; hiermee werd zelfs verder gegaan dan de strikte toepassing van de voorschriften. De opgestelde rapporten werden in de diverse toezichtcomités toegelicht en besproken, zodat de evaluatie zowel een informatieve als een operationele functie kreeg, hetgeen niet mogelijk was als de werkzaamheden door de Commissie werden georganiseerd en geleid. Er kunnen discrepanties ontstaan wat betreft de toegepaste methoden, de keuze van de beoordelaars, de kosten van de werkzaamheden en het detail van de resultaten, ook al berust de coördinatie en de algemene leiding van de werkzaamheden bij de administratieve eenheid Coördinatie van de evaluatie van de Commissie en bij de nationale vertegenwoordigers in de Groep technische evaluatie. Ondanks de uiteenlopende benadering, die verband houdt met de manoeuvreerruimte waarover iedere lidstaat in het kader van de subsidiariteit beschikt, is de Commissie toch van mening dat deze aanpak in grote mate ertoe heeft bijgedragen dat een ware evaluatiecultuur is ontstaan. De begunstigden konden ervan worden overtuigd dat zij over een operationeel instrument beschikken voor een beter beheer van de bijstand, zowel op nationaal als op communautair niveau. Dit kan alleen maar gunstig zijn voor de toekomstige evaluaties; de kwaliteit van de conclusies van de evaluaties zal namelijk evenveel afhangen van de informatie die door de projectbeheerders wordt bijgehouden en verstrekt als van de expertise van de onafhankelijke beoordelaars. Periode 2000-2006 De voorstellen voor de nieuwe verordeningen zijn er in het bijzonder op gericht de factoren die de reikwijdte van de evaluatie beperken, tot een minimum te herleiden en er aldus voor te zorgen dat de middelen van de Structuurfondsen nog doeltreffender worden besteed. In dit verband is het volgende voorgesteld: - de plannen die door de lidstaten worden ingediend, moeten een beoordeling vooraf en een nauwkeurige kwantificering van de te bereiken doelstellingen bevatten; - er moet rekening worden gehouden met de resultaten van de evaluaties die voor de voorgaande periode per thema of per programma zijn verricht; - er moet een nauwe samenhang tot stand worden gebracht tussen de tussentijdse herprogrammering en de conclusies van de tussentijdse evaluatie. Teneinde een grotere doeltreffendheid bij de besteding van de Structuurfondsen te verzekeren, stelt de Commissie voor 10 % van de kredieten halverwege de looptijd toe te wijzen, naar gelang van het bereikte prestatieniveau; daarbij worden criteria gehanteerd die nauw verband houden met de kwaliteit van de programmering, het toezicht, de beoordeling vooraf en de tussentijdse evaluatie. Wat tenslotte de methodologische aspecten betreft, is de Commissie voornemens om in het najaar een publicatie te verspreiden over de werkzaamheden die in het kader van het MEANS-programma (1) zijn verricht, teneinde tot een betere harmonisatie van de evaluatiemethoden binnen de Unie te komen. Het betreft met name: - een nauwkeurige omschrijving van een referentiekader en van de methodologie voor de beoordeling vooraf, de tussentijdse evaluatie en evaluatie achteraf;- een overzicht van de literatuur betreffende de verschillende evaluatiemethoden en de voorwaarden voor de toepassing daarvan; - een analyse van de toegepaste indicatoren per bijstandspakket. Harmonisatie van de systemen en indicatieve lijst van de indicatoren; - de methodologie en de organisatie van de thematische evaluaties; - een meertalig glossarium van de belangrijkste begrippen op het gebied van de evaluatie; - een overzicht van de meest innoverende nationale of communautaire projecten. Uit de hiernavolgende opmerkingen blijkt dat de Commissie in een aantal gevallen de mening van de Rekenkamer deelt. Toch moet steeds rekening worden gehouden met de problemen en de beperkingen die inherent zijn aan ieder evaluatieproces, zelfs wanneer deze geleidelijk worden opgelost of opgeheven. In ieder geval mag nooit uit het oog worden verloren dat de evaluatie in de eerste plaats moet worden gezien als een technisch hulpmiddel bij de besluitvorming of het beheer, en dat het niet de bedoeling is dat de politieke besluitvorming erdoor wordt vervangen. De evaluatie heeft ten doel de gevolgen van de te nemen of reeds genomen besluiten te verduidelijken. Bovendien is een zekere flexibiliteit nodig wat de te volgen methoden betreft, zodat rekening kan worden gehouden met de specifieke omstandigheden van iedere evaluatie. Tenslotte wijst de Commissie erop dat de respectieve bevoegdheden van de nationale overheidsdiensten en de Commissie in verband met het beheer van de Structuurfondsen sedert de hervorming in 1988 steeds duidelijker zijn afgebakend, met name wat de evaluatie betreft. De lidstaten dragen steeds meer verantwoordelijkheid voor de uitvoering van de evaluaties. II. SPECIFIEKE OPMERKINGEN 2. REIKWIJDTE VAN DE CONTROLE 2.3. De Rekenkamer heeft geen onderzoek uitgevoerd in landen als Duitsland en het Verenigd Koninkrijk, waar de evaluaties op een heel andere manier worden aangepakt. 3. SAMENVATTING VAN DE BELANGRIJKSTE OPMERKINGEN 3.2. De Commissie is van mening dat met de gevallen waarin zij niet over de budgettaire gegevens betreffende de evaluatie beschikt, slechts geringe kosten gemoeid zijn. Aangezien de tussentijdse evaluatie nog in volle ontwikkeling is en op een gedecentraliseerd niveau plaatsvindt, kunnen de daaraan verbonden uitgaven nog aanzienlijk variëren. De bedragen die aan de evaluatie worden besteed worden onderverdeeld per land, per doelstelling en per bijstandspakket. Daarover zijn gegevens gepubliceerd in de jaarlijkse evaluatiebalans van de Commissie. De Commissie blijft ernaar streven om systematisch te kunnen bepalen welk gedeelte van de voor technische bijstand toegekende middelen aan evaluatie wordt besteed en in het kader van het partnerschap wordt beheerd. 3.3. Op grond van de geldende voorschriften en gelet op het subsidiariteitsbeginsel beschikt de Commissie niet over de bevoegdheid om een nauwkeurig omschreven kader vast te stellen voor de evaluatiemethodologie en de indicatoren. Teneinde de nationale methoden te perfectioneren en de kwaliteit van de evaluatie te verbeteren heeft de Commissie: - het MEANS-programma opgezet en acht handleidingen gepubliceerd over aangelegenheden van methodologische aard; - drie Europese conferenties georganiseerd over de technieken en de gebruiken op het gebied van de evaluatie; - documenten verspreid, zoals opdrachtomschrijvingen voor de beoordeling vooraf en een handleiding voor de evaluatie van grote projecten; - groepen voor technische evaluatie opgericht, waaraan de lidstaten deelnemen, en heeft zij verschillende seminars georganiseerd. 3.4. Het is in de praktijk niet mogelijk om de evaluatie achteraf onmiddellijk te doen aansluiten op de diverse fasen van de programmering van de structuurmaatregelen. Een evaluatie achteraf kan pas twee of drie jaar na afloop van de programmeringsperiode worden verricht. Om dit probleem te verhelpen heeft de Commissie erop aangedrongen dat tussentijdse evaluaties en evaluaties per thema zouden worden uitgevoerd. Zo konden bijvoorbeeld de resultaten van de thematische evaluaties die in 1992 en 1993 werden verricht, worden gebruikt voor de voorbereiding van de programmering 1994-99. Voor de programmering na 2000 zullen tussentijdse evaluaties beschikbaar zijn; voor iedere doelstelling worden evaluatiebalansen opgesteld, waarin de tussentijdse evaluaties worden aangevuld en bijgewerkt. Bovendien zijn vier thematische evaluaties aangevat. De Commissie heeft dit systeem opgenomen in haar voorstellen voor een wijziging van de verordeningen. 3.5. Er moet een onderscheid worden gemaakt tussen de objectiviteit van de evaluatie en de beschikbaarheid en de kwaliteit van de gegevens. In het kader van de evaluatie wordt vaak gewezen op het probleem van de gegevens, en er is haast geen verslag waarin deze kwestie niet ter sprake wordt gebracht. Toch kan in dit opzicht een verbetering worden waargenomen, die met name te danken is aan de strengere evaluatievoorwaarden. De Commissie acht de situatie op dit gebied niet bevredigend; dit mag echter niet worden toegeschreven aan de evaluatie als zodanig, maar heeft eerder te maken met de toezichtsystemen. De Commissie onderstreept dat het probleem van de deugdelijkheid van de gegevens en de indicatoren in hoofdzaak een aangelegenheid is voor de controle op het toezicht. De Commissie blijft streven naar een verbetering van de situatie en zal rekening houden met de opmerking van de Rekenkamer betreffende een meer systematische controle op de betrouwbaarheid van de gegevens. De werkzaamheden in verband met de controle zullen het ook mogelijk maken dat de verbetering zich doorzet, die al enkele jaren op het terrein wordt waargenomen. 3.6. Bij de gunning van contracten houden de betrokken diensten zich aan de voorschriften van de richtlijnen terzake en volgen zij de procedure die door het RCAC is vastgesteld. Het is echter niet mogelijk om over de opdracht te onderhandelen vóór de overeenkomst wordt ondertekend, hetgeen er vaak toe leidt dat later toelichtingen moeten worden verstrekt, zodat vertragingen in het vastgestelde tijdschema ontstaan. Het gaat hier echter om een marginaal probleem. Bovendien ligt de oorzaak van dit probleem niet alleen bij de diensten van de Commissie. De zwakke punten die in bepaalde evaluatierapporten worden geconstateerd, kunnen evengoed worden toegeschreven aan incompetentie van de adviseurs of aan een gebrekkige kwaliteit van de beschikbare gegevens: vaak zijn bepaalde rapporten van uitstekende kwaliteit, terwijl andere, die op precies dezelfde opdrachtomschrijvingen zijn gebaseerd, te wensen overlaten. 3.7. De Commissie is er het met de Rekenkamer over eens dat zich problemen hebben voorgedaan bij de organisatie van de eerste evaluaties, waarbij op weinig enthousiasme van de lidstaten kon worden gerekend. De evaluaties achteraf van de doelstellingen 1 en 2 zijn door internationaal befaamde adviesbureaus en deskundigen van hoog niveau uitgevoerd op basis van een gemeenschappelijke methodologie. Uit het tweede deel van punt 3.7 blijkt overigens dat deze aanpak, ondanks de geconstateerde onvolkomenheden, nuttig is geweest. De kritiek van de Rekenkamer heeft betrekking op de evaluaties die in 1993-1994 zijn uitgevoerd; sedertdien is er op initiatief van de Commissie veel werk verricht om de methoden te verbeteren. Ook de kritiek van de Rekenkamer betreffende de evaluatie achteraf van doelstelling 2 is gedeeltelijk terecht. Toch moet de mogelijkheid om tot een nauwkeurige kwantificering te komen van de effecten of van de toegevoegde communautaire waarde, vanuit een meer pragmatische oogpunt worden bekeken. 3.8. De tussentijdse evaluatie heeft betrekking op de analyse van de eerste resultaten van de bijstandspakketten. De beoordeling van de effecten geschiedt in het kader van de evaluatiebalansen en de evaluaties achteraf. Hiervoor worden echter niet altijd econometrische modellen opgesteld, die vaak bijzonder duur zijn en niet altijd het meest geschikte middel blijken te zijn om het effect te meten. De evaluatie is een instrument dat het beheer moet ondersteunen en mag derhalve slechts worden gezien als een van de hulpmiddelen bij het besluitvormingsproces. 3.9. De Commissie is tot de constatatie gekomen dat de opdeling van programmeringsperiode voor doelstelling 2 niet aan de behoeften van de betrokken gebieden heeft beantwoord en dat de tenuitvoerlegging van de programma's erdoor complexer is geworden. In de voorstellen van de Commissie van maart 1998 inzake de hervorming van de Structuurfondsen, is voor doelstelling 2, net als voor de andere doelstellingen, slechts in één enkele programmeringsperiode voorzien. 3.11 - 3.12. Teneinde te voorkomen dat het aantal evaluaties van programma's of subprogramma's te groot wordt en het beheer daardoor onoverzichtelijk wordt, is het vaak meer aangewezen op sommige belangrijke gebieden selectief tewerk te gaan. De Commissie is het er met de Rekenkamer over eens dat het beter zou zijn het aantal maatregelen en subprogramma's of zelfs het aantal programma's te beperken. Ze heeft overigens al concrete voorstellen in die zin gedaan in het kader van de hervorming van de Fondsen. 4. ALGEMENE PROBLEMEN Inleiding 4.1. De Commissie heeft het herhaaldelijk betreurd dat de doelstellingen in sommige lidstaten niet naar behoren worden gekwantificeerd. Doordat de nationale overheidsuitgaven niet per doelstelling worden beheerd, is het bovendien moeilijk om tot een beheersysteem te komen dat op indicatoren is gebaseerd. Het probleem heeft derhalve niet zozeer te maken met het ontbreken van een methodologisch of analytisch kader, dan wel met de opzet van de programma's en de systemen van de nationale statistiek. 4.3. De Commissie wijst in dit verband op de volgende punten: - sedert 1994 verstrekt zij de lidstaten gemeenschappelijke richtsnoeren voor het toezicht en de tussentijdse evaluaties; - in december 1994 heeft zij de Groep Technische Evaluatie - die verantwoordelijk is voor de lidstaten - een kaderdocument voorgelegd over het doel, de inhoud en de wijze van uitvoering van de tussentijdse evaluaties. Na dit eerste overleg hebben nog vier andere vergaderingen in deze groep plaatsgevonden; - in 1995 heeft zij de overheidsdiensten een MEANS-bulletin toegezonden over de organisatie van de tussentijdse evaluatie in het kader van het partnerschap, waarvan drie van de vijf hoofdstukken betrekking hebben op de voorbereiding van het bestek en het aanbestedingsdossier, de selectie van de beoordelaars en de kwaliteit van de evaluatie; - in 1996 heeft zij, nog voordat zij de eerste evaluaties had ontvangen, de overheidsdiensten een MEANS-bulletin over de beoordeling van de kwaliteit van de evaluatierapporten toegezonden, dat vergezeld ging van een gedetailleerd schema. 4.5. Er zij ook op gewezen dat in de periode 1989-1993 een aantal evaluaties in het kader van het partnerschap zijn verricht. Dit betekent dat de lidstaten en de toezichtcomités actief werden betrokken bij diverse thematische evaluaties of evaluaties achteraf die op initiatief van de Commissie zijn uitgevoerd - evaluaties per thema of evaluaties achteraf. 4.8. De Rekenkamer constateert dat tijdens de eerste programmeringsperiode slechts geringe bedragen zijn uitgetrokken voor de evaluatie van de doelstellingen 1 en 2. Omdat in bijna geen enkele lidstaat evaluaties waren verricht, heeft de Commissie aan het begin van de periode het initiatief genomen een eerste evaluatie te maken van alle communautaire bestekken van doelstelling 1 en van vijftien EPD van doelstelling 2. Naast de thematische evaluaties die ook de periode 1989-1993 bestrijken, heeft de Commissie een evaluatie achteraf gemaakt van alle communautaire bestekken en EPD van de doelstellingen 1 en 2 over de periode 1989-1993. 4.9. Dit vraagstuk is reeds behandeld in punt 3.2. Het is mogelijk dat in de door de Commissie opgestelde financiële balans van de evaluaties een aantal evaluaties ontbreken, die uitsluitend op initiatief van de lidstaat zijn verricht en uit de technische bijstand werden gefinancierd. Het betreft hier echter te verwaarlozen bedragen in verhouding tot de totale kosten van de andere werkzaamheden. Referentiekader 4.11 - 4.12. De MEANS-handleidingen zijn informatieve documenten die bestemd zijn voor overheidsdiensten waar reeds een ruime technische expertise aanwezig is. De Commissie acht het belangrijker dat het gemiddelde niveau van de evaluaties wordt verhoogd dan dat de kennis van de reeds gespecialiseerde deskundigen wordt uitgebreid. Statistische basisgegevens en informatie over de nagestreefde doelstellingen 4.14   4.15. De Commissie deelt de mening van de Rekenkamer. Indicatoren 4.15   4.20. De Rekenkamer erkent de inspanningen die de Commissie heeft gedaan om de indicatoren te perfectioneren. De voorschriften terzake werden in 1993 uitgebreid en er is tezamen met de diverse lidstaten getracht de discrepanties te kwantificeren. Bij de evaluatie achteraf werd prioritaire aandacht besteed aan de kwantificering van de doelstellingen en er is vooruitgang geconstateerd: voor de bijstandspakketten 1994-1999 was de kwantificering duidelijk beter dan voordien. Bij de tussentijdse evaluaties kwam het er in de eerste plaats op aan de indicatoren en de doeltreffendheid ervan te verbeteren. De Commissie wijst erop dat het probleem zich niet beperkt tot een verhoging of een verlaging van het aantal indicatoren; met de bestaande toezichtsystemen is het namelijk moeilijk om een regelmatige kwantificering te verzekeren van de overeengekomen indicatoren van de programma's. Het betreft evenmin een gebrek aan samenhang in de programmering: de regionale en plaatselijke instanties hebben in het kader van de subsidiariteit het recht om hun eigen prioriteiten vast te leggen en zelf de reikwijdte van de programmering in hun land te bepalen. Niettemin kan een verbetering worden waargenomen, die waarschijnlijk een gevolg is van de strengere evaluatievoorwaarden. De analyse van de Commissie vormt slechts een methodologische omkadering en is derhalve niet toereikend; daarom is de Commissie voornemens verdergaande initiatieven te nemen in het kader van de hervorming van de Structuurfondsen. Benutting van de evaluatie 4.22. De opdeling van de programmeringsperiode is de samenhang tussen evaluatie en programmering inderdaad niet ten goede gekomen; dit is een van de redenen waarom de Commissie voor de toekomst slechts een enkele programmeringsperiode heeft voorgesteld. Niettemin heeft de programmering 1997-1999 profijt kunnen halen uit een evaluatie achteraf over de periode 1983-1993 en uit een beoordeling vooraf van de EPD die op initiatief van de Commissie werd verricht en betrekking had op aangelegenheden die onder haar bevoegdheid vallen en die tot de prioriteiten van de Unie behoren. De Commissie is van mening dat de evaluaties in het kader van de herprogrammering en de thematische evaluaties voor het MKB en O & O tot de evaluatie achteraf over de periode 1994-1996 behoren. De Commissie voert thans besprekingen met de lidstaten om tot een evaluatiebalans te komen die in het tweede halfjaar van 1998 zal worden bekendgemaakt en betrekking heeft op de periode vanaf 1994. Van deze evaluatiebalans zal worden uitgegaan bij de toekomstige programmering. 4.23 - 4.26. De Commissie werkt thans aan een verslag voor ieder land afzonderlijk waarin de kwaliteit van de evaluatie wordt onderzocht en wordt nagegaan in hoeverre deze bijdraagt tot de aanpassing van de steunmaatregelen. De belangrijkste aspecten van de tussentijdse herziening zullen in een syntheserapport worden opgenomen. Uit de gegevens waarover de Commissie beschikt, blijkt niet dat de opmerkingen van de Rekenkamer, die betrekking hebben op honderden programma's en op sterk uiteenlopende situaties, terecht zijn. De Commissie zal de resultaten beoordelen bij de indiening van het verslag over de tussentijdse herziening. Op dit ogenblik lijkt het standpunt van de Rekenkamer voorbarig. De Commissie wijst er tevens op dat de evaluaties niet alleen nuttig zijn voor de beheerders, maar dat zij tevens een goede basis vormen om beter verantwoording te kunnen afleggen ten aanzien van de Begrotingsautoriteit, het Europees Parlement en de burgers. Objectiviteit van de evaluaties 4.27 - 4.29. In dit verband schijnt de Rekenkamer, ondanks de positieve opmerkingen die zij in de punten 6.5-6.7 maakt, zich niet voldoende bewust te zijn van het complexe karakter van het partnerschap. Om de objectiviteit en de onafhankelijkheid van de evaluaties te verzekeren, is meer nodig dan een duidelijk referentiekader voor de toepassing van de methodologieën en de controle van de gegevens ter plaatse. De kwaliteit van de evaluatie hangt in grote mate af van professionele kwaliteiten, beroepsethiek, de invloed van de belangen van de lidstaten, enz. De Rekenkamer vermeldt niet dat de geschiktheid van de methodologie, de betrouwbaarheid van de gegevens en de geloofwaardigheid van de resultaten uitdrukkelijk als drie van de acht criteria worden genoemd in het MEANS-bulletin nr. 5 over de beoordeling van de kwaliteit van de evaluatieverslagen. De Commissie streeft voortdurend naar verbetering van de normen en de criteria, waarbij zij echter rekening dient te houden met de reële situatie ter plaatse. Daarom zal zij zich meer gaan bezighouden met de beoordeling van de werking van de evaluatiesystemen ter plaatse. De door de Commissie gegunde evaluatiecontracten 4.30   4.31. De Commissie past bij de gunning van opdrachten de normen en de procedures toe die zijn vastgesteld in het kader van het RCAC. De selectie van de deskundigen geschiedt op grond van de selectiecriteria en de gunningscriteria die in het Publicatieblad zijn bekendgemaakt. De toepassing van deze criteria en de resultaten van de procedure worden opgenomen in het rapport dat aan het RCAC wordt voorgelegd. In verband met de \"te vage\" omschrijvingen in de aanbestedingsdossiers, mag niet uit het oog worden verloren dat de Commissie expertise koopt en dat zij er alle belang bij heeft dat de contracten zodanig worden opgesteld dat de aangewezen adviseurs in staat zijn hun deskundigheid ten volle te benutten. 4.32. De methode die voor doelstelling 1 is gevolgd, is niet geschikt voor doelstelling 2, waarbij 60 programma's zijn betrokken. Gezien het bedrag van de uitgaven en het aantal teams dat daarmee gemoeid zou zijn, zou deze methode hebben geleid tot de versnippering van de opdracht, hetgeen zou indruisen tegen de letter en de geest van de richtlijn betreffende de procedures voor de gunning van overheidsopdrachten. De Commissie heeft in die gevallen de voorschriften nageleefd en heeft erop toegezien dat zij de controle niet zou verliezen over de praktische uitvoering van de evaluatie. Te dien einde heeft zij begeleidende comités opgericht en geregeld vergaderingen georganiseerd met de evaluatieteams. De verslagen werden vervolgens ter controle aan de beherende diensten voorgelegd. 4.33. De omschrijving van de werkzaamheden hangt af van de behoeften van de opdrachtgever. Hij bepaalt welke informatie hij nodig heeft en de evaluatiediensten waken over de inhoud daarvan. Behalve wat de inhoud van de opdracht betreft, zijn de contractvoorwaarden gestandaardiseerd op initiatief van het RCAC. Zoals reeds eerder is onderstreept, bestaat er geen algemeen aanvaarde methodologie voor de evaluatie van de programma's. Teneinde de controle over de gekozen aanpak niet te verliezen onderzoekt de Commissie de toepasselijkheid van de methodologie en van de voorgestelde technieken. In het bestek wordt een algemeen methodologisch kader opgenomen; over de specificaties en de technische hulpmiddelen wordt onderhandeld. 4.34. In dit concrete geval heeft de Commissie in overleg met de adviseurs die de evaluatie hebben verricht, getracht de kwaliteit van het verslag te verhogen door alle diensten en de betrokken ambtenaren bijeen te brengen in een debat over de inhoud van het verslag en de lering die eruit kan worden getrokken. Het eindverslag werd in mei 1995 (drie maanden na de voorgeschreven datum) opnieuw ingediend en na officieel overleg aanvaard in juni 1995; de betaling is verricht in juli 1995. Het rapport waarover de Rekenkamer het heeft, is slechts een bijwerking van het eindverslag door de adviseur, waarmee geen supplementaire kosten waren gemoeid. 4.35. De Commissie onderstreept dat de omschrijving van de opdracht drie nauwkeurig omschreven hoofdcriteria omvat, namelijk de deugdelijkheid van de strategie, de bereikte resultaten en de doeltreffendheid daarvan, en de doeltreffendheid van de uitvoeringsmechanismen (blz. 2 tot 4 van het document). De Commissie heeft haar standpunt over de methodologie al eerder uiteengezet. De diverse diensten worden geraadpleegd en de coördinerende dienst neemt het besluit om het rapport al dan niet te aanvaarden. 5. EVALUATIES ACHTERAF VAN DE CB IN HET KADER VAN DE DOELSTELLINGEN 1 EN 2 (1989-1993) Inleiding 5.2. De Commissie is het er met de Rekenkamer over eens dat zich bij deze evaluaties problemen hebben voorgedaan die verband houden met de opzet van de programma's van de eerste generatie. Evaluaties achteraf van de CB in het kader van doelstelling 1 (1989-1993) 5.3. Een aantal van de opmerkingen van de Rekenkamer in dit verband vraagt enige nuancering. a) Als de gegevens betreffende de regionale verschillen \"te oud zijn\", heeft dit te maken met de Bureaus voor de Statistiek en niet met de methodologie van de evaluatie. b) De beoordelaars hebben de steekproeftechnieken toegepast die normaal worden gebruikt in het kader van de evaluaties en hebben bovendien casestudies verricht voor specifieke gevallen. Wanneer deze technieken juist worden toegepast, kunnen degelijke resultaten worden bereikt. e) De Rekenkamer constateert dat uit de \"bottom-up-analyses\" niet altijd conclusies kunnen worden getrokken in verband met het effect van de programma's. Het is echter niet mogelijk om het effect op het communautair beleid, op de verbetering van het beheer, op de doorzichtigheid, enz., te beoordelen aan de hand van \"top-down\"-analyses of econometrische modellen. g) Deze opmerking van de Rekenkamer betreft aspecten die niet tot de evaluatieopdracht behoorden. 5.6. De Commissie bevestigt dat wel degelijk van deze evaluaties is uitgegaan in het kader van de verantwoording die zij aan de Begrotingsautoriteit moet afleggen en in het kader van haar werkzaamheden voor het verslag over de Economische en Sociale Samenhang. 5.7. Een van de drie doelstellingen van de evaluatieopdracht bestond er inderdaad in aanbevelingen te doen in verband met de verbetering van het systeem voor toezicht en beheer. Tevens werd de deugdelijkheid van de strategie geanalyseerd en werd een balans van de resultaten opgemaakt aan de hand waarvan de doeltreffendheid van de bijstandspakketten kon worden geanalyseerd. Evaluaties achteraf in het kader van doelstelling 2 (1989-1993) 5.13. Het is niet altijd aangewezen om systematisch econometrische modellen toe te passen, hetzij omdat het om geringe steunbedragen gaat, hetzij omdat geen statistische reeksen op regionale basis voorhanden zijn. De beoordeling van de resultaten van het beleid is opgenomen in het verslag over de Economische en Sociale Samenhang. In het kader van het nieuwe voorstel voor de hervorming van de Structuurfondsen vanaf het jaar 2000 heeft de Commissie aanpassingen op dit gebied voorgesteld. 5.16. De Commissie heeft een aantal van de aanbevelingen van deze evaluatie opgenomen in haar voorstellen voor nieuwe verordeningen. 6. TUSSENTIJDSE EVALUATIES (1994-1999) Ontwikkeling en integratie van de beginselen van de tussentijdse evaluatie 6.1 - 6.20. De Commissie deelt de mening van de Rekenkamer wat dit gedeelte van het verslag betreft. Toch wenst zij enige toelichtingen te verstrekken: - Punt 6.15: De Commissie is van mening dat de kritische beoordeling van de strategie, de levensvatbaarheid van de projecten en de effecten in het licht van de doelstellingen eerder aspecten zijn die bij de beoordeling vooraf of bij de evaluatie achteraf aan bod moeten komen. - Punt 6.16: De tussentijdse evaluatie heeft ten doel bij te dragen aan de aanpassing van de bijstandspakketten en de verbetering van het financieel beheer. De analyse van de toegevoegde waarde hoort eerder thuis in de evaluatiebalans en de evaluaties achteraf. Toch kan de analyse van het effect van de communautaire prioriteiten op de aanpassing van de bijstandspakketten in vele gevallen nuttige informatie opleveren over de communautaire toegevoegde waarde. - Punt 6.18: De Commissie heeft getracht om via de tussentijdse evaluatie een zo goed mogelijk beeld te krijgen van de synergie tussen de uit de diverse fondsen gefinancierde maatregelen, met name in landen met gescheiden programmering, bijvoorbeeld de EDP van doelstelling 1 in Duitsland. Daartoe hebben de voor de EFRO-projecten aangewezen beoordelaars een overzicht gemaakt van de evaluaties die voor ieder fonds afzonderlijk zijn verricht. De Commissie geeft toe dat de door de Rekenkamer bedoelde regionale evaluatie bijzonder zwak is, maar wijst erop dat deze niet representatief is voor alle evaluaties die in dat land zijn verricht. Het is bijvoorbeeld juist dat bij de tussentijdse evaluatie geen analyse is gemaakt van de wijzigingen in het indicatieve financieringsplan die zijn voortgevloeid uit de wijziging van het O.P. op verzoek van Brandenburg. In verband met de hoge kredietabsorptie van de bedoelde projecten zijn de maatregelen aangepast tijdens de vergaderingen van de toezichtcomités van 12.6.1996 en 5.8.1996. Benaderingen, methoden en technieken 6.21. De Rekenkamer heeft kritiek op de vage formulering van de doelstellingen van de tussentijdse evaluaties in de contracten. De Commissie heeft in dit verband instructies gegeven, die echter niet altijd op het gedecentraliseerde niveau zijn opgevolgd. De beoordeling van de doeltreffendheid geschiedt volgens \"bottom-up\"-methoden. Voor de grote CB diende te worden vastgesteld welke gevolgen de herprogrammering voor het globale effect zou hebben; hiervoor werden in Ierland, in Spanje, in Griekenland, in Portugal en in Italië technieken gebruikt die tot de econometrische modellering behoren. 6.22. De Commissie heeft een beroep gedaan op de beste expertise in Europa en in de Verenigde Staten om de beste methoden te vinden om programma's te evalueren. Praktische problemen op het gebied van de methodologie, en toezichtsystemen die vaak ontoereikend zijn, beperken de vergelijkbaarheid van de resultaten op Europees niveau. 6.23. De tussentijdse evaluaties hebben over het algemeen niet ten doel het effect van de programma's te meten. Dit is een bewuste keuze, aangezien tijdens de eerste fase nog geen concrete effecten kunnen worden waargenomen; eerst komt namelijk de uitvoering, vervolgens de resultaten en ten slotte de effecten. De raming van de globale effecten van de grote CB is al in punt 6.21 aan bod gekomen. 7. EFFECT VAN DE STRUCTUURFONDSEN EN EVALUATIEMODELLEN Effect op het niveau van de CB en de programma's 7.1 - 7.15. In dit gedeelte van het verslag behandelt de Rekenkamer de resultaten van de verschillende econometrische en macro-economische modellen, hetgeen tot een zekere verwarring kan leiden wanneer noch de reikwijdte, noch de aard van de resultaten wordt toegelicht. Hierover zijn in het verslag over de Economische en Sociale Samenhang gestructureerde gegevens in een aangepast kader opgenomen. Effect van subprogramma's, maatregelen en projecten 7.17 - 7.19. Volgens de Rekenkamer zouden niet voldoende evaluaties van subprogramma's en maatregelen plaatsvinden; de evaluatie van een programma geschiedt echter over het algemeen volgens de \"bottom-up\"-methode, waarbij precies van de evaluatie van maatregelen en subprogramma's wordt uitgegaan. Zo zijn ook de thematische evaluaties die door de Commissie zijn opgezet, specifiek en horizontaal gericht op bepaalde reeksen van maatregelen en/of subprogramma's, bijvoorbeeld in verband met het MKB, O & O, milieu, enz. 8. CONCLUSIE 8.1 - 8.19. De Commissie is van mening dat de conclusie van de Rekenkamer opbouwende kritiek bevat op gebieden waar de Commissie al jaren naar verbeteringen streeft en waaraan zij aandacht zal blijven besteden. De Commissie geeft toe dat de Rekenkamer terecht zwakke plekken heeft aangewezen, maar wijst tevens op de vorderingen die zijn geconstateerd. Dankzij het werk dat de Commissie in het kader van de Structuurfondsen heeft verricht en dankzij het initiatief SEM 2000, is een evaluatiecultuur zonder voorgaande kunnen ontstaan. Er zijn nog slechts weinig regio's die niet bij het evaluatieproces zijn betrokken. Het subsidiariteitsbeginsel en het heterogene karakter van de geografische en de thematische aspecten zijn factoren die niet uit het oog mogen worden verloren. (1) Meerjarenprogramma inzake methoden voor de evaluatie van structuurmaatregelen.",
  "source": "EUR LEX"
}