SPECIAAL VERSLAG Nr. 15/98 over de evaluatie van de bijstandsverlening van de Structuurfondsen betreffende de perioden 1989-1993 en 1994-1999, vergezeld van de antwoorden van de Commissie (vastgesteld krachtens artikel 188 C, lid 4, tweede alinea, van het EG-Verdrag) (98/C 347/01)

1. INLEIDING

1.1. In het kader van de hervorming van de Structuurfondsen (SF's) van 1988 is bepaald dat de Commissie en de lidstaten verplicht zijn het Europese structuurbeleid te evalueren. In 1993 is deze plicht tot evaluatie bekrachtigd middels de gewijzigde regelgeving in het kader van de herziening van de hervorming van de SF (1994-1999), alsook door de standaardclausules van de nieuwe communautaire bestekken voor bijstandsverlening (CB's) en van de enige programmeringsdocumenten (EPD's).

1.2. De evaluatie, een onmisbaar instrument voor een goed beheer van de SF's, wordt in de belangrijkste rechtsvoorschriften (1) omschreven als een beoordeling van de doeltreffendheid op drie niveaus:

a) het effect van alle structurele acties op de doelstellingen zoals beoogd in artikel 130 A van het Verdrag;

b) het effect van alle acties waarin de CB's voorzien;

c) het specifieke effect van elke operationele actie (programma's en andere acties tot bijstandsverlening).

1.3. De uitvoering van de evaluatie bestaat hoofdzakelijk uit drie fasen:

a) de beoordeling vooraf (2), om enerzijds op juiste wijze de op te lossen sociaal-economische problemen en de te bereiken doelen en anderzijds de gevolgde strategie, met de beschikbare middelen om hierop in te spelen, vast te stellen;

b) de tussentijdse evaluatie, om tijdens de uitvoering van een programma na te gaan of de doelstellingen nog adequaat zijn en of de gewenste resultaten redelijkerwijs kunnen worden behaald;

c) de evaluatie achteraf die plaatsvindt wanneer het programma eenmaal is afgesloten en die dient om na te gaan of de behaalde resultaten en effecten als positief kunnen worden beschouwd, ervan uitgaande dat de effecten op lange termijn van een structurele actie pas enkele jaren na afsluiting hiervan merkbaar zijn.

1.4. In de regelgeving zoals die in 1993 is gewijzigd, wordt gewezen op de verantwoordelijkheid van zowel de lidstaten als van de Commissie inzake evaluatie in het kader van het partnerschap (3). In dit verband heeft de Commissie het initiatief genomen tot de begeleiding en de algehele coördinatie van de uitvoering van de evaluatie, en legt zij om de drie jaar overeenkomstig artikel 16 van Verordening (EEG) nr. 2052/88 een evaluatierapport over betreffende de geboekte vooruitgang op het gebied van economische en sociale samenhang en betreffende de manier waarop met name de Structuurfondsen en de nationale medefinanciering hieraan hebben bijgedragen.

2. REIKWIJDTE VAN DE CONTROLE

2.1. De algemene doelstelling van de controle van de Kamer (4) was na te gaan in hoeverre er vooruitgang was geboekt inzake evaluatie van de communautaire structurele acties, zowel op het gebied van evaluatiesystemen en -procedures als op methodologisch gebied. De controle had betrekking op de wijze waarop de evaluatie van de structurele acties, zowel door de Commissie als in het kader van het partnerschap werd uitgevoerd. Er is onderzoek verricht naar de wettige en regelmatige aanwending van de begrotingskredieten van de Europese Gemeenschappen voor de evaluatie alsook naar de kwaliteit van het financieel beheer van deze kredieten.

2.2. De controle omvatte tevens het beoordelen van de technieken voor het evalueren van het sociaal-economische effect van de structurele acties. Hoewel het onderzoek niet was bedoeld als een rechtstreekse evaluatie van de programma's die nieuwe wetenschappelijke resultaten zou opleveren, worden hierin toch enkele van deze door deskundigen geconstateerde resultaten vermeld om duidelijker het verband tussen de aangewende economische beleidsinstrumenten en de behaalde resultaten aan te geven.

2.3. Specifieke controles hadden betrekking op de evaluaties achteraf van de CB's en operationele programma's (OP's) van de doelstellingen 1 en 2 voor de programmeringsperiode 1989-1993 en op tussentijdse evaluaties van de CB's, EPD's en OP's van de programmeringsperiode 1994-1999. Alle evaluaties achteraf van de CB's 1989-1993 van doelstelling 1 zijn in aanmerking genomen, alsook ongeveer 20 % van de rapporten betreffende de evaluatie achteraf van de CB's 1989-1993 van doelstelling 2 en 15 % van de rapporten betreffende de tussentijdse evaluatie van de CB's 1994-1999, die zijn geselecteerd naar gelang van hun geografische spreiding en de aard van de acties (CB, EPD, OP). Bovendien zijn 15 van de 25 evaluatierapporten, die hoofdzakelijk over macro-economische aspecten handelen, geanalyseerd. Het onderzoek is uitgevoerd bij de diensten van de Commissie en in acht lidstaten (België, Griekenland, Spanje, Frankrijk, Ierland, Italië, Nederland, Portugal), alwaar de beoordelaars en de verantwoordelijke functionarissen van de betreffende nationale overheden zijn geraadpleegd.

3. SAMENVATTING VAN DE BELANGRIJKSTE BEVINDINGEN

3.1. De evaluatie, die ten tijde van de hervorming van de Structuurfondsen in 1988 door veel subjecten van de communautaire programma's nog niet in voldoende mate werd gezien als een onontbeerlijk instrument voor geïntegreerd beheer, heeft zich vooral op instigatie van de Commissie in de loop van de programmeringsperiode 1994-1999 ontwikkeld en verspreid, met name in het kader van het EFRO, hetgeen tot gevolg had dat het nut van dit middel eveneens werd erkend op het gebied van beheer en programmering. Vanaf deze tweede programmeringsperiode van de SF's (1994-1999) wordt de evaluatie systematisch toegepast in de eerste twee fasen (vooraf, tussentijds) en zal zij ook worden toegepast in de laatste fase (achteraf) (zie de paragrafen 4.2-4.8).

3.2. De Commissie beschikt niet altijd over alle informatie in verband met de uitgaven die de evaluatie in het kader van het partnerschap met zich meebrengt, ook al kent zij de hoogte van de uitgaven die rechtstreeks door haar worden gefinancierd (zie de paragrafen 4.9-4.11).

3.3. De Commissie heeft in sterke mate bijgedragen tot de verspreiding van de evaluatiecultuur, ofschoon zij geen toereikende begeleiding in haar programma "Methoden voor de evaluatie van structuurmaatregelen" (MEANS - Méthodes d'évaluation des actions de nature structurelle) heeft verschaft voor de indicatoren en de evaluatiemethodiek. Gezien het ingewikkelde methodologische karakter van de evaluatie bestaat er niet één enkele methodiek die op elke specifieke situatie kan worden toegepast. Het is desalniettemin van belang dat de Commissie methodologische begeleiding kan bieden waardoor de beschikking wordt verkregen over passende richtsnoeren voor de uitvoering van aan specifieke situaties aangepaste evaluaties (zie de paragrafen 4.12-4.13).

3.4. De kwaliteit van de indicatoren hangt nauw samen met de betrouwbaarheid van de gegevens van de follow-up van de bijstandsverlening en van de bestaande statistische basisgegevens. Deze statistieken, die onder de verantwoordelijkheid van de lidstaten vallen, blijken vaak niet toereikend te zijn en de lidstaten zouden de kwaliteit ervan moeten verbeteren (zie de paragrafen 4.14-4.21).

3.5. Veel evaluaties worden laat afgerond, waardoor de aanpassingen van de programma's navenant later worden uitgevoerd. Bovendien zouden de evaluatieresultaten in termen van rendement of doeltreffendheid van de soorten bijstandsverlening beter in aanmerking kunnen worden genomen door het besluitvormingssysteem als het de herprogrammeringen betreft (zie de paragrafen 4.22-4.27).

3.6. Wat de objectiviteit van de evaluaties betreft, wordt door de Commissie geen enkele vorm van controle ter plaatse uitgevoerd op de cohesie en de betrouwbaarheid van de indicatoren of van de systemen waaruit ze voortkomen (zie de paragrafen 4.29-4.30).

3.7. In de procedures voor de gunning van contracten aan consultants op het gebied van evaluatie zijn er bij de Commissie nog belangrijke zwakke punten te vinden. De selectie van de consultants wordt niet altijd duidelijk gemotiveerd. De bestekken zijn erg vaag over de technische aspecten van de methodiek, de indicatoren of de verplichting tot het behalen van resultaten. Hieruit vloeien vertragingen en verstoringen bij het uitbrengen van evaluatierapporten voort, alsmede een wisselende kwaliteit van de analyse en soms vage aanbevelingen (zie de paragrafen 4.31-4.36).

3.8. Bij de toepassing van de methodieken die betrekking hebben op de evaluaties achteraf van de doelstellingen 1 en 2 van 1989-1993, zijn statistische lacunes, het ontbreken van doelstellingen en van voorlopige gekwantificeerde indicatoren, alsmede een ondoeltreffende follow-up van de effecten geconstateerd. Daarnaast was de wijze waarop de methodieken werden toegepast niet altijd voldoende consequent. Deze evaluaties hebben evenwel een toegevoegde communautaire waarde van de SF's aan het licht gebracht, zowel op het stuk van de uitvoeringen, de resultaten en de effecten van de CB's, OP's en maatregelen, als op het gebied van de programmering, de organisatie, het toezicht, de coördinatie, het partnerschap en de additionaliteit (zie de paragrafen 4.15-4.19, 5.1, 5.4, 5.10-5.16).

3.9. Bij de tussentijdse evaluaties die betrekking hebben op de acties uit hoofde van de SF's 1994-1999 die binnen het partnerschap worden aangewend in het kader van de toezichtcomités, speelt de analyse van de materiële en financiële uitvoeringen altijd een grote rol, ook al wisselt de aan verschillende doelstellingen verleende prioriteit. De evaluatie van de effecten wordt belemmerd door problemen die zich met name met de indicatoren en het opstellen van modellen voor de effecten voordoen. Deze evaluaties hebben dikwijls nog slechts een beperkt nut voor het besluitvormingsproces, het beheer van de projecten, de herprogrammering of het opzetten van toekomstige acties (zie de paragrafen 4.16-4.21, 6.5, 6.7, 6.14-6.26).

3.10. Wat in het bijzonder doelstelling 2 (D2) betreft, heeft de evaluatie met name de volgende zwakke punten aan het licht gebracht:

a) de uitvoering van de programma's en de communautaire financiering zijn niet op elkaar afgestemd - aangezien de overdrachten van kredieten van het ene programma naar het andere belangrijk blijven - in de orde van gemiddeld 12 % voor de overgang van de periode 1994-1996 naar de periode 1997-1999 (zie paragraaf 6.27);

b) vanwege de reeks korte programmeringsperiodes kan er geen optimaal gebruik worden gemaakt van de uit de evaluatie voortgekomen resultaten (zie paragraaf 4.23);

c) de indirecte effecten zijn nog steeds onvoldoende gemeten om het effect van de structurele acties te kunnen afbakenen, met name waar het gaat om werkgelegenheid (zie de paragrafen 5.12-5.15).

3.11. De uitgevoerde macro-economische evaluaties hebben ondanks lacunes in de programmerings-, uitvoerings- en controlesystemen voor de structurele acties, positieve resultaten aan het licht gebracht, met name ten aanzien van het effect van deze acties (toename van het BBP, invloed op vraag en aanbod, verbetering van de werkgelegenheid en de convergentie, doeltreffendheid van de instrumenten van de CB's)(zie de paragrafen 7.1-7.14).

3.12. De evaluaties van de subprogramma's of maatregelen zijn nog steeds gebrekkig. Bovendien doen zich hierbij technische problemen voor die worden veroorzaakt door de spreiding van en het gebrek aan cohesie tussen een groot aantal maatregelen en subprogramma's (zie paragraaf 7.17).

4. ALGEMENE PROBLEMEN

Inleiding

4.1. De evaluatie heeft tot doel vast te stellen welke de sociaal-economische effecten van de uitgevoerde acties zijn, dat wil zeggen na te gaan welke resultaten zijn geboekt, deze te vergelijken met de geïnvesteerde middelen en de kosten te analyseren. Al deze punten dienen tevens te worden geanalyseerd in het licht van de prognoses. Voor een goede uitvoering van deze evaluatietaak is het noodzakelijk dat er een goede statistische basis is, dat gekwantificeerde doelstellingen op basis van een indicatorensysteem worden geformuleerd en dat het methodologische en analytische kader wordt ontwikkeld, waarbij wordt uitgegaan van een analyse van de relatie tussen aangewende middelen, uiteindelijke resultaten en tussentijdse resultaten. De Kamer heeft tekortkomingen op al deze niveaus geconstateerd, waardoor het nut van de afgeronde evaluaties in het kader van de Structuurfondsen tot dusver beperkt is, ook al is er duidelijke vooruitgang waargenomen, die bijdraagt tot de verwezenlijking van een duurzame evaluatiedynamiek.

4.2. Sinds de hervorming van 1988 vindt de evaluatie uitdrukkelijk plaats in het kader van het partnerschap (artikel 26 van Verordening (EEG) nr. 4253/88 - nader uitgewerkt in de gewijzigde verordening van 20 juli 1993). Gedurende de eerste programmeringsperiode en tot in 1995 zijn de evaluaties echter voornamelijk op initiatief van de Commissie (5) uitgevoerd. Deze evaluaties - en met name de evaluaties die als evaluaties achteraf kunnen worden getypeerd - zijn belemmerd door vage ontwikkelingsstrategieën en door gebrekkige follow-up. Bovendien hebben de toezichtcomités er in de meeste gevallen niet werkelijk rekening mee gehouden of ze diepgaand besproken.

4.3. De Commissie heeft aanvankelijk vooral gezorgd voor de invoering van haar eigen evaluatiesysteem voor alle CB's die betrekking hebben op de vijf prioritaire doelstellingen van de hervorming (6). Van de initiatieven van de Commissie die verband houden met de ontwikkeling van de evaluaties en de daarmee samenhangende methoden, dienen met name de oprichting van de technische groep "Evaluatie van regionaal beleid" in 1992 en, op methodologisch vlak, de entamering van het programma "Methoden voor de evaluatie van structuurmaatregelen" (MEANS) in 1994 te worden vermeld.

4.4. Voor de programmeringsperiode 1994-1999 heeft de Commissie de grondslag gelegd voor een nieuwe evaluatiedynamiek, namelijk de systematische toepassing van de evaluatie op de eerste twee fasen (vooraf, tussentijds) en later in de fase achteraf.

4.5. Hoewel de verordeningen inzake de SF's niet expliciet voorzien in de tussentijdse evaluatie, is zij vanaf 1995-1997 toegepast op alle CB's, EPD's en OP's voor de programmeringsperiode 1994-1999. Deze evaluatie is een concrete maatregel in het kader van het partnerschap, die de toezichtscomités als instrument voor geïntegreerd beheer kunnen gebruiken, waardoor de evaluatiecultuur op zeer grote schaal kan worden verspreid. De Commissie heeft voor de tussentijdse evaluatie een systeem in opeenvolgende fasen opgezet voor de uitvoering ervan bij de lidstaten (7).

4.6. In dit systeem wordt echter de concrete wijze waarop dit proces dient plaats te vinden (omschrijving van de bestekken, selectiecriteria voor de beoordelaar, structuur van het evaluatierapport, gegevensverzameling, vereiste kwaliteitsnormen, tijdschema, enz.) niet nauwkeurig omschreven.

4.7. Tegelijkertijd heeft de Commissie evenementen georganiseerd, aangevuld met talrijke publicaties (8). Door de evaluatiedeskundigen en de beheerders van de SF's bijeen te brengen, hebben deze evenementen bijgedragen aan de ontwikkeling van de evaluatiecultuur en aan de bewustmaking van de beheerders met betrekking tot dit onderwerp. De evaluatie is voornamelijk gepresenteerd als een proces van leren door ervaring.

4.8. De Commissie heeft in mei 1998 in het kader van het voorontwerp van de algemene begroting van de Europese Gemeenschappen voor het begrotingsjaar 1999 het werkdocument "Evaluatiebalans 1996/1997" gepresenteerd. Hierin worden de in 1996-1997 uitgevoerde evaluatie-activiteiten beschreven, wordt de lijst met evaluaties vermeld die reeds zijn uitgevoerd of momenteel worden uitgevoerd, en worden in grote lijnen de resultaten van de in 1996-1997 uitgevoerde evaluaties gegeven.

4.9. De uitgaven die de evaluatie met zich meebrengt kunnen rechtstreeks door de Commissie worden gefinancierd of worden medegefinancierd uit hoofde van het partnerschap met de lidstaten. In de tabellen 1 en 2 worden de directe uitgaven aangegeven die DG XVI heeft gemaakt in verband met de evaluatie voor de twee programmeringsperioden 1989-1993 en 1994-1999.

4.10. Voor de periode 1989-1993 liggen de aan de evaluatie bestede uitgaven in de orde van 10 Mio ECU, zoals blijkt uit tabel 1. Ongeveer tweederde van deze uitgaven is gedaan op twee gebieden die rechtstreeks onder de verantwoordelijkheid van de Commissie vallen en die voortvloeien uit haar eigen initiatief: enerzijds de communautaire initiatieven uit hoofde van artikel 11 van Verordening (EEG) nr. 4253/88 ten bedrage van 3,1 Mio ECU en anderzijds de transversale en thematische evaluaties zoals de KMO's, telecommunicatie, het milieu of menselijk potentieel ten bedrage van 3,2 Mio ECU. De bedragen die bestemd zijn voor de evaluatie van D1 en D2 van de SF's zijn daarentegen nog steeds relatief laag, aangezien het partnerschap zich gedurende dezelfde periode nauwelijks ontwikkeld heeft op het gebied van evaluatie. In april 1998 is het aan de evaluatie van de periode 1994-1999 bestede bedrag 25,2 Mio ECU, zoals blijkt uit tabel 2. Deze toename ten opzichte van de voorafgaande periode valt te verklaren door de ontwikkeling van de tussentijdse evaluatie en de hierop betrekking hebbende methodiek in het kader van het partnerschap.

4.11. Wat betreft de door de Commissie en de lidstaten in dit kader gedane uitgaven, die sinds 1996 sterk zijn toegenomen, beschikt de Commissie niet altijd over alle hiermee samenhangende gegevens, vooral wanneer de evaluaties worden opgenomen in de maatregel "technische bijstand" van de operationele programma's, waaronder ook andere uitgaven kunnen vallen. Wanneer vanaf de beginfase van de programmering voor een bedrag zou kunnen worden gezorgd dat specifiek is toegewezen aan de evaluatie, zou er een doorzichtiger beeld van de hieraan verbonden kosten ontstaan.

Referentiekader

4.12. In de ontwikkeling van de evaluatie neemt het MEANS-programma (1995-1998), met een bedrag van in totaal 2,8 Mio ECU, een specifieke plaats in (9). Met de toegepaste benaderingswijze wordt gestreefd naar een uniforme en coherente ontwikkeling op methodologisch vlak, door de door de lidstaten gehanteerde methodieken te inventariseren en bruikbare voorbeelden onder de aandacht te brengen. Met deze aanpak, die voornamelijk als aansporing en empirisch is bedoeld, kan de Commissie zich niet uitspreken over de concrete uitvoeringsvoorschriften voor evaluatiemethodes of over de keuze van indicatoren, in het bijzonder indicatoren die de sociaal-economische effecten op het vlak van regionale ontwikkeling beogen te meten. Gezien het ingewikkelde methodologische karakter van de evaluatie bestaat er niet één enkele methodiek die op elke specifieke situatie kan worden toegepast. Het is desalniettemin van belang dat de Commissie methodologische begeleiding kan bieden waardoor de beschikking wordt verkregen over passende richtsnoeren voor de uitvoering van aan specifieke situaties aangepaste evaluaties.

4.13. De resultaten van het MEANS-programma hebben tot dusver gediend voor het leggen van de eerste grondslagen van een nieuwe benaderingswijze inzake evaluatie, met name door het invoeren van een gemeenschappelijke taal. Bovendien kon aan de hand van deze resultaten de tussentijdse evaluatie in het kader van het partnerschap worden opgezet. In de tabellen 3 en 4 wordt de algemeen geaccepteerde benaderingswijze voor de evaluatie gegeven. Het MEANS-programma heeft echter nog geen grondig antwoord op vragen over met de evaluatie verband houdende praktische of operationele aspecten gegeven. Derhalve zijn twee fundamentele vragen nog steeds niet beantwoord: enerzijds, welk indicatorensysteem is het meest geschikt om een algemeen oordeel over een communautair structureel programma te formuleren en, anderzijds, welke aanpak voor evaluatie is het meest geschikt om het sociaal-economische effect van een specifiek structureel programma in het kader van de regionale ontwikkeling te meten. De Commissie is nog niet in staat precieze instructies te formuleren wat betreft de concrete technieken die in elke specifieke evaluatiesituatie moeten worden toegepast. Dit heeft met name een negatieve invloed op de uitvoering van de tussentijdse evaluaties van acties voor bijstandsverlening van de programmeringsperiode 1994-1999.

Statistische basisgegevens en informatie over de doelstellingen

4.14. Bij de evaluaties, of ze nu vooraf, tussentijds of achteraf plaatsvinden, worden vaak te algemeen geformuleerde doelstellingen geconstateerd, zelfs met betrekking tot de doelstellingen van de maatregelen.

4.15. Het ontwikkelingsniveau van de bestaande statistische basisgegevens vormt een belemmering voor het toezicht op en de evaluatie van de programma's en maatregelen die door de Structuurfondsen worden medegefinancierd. De lacunes betreffen met name het gebrek aan statistische gegevens met betrekking tot de betreffende gebieden, het ontbreken van statistische gegevens voor bepaalde aspecten, en een periodieke informatievergaring die niet is afgestemd op de behoeften aan toezicht en evaluatie.

Indicatoren

4.16. De aanwezigheid van betrouwbare en geschikte indicatorensystemen is een onmisbaar element van het programmeringsproces. Voor de evaluatie is het nodig dat de structurele programma's informatie bevatten over de financiële en fysieke uitvoering alsook over de resultaten of het functioneren van de acties. Aan de hand van deze indicatoren moeten de beheerders inzicht kunnen verkrijgen in de onmiddellijke of duurzame effecten van de uitgevoerde acties en kan bovendien de geboekte voortgang in het licht van de algemene doelstellingen van de programma's, zoals regionale groei of daling van de werkloosheid, worden gemeten.

4.17. De betrouwbaarheid van de financiële indicatoren is nauw verbonden met die van de verklaringen inzake de uitgaven die aan de Commissie zijn toegezonden om de hierop betrekking hebbende communautaire betaling op gang te brengen. De fysieke indicatoren worden vaak gezien als aanvullende informatie en de betrouwbaarheid ervan is relatief. Met de bestaande gegevensbestanden is het niet altijd mogelijk de fysieke ontwikkeling van de uitvoering te registreren en de uiteindelijke begunstigden stellen de beheerders niet altijd regelmatig op de hoogte van de staat waarin de fysieke uitvoering zich bevindt. In de tussentijdse evaluatie van het OP Lisboa e Vale do Tejo in Portugal wordt gewag gemaakt van fysieke indicatoren die strikt overeenkomen met de uitgaven en worden er geen afwijkingen vermeld die kunnen ontstaan door vertraging in de uitvoering of door andere oorzaken. De lidstaten zouden hun toezichtsmechanismen en de databanken ter ondersteuning van de indicatoren moeten verbeteren.

4.18. Bij het vaststellen van de resultaten en de effecten van de subprogramma's en maatregelen enerzijds en van het effect van de programma's anderzijds, worden onduidelijkheden geconstateerd die een negatief effect hebben op het vaststellen van causale verbanden tussen de verschillende niveaus waarop de doelstellingen betrekking hebben en tussen de doelstellingen en de maatregelen en projecten, alsmede op het vaststellen van horizontale complementaire en coherente verbanden tussen maatregelen en tussen doelstellingen. Het is derhalve moeilijk het specifieke effect van een maatregel op de regionale ontwikkeling of het effect van een investering op de vraag of, a fortiori, op het aanbod, te bepalen. In dit kader blijkt de zoektocht naar indicatoren die een adequaat hulpmiddel vormen voor de evaluatie van de resultaten en van het effect wat het CB 1994-1999 betreft, nog niet afgerond (zie 6.23).

4.19. De beoordeling vooraf van het CB is onontbeerlijk voor de latere evaluaties. Hiermee worden namelijk alle indicatoren van resultaten en effect opgesteld en gekwantificeerd zodat het verwachte effect van het programma kan worden beoordeeld en met het werkelijke effect kan worden vergeleken. In dit verband is de werkwijze van beheer per doelstelling niet altijd op geharmoniseerde wijze dan wel in voldoende mate toegepast, hetgeen gevolgen heeft gehad voor de voor de evaluatie vereiste indicatoren. Zo bevat het CB 1994-1999 van Italië een gering aantal indicatoren, wat latere evaluaties ervan zou kunnen bemoeilijken. Het CB 1994-1999 van Portugal, dat zonder dat er al te grote wijzigingen in waren aangebracht, door de Commissie werd goedgekeurd, bevat daarentegen een te groot aantal indicatoren, te weten om en nabij de 300, wat de evaluatie eveneens moeilijker maakt. Het feit dat de indicatoren voor de verschillende CB's zo uiteenlopen, benadrukt nog eens het gebrek aan coherentie van de programmering. De aanwezigheid van talrijke algemene en weinig kwantificeerbare doelstellingen leidt bij de tussentijdse evaluatie soms tot herziening van het indicatorensysteem dat door de Commissie was goedgekeurd in de periode waarin de beoordeling vooraf plaatsvond, aangezien deze niet duidelijk genoeg omschreven was en er niet goed mee te werken was.

4.20. De structurele acties en de sociaal-economische omstandigheden die hierdoor worden beïnvloed, geven aanleiding tot een grote verscheidenheid aan indicatoren die vaak gedecentraliseerd worden vastgesteld. De Commissie heeft geen lijsten met indicatoren opgesteld die zij onontbeerlijk en representatief acht voor regionale ontwikkeling of in het kader van de verschillende actievormen, ook al zijn gedeeltelijke lijsten wel verstrekt aan bepaalde nationale of regionale instanties en zijn daarover reeds discussies gevoerd.

4.21. In het kader van het toezicht zou een grotere kwantificering van de indicatoren van de resultaten en het effect moeten worden ontwikkeld, zonder de betrouwbaarheid van deze kwantificering uit het oog te verliezen. Het komt namelijk voor dat deze kwantificering niet betrouwbaar is, zodat niet kan worden voorkomen dat in bepaalde gevallen gecreëerde arbeidsplaatsen twee keer worden geteld, of dat het niet mogelijk is de bruto-effecten op de werkgelegenheid te onderscheiden van de netto-effecten. Dit is geconstateerd na vergelijking van het tussentijds evaluatierapport van het OP Brandenburg met de statistische gegevens betreffende de inschrijving van personen in het socialezekerheidsstelsel.

Benutting van de evaluatie

4.22. De mate waarin de evaluatie bijdraagt aan een efficiënte aanwending van de communautaire middelen hangt grotendeels af van de kwaliteit van de inhoud, alsook van de datum van ontvangst van de resultaten en de datum van het besluit tot wijziging van het beleid. Een aantal tussentijdse evaluaties van de CB's, EPD's en OP's van de programmeringsperiode 1994-99 is echter vrij laat afgerond, waardoor eventuele wijzigingen met vertraging werden uitgevoerd.

4.23. Wat de programmering van D2 betreft, is het gevolg van de reeks kortere (in verhouding tot D1) programmeringsperioden dat de data waarop de programmeringsbesluiten moeten worden genomen zeer waarschijnlijk niet samenvallen met de data waarop de evaluatieresultaten beschikbaar zijn, zodat het mogelijk wordt lering te trekken uit het verleden en de latere acties aan te passen. In zekere zin verlopen de programmeringscyclus van D2 en de evaluatiecyclus ervan niet parallel; zo is de definitieve versie van het samenvattend rapport van de evaluatie achteraf van D2 voor de periode 1989-1993 in de zomer van 1997 aan de Commissie overgelegd, terwijl de beoordeling vooraf van de programmering 1997-1999 reeds gaande was en met de evaluatie achteraf van de periode 1994-1996 nog niet was begonnen.

4.24. Ongeacht de resultaten van de structurele programma's waarop in de evaluatierapporten de aandacht wordt gevestigd, blijft de begrotingstoewijzing ten gunste van deze of volgende programma's vaak onveranderd. Er is in de eerste programmeringsperiode in het besluitvormingssysteem zeer zelden rekening gehouden met de evaluaties, aangezien herprogrammeringen over het algemeen voornamelijk waren gebaseerd op de bestedingsgraad. Dit was het geval voor de nuttige aanbevelingen die de voornaamste consultant heeft gedaan in het kader van de evaluatie achteraf van doelstelling 1 van de CB's 1989-1993 (zie paragraaf 5.7).

4.25. De meer kwalitatieve aspecten betreffende resultaten of doeltreffendheid van de programma's die in tussentijdse evaluaties of uitvoeringsverslagen worden behandeld, hebben onvoldoende invloed gehad op het operationeel beheer van de SF's, noch op het proces dat moet leiden tot grotere betrokkenheid en zelfredzaamheid van de partners voor wie de programma's worden ontwikkeld.

4.26. De resultaten van de tussentijdse evaluatie van de EPD's, CB's en OP's in het kader van doelstelling 2 (1994-1996), alsook die van het toezicht, maken duidelijk dat de geprogrammeerde financiering en de uitvoering van de programma's niet op elkaar zijn afgestemd. Deze situatie leidt ertoe dat de aandacht voor de besteding van de kredieten gaat overheersen en kan uitmonden in een onderwaardering van de rol van de evaluatie in de analyse van het betrokken gebied, met name wat betreft de coherentie tussen de doelstellingen, de toegewezen middelen en het effect van de structurele acties.

4.27. Vaak zijn de conclusies en aanbevelingen van evaluaties voor de beheerders van acties voor bijstandsverlening vanzelfsprekend, ook al kunnen ze nuttig voor andere partners zijn. Dat geldt zowel voor de evaluaties achteraf (zie paragraaf 5.8) als voor de tussentijdse evaluaties in het kader van het partnerschap.

Objectiviteit van de evaluaties

4.28. Het ontbreken van een duidelijk referentiekader belemmert de toepassing van adequate en objectief toepasbare methoden op de specifieke evaluatieomstandigheden, zodat een vlotte controle van de resultaten kan plaatsvinden en de onafhankelijkheid van de beoordelaar kan worden gegarandeerd. Het komt echter voor dat de motivering van de aanbevolen methode niet objectief is, dat de beoordelaar zijn benadering te gemakkelijk afstemt op de problemen waarmee hij wordt geconfronteerd of dat hij de indicatoren afhankelijk van de beschikbare informatie kiest.

4.29. Lang niet altijd is er sprake van onafhankelijkheid ten aanzien van de beheerders, met name als het gaat om informatie (zie paragraaf 6.11), terwijl in de evaluatierapporten niet altijd de informatiebron wordt vermeld waarop de hierin gegeven bevindingen zijn gebaseerd. Deze lacune kan ertoe leiden dat de betrouwbaarheid en validiteit van de informatie die in de evaluatierapporten wordt gegeven, in twijfel worden getrokken.

4.30. Terwijl de objectiviteit zou moeten worden gegarandeerd door een controlesysteem dat gericht is op de kwaliteit van indicatoren (van uitvoering, resultaten en effect), de betrouwbaarheid van de basisinformatie en de mate waarin de methodiek wordt toegepast, analyseren de diensten van de Commissie de in het kader van de evaluatie gepresenteerde informatie en resultaten, maar oefenen geen enkele controle ter plaatse uit of gaan niet na of de in de lidstaten voorhanden zijnde evaluatiesystemen goed functioneren.

De door de Commissie gegunde evaluatiecontracten

4.31. Het onderzoek naar de procedures voor de gunning van contracten voor de evaluaties die de Commissie heeft laten uitvoeren, heeft zwakke punten aan het licht gebracht: inadequate selectieprocedures, te vage bestekken, vertragingen en povere kwaliteit van de rapporten.

4.32. De beoordelings- of onderzoeksfactoren die bepalen wie door de Commissie als consultant wordt aangewezen, worden niet altijd precies vermeld in de notulen van de vergaderingen over de aanbestedingsprocedure. De door de Kamer uitgevoerde controle heeft niet kunnen vaststellen dat de beste deskundigen met de meest geschikte capaciteiten zijn geselecteerd.

4.33. In het geval van de evaluatie achteraf van de CB's 1989-1993 in het kader van D1 en die in het kader van D2 had de selectie bovendien betrekking op respectievelijk één voornaamste consultant plus een aantal andere nationale consultants en coördinerende consultants die later zelf de onderzoeken uitbesteedden aan andere consultants. Hierdoor kan de Commissie de controle verliezen op de uitvoeringsvoorschriften van de evaluatie ter garantie van de coherentie, de homogeniteit en de kwaliteit van de resultaten.

4.34. De bestekken zijn soms onduidelijk wat betreft de omschrijving van de te verrichten werkzaamheden en de verwachte verplichting tot het boeken van resultaten. De contractbepalingen zijn zeer algemeen. De wijze waarop de evaluatie wordt uitgevoerd kan vaak nog in een later stadium worden goedgekeurd op basis van een overeenkomst met de Commissie over de methodiek.

4.35. Er worden vaak vertragingen geconstateerd wat betreft het tijdschema voor de indiening van de rapporten. Zo werd wat betreft de evaluatie van alle CB's 1989-1993 D1, in het contract bepaald dat het rapport op 28 februari 1995 diende te worden overgelegd, maar dit was pas in november 1995 volledig. De Commissie had geen enkele sanctie met betrekking tot het niet nakomen van de contractuele verplichtingen wat betreft de uiterste datum van indiening voorzien. Zij heeft daarentegen op 11 juli 1995 de laatste betaling van 40 % overeenkomstig artikel 4 van het contract overgemaakt.

4.36. Het ontbreken van precieze en duidelijke contractbepalingen over de te volgen methodiek en de beoogde resultaten kan ten aanzien van de rapporten uiteenlopende reacties van de diensten van de Commissie opleveren. Zo komt het voor dat soms rapporten worden geaccepteerd die zich beperken tot eenvoudige beschrijvingen of tot vage analyses van het nut van projecten of programma's, of die zijn gebaseerd op algemene beweringen van ondervraagde personen, of die weer leiden tot te algemene aanbevelingen. In het geval van de evaluatie achteraf van het CB 1989-1993 Ierland raadt een dienst ontbinding van het contract met de consultant aan op grond van de slechte kwaliteit, terwijl een andere dienst het heeft goedgekeurd. In het geval van de evaluatie achteraf van het CB 1989-1993 Portugal zijn de betrokken diensten het erover eens dat het rapport geen evaluatieonderdelen bevat, maar zich beperkt tot het weergeven van reeds door de lidstaat voorgelegde onderdelen van de fysieke uitvoering. Evenzo wordt erop gewezen dat het rapport inzake de evaluatie achteraf van het CB 1989-1993 Spanje te beschrijvend is en slechts weinig analyses bevat. De evaluatie achteraf van het CB 1989-1993 Noord-Ierland wordt onvolledig geacht. Het rapport inzake de evaluatie achteraf van het CB 1989-1993 Italië wordt beschouwd als slecht gestructureerd en georganiseerd. Bij de evaluatie van het CB 1989-1993 Griekenland ontbreekt de algemene conclusie, terwijl hierin wel conclusies per hoofdstuk worden vermeld.

5. EVALUATIES ACHTERAF VAN DE CB'S IN HET KADER VAN DOELSTELLINGEN 1 EN 2 (1989-1993)

Inleiding

5.1. De beoordelaars worden vaak geconfronteerd met de volgende problemen:

a) de aanvankelijke programmering is dikwijls in haast verricht en zonder evaluaties vooraf van de programma's, met name van de inherente economische grondslagen vooral wat betreft de regio's van D1;

b) het ontbreken van gekwantificeerde doelstellingen en resultaatindicatoren;

c) statistische lacunes met betrekking tot de sociaal-economische situatie zoals die was vlak vóór de acties uit hoofde van de SF's in het kader van D2 en zoals die is na de acties, met name wat betreft de industriële structuur, de investeringen en het bruto regionaal product. De statistische instrumenten zijn niet altijd afgestemd op de gekozen onderzoeksgebieden (gemeente, arrondissement, arbeidsmarkt);

d) bepaalde acties zijn niet afgerond;

e) de aanwezigheid van exogene factoren die ertoe bijdragen dat een verklaring kan worden gegeven voor de ontwikkeling van de sociaal-economische situatie;

f) het heterogene karakter van de projecten en van de doelstellingen ervan, terwijl de toekenning van steun niet voldoende is afgestemd op de regionale of lokale behoeften;

g) de aan de maatregelen en het programma inherente effecten die niet eenvoudig kunnen worden waargenomen wegens het grote aantal acties ten behoeve van dezelfde regio of hetzelfde gebied;

h) het feit dat de indirecte effecten van het programma moeilijk te meten zijn (met name met betrekking tot werkgelegenheid), aangezien hiervoor geen observatiemechanisme is ingesteld sinds de entamering van de programma's en er na afronding van de programma's geen diepgaand onderzoek naar dit onderwerp is uitgevoerd.

Evaluatie achteraf van de CB's in het kader van doelstelling 1 (1989-1993)

5.2. De evaluatie achteraf van de CB's in het kader van D1 werd gecoördineerd door één centrale consultant en bestaat uit evaluaties achteraf van de betreffende CB's die door nationale consultants tussen januari 1994 en juni 1995 zijn uitgevoerd. De consultant die belast was met de coördinatie heeft de te hanteren methodiek uitgewerkt op basis van analyses, zowel op macro-economisch niveau als op niveau van maatregelen en projecten. Het doel van deze aanpak is enerzijds de aan de CB's, OP's en maatregelen inherente strategie en logica te analyseren en anderzijds een eerste overzicht van de fysieke uitvoeringen en van het effect te bieden, en in laatste instantie de uitvoeringsmechanismen te onderzoeken. In bijlage I wordt een samenvatting van deze benaderingswijze gegeven.

5.3. Hoewel de voorgestelde methodiek in haar geheel coherent is, vertoont deze toch zwakke punten. Zo wordt ervan uitgegaan dat de analyse van de aan de CB's, OP's en maatregelen inherente strategie en logica is gebaseerd op een geharmoniseerde doelstellingenstructuur die verband houdt met een standaardnomenclatuur voor activiteiten. Deze aanpak zou een vergelijking tussen lidstaten mogelijk moeten maken, maar leidt niet noodzakelijkerwijs tot een rangschikking van de doelstellingen, die zowel op de prioriteiten zoals vastgesteld door de lidstaten gefundeerd is als op de criteria rangorde, complementariteit, vervangbaarheid en synergie. Hiermee kunnen evenmin alle zwakke punten in de coherentie binnen de voor elk CB of OP kenmerkende strategie worden geïdentificeerd. Bovendien kunnen met de fysieke en effectindicatoren die in het methodologische document worden vermeld de relevante vragen over de al dan niet verwachte effecten waarop middels de methodiek wel een antwoord dient te worden gegeven vaak niet worden beantwoord.

5.4. De Kamer heeft bovendien lacunes vastgesteld, zoals:

a) wat betreft de ontwikkeling van het sociaal-economisch klimaat van de CB's en de OP's zijn de beginsituatie waarop de communautaire actie moet inwerken (1988-1989) en de situatie wanneer de uitvoering is afgerond (1993-1994) niet altijd met elkaar vergeleken; soms zijn de gegevens te oud, met name die welke betrekking hebben op regionale verschillen;

b) de rangschikking van de doelstellingen waarin de methodiek voorziet, is meestal niet in voldoende mate geanalyseerd; hetzij omdat deze rangschikking nog niet was vastgesteld, hetzij omdat deze nog niet volledig was en alleen de OP's en maatregelen die waren geselecteerd voor een specifiek onderzoek erin waren opgenomen, of de structureringscriteria er niet op systematische wijze in werden toegepast; zo kwam het voor dat de rangschikking van de doelstellingen en de instrumenten niet leidde tot een betere vaststelling van de problemen inzake coherentie en relevantie van prioriteiten en het relatief belang ervan;

c) soms is er geen grondige analyse gemaakt van de oorzaken van de in de CB's en OP's aangebrachte wijzigingen;

d) terwijl de financiële uitvoering, de uitvoeringsmechanismen en de fysieke uitvoeringen over het algemeen ruimschoots worden behandeld in de evaluatierapporten, is er, behalve in termen van gecreëerde arbeidsplaatsen, in bepaalde gevallen geen onderzoek gedaan naar de effecten van de programma's of maatregelen of worden de effecten in niet-kwantitatieve termen geformuleerd. De enige gekwantificeerde effecten komen soms tot stand door de toepassing van macro-economische modellen en hebben betrekking op de toename van het BBP, het creëren van werkgelegenheid, het concurrentievermogen. Hieruit bleek het tekort aan gegevens die door de beheerders in het kader van de toezichtsystemen zijn verschaft;

e) de bottom-up-analyses leidden er over het algemeen niet toe dat er conclusies kunnen worden getrokken wat betreft het effect van programma's;

f) de toegevoegde waarde op communautair niveau wordt soms slechts uitgedrukt in kwalitatieve termen (bijvoorbeeld de mate waarin rekening wordt gehouden met de logica van het programma, de uitvoering van een geïntegreerde strategie, het effect op het organisatieproces); het onderzoek naar deze toegevoegde waarde geschiedde overigens niet altijd op systematische wijze;

g) op de verwachte langetermijneffecten is niet ingegaan of slechts in kwalitatieve zin.

5.5. Het CB Spanje in het kader van D1 is zowel onderwerp geweest van een evaluatie achteraf waartoe opdracht was gegeven door de Commissie, als van een andere evaluatie waartoe de aanzet was gegeven door de nationale overheden en die communautaire medefinanciering genoot. Hoewel deze twee evaluaties in dezelfde periode zijn uitgewerkt en dezelfde doelstellingen werden nagestreefd, zijn deze toch onafhankelijk en los van elkaar uitgevoerd.

5.6. Wat resultaten en effect betreft, blijken uit de evaluaties achteraf een aantal zaken, te weten de fysieke uitvoeringen uit hoofde van de CB's in het kader van D1, de macro-economische effecten van de CB's die in sommige nationale evaluaties in overweging zijn genomen, en de vorderingen die bij de planning zijn geboekt, hoewel op dat gebied bij de aanpak per programma een aantal obstakels zijn geconstateerd (10). In deze evaluaties achteraf wordt eveneens de nadruk gelegd op de bijdrage die de CB's leveren als het gaat om innoverende organisatiestructuren, financieel beheer, toezicht, informatie-, coördinatie- en partnerschapssystemen, hoewel op al deze niveaus nog altijd belangrijke vooruitgang dient te worden geboekt.

5.7. De door de voornaamste consultant in 1995 geleverde samenvatting bevatte enkele nuttige aanbevelingen waaraan de Commissie niet geheel gevolg heeft kunnen geven: bijvoorbeeld duidelijker onderscheid bij de uitwerking van de programmering tussen de communautaire structurele acties waarmee de endogene groeifactoren worden bevorderd en die welke het regionaal herstel van het evenwicht of de verbetering van de welvaart ten doel hebben; of afstemming van de aan investeringen in de infrastructuur toegekende prioriteit op specifieke karaktereigenschappen van de regio's die moeten worden ontwikkeld, of groter evenwicht tussen enerzijds de bestrijding van werkloosheid en anderzijds de noodzaak dat de productiviteit en het concurrentievermogen toenemen; of tot slot dat in het regionaal beleid meer rekening dient te worden gehouden met de werkgelegenheid.

5.8. De door de beoordelaars op nationaal niveau uitgevoerde evaluatie achteraf van alle CB's 1989-1993 in het kader van D1 was voornamelijk gericht op verbetering van de systemen voor het uitoefenen van toezicht en beheer van de lidstaten, en niet zozeer op een werkelijke evaluatie van het effect van de SF's.

Evaluaties achteraf in het kader van doelstelling 2 (1989-1993)

5.9. De evaluaties achteraf van de programma's in het kader van D2 voor de periode 1989-1993 werden in de 60 subsidiabele regio's gecoördineerd door een externe beoordelaar. Elke regio is onderworpen aan een algemene analyse, terwijl in het geval van 22 regio's grondig onderzoek is verricht. Het belangrijkste doel van deze evaluaties was het analyseren van het effect van deze structurele acties op het industriële omschakelingsproces in deze regio's en hieruit lering trekken voor de volgende programmering. Een samenvatting van de manier waarop de evaluatie is aangepakt, is te vinden in bijlage II.

5.10. Hoewel was voorzien in een gemeenschappelijk kader, zijn de gekozen benaderingen erg heterogeen, met name wat betreft de prioriteiten en het ontwikkelingsniveau van de analyse, het beschrijvende of kritische karakter ervan, de gebruikte methoden en technieken.

5.11. De analyse van de geschikte strategie en het geschikte karakter voor de CB's en de OP's en van de wijzigingen die ze hebben ondergaan in verband met het sociaal-economisch klimaat, heeft zelden geleid tot herformulering van de structuur van de doelstellingen, de subprogramma's en de maatregelen op basis van de logica van regionale ontwikkeling of omschakeling en op basis van de criteria voor rangorde, complementariteit en vervangbaarheid. Via een dergelijke herformulering in uitgewerkte vorm zou een systematischer opsporing van de lacunes in de uitgevoerde strategie mogelijk moeten zijn, voor wat betreft de coherentie, het juiste relatieve belang van de prioriteiten, de synergieën, de complementariteit, de doeltreffendheid met betrekking tot het sociaal-economisch klimaat. Veel strategieanalyses die uitgaan van de structuur van de CB's en de OP's zijn daarentegen niet volledig en weinig kritisch ten aanzien van die strategie.

5.12. Wat het effect van de acties in het kader van de SF's betreft, slagen de beoordelaars er niet in om op basis van een steekproef onder projecten en een analyse van de resultaten, de toegevoegde waarde en additionaliteit ervan, hun bevindingen ook toe te passen op de beoordeling en het sociaal-economisch effect van het programma.

5.13. Slechts weinig evaluaties waren gebaseerd op een echte combinatie van een top-down- en bottom-upbenadering. Deze combinatie is met name gebruikt voor de evaluatie met betrekking tot de acties in het kader van D2 ten behoeve van Toscane. In dit geval kon met de top-downbenadering, waarbij werd uitgegaan van een biregionaal econometrisch model, zowel voor Toscane als voor de rest van Italië een schatting worden gemaakt van het globale effect van de toegenomen vraag op de productie per sector, op de verbruiksniveaus en op de toegevoegde waarde. Met dit model kunnen tevens multiplier-effecten per soort actie (infrastructuren, diensten aan ondernemingen, steun voor particuliere investeringen) en effecten op de werkgelegenheid (11) worden geraamd. De directe effecten op de werkgelegenheid zijn ingeschat met behulp van een techniek die gebruik maakt van standaardcoëfficiënten voor de verschillende actievormen. Deze top-downbenadering heeft dus betrekking op de directe met de vraag samenhangende effecten op korte termijn. De bottom-upbenadering, waarbij wordt uitgegaan van een steekproef onder projecten en maatregelen, is meer bedoeld om de effecten op lange termijn zichtbaar te maken - de meer structurerende en indirecte effecten die vooral betrekking hebben op het aanbod en de externe besparingen, zodat de productiekosten kunnen worden teruggebracht. Zelfs al zijn deze effecten moeilijker te isoleren en te kwantificeren en al kunnen via deze benadering de effecten niet worden vastgesteld voor de maatregelen en het programma hetgeen toch vooral het doel was van de diepgaande evaluatie, vormen de kwalitatieve overwegingen ten aanzien van de doeltreffendheid van de maatregelen en de additionaliteit van de communautaire acties niettemin een nuttige aanvulling op de top-downbenadering. De combinatie van de twee benaderingswijzen kan een reële toegevoegde waarde aan de analyse geven, met name wanneer deze combinatie is gebaseerd op technieken die verband houden met het opstellen van modellen en met formalisering.

5.14. De effectevaluaties waarbij wordt uitgegaan van systematisch onderzoek - zoals ook het geval is bij verscheidene onderzoeken naar de additionaliteit van maatregelen of naar de toepassing van een specifieke methode om ramingen te maken van als gevolg van de maatregelen gecreëerde nettobanen door een experimentele en een controlegroep met elkaar te vergelijken - zijn ook dun gezaaid. Toch kennen ze een reële toegevoegde waarde toe aan de evaluatie van het effect. De evaluatie van de doeltreffendheid van de maatregelen en de programma's zou beter zijn geweest indien de beoordelaars een statistisch onderzoek hadden gedaan naar bepaalde resultaatindicatoren, waarbij het overigens wel zo is dat ze een dergelijk onderzoek soms wel hadden willen uitvoeren. Derhalve ontbreekt het soms aan gegevens over het aantal ondernemingen in de nieuwe industriegebieden die met steun van de SF's zijn opgezet, of gegevens over de technologische overdracht van onderzoeksinstituten naar de ondernemingen. De gesprekken met de beheerders van maatregelen en projecten waarin de evaluatiebenaderingen meestal voorzien, verschaffen maar zelden duidelijke informatie inzake de uitvoeringen, de resultaten en het effect van acties.

5.15. De resultaten op het gebied van gecreëerde banen zijn niet zeker in termen van duurzaamheid en ten aanzien van de vraag welk deel specifiek kan worden toegeschreven aan de structurele acties. Bovendien bevatten de evaluatierapporten af en toe tegenstrijdige gegevens.

5.16. Wat het effect van de programma's in het kader van D2 betreft, blijkt uit de evaluaties achteraf met name dat:

a) de OP's in het kader van D2, weliswaar nog niet vaak voor een verbetering van de sociaal-economische situatie hebben gezorgd, maar toch een verdere achteruitgang van deze situatie hebben helpen voorkomen, met name wat betreft het behoud van werkgelegenheid (12), en hebben geholpen de grondslagen voor de omschakeling te leggen; in de meeste regio's wordt namelijk gestreefd naar diversificatie van de economie en de industriële structuur en eventueel geprobeerd het imago kwijt te raken van een gebied dat uitsluitend op industrie is gericht;

b) ondanks de geïntegreerde aanpak waarbij wordt uitgegaan van het programmaconcept, de OP's soms een wijziging van reeds ingevoerde nationale en regionale beleidslijnen zijn en niet altijd een programmeringsinstrument vormen;

c) het feit dat OP's in het kader van D2 en communautaire initiatieven gelijktijdig worden uitgevoerd, aanleiding heeft gegeven tot verwarring en overlapping van verschillende vormen van steunverlening;

d) de actie in het kader van de SF's een positieve invloed heeft gehad op de programmering, de uitvoeringsvoorschriften, het partnerschap, de synergieën, de coördinatie en de evaluatie. Vaak wordt echter gewezen op het gebrek aan synergie en uitwisseling tussen beheerders en acties van het EFRO en het ESF;

e) wat de additionaliteit betreft, met de SF's nieuwe wegen kunnen worden bewandeld, projecten kunnen worden uitgevoerd die zonder communautaire steun niet hadden bestaan, de uitvoering kan worden bespoedigd of ambitieuzere projecten kunnen worden uitgevoerd, of ook nog een structurerend karakter kan worden gegeven aan het aanvankelijke project. De additionaliteit van de soorten maatregelen (steun voor infrastructuur, diensten aan ondernemingen, steun voor particuliere investeringen) kan nogal verschillend blijken;

f) de SF's vaak geen drijfveer vormen voor participatie van particuliere fondsen of althans in de evaluaties wordt nagelaten dit aspect te behandelen;

g) in de evaluaties wordt benadrukt dat de voorbereidende studies en onderhandelingen en de administratieve procedures voor de goedkeuring en uitvoering van bepaalde projecten, alsmede de integratie van nieuwe nationale beleidslijnen, vaak met zich meebrengen dat de termijnen worden onderschat.

5.17. Wat het beheer betreft, is uit de evaluaties vooral gebleken dat bepaalde methoden voor toezicht op de programma's ontoereikend zijn en dat de interne aanpassingen gedurende de programmeringsperiode hoofdzakelijk betrekking hadden op een zo hoog mogelijke bestedingsgraad van de kredieten en niet op een aanpassing van de prioritaire zwaartepunten van de regionale ontwikkeling.

6. TUSSENTIJDSE EVALUATIES (1994-1999)

Ontwikkeling en integratie van de beginselen van de tussentijdse evaluatie

6.1. De tussentijdse evaluatie komt ter sprake in het hoofdstuk over de uitvoeringsvoorschriften die in alle CB's, EPD's en andere actievormen ter versterking van het toezicht zijn opgenomen. Er wordt op gewezen dat de tussentijdse evaluaties een kritische analyse van de in het kader van het toezicht verzamelde gegevens met zich meebrengen, dat met deze evaluaties mogelijke afwijkingen met betrekking tot nagestreefde doelstellingen kunnen worden verklaard en dat hiermee de verwachte resultaten van de actie kunnen worden ingeschat. Ze bevatten tevens een oordeel over de validiteit van de lopende actie en de relevantie van de doelstellingen.

6.2. In berichten die in de loop van het begrotingsjaar 1995 aan de lidstaten werden gericht heeft de Commissie erop gewezen dat in de tussentijdse evaluaties de voor het toezichtcomité adequate signalen voor het goed functioneren van de programma's moesten worden gegeven, eventuele herprogrammeringsacties moesten worden voorgesteld en een objectief, onpartijdig beeld van de geboekte vooruitgang moest worden geschetst. Ook werd voorgesteld zich in een eerste stadium te concentreren op de voorwaarden waaraan de bijstandsverlening moet voldoen en dan met name op de indicatoren, de beheerscapaciteiten van de leiding en de procedures voor de selectie van projecten. In een tweede stadium moesten in het tussentijdse evaluatierapport de relevantie van de strategie en de gegrondheid van de doelstellingen van de uitgevoerde acties aan de orde komen, alsmede de doeltreffendheid van het programma in termen van uitgevoerd werk en de eerste resultaten met betrekking tot de doelstellingen, de efficiëntie van het programma, de juiste toepassing van de communautaire beleidslijnen (milieu, overheidsopdrachten, enz.) en het meten van de resultaten op het gebied van werkgelegenheid en KMO's, teneinde suggesties te kunnen doen voor de noodzakelijke wijzigingen en de programmering te kunnen aanpassen.

6.3. Bovendien stelde de Commissie voor dat de evaluatie van algemene aard moest zijn en dat thematische evaluaties van een specifieke sector of een specifiek geografisch gebied in een later stadium moesten plaatsvinden.

6.4. Sommige lidstaten, met name Spanje (13), Frankrijk (14), Ierland (15) en Nederland (16), hebben eveneens een kader voor de tussentijdse evaluatie geformuleerd. Volgens al deze lidstaten moet in de tussentijdse evaluatie het volgende aan de orde komen:

a) de ontwikkeling van de sociaal-economische context;

b) de analyse van de strategie en van de interne en externe coherentie;

c) de uitvoeringsvoorwaarden, waaronder de programmering en de selectiecriteria, de bestuurlijke organisatie, het toezichtsysteem, de financieringskanalen voor de projecten;

d) de implementatie en de uitvoeringen, waarbij rekening wordt gehouden met de verwachte resultaten;

e) de eerste reeds verkregen effecten aangevuld met een een schatting van de nog te verwachten effecten;

f) de kosten voor het meten van de efficiëntie, dat wil zeggen de verhouding middelen-resultaten.

Men is van mening dat de tussentijdse evaluatie eventueel moet leiden tot voorstellen tot wijziging van prioriteiten of geplande acties.

6.5. Het partnerschapsbeginsel werd in 1988 geïntroduceerd als een van de middelen om de efficiëntie van de SF's te waarborgen, maar pas vanaf 1995, met de tussentijdse evaluatie van het alle CB's 1994-1999, speelt het een volwaardige rol in het gedecentraliseerde beheersysteem. Bij die gelegenheid werd bepaald dat het de taak is van de toezichtcomités om de doelstellingen van de evaluatie vast te stellen, alsmede de verwachte kwaliteitsnormen die de coherentie tussen alle benaderingswijzen moeten garanderen, de aanbestedingsdossiers aan te passen aan de bijzondere kenmerken van de regio's in kwestie en hierbij rekening te houden met de doelstelling van de evaluatie, de beoordelaars na een openbare aanbestedingsprocedure te selecteren op basis van shortlists die zijn opgesteld door degenen die verantwoordelijk zijn voor de evaluatie (lid van het toezichtcomité en communautair rapporteur). De tussentijdse evaluatie heeft bijgedragen tot een werkelijke versterking van het partnerschap, door het partnerschap te betrekken bij de causale analyse van structurele acties. De tabellen 5 en 6 geven een overzicht van de operationele uitvoering der tussentijdse evaluaties, evenals de belangrijke verplichting van de lidstaten in het kader van het partnerschap om het effect van de SF's vast te stellen.

6.6. De aanpak via een tussentijdse evaluatie in het kader van het partnerschap heeft eveneens in sterke mate de institutionele structuren en de nationale of regionale tradities van de bevoegde overheidsinstanties beïnvloed. Deze aanpak heeft ook gezorgd voor een betere verbreiding van de meerjarige programmering, waarvan de evaluatie een onmisbaar onderdeel vormt, voor het opmaken van een kritische balans van de structurele acties en het voorbereiden van de nodige aanpassingen. Het partnerschap met betrekking tot de evaluatie is vooral goed uitgewerkt in het kader van D1.

6.7. Tegenwoordig zijn de werkzaamheden in het kader van de tussentijdse evaluatie erop gericht om algemene antwoorden aan te dragen voor alle partners, van de programmaontwerper via de beheerder tot de politiek verantwoordelijke persoon. Deze werkzaamheden resulteren in zeer omvangrijke verslagen die informatie bevatten uit het programma zelf, uit de beoordeling vooraf, uit de jaarlijkse uitvoeringsverslagen, uit de tussentijdse evaluaties of de evaluaties achteraf. Volgens zegslieden die tijdens de controles zijn geraadpleegd, is slechts een deel van de resultaten of van de aanbevelingen werkelijk bruikbaar als hulpmiddel bij de besluitvorming, bij het beheer van projecten, bij de herprogrammering of om de basis te leggen voor de uitwerking van toekomstige acties.

Uitvoeringsprocedures

6.8. Van de 389 tussentijdse evaluaties die zijn uitgevoerd, hebben er 320 betrekking op de doelstellingen 1, 2, 5b en 6 (17). De uitvoering van deze evaluaties liep in verscheidene lidstaten behoorlijke vertraging op.

6.9. De oorspronkelijke planning was dat de tussentijdse evaluatie in twee aparte fasen zou plaatsvinden. De eerste fase had betrekking op de vraag in hoeverre evaluatie mogelijk was, zodat hiermee samenhangende problemen konden worden vastgesteld. De tweede fase betrof de eigenlijke evaluatie die moest uitmonden in de uitwerking van een rapport. In de praktijk is deze opzet slechts zelden toegepast.

6.10. Over het algemeen heeft de Commissie erop aangedrongen dat de tussentijdse evaluaties door externe deskundigen worden uitgevoerd teneinde niet alleen de geloofwaardigheid van specifieke know-how te waarborgen maar ook de onpartijdigheid van de conclusies met betrekking tot de ontvankelijkheid van de strategie, de coherentie tussen de sociaal-economische analyses, en de objectieve kwantificering van de verwachte effecten. De behoeften inzake evaluatie op het gebied van de SF's hebben binnen enkele jaren geleid tot een netwerk van externe beoordelaars die bekend zijn bij de Commissie en de lidstaten, wat tot voordeel heeft dat er geput kan worden uit een grotere deskundigheid op dit gebied; hierdoor wordt echter ook een specifieke markt afgebakend.

6.11. In de praktijk hebben de controles ter plaatse van de Kamer de beperkingen aan het licht gebracht die nadelig zijn voor de onafhankelijkheid van de externe consultant. Daar de beoordelaar over een beperkte hoeveelheid tijd beschikt, doorgaans ongeveer twee tot drie maanden, en voor het verkrijgen van de benodigde informatie de facto afhankelijk is van de beheerders van de programma's, is de scheiding van de respectieve functies niet erg duidelijk. De verkregen resultaten met betrekking tot het functioneren zijn maar al te vaak slechts een weergave en bijwerking van de informatie die via het toezichtsysteem is verkregen, terwijl ze worden gepresenteerd als een externe bijdrage.

6.12. Bovendien is niet altijd de gebruikelijke openbare aanbestedingsprocedure met bekendmaking in het Publicatieblad toegepast om een evaluatieconsultant te selecteren. In Nederland bestond deze procedure uit het uitnodigen van een beperkt aantal consultants die voorkwamen op een lijst met potentiële beoordelaars en wie werd verzocht een offerte te doen. Vervolgens heeft aan de hand van deze offertes de selectie plaatsgevonden.

6.13. Terwijl de Commissie regelmatig vergaderingen van de toezichtcomités bijwoont en zij de mogelijkheid heeft daar haar criteria inzake de selectie van consultants te laten gelden, is haar manier van handelen in dit proces niet altijd dezelfde. Zo is er in België, Griekenland en Portugal sprake van een actieve deelname van de diensten van de Commissie aan de procedure voor het selecteren van de beoordelaar in het kader van de technische groepen of van het technisch begeleidend ad-hoccomité die de keuze van de adviseur voorbereiden en de uitvoering van de evaluatie volgen. In Frankrijk daarentegen worden de diensten van de Commissie pas officieel op de hoogte gesteld na de selectie van de twee offertes die als beste zijn beoordeeld. Deze offertes gaan dan vergezeld van het eindvoorstel waarbij de prefect van de regio, die de opdrachtgever terzake is, verzoekt op de hoogte te worden gehouden van eventuele opmerkingen. Wat Nederland betreft, heeft de Commissie, die deelneemt aan de werkzaamheden van het nationaal begeleidingscomité (dat leiding geeft aan de evaluaties vooraf en achteraf, alsmede aan de tussentijdse evaluaties voor de regio's waarop de doelstellingen 1 en 2 betrekking hebben) en aan de werkzaamheden van de toezichtcomités, pas laat gereageerd op de inhoud van het ontwerprapport van de tussentijdse evaluatie van het D1-EPD Flevoland.

Aan de evaluatiedoelstellingen toegekende prioriteiten

6.14. Wat de uitvoering van de tussentijdse evaluaties betreft, varieert de aan de evaluatiedoelstellingen toegekende prioriteit, met uitzondering van de analyse van de fysieke en financiële uitvoeringen van de acties, die een belangrijke plaats inneemt in elke tussentijdse evaluatie. De ontwikkelingen die voorrang hebben, beantwoorden vaak aan een reële regionale behoefte, zoals in het geval van Corsica waar de nadruk voornamelijk wordt gelegd op de aanpak van problemen op het gebied van beheer, toezicht en samenhang tussen evaluatie en toezicht. Het nastreven van bepaalde evaluatiedoelstellingen wordt overigens belemmerd door technische problemen, zoals het meten van indicatoren voor de evaluatie van het effect.

6.15. Bij de tussentijdse evaluaties wordt vaak niet voldoende belang gehecht aan de kritische beoordeling van de gekozen strategie voor regionale ontwikkeling, aan de levensvatbaarheid van door de SF's gefinancierde projecten, aan de criteria voor de selectie van projecten, en aan de effecten in het licht van de specifieke en algemene doelstellingen van programma's.

6.16. De analyse van de toegevoegde waarde op communautair niveau is een van de doelstellingen van de evaluatie achteraf van de CB's in het kader van D1 en D2 voor de programmeringsperiode 1989-1993; deze toegevoegde waarde wordt echter slechts bij wijze van uitzondering in het kader van de tussentijdse evaluaties aan de orde gesteld.

6.17. Veranderingen in de sociaal-economische context, waarop de communautaire bijstandsverlening invloed uitoefent en die uit hoofde van de evaluatiecontracten over het algemeen moeten worden gecontroleerd en geactualiseerd, worden in sommige gevallen op systematische wijze aan de orde gesteld (bijvoorbeeld, wat het Waalse Gewest betreft, door middel van uitgebreide overzichten), en in andere gevallen op ontoereikende wijze, hetgeen een directe invloed heeft op de kwaliteit en het bijwerken van de analyses van sterke punten/zwakke punten die over het algemeen in het kader van de tussentijdse evaluatie worden uitgevoerd.

6.18. Er wordt slechts zelden op systematische wijze onderzoek gedaan naar de mate waarin wordt vastgehouden aan de interne en externe coherentie van elk programma-onderdeel (doelstellingen van het programma, van de subprogramma's en van de maatregelen, relaties in de vorm van complementariteit en synergie tussen doelstellingen en tussen maatregelen). Zo geldt voor het OP Brandenburg dat de financiële vastleggingen ten behoeve van de zwaartepunten 1.1 (productieve investeringen) en 1.2 (infrastructuur) voor de periode 1994-1996 respectievelijk 138 % en 242 % uitmaken van de oorspronkelijke raming, zonder dat de beoordelaar ook maar enige rechtvaardiging voor de regionale ontwikkelingsstrategie gaf. De synergieën zijn soms onderwerp van overigens vaak onvolledige analyses. Dit aspect zou een systematischer aanpak verdienen, met name wat de synergieën tussen de activiteiten van het EFRO en die van het ESF betreft.

6.19. Ook resulteren de evaluatiewerkzaamheden niet altijd in een algemene en coherente weergave van de voorgestelde wijzigingen noch in een toelichting, terwijl de heroriëntering van de prioriteiten van het programma en van de toewijzing van middelen toch een expliciete doelstelling van de evaluatie is. De implicaties van de voorgestelde uitbreiding of inkrimping van maatregelen worden evenmin altijd nauwkeurig opgegeven.

6.20. Uit vele geanalyseerde evaluaties blijkt dat de beoordelaar niet in staat was aan alle doelstellingen waarin het contract voorzag, te voldoen, met name wat de evaluatie van het effect betreft. De beschikbare tijd en de middelen waren evenmin altijd afgestemd op de doelstellingen.

Benaderingen, methoden en technieken

6.21. Aangezien de evaluatiedoelstellingen en de toe te passen benaderingen in de contracten vaak nog steeds in algemene bewoordingen worden geformuleerd, wordt de keuze van de benaderingen, methoden en technieken vaak overgelaten aan de beoordelaars, die ze soms gedurende de uitvoering aanpassen aan de problemen die ze hebben ondervonden. Zo komt het voor dat de beoordelaars de enige beschikbare informatie omzetten in indicatoren.

6.22. De technieken en methoden zijn niet altijd op een zodanig ontwikkeld dat hiermee kan worden beantwoord aan de evaluatiedoelstellingen. Er bestaat overigens nog geen echte consensus over de geschikte operationele methoden voor het evalueren van de regionale ontwikkeling, en de Commissie stelt zich tevreden met het in algemene termen bekendmaken van "de beste werkwijzen" zonder de uitvoering ervan werkelijk te coördineren of te harmoniseren. Deze vaagheid, die verband houdt met de verschillen tussen lidstaten op het gebied van programmering, uitvoering of evaluatie, leidt tot evaluatierapporten van wisselende kwaliteit en maakt het erg moeilijk de resultaten met elkaar op Europees niveau te vergelijken.

6.23. Uit de beoordeling van het effect blijkt derhalve duidelijk dat er lacunes zijn in de toegepaste technieken die met name verband houden met het specifieke karakter en de complexiteit van de te evalueren effecten:

a) er is niet altijd een grondig onderzoek verricht naar indicatoren die nog relevanter zijn; soms dienen de geplande indicatoren slechts om de fysieke en financiële uitvoering te meten;

b) de effectindicatoren zijn niet altijd aangegeven;

c) de evaluatie van het sociaal-economisch effect of van het effect op de regionale ontwikkeling lijkt te worden belemmmerd door de veelheid aan acties, subprogramma's en maatregelen (doelstelling 1), en daar komt bij dat talloze programma's die ten doel hebben een bijdrage te leveren aan de omschakeling en/of het nieuw leven inblazen van de industriële structuur (OP's, communautaire initiatieven, nationale programma's), gelijktijdig kunnen worden gemobiliseerd. Bovendien hebben de communautaire en nationale acties soms betrekking op verschillende gebieden en gaan de acties op verschillende data van start. Tot slot worden de doelstellingen vaak niet gekwantificeerd en in te algemene termen geformuleerd (18). Tegen deze achtergrond lijkt het verband tussen de diagnose van de op te lossen sociaal-economische problemen en de doelstellingen van alle uitgevoerde maatregelen, subprogramma's en projecten alsmede het verband tussen al deze doelstellingen onderling, niet altijd evident, mede omdat de fysieke en effectindicatoren die betrekking hebben op de verschillende niveaus van een programma de behoeften aan evaluatie van een programma niet volledig weergeven. Evenzo blijkt het moeilijk de resultaten van elk programma vast te stellen en ze los te zien van andere particuliere, regionale of nationale acties;

d) het opstellen van modellen waarmee de te verwachten effecten kunnen worden geraamd op basis van de tussentijdse en nog te verwachten uitvoeringen, wordt nog steeds weinig toegepast. De tussentijdse evaluatie van bepaalde nationale CB's is gebaseerd op een input-outputmodel (Portugal) of op een macro-econometrisch model (Spanje, Ierland), terwijl het opstellen van regionale modellen nog steeds erg marginaal is. In dit verband dient het voorbeeld van het ontwikkelingsmodel voor de provincie Henegouwen (België) te worden vermeld dat in het kader van de tussentijdse evaluatie is gehanteerd. Het opstellen van modellen voor de effecten in het kader van maatregelen is evenmin erg gangbaar, behalve op het gebied van de vervoersinfrastructuur. Vermeldenswaard is de toepassing van het input-outputmodel bij het project Expo 1998 (Portugal) in het kader van evaluaties vooraf alsmede van tussentijdse evaluaties, al moet voorzichtigheid worden betracht wat betreft de ramingen;

e) de schatting van de effecten op de werkgelegenheid is eveneens nog steeds een precair punt. De toepassing van modellen en andere analyse- en onderzoeksmethoden verschaffen onvoldoende details over enerzijds de netto-omvang van gecreëerde arbeidsplaatsen met inachtneming van de nieuwe arbeidsplaatsen die gecreëerd zouden zijn zonder de actie in kwestie en van de vervangingseffecten, en anderzijds de mate van duurzaamheid van de werkgelegenheid. In het algemeen verschafte deze evenmin duidelijkheid over het aantal gecreëerde arbeidsplaatsen dat niet aan de uitvoering van het programma is toe te schrijven.

6.24. bepaalde evaluatiecontracten voorzien, in het kader van de bottom-upbenadering, onderzoeken die dienen te worden verricht bij partners voor plaatselijke economische ontwikkeling en bij uiteindelijke begunstigden, waaronder ondernemingen die communautaire steun genieten, teneinde de bijdrage van het communautaire programma vanuit kwantitatief of kwalitatief oogpunt te beoordelen. De resultaten van de enquêtes zijn soms niet representatief genoeg gezien het aantal ondernemingen en partners dat is geënquêteerd, en gezien de twijfelachtige betrouwbaarheid, want ze worden niet altijd aan onderzoek onderworpen.

6.25. wat de resultaat- en effectindicatoren betreft, wordt geconstateerd dat:

a) de tijd die nodig is om de gegevens en statistieken te verzamelen vaak lang is;

b) de bestaande gegevens betrekking hebben op geografische gebieden die niet overeenkomen met de beoogde gebieden;

c) de gegevens over de ondernemingen niet per bedrijf worden geregistreerd, hetgeen leidt tot een vertekening van de plaatselijke statistische gegevens als zich slechts één enkel bedrijf in het gebied bevindt, terwijl de onderneming meerdere vestigingen heeft op het nationale grondgebied;

d) veel statistiekbureaus niet in staat zijn de algemene gegevens gericht uit te vergroten met het oog op een gegeven gebied of een gegeven problematiek.

6.26. Wanneer de beoordelaar indicatoren aangeeft die geschikter zijn om het effect te meten, zij het om in een leemte te voorzien of om hiermee de voorgeschreven indicatoren te vervangen, licht hij deze niet toe en laat hij onzekerheid bestaan over de toepasbaarheid ervan. Bovendien vermeldt hij niet altijd de onderzoeken die nog moeten worden verricht om ze een concrete vorm te geven, noch geeft hij een raming van de kosten. Er wordt eveneens op gewezen dat het moeilijk is de op de programmadoelstellingen betrekking hebbende indicatoren te kwantificeren zonder informatie over historische reeksen.

Uitvoering van de programma's in het kader van doelstelling 2 (1994-1996)

6.27. Uit de resultaten van de tussentijdse evaluatie van de EPD's, CB's en OP's van de periode 1994-1996, evenals van het toezicht, blijkt dat de geplande financiering en de uitvoering van de programma's niet op elkaar zijn afgestemd. Ondanks talloze aanpassingen van de programma's tijdens de laatste programmeringsfase 1994-1996 waarin de opname van de bedragen van de financiële bijstand werd beoogd, hebben transfers plaatsgevonden van kredieten van de programmering 1994-1996, van gemiddeld ongeveer 12 %, naar de programmering 1997-1999. Deze situatie zou ertoe kunnen leiden dat de aandacht voornamelijk uitgaat naar de besteding van kredieten en dat de rol van de evaluatie wordt ondergewaardeerd, met name wat betreft de coherentie tussen de doelstellingen, de toegewezen middelen en het effect van de structurele acties.

7. EFFECT VAN DE STRUCTUURFONDSEN EN EVALUATIEMODELLEN

Effect op het niveau van de CB's en de programma's

Resultaten van de modellen wat betreft het effect van de Structuurfondsen

7.1. Met de voor de macro-economische evaluatie op het gebied van de SF's gehanteerde modellen (zie bijlage III) wordt, met inachtneming van de specifieke kenmerken hiervan, op gedifferentieerde wijze het effect van de SF's beoordeeld wat betreft:

a) de verwezenlijking van doelstellingen van de SF's in termen van toename van het BBP, reële convergentie van het BBP per hoofd van de bevolking, werkgelegenheid en werkloosheid;

b) het vervullen van de voorwaarden die verband houden met de uitvoering van de SF's, zoals additionaliteit, duurzame ontwikkeling, met name betreffende de beheersing van de overheidsschuld en de betalingsbalans, inkomensverdeling, milieubescherming;

c) de effecten in termen van vraag en aanbod;

d) de doeltreffendheid van de instrumenten van de SF's, zoals overheidsinvesteringen, investeringen in personele middelen en steun aan particuliere ondernemingen.

Toename van het BBP

7.2. Zoals blijkt uit tabel 7, duiden de resultaten van de belangrijkste gehanteerde modellen ter beoordeling van het effect van de SF's (HERMIN, OGM en DIO) voor de cohesielanden op een positieve groei van het BBP en dientengevolge op een verbetering van de convergentie. De cumulatieve groei van de economie van de cohesielanden van 1994 tot en met 1999 die toe te schrijven is aan de structurele acties die deel uitmaken van de CB's, zou derhalve, in reële termen van het BBP, voor Portugal 5,5 %, voor Griekenland 5,9 %, voor Spanje 2,6 % en voor Ierland 3,3 % bedragen. Deze resultaten berusten op de veronderstelling dat het additionaliteitsbeginsel volkomen wordt nageleefd, en kunnen dientengevolge worden gewijzigd in geval van niet-naleving (zie paragrafen 8.11 tot 8.13). Bovendien hebben de verschillende macro-economische modellen resultaten opgeleverd die voldoende coherentie vertonen om het effect van het CB's 1994-1999 op de toename in reële termen van het jaarlijks BBP als aannemelijk te kunnen beschouwen. De meeste effecten die verband houden met de vraag doen zich echter nog steeds vooral op korte termijn voor, terwijl de effecten op het aanbod pas veel later optreden. Evenzo wordt met het HELM-model dat voor de regio Henegouwen is gehanteerd, geschat dat het effect van het EPD in termen van jaarlijkse toename van de totale toegevoegde waarde een toename van 1,7 tot 2,5 % inhoudt voor de periode 1994-2002. In het geval van de Mezzogiorno in Italië lijkt het effect van de SF's op de toename daarentegen zeer beperkt, zelfs bijna nihil. Het QUEST-model van de Commissie komt, op basis van hypothesen over de wijze waarop bedrijven en consumenten zullen anticiperen, uit op lagere schattingen over de effecten op groei en werkgelegenheid dan de voorgaande modellen. Volgens dit model zullen de voordelen in de zin van groeimogelijkheden en vermindering van de werkloosheid eerst op lange termijn zichtbaar worden.

7.3. Wat betreft de gemiddelde versnelde jaarlijkse toename die kan worden toegeschreven aan de structurele acties die deel uitmaken van de CB's, blijkt uit tabel 8 dat een toename van het BBP met 1 %, gegenereerd door de multiplier-effecten van de CB's, voor de periode 1994-1999 leidt tot een extra toename per jaar met 0,2 % tot 0,3 % van de vraageffecten en met maximaal 0,2 % van de aanbodeffecten. Op economisch vlak draagt het overwicht van het effect op de vraag, dat aan het licht is gekomen door het HERMIN-model en welk effect zou verdwijnen zodra de communautaire steun wordt stopgezet, slechts bij aan de verwezenlijking van de doelstellingen van artikel 130 A van het Verdrag wanneer het effect op het aanbod zich op duurzame wijze ontwikkelt en het de productiecapaciteiten van de betreffende regio's versterkt. Doordat het effect op het aanbod zich veel later voordoet dan dat op de vraag, is het mogelijk dat de hiermee samenhangende multiplier-effecten worden onderschat.

Reële convergentie in termen van het BBP per hoofd van de bevolking

7.4. Uit de in het kader van de SF's gehanteerde modellen blijkt dat het convergentieproces niet altijd wordt gewaarborgd en dat bepaalde CB-programmeringen hooguit het verschil kleiner kunnen maken dan dat ze bijdragen aan de ontwikkeling van de convergentie.

7.5. Wat Ierland betreft, voorspellen Bradley (HERMIN 1994) en Honohan (HERMIN 1997) wat het effect van de steun in het kader van de CB's 1989-1993 en 1994-1999 op het BBP per hoofd van de bevolking zou kunnen zijn. Bradley is van oordeel dat de bijdrage van de CB's 1994-1999 aan deze inhaalrace bescheiden blijkt te zijn, terwijl volgens Honohan de CB's een belangrijke rol spelen in het convergentieproces. Beutel (1997) voorspelt dat Ierland de rest van Europa zelfs zonder CB 1994-1999, dat het jaarlijkse groeicijfer met 0,6 % zou doen toenemen, zal inhalen. In het geval van Spanje, Portugal en Griekenland zou het geraamde jaarlijkse groeicijfer voor de periode 1994-1999 dankzij de SF's stijgen met respectievelijk 0,4 %, 1,1 % en 1 %, hetgeen in alle gevallen een positief effect heeft gehad op de reële convergentie in termen van BBP per hoofd van de bevolking.

7.6. De prognostische simulaties die zijn uitgevoerd met behulp van het OGM-model dat betrekking heeft op de convergentie in reëel BBP per hoofd van de bevolking in vergelijking met het gemiddelde van de Unie, geven schattingen aan die er de aandacht op vestigen dat, ook al zijn de in 1995 voorspelde tendensen te pessimistisch voor Ierland (zie tabel 9), de nettobijdrage van de CB's aan de convergentie nog steeds bescheiden is voor de cohesielanden.

7.7. Wat Henegouwen betreft, wordt in het HELM-model rekening gehouden met de aspecten van de reële convergentie voor de tussentijdse evaluatie en wordt hierin geschat dat het geraamde jaarlijkse groeicijfer van Henegouwen ongeveer 1,4 % tot 1,6 % boven het Europese gemiddelde zal liggen dankzij de SF's, hetgeen een echte inhaalrace mogelijk zou maken.

7.8. Uit deze ramingen blijkt dat, gezien de verschillen in de regionale of sectorale productieve structuren van de lidstaten van D1, de steun van de SF's uiteenlopende effecten sorteert. Hiermee wordt eveneens bevestigd dat de kwaliteit van de programmering van de SF's dient te worden verbeterd, opdat, met convergentie als doel, middels de acties in het kader van de SF's de productieve capaciteiten van de economie kunnen worden verbeterd.

Werkgelegenheid en werkloosheid

7.9. In tabel 10 worden de resultaten van de evaluaties van het effect van de SF's op de werkgelegenheid en de werkloosheid kort weergegeven. Uit alle studies blijkt dat de CB's nettobanen opleveren. Deze nieuwe banen worden vaak gecreëerd in de sector van niet-verhandelbare diensten, terwijl de productiviteitseffecten van de CB's hoofdzakelijk waarneembaar zijn in de industriële sector. Tot slot wordt in sommige studies melding gemaakt van een vermindering van het aantal arbeidsplaatsen in de industriële sector die te wijten is aan een toename van de arbeidsproductiviteit.

Doeltreffendheid van de CB-instrumenten

7.10. Uit de HERMIN-evaluaties voor Spanje, Ierland en Portugal blijkt dat de steun voor overheidsinvesteringen, met name voor infrastructuur, productiever is in termen van groei dan de steun voor investeringen in personele middelen (met uitzondering van Spanje) en die voor particuliere investeringen. Dit blijkt uit tabel 11 dat per instrument de toename laat zien van het nationale BBP als gevolg van de toename met 1 % van het aandeel van het CB in het cumulatief BBP, voor de periode 1994-1999. In de HERMIN-studie voor Griekenland wordt eveneens geconcludeerd dat de investeringen in infrastructuur ("hard infrastructure") zoals opgenomen in de CB's meer bijdragen aan de toename van het BBP dan de investeringen in personele middelen. Door het OGM-model (Pereira 1991) toe te passen voor de evaluatie van de effecten van vervanging van steun voor particuliere investeringen of voor investeringen in personele middelen door aanvullende steun voor investeringen in infrastructuur, wordt duidelijk dat als gevolg van de SF's een verbetering optreedt in termen van toename van het BBP en in het convergentieproces.

Verplichting tot additionaliteit en medefinanciering

7.11. De modellen hebben het eveneens mogelijk gemaakt het belang van de additionaliteit en de medefinanciering door de overheid te beoordelen. Zo is Honohan (HERMIN, 1997) van mening dat zonder de verplichting tot medefinanciering door de overheid, het groeicijfer van de economie van Ierland 1 % lager zou zijn geweest, en dat de werkgelegenheid in mindere mate zou zijn toegenomen. Daarentegen verwacht Honohan een aanzienlijker reductie van de ratio overheidsschuld/BBP en van het batig saldo op de betalingsbalans wanneer de verplichting tot medefinanciering door de overheid ontbreekt. Wat Portugal betreft, leidt de voorwaarde van medefinanciering volgens de HERMIN-evaluatie tot een extra cumulatief voordeel van 1,3 % voor het BBP, maar leidt eveneens tot een minder positieve ontwikkeling op het vlak van overheidsschuld.

7.12. In de HELM-evaluatie voor Henegouwen wordt grote waarde gehecht aan de additionaliteit. De gemiddelde groeicijfers van de toegevoegde waarde van de drie scenario's - het regionale beleid met inbegrip van het EDP, de voortzetting van het regionale beleid zonder communautaire steun, het regionale beleid waaruit het EDP is voortgekomen - voor de periode 1994-1999 nemen volgens de HELM-evaluatie toe tot respectievelijk 2,5 %, 1,7 % en 0,1 %, en het groeicijfer van de werkgelegenheid zou dalen van 0,8 % naar 0,2 %. De toestand waarin de industrie verkeert zou eveneens aanzienlijk verslechteren. Met de HELM-evaluatie werd, door het variabel subsidiepercentage te laten schommelen, eveneens vastgesteld dat de mate waarin investeringen worden bevorderd niet evenredig is aan het steunbedrag en dat talloze investeringen ook met lagere steunniveaus zouden plaatsvinden.

Duurzame ontwikkeling

7.13. Uit tabel 10 blijkt dat er niet altijd een evaluatie wordt uitgevoerd van de effecten van de SF's op het saldo van de handelsbalans, van de lopende rekening van de betalingsbalans of van het overheidstekort. De verschillende studies leiden bovendien tot uiteenlopende conclusies; zo leidt de door de CB's teweeggebrachte economische groei in sommige gevallen tot een verbetering van de overheidsfinanciën via de belastingen, terwijl de CB's volgens andere modellen begrotingstekorten veroorzaken.

Rol van de evaluatie op macro-economisch niveau in het besluitvormingsproces met betrekking tot de Structuurfondsen

7.14. Gezien de effecten op korte termijn van de SF's op de vraag, worden in de tussentijdse evaluaties de problemen ten aanzien van de besteding van communautaire middelen door de overheid vaak overschat en de effecten op langere termijn op het aanbod vaak onderschat. Dit kan een vertekening teweegbrengen van de heroriënteringen of herprogrammeringen van de OP's of CB's. Maatregelen of projecten die niet snel genoeg gebruik maken van de communautaire kredieten, lopen dan ook het risico dat ze worden geschrapt, met name op gebieden waar de uitvoering gecompliceerd is, zoals innovatie of nieuwe technologieën, ten gunste van reeds bestaande structuren met een veel geringere productiviteit, zonder dat de macro-economische aspecten van duurzame ontwikkeling altijd in aanmerking worden genomen.

7.15. In deze context zijn de aanvullende macro-economische evaluaties waarin de aspecten duurzaamheid, groei of convergentie zijn opgenomen, onmisbaar voordat er ook maar enig besluit kan worden genomen ten aanzien van de oorspronkelijke programmering en de wijziging ervan. In talloze gevallen, zoals in Spanje, in Griekenland of in de nieuwe Duitse deelstaten, zijn reeds herprogrammeringen in het kader van de tussentijdse evaluatie uitgevoerd zonder serieuze algemene macro-economische analyse. Wat de regio's van D1 in Duitsland betreft, is geen enkele macro-economische analyse van het effect uitgevoerd ten tijde van de tussentijdse evaluatie.

Effect van subprogramma's, maatregelen en projecten

7.16. Er zijn zeer weinig evaluaties van de subprogramma's en maatregelen, hoewel de subprogramma's of maatregelen de drijvende kracht van de programmering van de SF's vormen. De versnippering, het gebrek aan afbakening en coherentie van veel subprogramma's of maatregelen, alsmede de gebrekkige kwantificering van ermee samenhangende specifieke doelstellingen kunnen onder meer een verklaring zijn voor het feit dat het effect moeilijk te meten is.

7.17. Deze lacune bemoeilijkt elke poging om de synergie en de complementariteit van maatregelen onderling of tussen verschillende programma's vast te stellen en te meten. Bovendien is de samenhang tussen de algemene doelstellingen van het programma en de specifieke doelstellingen van subprogramma's of maatregelen zeer vaak niet erg duidelijk. Zo zijn in de tussentijdse evaluatierapporten talloze coherentieproblemen in de programma's van de CB's 1994-1999 in het kader van D1 aan het licht gekomen.

7.18. De technieken die zijn afgestemd op het meten van het effect van een specifiek subprogramma of van een specifieke maatregel zijn overigens dun gezaaid. Zo kan met de hierboven beschreven macro-economische modellen uitsluitend een evaluatie van de doeltreffendheid van de voornaamste CB-instrumenten - overheidsinvesteringen, particuliere investeringen en investeringen in menselijk potentieel - worden gegeven voor wat betreft de respectieve bijdrage die ze leveren aan de toename van het BBP. De uitgaven voor infrastructuur, die een aanvulling vormen op het particulier kapitaal, lijken het rendement van dit kapitaal te doen toenemen en zouden een groter versnellingseffect hebben op het tempo van de convergentie dan andere investeringsvormen (zie tabel 11).

7.19. Niettemin is de keuze van de maatregelen of subprogramma's waaruit het programma is opgebouwd en de financiering ervan niet neutraal wat betreft het effect van de regionale ontwikkeling in termen van duurzame endogene groei. Aan de hand van de evaluaties die de Commissie of de lidstaten in het kader van hun partnerschap met betrekking tot de subprogramma's of maatregelen hebben uitgevoerd kunnen overigens nog steeds niet de gevolgen van een specifieke maatregel op andere gebieden of sectoren worden geanalyseerd en kan deze maatregel niet met andere maatregelen worden vergeleken waarmee soortgelijke doelstellingen worden nagestreefd. Bovendien zal bij de analyse van het effect van maatregelen of subprogramma's eveneens de oorspronkelijke afweging tussen groei en interregionale gelijkheid, die de gemaakte keuze bij voorbaat bepaalde, in aanmerking moeten worden genomen, teneinde de verwachte en reeds bereikte vooruitgang in doeltreffendheid te kunnen vergelijken.

7.20. De kosten-batenanalyse van de projecten wordt in beginsel gemaakt met het oog op goedkeuring van de financiering van het project. Deze analyse is verplicht overeenkomstig artikel 5 van Verordening (EEG) nr. 2083/93 (EFRO) voor de grote projecten waarvan de totale kosten meer dan 25 Mio ECU bedragen voor de investeringen in infrastructuur en meer dan 15 Mio ECU voor productieve investeringen. Deze beoordelingen vooraf van grote projecten maken deel uit van het onderzoek van de aanvragen om communautaire steun en bepalen de financieringstoewijzing, maar de verordeningen inzake de SF's voorzien niet in evaluaties ervan achteraf en de Commissie kan niet eisen dat deze plaatsvinden om na te gaan of de verwachte sociaal-economische voordelen ten aanzien van de hiervoor ter beschikking gestelde communautaire middelen ook daadwerkelijk zijn behaald. Door deze tekortkoming in het evaluatieproces van grote projecten valt zelfs met het begrip evaluatie op dit niveau niet te werken, aangezien een beoordeling vooraf slechts gegrond is wanneer er daadwerkelijk een evaluatie achteraf plaatsvindt. Bovendien zou met deze micro-economische en sectorale studies tevens het potentiële effect van de SF's op de productiviteit kunnen worden ingeschat en zouden ze aldus een bruikbaar instrument kunnen worden om dit effect op korte of middellange termijn te analyseren.

7.21. Bij de evaluatie van de projecten moet ook rekening worden gehouden met de synergieën en de complementariteit die nog altijd onvoldoende of slechts oppervlakkig worden geëvalueerd. Het is noodzakelijk de projecten op het punt van complementariteit en synergie op elkaar af te stemmen, teneinde het te verwachten effect niet af te zwakken.

7.22. In de tussentijdse evaluatie worden vaak problemen met betrekking tot het beheer van programma's aangesneden, maar hierbij wordt vaak geen rekening gehouden met de criteria die de keuze van projecten hebben bepaald, zoals de duurzaamheid van het project of de mate waarin het project bijdraagt aan de regionale ontwikkeling. Met het systeem voor het beheer van de programma's moet de zekerheid kunnen worden geboden dat de criteria voor de selectie van projecten zo worden gehanteerd dat de resultaten van het programma worden geoptimaliseerd. Met name projecten die een zeer geringe toegevoegde waarde in termen van ontwikkeling hebben, dienen vermeden te worden, ook al bieden zij het voordeel dat de kredieten erg snel worden opgenomen. Het systeem voor de selectie van projecten moet doorzichtiger worden, teneinde toezicht hierop mogelijk te maken en ervoor te zorgen dat ze kunnen worden geëvalueerd.

8. CONCLUSIE

8.1. De evaluatie van de communautaire structurele acties is voorgeschreven in de regelgeving die is voortgekomen uit de besluiten van de Raad en wordt tegenwoordig op grote schaal toegepast in het kader van het partnerschap. De evaluatie is een systeem geworden ter ondersteuning van het ontwerpen en beheren van de bijstandsverlening en draagt zodoende bij aan een betere kennis van de effecten en het nut daarvan. Voor de periode 1994-1999 zijn in de loop van 1997 meer dan 250 tussentijdse evaluaties door de toezichtcomités (19) afgerond.

8.2. Met de herziening van de hervorming van de SF's bereikt de evaluatie een stadium van volledige ontwikkeling dat vanaf heden via een betere methodologische begeleiding dient te worden geconsolideerd. In het kader van de regionale ontwikkeling dient nog het nodige te worden gedaan om te bepalen welke evaluatiemethoden het meest geschikt zijn voor het meten van het sociaal-economisch effect van programma's, aangezien het MEANS-programma geen bevredigende oplossing heeft kunnen bieden.

8.3. Daarnaast dient bijzondere aandacht te worden geschonken aan de indicatoren op alle niveaus wat betreft hun relevantie, de manier waarop ze informatie verschaffen en de daarmee samenhangende kosten. Ook dienen de kwalitatieve aspecten te worden geformaliseerd. Zonder nieuwe ontwikkelingen op deze gebieden dreigt het evaluatieproces te stagneren.

8.4. Hetzelfde geldt voor de zwakke statistische basis, waardoor de validiteit van de indicatoren ter discussie staat en waardoor het proces van toezicht en evaluatie in sterke mate wordt beïnvloed.

8.5. Het huidige grote aantal min of meer relevante indicatoren komt de kwaliteit van de evaluatie niet ten goede en staat een effectieve werking van de evaluatie in de weg. Een klein aantal voor rechtvaardiging of heroriëntering van een structureel beleid noodzakelijke effectindicatoren dient zorgvuldig te worden geselecteerd, waarbij rekening wordt gehouden met de moeilijkheden ten gevolge van de regionalisering der gegevens en met de materiële mogelijkheden inzake informatievergaring. De betrouwbaarheid van deze indicatoren dient te worden gecontroleerd. De vergelijkbaarheid van de indicatoren en de integratie ervan op Europese schaal dienen te worden verbeterd.

8.6. Opdat in het besluitvormingsproces en bij het operationeel beheer van de SF's volledig rekening kan worden gehouden met de evaluaties, dient ervoor te worden gezorgd dat de evaluaties doorzichtig en objectief zijn, dat de doelstellingen ervan overeenkomen met de behoeften en dat de gestelde einddatum adequaat is.

8.7. Om de objectiviteit van de resultaten van de evaluatie te garanderen, dient de onafhankelijkheid van de beoordelaars ten opzichte van de beheerders en de betreffende overheidsinstanties te worden beschermd.

8.8. De hantering van een gemeenschappelijk referentiekader zou bevorderlijk zijn voor de begrijpelijkheid en vergelijkbaarheid van de evaluatierapporten, alsmede voor de uitwisseling van ervaringen.

8.9. Voor elke evaluatie dienen meer operationele doelstellingen te worden vastgesteld. De taakomschrijving en het bestek, die in het algemeen door de Commissie worden goedgekeurd, dienen duidelijk aan te geven welke methoden het meest geschikt zijn om regionale, sectorale of nationale aspecten te behandelen of vooral het effect op korte of lange termijn te beoordelen. De sterke en zwakke punten van alle andere methoden moeten met die van de door de Commissie gehanteerde methoden worden vergeleken. Zo ook moet het referentiekader van elke evaluatie een door de Commissie voorgestelde minimumlijst met indicatoren bevatten om de resultaten van de doelstellingen van programma's te meten, teneinde een voor de analyse onontbeerlijke coherentie te garanderen. Andere indicatoren die betrekking hebben op de sociaal-economische en structurele situatie kunnen natuurlijk worden gebruikt om deze analyse aan te vullen en te verfijnen.

8.10. Gezien de verscheidenheid aan benaderingen met betrekking tot de evaluatie, moet de Commissie eisen dat de beoordelaars in het stadium van de uitnodiging tot inschrijving hun aanpak veel explicieter formuleren, met name het soort effecten dat hiermee dient te worden gemeten en voor welke tijdsduur, teneinde de volledigheid van de aangewende methodieken te kunnen beoordelen. Bovendien dient de evaluatie een uitvoerige analyse te bevatten van de samenhang tussen de doelstellingen van de programma's en de zwaartepunten en maatregelen waarmee deze doelstellingen worden nagestreefd, alsmede de noodzakelijke trapsgewijze weergave van doelstellingen/resultaten/uitvoeringen van de programma's, zwaartepunten en maatregelen.

8.11. In deze context is een betere onderverdeling van de de evaluatie, naar gelang van de betrokken begunstigden, noodzakelijk om de doeltreffendheid ervan te doen toenemen en om beter aan hun specifieke verwachtingen te voldoen, met name op het vlak van de tussentijdse evaluaties. Ook dient een betere beheersing van de kosten te worden nagestreefd, aangezien de Commissie niet altijd op de hoogte is van de voor de evaluatie in het kader van het partnerschap bestemde uitgaven.

8.12. De Commissie dient eveneens aan te geven welke aspecten van het regionale beleid meer in het bijzonder moeten worden geëvalueerd: additionaliteit, convergentie, partnerschap, concentratie, werkgelegenheid, endogene economische ontwikkeling of sociaal welzijn. Bij een beoordeling van de doeltreffendheid van de structurele acties mag de meting van het BBP per hoofd van de bevolking niet de enige maatstaf zijn.

8.13. De inschatting van het effect en van de toegevoegde waarde van het programma op communautair niveau moet gebaseerd kunnen worden op nationale en regionale ontwikkelingsmodellen, alsmede op effectmodellen voor maatregelen.

8.14. De macro-economische resultaten van de structurele acties dienen te worden verfijnd met inachtneming van de tekortkomingen van de toegepaste modellen, de neveneffecten van deze acties en alle effecten ervan op het sociaal welzijn.

8.15. Bij het opstellen van macro-economische modellen wordt een fundamenteel onderscheid gemaakt tussen het effect op de vraag op kortere termijn en de structurele aanpassingen van het aanbod. De programmering van de bijstandsverlening van de SF's dient meer op verbetering van de productiecapaciteit van de economie te worden gericht om te waarborgen dat de effecten duurzaam zijn en om een te duidelijke afhankelijkheid van de vraag te vermijden. Een dergelijke afhankelijkheid zou tot een situatie leiden waarin de communautaire steun op lange termijn onontbeerlijk zou blijven.

8.16. Aangezien het effect op het aanbod pas na lange tijd zichtbaar wordt, wordt in de tussentijdse evaluatie over het algemeen meer aandacht geschonken aan het effect op de vraag. De Commissie dient actie te ondernemen om instrumenten te ontwikkelen die nodig zijn voor het toezicht op en de evaluatie van het structurerende effect op de economie.

8.17. Uit de macro-economische modellen blijkt eveneens dat een beleid dat is gericht op economische groei niet altijd verenigbaar is met duurzame ontwikkeling. De relatie tussen het effect op de groei en het effect op de duurzame ontwikkeling moet nog verder worden geanalyseerd en bij de programmering van de bijstandsverlening van de SF's dient met deze dualiteit systematisch rekening te worden gehouden.

8.18. Het effect van de verplichting tot additionaliteit en tot medefinanciering door de overheid is niet eenvoudig af te bakenen en het wordt niet altijd onderzocht. Dit effect dient systematischer en grondiger te worden geanalyseerd.

8.19. Het is niet de bedoeling dat de evaluatie op zich het politiek besluitvormingsproces, waarin belangrijker overwegingen zijn opgenomen, vervangt, maar ze moet wel een onmisbaar instrument voor een evenwichtig en doeltreffend beheer van de communautaire structurele acties vormen dat de sociaal-economische resultaten in aanmerking neemt.

Dit verslag werd door de Rekenkamer te Luxemburg vastgesteld te harer zitting van 26 september 1998.

Voor de Rekenkamer

Bernhard FRIEDMANN

President

>RUIMTE VOOR DE TABEL>

>RUIMTE VOOR DE TABEL>

>RUIMTE VOOR DE TABEL>

>RUIMTE VOOR DE TABEL>

>RUIMTE VOOR DE TABEL>

>RUIMTE VOOR DE TABEL>

>RUIMTE VOOR DE TABEL>

>RUIMTE VOOR DE TABEL>

>RUIMTE VOOR DE TABEL>

>RUIMTE VOOR DE TABEL>

>RUIMTE VOOR DE TABEL>

(1) Het betreft met name:

a) artikel 6 van de kaderverordening (Verordening (EEG) nr. 2052/88 zoals gewijzigd bij Verordening (EEG) nr. 2081/93) betreffende de taken van de Fondsen met structurele strekking, hun doeltreffendheid alsmede de coördinatie van hun bijstandsverlening onderling;

b) artikel 26 van de verordening met betrekking tot de coördinatie van de Fondsen (Verordening (EEG) nr. 4253/88 zoals gewijzigd bij Verordening (EEG) nr. 2082/93).

(2) De "beoordeling vooraf" wordt soms ook "evaluatie vooraf" genoemd. In het onderhavige verslag heeft de Kamer de voorkeur gegeven aan de bewoordingen van de verordeningen, te weten "beoordeling vooraf".

(3) De communautaire structurele actie wordt opgezet als een aanvulling op de overeenkomstige acties op nationaal niveau of als een bijdrage daaraan. Deze actie wordt vastgesteld via nauw overleg dat partnerschap wordt genoemd, tussen de Commissie, de lidstaat, de regionale en plaatselijke overheden, de economische en sociale partners en de overige bevoegde instanties. Het partnerschap komt tot stand met volledige inachtneming van de respectieve institutionele, juridische en financiële bevoegdheden van alle partners.

(4) In haar jaarverslagen over met name de begrotingsjaren 1990