ERITYISKERTOMUS NRO 15/98 rakennerahastojen toimia ajanjaksoina 1989 1993 ja 1994 1999 koskevista arvioinneista sekä komission vastaukset (annettu Euroopan yhteisön perustamissopimuksen 188 c artiklan 4 kohdan toisen alakohdan nojalla) (98/C 347/01)

1. JOHDANTO

1.1. Rakennerahastoja koskevassa uudistuksessa vuonna 1998 komissio ja jäsenvaltiot velvoitettiin arvioimaan eurooppalaista rakennepolitiikkaa. Vuonna 1993 rakennerahastouudistuksen tarkistuksen (1994-1999) yhteydessä muutetut säännökset samoin kuin yhteisön uusien tukikehysten ja yhtenäisten ohjelma-asiakirjojen vakiolausekkeet vahvistavat tätä arviointivelvoitetta.

1.2. Arviointi on välttämätön edellytys rakennerahastojen moitteettomalle hallinnoinnille, ja se määritellään tärkeimmissä säännöksissä (1) tehokkuuden arvioimiseksi kolmella tasolla:

a) kaikkien rakenteellisten toimien vaikutus perustamissopimuksen 130 a artiklassa tarkoitettuihin tavoitteisiin

b) kaikkien yhteisön tukikehyksissä määrättyjen toimien vaikutus

c) kunkin toimeenpantavan toimen (ohjelmien ja muiden toimien) erityisvaikutus.

1.3. Arvioinnissa on kolme keskeistä vaihetta:

a) ennakkoarviointi (2), jonka avulla voidaan yhtäältä esittää täsmällisesti ratkaistavat sosiaalis-taloudelliset ongelmat ja tavoiteltavat päämäärät sekä toisaalta valittava strategia ja sen mukana käytettävissä olevat keinot, joilla ongelmiin voidaan vastata

b) väliarviointi, jonka avulla voidaan ohjelman täytäntöönpanon aikana varmistaa, ovatko tavoitteet yhä asianmukaisia ja toivotut tulokset saavutettavissa

c) jälkiarviointi, joka toteutetaan ohjelman päätyttyä ja jonka avulla tarkastellaan, voidaanko saavutettuja tuloksia ja vaikutuksia pitää myönteisinä; on kuitenkin otettava huomioon, että rakenteellisten toimien pitkän aikavälin vaikutukset voidaan todeta vasta useiden vuosien kuluttua toimien päättymisen jälkeen.

1.4. Asiaa koskevissa vuonna 1993 muutetuissa säännöksissä korostetaan sekä jäsenvaltioiden että komission vastuuta arvioinnin toteuttamisesta yhteistyöperiaatteen mukaisesti (3). Tässä yhteydessä komissio on tehnyt aloitteen arvioinnin toteuttamisen yleisestä järjestämisestä ja yhteensovittamisesta, ja se antaa joka kolmas vuosi asetuksen (ETY) N:o 2052/88 16 artiklassa tarkoitetun arviointikertomuksen taloudellisen ja sosiaalisen yhteenkuuluvuuden alalla saavutetusta edistyksestä sekä siitä, miten erityisesti rakennerahastot ja kansallinen yhteisrahoitus ovat osaltaan vaikuttaneet tähän edistykseen.

2. TARKASTUKSEN LAAJUUS

2.1. Tilintarkastustuomioistuimen suorittaman tarkastuksen (4) yleistavoitteena oli tuoda esiin yhteisön rakenteellisten toimien arvioinnissa saavutettu edistys niin arviointijärjestelmien ja -menettelyjen kuin menetelmienkin osalta. Tutkimuksen kohteina olivat sekä komission toteuttamien että yhteistyössä toteutettujen rakenteellisten toimien arviointitavat. Lisäksi tutkittiin arviointiin tarkoitettujen Euroopan yhteisöjen talousarvion määrärahojen käytön lainmukaisuutta ja säännönmukaisuutta sekä varainkäytön laatua.

2.2. Tutkimuksessa tarkasteltiin myös rakenteellisten toimien sosiaalis-taloudellisten vaikutusten arviointitekniikoita. Vaikka tarkastuksessa ei pyrittykään suoranaisesti arvioimaan ohjelmia niin, että saavutettaisiin uusia tieteellisiä tuloksia, siinä palautetaan mieleen tietyt asiantuntijoiden esittämät tulokset, jotta käytettyjen talouspoliittisten välineiden ja saavutettujen tulosten välistä suhdetta voitaisiin tarkastella entistä paremmin.

2.3. Erityisesti tarkasteltiin tavoitteiden 1 ja 2 mukaisia yhteisön tukikehyksiä ja toimenpideohjelmia koskevia jälkiarviointeja ohjelmakaudella 1989-1993 sekä väliarviointeja yhteisön tukikehyksistä, yhtenäisestä ohjelma-asiakirjasta ja toimenpideohjelmista ohjelmakaudella 1994-1999. Tarkastuksessa otettiin huomioon kaikki tavoitteen 1 mukaisia yhteisön tukikehyksiä ohjelmakaudella 1989-1993 koskevat jälkiarvioinnit sekä noin 20 prosenttia jälkiarviointiraporteista, jotka koskivat tavoitteen 2 mukaisia yhteisön tukikehyksiä ohjelmakaudella 1989-1993 ja 15 prosenttia yhteisön tukikehysten väliarviointia koskevista raporteista ohjelmakaudella 1994-1999; raportit valittiin niiden maantieteellisen jakautuman ja toimen laadun (yhteisön tukikehys, yhtenäinen ohjelma-asiakirja tai toimenpideohjelma) perusteella. Lisäksi 25:stä pääasiassa makrotaloudellisia näkökohtia koskevasta arviointiraportista valittiin tarkastettavaksi 15. Tarkastus suoritettiin komission yksiköissä ja kahdeksassa jäsenvaltiossa (Belgia, Kreikka, Espanja, Ranska, Irlanti, Italia, Alankomaat ja Portugali), joissa kuultiin arvioitsijoita ja asianomaisia kansallisia viranomaisten vastuuhenkilöitä.

3. TIIVISTELMÄ TÄRKEIMMISTÄ HAVAINNOISTA

3.1. Arviointi on kehittynyt ja laajentunut ohjelmakaudella 1994-1998 ennen kaikkea komission vaikutuksesta ja erityisesti EAKR:n puitteissa, minkä johdosta tähän menettelyyn on suhtauduttu entistä hyväksyvämmin hallinnoinnin ja ohjelmien alueella. Arviointia on sovellettu tällä ohjelmakaudella (1994-1999) järjestelmällisesti kahdessa ensimmäisessä vaiheessa (ennakkoarviointi ja väliarviointi) ja niin tehdään myös kauden lopussa (jälkiarviointi) ks. kohdat 4.2-4.8).

3.2. Komissio on tietoinen arvioinnin vaatimista välittömistä kustannuksista, mutta sillä ei aina ole käytettävissään kaikkia tietoja yhteistyössä toteutettujen arviointien kustannuksista (ks. kohdat 4.9-4.11).

3.3. Komissio on vahvasti myötävaikuttanut arviointikäytännön laajentamiseen, mutta se ei ole määritellyt riittävästi arvioinnin indikaattoreita ja menetelmiä rakenteellisten toimien arviointimenetelmiä koskevassa ohjelmassaan (MEANS). Koska arviointityön metodologisen puolen monimutkaisuudesta johtuen ei ole olemassa kaikkiin yksittäisiin tilanteisiin sovellettavia menetelmiä, on juuri sen vuoksi tärkeää, että komissiolla on mahdollisuus tarjota metodologiset puitteet suuntaviivoiksi, jotta erityistilanteisiin sovitettuja arviointeja voidaan saattaa päätökseen (ks. kohdat 4.12-4.13).

3.4. Arvioinnin indikaattorien laatu liittyy läheisesti tukitoimien seurannasta saatujen tietojen ja jäsenvaltioiden vastuulla olevien tilastotietojen luotettavuuteen. Nämä tiedot ovat monissa tapauksissa osoittautuneet riittämättömiksi, minkä vuoksi jäsenvaltioiden tulisikin parantaa niiden laatua (ks. kohdat 4.14-4.21).

3.5. Monet arvioinnit ovat viivästyneet, mikä saattaa puolestaan viivästyttää muutosten tekemistä ohjelmiin. Lisäksi ohjelmien uudelleensuunnittelua koskevassa päätöksenteossa pitäisi ottaa paremmin huomioon toimintamuotojen tuloksellisuutta ja tehokkuutta koskevien arviointien tulokset (ks. kohdat 4.22-4.27).

3.6. Arviointien objektiivisuuden suhteen voidaan todeta, ettei komissio valvo paikalla indikaattorien tai niitä tuottavien järjestelmien yhdenmukaisuutta ja luotettavuutta (ks. kohdat 4.29-4.30).

3.7. Arviointeja koskevien konsulttisopimusten hyväksymiseen liittyvät komission menettelyt ovat vielä puutteellisia. Konsulttien valintaa ei aina perustella selkeästi. Menetelmiin liittyvä tekniikka, indikaattorit sekä tulosvelvoitteet määritellään sopimusehdoissa edelleen hyvin yleisluonteisesti. Tämä viivästyttää ja haittaa arviointiraporttien laatimista sekä johtaa vaihtelevantasoisiin tarkasteluihin ja joskus epämääräisiin suosituksiin (ks. kohdat 4.31-4.36).

3.8. Ohjelmakauden 1989-1993 tavoitteiden 1 ja 2 jälkiarviointiin liittyvien menetelmien soveltamista ovat haitanneet puutteelliset tilastot, määrällisesti ilmoitettujen alustavien tavoitteiden ja indikaattorien puute sekä tehoton vaikutusten seuranta; menetelmiä ei myöskään ole aina sovellettu tarpeeksi tarkasti. Arvioinneissa tähdennetään kuitenkin rakennerahastojen aikaansaamaa lisäarvoa yhteisössä sekä yhteisön tukikehysten, toimenpideohjelmien ja toimenpiteiden toteutuksen, tulosten ja vaikutusten tasolla että ohjelmien suunnittelun, järjestämisen, seurannan, yhteensovittamisen, yhteistyöhön osallistumisen ja täydentävyyden tasolla (ks. kohdat 4.15-4.19, 5.1, 5.4, 5.10-5.16).

3.9. Rakennerahastojen toimia ohjelmakaudella 1994-1999 koskevissa väliarvioinneissa, jotka on toteutettu yhteistyössä seurantakomiteoiden kanssa, eri arviointitavoitteiden merkitys vaihtelee; konkreettisen toteutuksen ja varainkäytön tarkastelulla on kuitenkin tärkeä sija kaikissa väliarvioinneissa. Vaikutusten arviointia haittaavat erityisesti indikaattoreihin ja vaikutusten mallintamiseen liittyvät ongelmat. Näistä arvioinneista on usein ainoastaan vähän hyötyä päätöksenteossa, hankkeiden hallinnoinnissa, ohjelmien muuttamisessa ja tulevien toimien valmistelussa (ks. kohdat 4.16-4.21, 6.5, 6.7, 6.14-6.26).

3.10. Tavoitteen 2 arvioinnissa tähdennetään erityisesti seuraavia puutteita:

a) ohjelmien toteutuminen ja yhteisön rahoitus ovat epätasapainossa, koska määrärahoja siirretään edelleen huomattavan paljon ohjelmasta toiseen, keskimäärin 12 prosenttia ajanjaksolta 1994-1999 ajanjaksolle 1997-1999 (ks. kohta 6.27)

b) toisiaan seuraavat lyhyet ohjelmakaudet eivät anna mahdollisuutta arviointitulosten hyödyntämiseen parhaalla mahdollisella tavalla (ks. kohta 4.23)

c) välillisten vaikutusten arviointi on edelleen riittämätöntä, jotta voitaisiin selvittää rakenteellisten toimien vaikutus erityisesti työllisyyteen(ks. kohdat 5.12-5.15).

3.11. Toteutetuissa makrotaloudellisissa arvioinneissa tähdennetään myönteisiä tuloksia erityisesti rakenteellisiin toimiin liittyvien vaikutusten osalta (mistä ovat osoituksena BKT:n kasvu, vaikutus kysyntään ja tarjontaan, työllisyyden paraneminen ja lähentymisen edistyminen sekä yhteisön tukikehyksen välineiden tehokkuus) näiden toimien suunnittelu-, toteuttamis- ja seurantajärjestelmissä ilmenevistä puutteista huolimatta (ks. kohdat 7.1-7.14).

3.12. Alaohjelmien tai toimenpiteiden tasolla toteutettavat arvioinnit ovat edelleen riittämättömiä, sillä arvioinneissa törmätään myös teknisiin vaikeuksiin, jotka johtuvat monien toimenpiteiden ja alaohjelmien hajanaisuudesta ja epäyhtenäisyydestä (ks. kohta 7.17).

4. YLEISET ONGELMAT

Johdanto

4.1. Arvioinnin tavoitteena on määrittää toteutettujen toimien sosiaalis-taloudelliset vaikutukset eli tarkastella saavutettuja tuloksia, verrata niitä sijoitettuihin varoihin ja arvioida kustannukset. Kaikkia näitä osa-alueita on myös arvioitava suhteessa mahdollisiin ennusteisiin. Jotta arviointitehtävä voitaisiin toteuttaa asianmukaisesti, on oltava käytettävissä hyvä tilastoaineisto, laadittava indikaattorijärjestelmään perustuvat määrälliset tavoitteet sekä kehitettävä menetelmä- ja analyysikehys, joka perustuu käytettyjen keinojen, lopullisten tulosten ja välivaiheen tulosten välistä suhdetta koskevaan analyysiin. Tilintarkastustuomioistuin totesi puutteita kaikilla tasoilla; nämä puutteet ovat tähän asti rajoittaneet rakennerahastoissa tehtyjen arviointien hyödyntämistä, vaikka on havaittu todellista edistystäkin, joka vahvistaa osaltaan arvioinnin toimivuutta.

4.2. Vuonna 1988 tapahtuneesta uudistuksesta lähtien arviointi on toteutettu yhteistyöperiaatetta noudattaen (asetuksen (ETY) N:o 4253/88 (5) 26 artikla, jota on täsmennetty 20 päivänä heinäkuuta 1993 muutetulla asetuksella). Ohjelmakauden ensimmäisestä vaiheesta vuoteen 1995 arviointeja on suoritettu ennen kaikkea komission aloitteesta. Näiden arviointien, erityisesti jälkiarviointien, toteuttamista on haitannut se, että kehitysstrategiat eivät ole olleet kovin tarkkoja ja että seuranta on ollut epätyydyttävää; arviointeja ei sitäpaitsi ole otettu todella huomioon eikä niistä ole keskusteltu perusteellisesti seurantakomiteoissa.

4.3. Komissio on huolehtinut aluksi ennen kaikkea oman arviointijärjestelmänsä käyttöönottamisesta kaikkia niitä yhteisön tukikehyksiä varten, jotka kattavat uudistuksen viisi ensisijaista tavoitetta (6). Arviointeja ja niihin liittyvien menetelmien kehittämistä koskevista komission aloitteista on syytä mainita erityisesti vuonna 1992 perustettu aluepolitiikan arviointiryhmä sekä menetelmien osalta vuonna 1994 aloitettu rakenteellisten toimien arviointimenetelmiä koskeva MEANS-ohjelma.

4.4. Ohjelmakaudella 1994-1999 komissio on aloittanut uuden arviointipolitiikan, jota on sittemmin sovellettu järjestelmällisesti kahteen ensimmäiseen vaiheeseen (ennakko- ja väliarviointi) sekä myöhemmin jälkiarviointiin.

4.5. Vaikka väliarvioinnista ei ole nimenomaisesti säädetty rakennerahastoja koskevissa asetuksissa, sitä on sovellettu kaudesta 1995-1996 alkaen kaikkiin ohjelmakauden 1994-1999 yhteisön tukikehyksiin, yhtenäisiin ohjelma-asiakirjoihin ja toimenpideohjelmiin. Arviointi on ollut konkreettinen osa yhteistyömenettelyä, mikä on antanut seurantakomiteoille mahdollisuuden tehdä arvioinnista integroidun hallinnoinnin välineen ja edesauttanut siten arviointikäytännön leviämistä hyvin laajalle. Komissio on laatinut vaiheittain etenevän järjestelmän väliarvioinnin käyttöönottamiseksi jäsenvaltioissa (7).

4.6. Tässä järjestelmässä ei kuitenkaan ole aina täsmennetty menettelyn konkreettisia yksityiskohtia (sopimusehtojen määrittely, arvioijan valintaperusteet, arviointiraportin rakenne, tietojen keruu, vaaditut laatustandardit, aikataulu ym.).

4.7. Komissio on myös järjestänyt tilaisuuksia ja toimittanut niitä täydentäviä julkaisuja (8). Arvioinnin ammattilaisten ja rakennerahastojen hallinnoijien tapaamiset näissä tilaisuuksissa ovat osaltaan edistäneet arviointikulttuurin kehitystä ja antaneet hallinnoijille lisätietoja tästä asiasta. Arviointi on kuvattu näissä yhteyksissä lähinnä kokemuslähtöiseksi oppimisprosessiksi.

4.8. Komissio esitteli toukokuussa 1998 varainhoitovuotta 1999 koskevan Euroopan yhteisöjen alustavan talousarvioesityksen yhteydessä työasiakirjan "Yhteenveto vuosien 1996/1997 arvioinneista", jossa kuvataan ajanjaksolla 1996-1997 toteutettuja ja parhaillaan meneillään olevia arviointeja sekä esitetään yleiskatsaus kyseisellä ajanjaksolla toteutettujen arviointien tuloksista.

4.9. Komissio maksaa suoraan arviointikustannukset, tai komissio ja jäsenvaltiot rahoittavat ne yhdessä. Taulukossa 1 ja 2 esitetään PO XVI:n ohjelmakausien 1989-1993 sekä 1994-1999 arvioinnista aiheutuneet menot.

4.10. Ajanjaksolla 1989-1993 arviointiin käytettiin taulukon 1 mukaan noin 10 miljoonaa ecua. Noin kaksi kolmasosaa näistä menoista suoritettiin kahdella alalla, jotka kuuluvat suoraan komission toimivaltaan ja jotka ovat sen vastuulla: yhtäältä kyse oli asetuksen (ETY) N:o 4253/88 11 artiklan mukaisista yhteisöaloitteista, joita koskevien arviointien osuus oli 3,1 miljoonaa ecua, ja toisaalta poikittaisista ja aihekohtaisista, esimerkiksi pk-yrityksiä, televiestintää, ympäristöä ja henkilöresursseja koskevista arvioinneista, joiden osuus oli 3,2 miljoonaa ecua. Rakennerahastojen tavoitteiden 1 ja 2 arviointiin varatut määrärahat ovat kuitenkin pysyneet suhteellisen vaatimattomina, kun otetaan huomioon, että tällä samaisella ajanjaksolla toteutettiin vain vähän arviointeja yhteistyössä. Ajanjaksolla 1994-1999 arviointiin osoitettiin taulukon 2 mukaan 25,2 miljoonaa ecua vuoden 1998 huhtikuussa. Määrärahojen kasvu edelliseen ajanjaksoon verrattuna johtuu yhteistyöhön perustuvan väliarvioinnin ja siihen liittyvien menetelmien kehityksestä.

4.11. Komission omat ja jäsenvaltioiden menot ovat kasvaneet voimakkaasti vuodesta 1996; komissiolla ei ole aina käytössään kaikkia asiaan liittyviä tietoja, varsinkaan silloin, kun arvioinnit sisällytetty toimenpideohjelmien "teknisen avun" toimiin, joihin voi sisältyä myös muita kuluja. Arvioinnin tarpeisiin voitaisiin varata jo ohjelmakauden alkuvaiheessa erityismääräraha, mikä selkeyttäisi arviointiin käytettävien kustannusten seurantaa.

Viitekehys

4.12. MEANS-ohjelmalla (1995-1998), jonka kokonaisarvo on 2,8 miljoonaa ecua, on erityisasema arvioinnin kehittämisessä (9). Sovelletun menettelytavan tarkoituksena on yhtenäistää ja johdonmukaistaa menetelmien kehittämistä laatimalla luettelo jäsenvaltioiden käyttämistä menetelmistä ja tuomalla esiin hyviä esimerkkejä. Tämä lähinnä kannustava ja empiirinen lähestymistapa ei anna komissiolle mahdollisuutta ottaa kantaa arviointimenetelmien konkreettisiin toteutustapoihin tai indikaattorien valintaa koskeviin kysymyksiin varsinkaan niiden indikaattorien osalta, joiden tarkoituksena on mitata aluekehitykseen liittyviä sosiaalis-taloudellisia vaikutuksia. Koska arviointityön metodologisen puolen monimutkaisuudesta johtuen ei ole olemassa kaikkiin yksittäisiin tilanteisiin sovellettavia menetelmiä, on juuri sen vuoksi tärkeää, että komissiolla on mahdollisuus tarjota metodologiset puitteet suuntaviivoiksi, jotta erityistilanteisiin sovitettuja arviointeja voidaan saattaa päätökseen.

4.13. MEANS-ohjelman tulosten perusteella on voitu tähän mennessä laatia uuden arviointimenettelyn perusteet-erityisesti ottamalla käyttöön yhteinen kieli-sekä valmistella väliarviointia yhteistyöperiaatteen mukaisesti. Taulukoissa 3 ja 4 esitetään yleisesti hyväksytty arviointitapa. MEANS-ohjelma ei kuitenkaan vielä ole vastannut kovin perusteellisella tavalla arviointiin liittyviin käytännöllisiin ja toiminnallisiin kysymyksiin. Niinpä kaksi perustavanlaatuista kysymystä on vielä vailla vastausta: yhtäältä se, mikä indikaattorijärjestelmä on tarkoituksenmukaisin yhteisön rakenneohjelmien arvioimiseksi kattavasti sekä toisaalta se, mikä lähestymistapa arvioinnissa soveltuu parhaiten aluekehitykseen liittyvien rakenneohjelmien sosiaalis-taloudellisten vaikutusten arvioimiseen. Komissio ei voi vielä antaa täsmällisiä ohjeita kussakin erityisessä arviointitilanteessa sovellettavasta konkreettisesta tekniikasta. Ohjeiden puuttuminen vaikuttaa erityisesti ohjelmakauden 1994-1999 toimintamuotojen väliarviointien toteuttamiseen.

Asetettuja tavoitteita koskevat tilasto- ja muut tiedot

4.14. Liian yleisluonteisesti muotoillut tavoitteet ennakko-, väli- ja jälkiarvioinneissa aiheuttavat usein ongelmia jopa toimenpidetasolla.

4.15. Nykyisten tilastojärjestelmien kehitystaso jarruttaa ohjelmien ja rakennerahastoista osarahoitettujen toimenpiteiden seurantaa ja arviointia. Tilastot ovat puutteellisia siten, ettei kyseessä olevista alueista ole kattavia tilastoja, ettei tiettyihin näkökohtiin liittyviä tilastoja ole olemassa lainkaan tai siten, että ajoittainen tietojenkeruu ei riitä seuranta- ja arviointitarpeisiin.

Indikaattorit

4.16. Luotettavien ja asianmukaisten indikaattorijärjestelmien olemassaolo on ohjelmasuunnittelun välttämätön edellytys. Arviointitarpeita ajatellen rakenneohjelmissa on oltava tietoja toimien rahoituksen toteutumisesta ja niiden konkreettisesta toteutumisesta sekä toimien avulla aikaansaaduista tuloksista ja saavutuksista. Ohjelmien hallinnoijien on voitava saada indikaattorien avulla tietoja toteutettujen toimien välittömistä ja pysyvistä vaikutuksista; heillä on myös niiden avulla oltava mahdollisuus verrata saavutettua edistystä ohjelmien yleistavoitteisiin, esimerkiksi alueelliseen kasvuun ja työttömyyden alenemiseen.

4.17. Taloudellisten indikaattorien luotettavuus liittyy läheisesti sellaisten menoja koskevien todistusten luotettavuuteen, jotka toimitetaan komissiolle menoihin liittyvän yhteisön rahoituksen saamiseksi. Konkreettisia tuloksia osoittavia indikaattoreita esitetään usein tietojen täydentäjinä, ja niiden luotettavuus on suhteellista. Nykyisiin tietokantoihin ei voida aina rekisteröidä toteutuksen konkreettista kehitystä, eivätkä lopulliset edunsaajat ilmoita ohjelmien hallinnosta vastaaville aina säännöllisesti konkreettisten saavutusten tilannetta. Portugalissa toteutettavan toimenpideohjelman Lisboa e Vale do Tejo väliarvioinnissa viitataan tuotosindikaattoreihin, jotka ovat tiukasti verrannollisia menoihin, mainitsematta mitään muutoksia, jotka liittyvät toteuttamisen viivästymiseen tai muihin syihin. Jäsenvaltioiden pitäisi parantaa seurantamekanismejaan ja indikaattorien pohjana olevia tietokantoja.

4.18. Tulosten ja vaikutusten arviointiin yhtäältä alaohjelmien ja toimenpiteiden tasolla ja toisaalta vaikutusten arviointiin ohjelmien tasolla liittyy epävarmuustekijöitä, jotka haittaavat eritasoisten tavoitteiden sekä tavoitteiden, toimenpiteiden ja hankkeiden välillä vallitsevien syy-yhteysketjujen tunnistamista; nämä tekijät vaikuttavat myös toimenpiteiden ja tavoitteiden välillä vallitseviin täydentävyyteen ja yhteisvaikutukseen tähtääviin horisontaalisiin suhteisiin. Tämän vuoksi on vaikea havainnollistaa jonkin toimenpiteen vaikutusta aluekehitykseen tai investointien vaikutusta kysyntään, sen tarjontaan kohdistuvasta vaikutuksesta puhumattakaan. Edellä mainitun perusteella näyttää siltä, että vaikka indikaattorien tarkastelu on hyödyllinen väline tulosten ja vaikutusten arvioinnissa, sen toteuttaminen on vielä kesken yhteisön tukikehyksen 1994-1999 osalta (ks. 6.23).

4.19. Yhteisön tukikehyksen ennakkoarviointi on välttämätöntä myöhemmässä vaiheessa toteutettavien arviointien kannalta, koska sillä varmistetaan, että kaikki tuloksia ja vaikutuksia kuvaavat indikaattorit määritellään ja ilmoitetaan määrällisesti, jotta voitaisiin arvioida ohjelman ennakoituja vaikutuksia ja verrata niitä ohjelman todellisiin vaikutuksiin. Tässä yhteydessä tavoitejohtamista ei ole aina sovellettu yhdenmukaistetusti tai tyydyttävästi, millä on ollut vaikutuksensa arvioinnin kannalta välttämättömiin indikaattoreihin. Tämän vuoksi Italiaa koskevassa yhteisön tukikehyksessä 1994-1999 on vähän indikaattoreita, mikä saattaa vaikeuttaa myöhempien arviointien toteuttamista. Sitä vastoin Portugalia koskevassa vuosien 1994-1999 tukikehyksessä, jonka komissio hyväksyi lähes muutoksitta, on liian paljon indikaattoreita - noin 300 - mikä myös vaikeuttaa arvioinnin toteuttamista. Tämä indikaattorien määrän erilaisuus yhteisön eri tukikehyksissä korostaa suunnittelutyön epäjohdonmukaisuutta. Lukuisat ja vaikeasti määriteltävät yleistavoitteet saavat joskus aikaan sen, että väliarvioinnin aikana tarkastellaan uudelleen komission ennakkoarviointivaiheessa hyväksymää indikaattorijärjestelmää, koska tätä järjestelmää ei ole määritelty riittävän tarkasti eikä se ole osoittautunut toimivaksi.

4.20. Rakenteellisista toimista ja niistä sosiaalis-taloudellisista tilanteista, joihin toimet kohdistetaan, johtuu hyvin erilaisia, hajautetusti vahvistettuja indikaattoreita. Komissio ei ole laatinut luetteloa indikaattoreista, joita se pitää välttämättöminä ja edustavina alueellisen kehityksen kannalta tai erityyppisten toimien yhteydessä, vaikka eräille kansallisille tai alueellisille elimille on toimitettu osittaisia luetteloita ja niistä on jo keskusteltu.

4.21. Seurantaa varten olisi kehitettävä yhä enemmän tuloksia ja vaikutusta kuvaavia määrällisiä indikaattoreita; näiden indikaattorien on kuitenkin oltava luotettavia. Joskus indikaattorit eivät nimittäin ole luotettavia, vaan syntyneiden työpaikkojen määrä lasketaan joissakin tapauksissa kahteen kertaan tai indikaattorien avulla ei voida erottaa toisistaan työllisyyteen kohdistuvia brutto- ja nettovaikutuksia. Tämä todettiin verrattaessa Brandenburgin osavaltion toimenpideohjelmaa koskevaa väliarviointiraporttia sosiaaliturvajärjestelmän piirissä olevia ihmisiä koskeviin tilastotietoihin.

Arvioinnin huomioon ottaminen

4.22. Se, missä määrin arviointi edistää yhteisön rahastojen tehokasta käyttöä, riippuu paljolti arvioinnin sisällön laadusta sekä tulosten saannin ajankohdasta ja strategian muuttamiseen tähtäävän päätöksenteon ajankohdasta. Kuitenkin jotkut ohjelmakauden 1994-1999 yhteisön tukikehyksiä, yhtenäisiä ohjelma-asiakirjoja ja toimenpideohjelmia koskevat väliarvioinnit saatiin valmiiksi varsin myöhäisessä vaiheessa, mikä viivytti mahdollisten mukautusten toteuttamista.

4.23. Tavoitetta 2 koskevan ohjelmatyön kannalta on ongelmallista se, että ohjelmakaudet ovat lyhyempiä kuin tavoitetta 1 koskevat kaudet. Niinpä sellainen tilanne, jossa arviointien tulokset saadaan samanaikaisesti käyttöön sekä saatujen kokemusten hyödyntämistä varten että tulevien toimenpiteiden mukauttamista ja ohjelmapäätöksen tekohetkeä varten, on erittäin hankala. Tavoitetta 2 koskevan ohjelmakauden ja sitä koskevan arviointivaiheen välillä on tiettyä epätasapainoa. Lopullinen versio tavoitteen 2 jälkiarviointia koskevasta yhteenvetoraportista ajanjaksolla 1989-1993 toimitettiin komissiolle vuoden 1997 kesällä, kun ohjelmakauden 1997-1999 ennakkoarviointi oli meneillään eikä ohjelmakauden 1994-1996 jälkiarviointia ollut vielä aloitettukaan.

4.24. Olivatpa arviointiraportissa esiintuodut rakenneohjelmien tulokset millaisia tahansa, kyseisten tai niitä seuraavien ohjelmien määrärahat säilyvät usein muuttumattomina. Arviointeja on otettu erittäin harvoin huomioon ensimmäisellä ohjelmakaudella päätöksentekojärjestelmässä, koska ohjelmien uudelleensuunnittelu on perustunut yleensä ennen kaikkea siihen, missä määrin käytettävissä olevaa rahoitusta on käytetty. Niinpä tavoitteen 1 ajanjaksoa 1989-1993 koskevien yhteisön tukikehysten jälkiarvioinnista vastanneen konsultin esittämät hyödylliset suositukset jätettiin huomiotta (ks. kohta 5.7).

4.25. Ohjelmien tuloksellisuuteen ja tehokkuuteen liittyviä laatunäkökohtia on tuotu esiin väliarvioinneissa tai toteutuksesta laadituissa raporteissa, mutta niillä ei ole ollut riittävästi vaikutusta rakennerahastojen toiminnan hallinnointiin eikä siihen, että asianomaisille osapuolille jaettaisiin lisää ohjelmien kehittämisvastuuta.

4.26. Tavoitetta 2 koskevien yhtenäisten ohjelma-asiakirjojen, yhteisön tukikehysten ja toimenpideohjelmien (1994-1996) väliarvioinnin samoin kuin niiden seurannan tulokset osoittavat suunnitellun rahoituksen ja ohjelmien toteutumisen välisen epätasapainon. Tässä tilanteessa on päällimmäisenä huoli määrärahojen riittävästä käytöstä, mikä voi puolestaan johtaa arvioinnin merkityksen aliarviointiin kyseisellä alueella etenkin tavoitteiden, käytettävissä olevien varojen ja rakenteellisten toimenpiteiden vaikutusten epäjohdonmukaisuuden osalta.

4.27. Arviointien päätelmät ja suositukset ovat usein ilmeisiä eri toimien hallinnoijille, vaikka ne voivat olla hyödyllisiä muille yhteistyön osapuolille. Tämä koskee niin yhteistyössä toteutettavia jälkiarviointeja (ks. kohta 5.8) kuin väliarviointejakin.

Arviointien puolueettomuus

4.28. Täsmällisen viitekehyksen puute vaikeuttaa asianmukaisen ja objektiivisesti sovellettavan tekniikan käyttöä tietyssä arviointitilanteessa, jolloin tuloksia voitaisiin helposti valvoa ja arvioijan riippumattomuus voitaisiin taata. Joskus käy niin, että suositellun menetelmän perustelut eivät ole olleet puolueettomia, että arvioija muuttaa liian helposti lähestymistapansa pelkästään arviointihetkellä ilmenneiden vaikeuksien mukaan tai että hän valitsee indikaattorit käytettävissä olevien tietojen perusteella.

4.29. Aina ei ole varmuutta myöskään siitä, ovatko arvioijat hallinnoijista riippumattomia; tämä koskee erityisesti tietojen saantia (ks. kohta 6.11). Arviointiraporteissa ei nimittäin aina ilmoiteta, mihin lähteeseen niissä olevat tiedot perustuvat. Tämä heikkous voi johtaa arviointikertomuksissa esitettyjen tietojen luotettavuutta ja pätevyyttä koskeviin epäilyihin.

4.30. Vaikka puolueettomuus onkin tarkoitus taata indikaattorien (toteutukset, tulokset ja vaikutukset) laatuun sekä perustietojen luotettavuuteen ja tasokkaan menetelmän käyttöönottoon tähtäävän valvontajärjestelmän avulla, komission yksiköt analysoivat arvioinnin yhteydessä esitetyt tiedot ja tulokset, mutta eivät valvo paikan päällä jäsenvaltioissa käytössä olevia valvontajärjestelmiä tai varmista niiden asianmukaista toimintaa.

Komission hyväksymät arviointisopimukset

4.31. Tutkimus on tuonut esiin joitakin epäkohtia, jotka liittyvät komission soveltamiin arviointisopimusten hyväksymismenettelyihin. Näitä epäkohtia ovat esimerkiksi riittämättömät valintamenettelyt, liian epämääräiset sopimusehdot, kertomusten viivästyminen ja niiden heikko taso.

4.32. Niitä arvioinnin tai analyysin osa-alueita, joiden perusteella komissio valitsee konsultin, ei tuoda aina esiin tarjouskilpailumenettelyyn liittyvien kokousten pöytäkirjoissa. Tilintarkastustuomioistuimen suorittaman tarkastuksen perusteella ei ole voitu varmistua siitä, että kutakin osa-aluetta varten on valittu parhaat asiantuntijat.

4.33. Vuosien 1989-1993 kaikkien tukikehysten tavoitetta 1 ja 2 koskeviin jälkiarviointeihin valittiin pääkonsultti ja joukko muita kansallisia konsultteja sekä koordinoija-konsultteja, jotka puolestaan teettivät myöhemmin tutkimuksia alihankintana toisilla konsulteilla. Komissio ei ehkä pysty tällaisten konsulttiketjujen yhteydessä enää valvomaan niitä arvioinnin toteuttamistapoja, joiden avulla varmistetaan tulosten johdonmukaisuus, yhtenäisyys ja laatu.

4.34. Toteutettavat työt ja odotettuihin tuloksiin liittyvät velvoitteet kuvataan sopimusehdoissa toisinaan epätäsmällisesti. Sopimusten sanamuodot ovat erittäin yleisluonteisia. Arvioinnin toteuttamistavat jätetään usein avoimiksi menetelmäkehyksiä koskevaa myöhempää sopimusta varten, joka on tehtävä komission kanssa.

4.35. Raporttien antaminen viivästyy hyvin usein. Vuosien 1989-1993 kaikkien tavoitteen 1 yhteisön tukikehysten arviointiin liittyvissä sopimuslausekkeissa määrättiin raportin antamisesta 28. helmikuuta 1995, mutta raportti valmistui vasta vuoden 1995 marraskuussa. Komissio ei ole puuttunut aikataulun noudattamista koskevien sopimusvelvoitteiden laiminlyöntiin, vaan se suoritti 40 prosentin loppuosuuden maksusta 11. heinäkuuta sopimuksen 4 artiklan nojalla.

4.36. Koska sopimuksista puuttuvat noudatettavaan menetelmään ja odotettuihin tuloksiin liittyvät täsmälliset ja selkeät ehdot, komission yksiköt suhtautuvat näihin raportteihin hyvin eri tavalla. Tämän vuoksi komissio on hyväksynyt kertomuksia, joissa tulosten hyödyllisyyttä tyydytään pelkästään kuvailemaan tai siitä esitetään epämääräisiä analyysejä. Komissio on niin ikään hyväksynyt raportteja, jotka pohjautuvat joko haastateltujen henkilöiden esittämiin yleisluonteisiin väitteisiin tai joissa päädytään hyvin yleisluonteisiin suosituksiin. Vuosien 1989-1993 Irlantia koskevan yhteisön tukikehyksen jälkiarvioinnin yhteydessä eräs komission yksikkö suositteli arvioinnin laatineen konsultin kanssa tehdyn sopimuksen purkamista vetoamalla arvioinnin huonoon laatuun, vaikka eräs toinen komission yksikkö oli hyväksynyt sen. Vuosien 1989-1993 Portugalia koskevan yhteisön tukikehyksen jälkiarvioinnin osalta asianomaiset yksiköt hyväksyivät sen, ettei kertomus sisällä arvioinnin osa-alueita vaan siinä tyydytään luettelemaan jäsenvaltion jo esittelemiä konkreettisia toteutuksia. Lisäksi tähdennetään, että vuosien 1989-1993 Espanjaa koskevan yhteisön tukikehyksen jälkiarviointi on liian kuvaileva ja siinä on liian vähän analyysejä. Vuosien 1989-1993 Pohjois-Irlantia koskevan yhteisön tukikehyksen jälkiarviointia pidetään epätäydellisenä. Vastaavasti vuosien 1989-1993 Italiaa koskevan yhteisön tukikehyksen raportin rakennetta pidetään huonona ja sen suunnittelua heikkona. Vuosien 1989-1993 Kreikkaa koskevan yhteisön tukikehyksen arviossa ei ole yleisiä päätelmiä, vaikka siinä on lukukohtaiset päätelmät.

5. TAVOITTEITA 1 JA 2 KOSKEVIEN YHTEISÖN TUKIKEHYSTEN JÄLKIARVIOINNIT (1989-1993)

Johdanto

5.1. Arvioijien työtä haittasivat toistuvasti seuraavat vaikeudet:

a) Ohjelmakauden alkuvaihe on usein kiireinen ja ohjelmien ennakkoarviointi saattaa puuttua erityisesti asianmukaisen taloudellisen perustan osalta varsinkin toimenpideohjelmaan 1 kuuluvilla alueilla

b) määrälliset tavoitteet ja tulosindikaattorit puuttuvat

c) sosiaalis-taloudellista tilannetta ennen rakennerahastojen tavoitteen 2 mukaisten toimien toteuttamista ja niiden toteuttamisen jälkeen kuvaavat tilastot ovat puutteellisia, erityisesti teollisen rakenteen, investointien ja alueellisen bruttotuloksen osalta. Tilastolliset välineet eivät aina vastaa valittua analyysiympäristöä (kunta, departementin osa, työssäkäyntialue)

d) tiettyjen toimien keskeyttäminen

e) ulkosyntyiset tekijät, jotka osaltaan selittävät sosiaalis-taloudellista tilannetta

f) hankkeiden ja niiden tavoitteiden epäyhtenäisyys silloin, kun tukien myöntämistä ei ole riittävästi sidottu alueellisiin tai paikallisiin tarpeisiin

g) toimenpiteistä ja ohjelmista johtuvat vaikutukset ovat vaikeasti tunnistettavissa, koska samalla alueella tai seudulla toteutetaan lukuisia toimia h) ohjelman epäsuorien (erityisesti työllisyyttä koskevien) vaikutusten arviointi on vaikeaa, koska ohjelmien käynnistämisen jälkeen ei ole vahvistettu mitään niihin liittyvää seurantajärjestelmää eikä toteutettu yhtään asiaan liittyvää perusteellista tutkimusta niiden päättymisen jälkeen.

Tavoitetta 1 koskevien yhteisön tukikehysten jälkiarviointi (1989-1993)

5.2. Tavoitetta 1 koskevien yhteisön tukikehysten jälkiarvioinnin yhteensovittamisesta vastasi johtava konsultti; arviointi koostuu kansallisten konsulttien vuoden 1994 tammikuun ja vuoden 1995 kesäkuun välisenä aikana suorittamista maakohtaisista jälkiarvioinneista. Yhteensovittamisesta vastannut konsultti tarkensi sovellettavaa menetelmäkehystä, jossa hyödynnetään analyysimenetelmiä niin makrotaloudellisella tasolla kuin toimenpiteiden ja hankkeiden tasollakin. Tällä menettelytavalla pyritään yhtäällä arvioimaan yhteisön tukikehysten, toimenpideohjelmien ja toimenpiteiden johdonmukaisuutta ja niihin liittyviä strategioita sekä toisaalta laatimaan alustava yhteenveto konkreettisista saavutuksista ja vaikutuksista ja tutkimaan toteuttamisjärjestelmiä. Tiivistelmä menettelytavoista esitetään liitteessä I.

5.3. Vaikka ehdotettu menetelmä on kokonaisuudessaan johdonmukainen, siinä on heikkouksia. Menetelmässä edellytetään, että yhteisön tukikehysten, toimenpideohjelmien ja toimenpiteiden strategioita ja johdonmukaisuutta koskeva analyysi tukeutuu yhdenmukaiseen tavoiterakenteeseen, johon liittyy vakiomuotoinen toiminimikkeistö. Tämä lähestymistapa mahdollistaisi jäsenvaltioiden välisen vertailun, mutta ei välttämättä edellytä tavoitteiden asettamista arvojärjestykseen, jonka perustana ovat sekä jäsenvaltioiden valitsemat painopistealueet että hierarkian, täydentävyyden, korvattavuuden ja yhteisvaikutuksen periaatteet. Menetelmässä ei myöskään voida tuoda esiin kaikkien yhteisön tukikehysten ja toimenpideohjelmien strategioihin liittyviä epäjohdonmukaisuuksia. Menetelmään liittyvässä asiakirja-aineistossa esiteltyjen konkreettisten indikaattorien ja vaikutusta kuvaavien indikaattorien avulla ei voida usein myöskään vastata ennakoituja ja ennakoimattomia vaikutuksia koskeviin kysymyksiin, joihin menetelmän avulla on tarkoitus vastata.

5.4. Tilintarkastustuomioistuin on lisäksi tuonut esiin seuraavia puutteita:

a) Yhteisön tukikehysten ja toimenpideohjelmien sosiaalis-taloudellisen toimintaympäristön kehittymisen yhteydessä ei ole aina verrattu keskenään alkuperäistä tilannetta, johon yhteisön toimenpiteillä on tarkoitus vaikuttaa (1988-1989) ja toteuttamisen päättymistilannetta (1993-1994); joskus varsinkin alueellisia eroja koskevat tiedot ovat liian vanhoja.

b) Menetelmässä edellytettyä tavoitteiden arvojärjestykseen asettamista ei ole useinkaan arvioitu riittävästi; käytäntö ei joko ole ollut vakiintunut tai sitä on sovellettu osittain rajoittumalla toimenpideohjelmiin ja erityistutkimusta varten valittuihin toimenpiteisiin, tai sitten siinä ei ole sovellettu rakenteellisia perusteita järjestelmällisesti. On myös käynyt niin, että tavoitteiden ja välineiden arvojärjestykseen asettamisen avulla ei ole voitu paremmin yksilöidä yhtenäisyyteen, painopistealueiden tärkeyteen ja niiden keskinäiseen tärkeysjärjestykseen liittyviä ongelmia.

c) Yhteisön tukikehyksiin ja toimenpideohjelmiin tehtyihin mukautuksiin liittyviä syitä ei ole aina arvioitu perusteellisesti.

d) Vaikka talousarvion toteuttamista ja täytäntöönpanojärjestelmiä samoin kuin konkreettisia saavutuksia käsitellään arviointikertomuksissa yleensä asianmukaisesti, ohjelmien tai toimenpiteiden vaikutuksia ei ole kaikissa tapauksissa - syntyneiden työpaikkojen määrää lukuun ottamatta - tutkittu tai ne on ilmaistu muuten kuin määrällisesti. Ainoat määrälliset vaikutukset esitetään joskus soveltamalla makrotaloudellisia malleja; ne koskevat BKT:n kasvua, työpaikkojen syntyä ja kilpailukykyä. Tämä osoittaa, että ohjelmien hallinnoijien seurantajärjestelmistä antamat tiedot ovat riittämättömiä.

e) bottom up -lähestymistapaan perustuvissa analyyseissä ei yleensä ole pystytty tekemään ohjelmien vaikuttavuutta koskevia päätelmiä.

f) Yhteisön lisäarvo määritellään joskus ainoastaan laadullisin ilmaisuin (esimerkiksi ohjelman johdonmukaisuuden huomioon ottaminen, yhtenäisen strategian toteutus, vaikutus ohjelmien järjestämisprosessiin); lisäarvoa ei aina ole tarkasteltu järjestelmällisesti.

g) Pitkän aikavälin odotettuja vaikutuksia ei ole käsitelty lainkaan tai on käsitelty ainoastaan niiden laatua.

5.5. Komissio on tilannut tavoitteeseen 1 liittyvän Espanjaa koskevan yhteisön tukikehyksen jälkiarvioinnin, ja yhteisön osarahoittaman toisen arvion ovat käynnistäneet kansalliset viranomaiset. Nämä samana ajanjaksona toteutetut ja samoihin tavoitteisiin pyrkivät tutkimukset on suunniteltu toisistaan riippumatta ja erillisesti.

5.6. Tulosten ja vaikutusten osalta jälkiarvioinneissa tuodaan esiin tavoitetta 1 koskevien yhteisön tukikehysten ansiosta aikaansaadut konkreettiset saavutukset, tietyissä kansallisissa arvioinneissa huomioon otetut yhteisön tukikehyksen makrotaloudelliset vaikutukset ja suunnittelussa saavutettu edistys, vaikka tällä alueella ohjelmakohtaisen lähestymistavan soveltaminen ei ole ollut ongelmatonta (10). Arvioinneissa korostetaan myös yhteisön tukikehysten myönteistä vaikutusta innovatiivisten organisaatiorakenteiden, varainhoidon ja seurannan sekä tieto-, yhteensovittamis- ja yhteistyöjärjestelmien kehittämiseen, vaikka kaikilla näillä tasoilla on edelleen paljon kehitettävää.

5.7. Arvioinnin yhteensovittamisesta vastuussa olleen konsultin vuonna 1995 laatimassa tiivistelmässä oli joitakin hyödyllisiä suosituksia, joita komissio ei ole voinut täysin seurata, esimerkiksi se, että suunnitteluvaiheessa erotetaan toisistaan selvästi sisäsyntyisiä kasvutekijöitä edistävät yhteisön rakenteelliset toimet ja alueelliseen tasapainoon tai hyvinvoinnin lisäämiseen tähtäävät rakenteelliset toimet. Lisäksi suositellaan seuraavia vaihtoehtoja: pyritään saavuttamaan tasapaino joko ensisijaisessa asemassa olevien infrastruktuuri-investointien ja edistettävien alueellisten ominaispiirteiden välillä tai työttömyyden torjumisen sekä tuottavuuden ja kilpailukyvyn lisäämisen välillä tai ottamaan työllisyys entistä paremmin huomioon aluepolitiikassa.

5.8. Kansallisten arvioitsijoiden suorittama tavoitetta 1 koskevien yhteisön kaikkien ensimmäisten tukikehysten 1989-1993 jälkiarviointi on pääasiassa kohdistunut pikemminkin jäsenvaltioiden seuranta- ja hallinnointijärjestelmien parantamiseen kuin todelliseen rakennerahastojen vaikutusten arvioimiseen.

Tavoitteen 2 jälkiarvioinnit (1989-1993)

5.9. Ajanjaksoa 1989-1993 koskevien tavoitteeseen 2 kuuluvien ohjelmien jälkiarvioinnin yhteensovittamisesta vastasi ulkopuolinen arvioija 60 tukikelpoisella alueella. Kutakin aluetta arvioitiin yleisluonteisesti, kun taas perusteellisemmin tutkittiin 22 aluetta. Näiden arviointien päätavoitteena oli tutkia rakenteellisten toimien vaikutusta kyseisten alueiden teollisuuden tuotantosuunnan muuttamiseen ja hyödyntää saatuja kokemuksia seuraavassa suunnitteluvaiheessa. Arvioinnissa käytettyä lähestymistapaa koskeva tiivistelmä esitetään liitteessä II.

5.10. Vaikka yhteinen kehys on määrätty, valitut lähestymistavat ovat hyvin epäyhtenäisiä; tämä koskee erityisesti analyysin painopistealueita ja sen kehittämistasoa, kuvailevaa tai kriittistä luonnetta sekä käytettyjä menetelmiä.

5.11. Yhteisön tukikehysten ja toimenpideohjelmien strategioita ja tarkoituksenmukaisuutta koskeva analyysi sekä yhteisön tukikehyksiin ja toimenpideohjelmiin sosiaalis-taloudellisen toimintaympäristön perusteella tehtyjä muutoksia koskeva analyysi ovat vain harvoin johtaneet sellaisiin tavoiterakenteen, alaohjelmien ja toimenpiteiden muutoksiin, jotka perustuvat kehittämisstrategiaan ja alueelliseen uudelleensuuntautumiseen ja vastaavasti hierarkian, täydentävyyden ja korvattavuuden periaatteisiin. Tällaisen huolellisesti valmistellun muutoksen avulla voitaisiin yksilöidä entistä järjestelmällisemmin puutteet, jotka ilmenevät yhtenäisyyttä, painopistealueiden suhteellista ja tarkoituksenmukaista merkitystä, yhteisvaikutusta, täydentävyyttä sekä sosiaalis-taloudellisen toimintaympäristön tehokkuutta koskevan strategian toteutuksessa, vaikka monet yhteisön tukikehysten ja toimenpideohjelmien rakenteisiin perustuvat tutkimukset ovat epätäydellisiä eikä niissä arvostella tutkittavana olevaa strategiaa juuri lainkaan.

5.12. Rakennerahastojen toimien vaikutusten osalta arvioijat eivät pysty yhdistämään huomautuksiaan ohjelman toimenpiteiden ja sosiaalis-taloudellisten vaikutusten tasolla hankeotosten ja niiden tulosten tarkastelun, lisäarvon ja täydentävyyden perusteella.

5.13. Vain muutamat vaikutusten arvioinnit perustuvat top down- ja bottom up -lähestymistapojen todelliseen yhdistämiseen. Tätä yhdistelmää käytettiin Toscanassa toteutettujen tavoite 2 -toimenpideohjelmaan kuuluvien toimien arvioinnissa. Tässä tapauksessa kahden alueen-Toscana ja muu Italia-ekonometriseen malliin perustuvan top down -lähestymistavan avulla voitiin arvioida kysynnän kasvun kokonaisvaikutuksia alakohtaiseen tuotantoon, kulutustasoon ja lisäarvoon sekä Toscanassa että muualla Italiassa. Mallin avulla voidaan myös arvioida vaikutuskertoimia toimityypeittäin (infrastruktuurit, yrityspalvelut, yksityisten investointien tuet) ja työllisyysvaikutuksia (11). Välittömiä työllisyysvaikutuksia on arvioitu eri toimityyppejä koskevien vakiokertoimien avulla. Tämä top down -lähestymistapa koskee siis kysyntään liittyviä lyhyen aikavälin välittömiä vaikutuksia. Hankeotoksiin ja toimenpiteisiin sovellettavan bottom up -lähestymistavan avulla voidaan paremmin saada selville rakenteeseen liittyvät ja välillisemmät pitkän aikavälin vaikutukset, jotka liittyvät etenkin tarjontaan ja ulkoisiin säästöihin, joilla voidaan vähentää tuotantokustannuksia. Vaikka näitä vaikutuksia on vaikeampi yksilöidä ja niiden määrää on vaikeampi arvioida ja vaikka tällä lähestymistavalla ei voida yhdistää vaikutuksia toimiin ja ohjelmaan-mikä olisi kuitenkin perusteellisen arvioinnin päämäärä-laadulliset näkökohdat, jotka liittyvät toimien tehokkuuteen ja yhteisön toimien täydentävyyteen, ovat hyödyllinen lisä top down -lähestymistapaan. Näiden kummankin lähestymistavan yhdistelmällä voidaan saada aikaan todellista lisäarvoa analyyseihin varsinkin, jos ne perustuvat mallintamis- tai muodonlaatimistekniikkoihin.

5.14. Vaikutusarvioinnit, joissa käytetään järjestelmällisiä tutkimuksia, kuten monet tutkimukset toimenpiteiden täydentävyydestä tai sellaisen erityisen menetelmän soveltamisesta, jolla arvioidaan koeryhmän ja vertailuryhmän välillä toimenpiteillä luotujen työpaikkojen nettomääräistä syntyä, ovat myös harvinaisia. Niillä on kuitenkin todellista lisäarvoa vaikutusarvioinneissa. Toimenpiteiden ja ohjelmien tehokkuutta olisi voitu arvioida paremmin, jos arvioijat olisivat suorittaneet tiettyjä tulosindikaattoreita koskevia tilastotutkimuksia, joita he olivat toivoneetkin voivansa joskus tehdä. Tämän vuoksi ei aina löydy tietoja yrityksistä, jotka ovat sijoittautuneet sellaisille uusille teollisuusalueille, joiden suunnittelua tuetaan rakennerahastoista, tai tutkimuslaitoksista yrityksiin suuntautuvista teknologiansiirroista. Yleensä arviointeja varten toimenpiteiden ja hankkeiden hallinnoijien kanssa käytyjen keskustelujen tuloksena saadaan harvoin täsmällisiä tietoja toimintojen toteutuksesta, tuloksista ja vaikutuksista.

5.15. Syntyneitä työpaikkoja koskevat tulokset eivät ole varmoja, mitä tulee työpaikkojen pysyvyyteen ja erityisesti rakennetoimien osuuteen niiden luomisessa. Arviointiselvitykset sisältävät joskus myös ristiriitaisia tietoja.

5.16. Tavoitteeseen 2 kuuluvien ohjelmien vaikutusten osalta jälkiarviointien perusteella voidaan todeta, että:

a) vaikka tavoite 2 -ohjelmien avulla ei olekaan usein voitu parantaa sosiaalis-taloudellista tilannetta, niillä on kuitenkin voitu osittain välttää tällaisen tilanteen paheneminen uudelleen erityisesti työllisyyden säilyttämisen osalta (12) ja antaa perusta rakennemuutokselle; suurin osa alueista pyrkii näet monipuolistamaan talouttaan ja teollisuusrakennettaan tavoitteenaan päästä eroon maineestaan yksinomaan teollisuusalueena

b) ohjelman luonteen mukaisesta yhtenäistetystä toimintamallista huolimatta toimenpideohjelmat koostuvat joskus jo toteutetun kansallisen ja alueellisen politiikan muutoksista, eivätkä ne siten täysin tue ohjelmatyötä

c) tavoite 2 -toimenpideohjelmien ja yhteisöaloitteiden samanaikaisuus on aiheuttanut sekaannusta ja tukien päällekkäisyyksiä

d) rakennerahastojen toiminnalla on ollut myönteisiä vaikutuksia ohjelmasuunnitteluun, täytäntöönpanotapoihin, yhteistyöhön osallistumiseen, synergioihin, yhteensovittamiseen ja arviointiin. Sen sijaan on usein korostettu ohjelmien toimeenpanijoiden sekä EAKR:n ja ESR:n toimien välisen synergian ja tiedonvaihdon puutetta

e) täydentävyyden osalta rakennerahastojen avulla voidaan aloittaa toimintaa uusilla aloilla, toteuttaa hankkeita, joita ei olisi toteutettu ilman yhteisön tukea, nopeuttaa hankkeiden toteutusta tai toteuttaa entistä kunnianhimoisempia hankkeita, tai sitten voidaan lisätä hankkeen rakenteellista merkitystä. Toimenpidetyyppien täydentävyys (infrastruktuureille myönnettävät tuet, yrityspalvelut, yksityisten investointien tuet) voi osoittautua melko vaihtelevaksi

f) rakennerahastot eivät useinkaan kannusta yksityisten varojen käyttöön, tai ainakaan arvioinneissa ei käsitellä tätä puolta

g) arvioinneissa korostetaan, että alustavat tutkimukset ja neuvottelut sekä tiettyjen hankkeiden hyväksymiseen ja toteutukseen liittyvät hallinnolliset menettelyt samoin kuin uusien kansallisten politiikkojen yhdistäminen johtavat usein viivästyksiin, joiden pituus usein aliarvioidaan.

5.17. Hallinnon osalta arvioinneista käy ilmi erityisesti, että eräät ohjelmien seurantakäytännöt ovat osoittautuneet riittämättömiksi ja että ohjelmasuuunnittelun aikaiset sisäiset muutokset liittyvät lähinnä määrärahojen käytön maksimointiin eivätkä aluekehityksen painopistealueiden tarkistamiseen.

6. VÄLIARVIOINNIT (1994-1999)

Väliarviointiperiaatteiden kehittäminen ja yhdentäminen

6.1. Väliarvioinnista säädetään täytäntöönpanosäännöksiä koskevassa luvussa, joka kuuluu jokaiseen yhteisön tukikehykseen, yhtenäiseen ohjelmasuunnitteluasiakirjaan ja muuhun toimintamuotoon. On huomattava, että väliarvioinnit sisältävät seurannan yhteydessä kerättyjä tietoja koskevan kriittisen analyysin ja niissä selvitetään mahdollisia poikkeamia tavoitteista ja arvioidaan toiminnan odotettuja tuloksia. Niihin kuuluu myös lausunto siitä, kuinka tähdellistä meneillään oleva toiminta on ja kuinka oikeaan osuneita tavoitteet ovat.

6.2. Jäsenvaltioille varainhoitovuoden 1995 aikana osoittamissaan huomautuksissa komissio korosti, että väliarviointien on annettava seurantakomiteoille riittävät tiedot ohjelmien moitteettomasta toiminnasta, niissä on esitettävä mahdolliset ohjelmien uudelleensuunnittelutoimet ja annettava puolueeton kuvaus saavutetusta edistyksestä. Huomautuksissa ehdotettiin myös keskittymistä alkuvaiheessa toimintamuotojen toimintaedellytyksiin ja etenkin eri indikaattoreihin, vastuuhenkilöiden hallinnointikykyyn ja hankkeiden valintamenettelyihin. Seuraavassa vaiheessa väliarviointiraportissa oli käsiteltävä toteutettujen toimien strategian oikeellisuutta ja tavoitteiden oikeaanosuvuutta, ohjelman tehokkuutta vertaamalla toteutusta ja ensimmäisiä tuloksia asetettuihin tavoitteisiin nähden, ohjelman tuloksellisuutta, yhteisön politiikan (ympäristö, julkiset hankinnat jne.) oikeaa soveltamista sekä työllisyyttä ja pk-yrityksiä koskevien tulosten mittaamista, jotta voidaan ehdottaa tarpeellisia muutoksia ja mukauttaa ohjelmamenettelyä.

6.3. Lisäksi komissio ehdotti, että arvioinnin olisi oltava kokonaisvaltaista ja että tiettyä alaa tai maantieteellistä aluetta koskevia aihekohtaisia arviointeja kehitettäisiin vasta myöhemmässä vaiheessa.

6.4. Tietyt jäsenvaltiot, erityisesti Espanja (13), Ranska (14), Irlanti (15) ja Alankomaat (16), ovat myös määritelleet väliarvioinnin puitteet. Niiden kaikkien mielestä väliarvioinneissa olisi

a) käsiteltävä sosiaalis-taloudellista kehitystä

b) analysoitava strategiaa ja sekä sisäistä että ulkoista yhtenäisyyttä

c) käsiteltävä toteutuksen edellytyksiä, mukaan lukien ohjelmasuunnittelu sekä ohjelmien valintaperusteet, hallinto-organisaatio, seurantajärjestelmä ja hankkeiden rahoituskanavat

d) käsiteltävä toteutusta ottaen huomioon odotetut tulokset

e) kuvailtava ensimmäisiä vaikutuksia ja täydennettävä niitä odotettavissa olevilla vaikutuksilla

f) selvitettävä kustannukset tehokkuuden eli varojen ja tulosten välisen suhteen mittaamiseksi

ja tehtävä tarvittaessa painopistealueita tai suunniteltavia toimia koskevia muutosehdotuksia.

6.5. Yhteistyöperiaate otettiin käyttöön vuonna 1988 keinona varmistaa rakennerahastojen tehokkuus, mutta sitä on noudatettu täysipainoisesti hajautetussa hallinnointijärjestelmässä vasta vuodesta 1995 alkaen yhteisön kaikkia vuosien 1994-1999 tukikehyksiä koskevan väliarvioinnin myötä. Tässä yhteydessä määriteltiin, että seurantakomiteoiden tehtäviin kuuluu "määrätä arviointitavoitteet ja toiminnan yhtenäisyyden takaavat laatustandardit, mukauttaa sopimusehdot asianomaisten alueiden ominaispiirteisiin toiminnan päämäärän mukaisesti sekä valita arvioijat arvioinnista vastaavien henkilöiden (seurantakomitean jäsenen ja yhteisön esittelijän) laatimien rajoitettujen listojen perusteella avoimen tarjouskilpailun jälkeen". Väliarviointi on todella lujittanut yhteistyötä tuomalla se mukaan rakennetoimien syy-yhteyksiä selvittävään analyysiin. Taulukoista 5 ja 6 käy ilmi väliarviointien toteuttaminen ja jäsenvaltioiden merkittävä sitoutuminen yhteistyössä rakennerahastojen vaikutusten selvittämiseen.

6.6. Yhteistyöhön perustuva väliarviointimenettely on myös suuresti vaikuttanut toteutuksen vastuutahojen hallinnollisiin rakenteisiin sekä kansallisiin tai alueellisiin perinteisiin. Sen ansiosta on voitu entistä paremmin edistää monivuotisen ohjelmasuunnittelun käytäntöä, jonka yhtenä erottamattomana osana on arviointi, jonka avulla pyritään laatimaan kriittinen arvio rakennetoimista ja valmistelemaan tarvittavia mukautuksia. Arviointiyhteistyö on erityisen hyvin kehittynyt O1-ohjelmien yhteydessä.

6.7. Tällä hetkellä väliarvioinneilla on tarkoitus antaa kattavia vastauksia kaikille yhteistyöhön osallistuville - ohjelman laatijasta aina poliittisiin päättäjiin ja ohjelman vastuuhenkilöihin saakka. Väliarviointien tuloksena syntyy hyvin laajoja raportteja, joissa on itse ohjelmaa koskevia tietoja sekä ennakkoarvioinneista, vuosittaisista toimintakertomuksista sekä väli- ja jälkiarvioinneista saatuja tietoja. Kuitenkin tarkastusten yhteydessä tavattujen toimijoiden mukaan ainoastaan osasta tuloksia tai suosituksia on todellista hyötyä päätöksenteossa, hankkeiden hallinnossa, ohjelmien uudelleensuunnittelussa tai tulevien toimien valmistelussa.

Täytäntöönpanomenettelyt

6.8. Suoritetuista 389 väliarvioinnista 320 koskee tavoitteita 1, 2, 5b ja 6 (17). Näiden arviointien suorittaminen viivästyi useissa jäsenvaltioissa melkoisesti.

6.9. Väliarviointimenettely oli alun perin suunniteltu toteutettavaksi kahdessa eri vaiheessa. Ensimmäinen vaihe koski arvioitavuutta ja mahdollisten siihen liittyvien ongelmien yksilöimistä. Toinen vaihe koostui varsinaisesta arvioinnista, jonka tuloksena laaditaan raportti. Käytännössä tätä menettelyä on sovellettu vain harvoissa tapauksissa.

6.10. Yleisesti ottaen komissio on vaatinut, että ulkopuoliset asiantuntijat suorittavat väliarvioinnit yhtäältä erityistä tietotaitoa koskevan uskottavuuden takaamiseksi ja toisaalta strategian yhdenmukaisuuteen, sosiaalis-taloudellisten analyysien yhtenäisyyteen ja odotettavissa olevien vaikutusten objektiiviseen määrittämiseen liittyvien päätelmien puolueettomuuden takaamiseksi. Rakennerahastojen alan arviointitarpeet ovat synnyttäneet muutamassa vuodessa komission ja jäsenvaltioiden tuntemien ulkopuolisten arvioijien joukon, minkä ansiosta alalle muodostuu yhä suurempaa asiantuntemusta, joka kuitenkin rajoittuu tietyille markkinoille.

6.11. Käytännössä tilintarkastustuomioistuimen paikalla suorittamat tarkastukset ovat tuoneet esille rajoituksia, jotka vähentävät ulkopuolisen konsultin riippumattomuutta. Kun otetaan huomioon arvioijan käytössä ollut rajallinen suoritusaika ja de facto riippuvuus ohjelmien hallinnoijista tarvittavien tietojen saannissa, eri toimintojen toisistaan erottaminen ei ole ongelmatonta. Työstä saadut tulokset rajoittuvat liiankin usein siihen, että seurantajärjestelmän tietoja toistetaan ja ajankohtaistetaan esittämällä ne ulkopuolisen arvioinnin tuloksina.

6.12. Tavanomaista avoimen tarjouskilpailun menettelyä ja virallisessa lehdessä julkaisemista ei ole myöskään aina toteutettu arvioijakonsultin valitsemiseksi. Alankomaissa valinta tapahtui siten, että mahdollisten arvioijien listalla olevaa tiettyä määrää konsultteja pyydettiin jättämään tarjous. Valinta suoritettiin sitten näiden tarjousten perusteella.

6.13. Vaikka komissio osallistuu säännöllisesti seurantakomiteoiden kokouksiin ja voi niissä saada läpi haluamansa konsulttien valintaperusteet, sen puuttuminen tähän menettelyyn ei aina ole samankaltaista. Komission yksiköiden osallistuminen teknisten ryhmien tai tilapäisen teknisen ohjauskomitean työskentelyyn on aktiivista Belgiassa, Kreikassa ja Portugalissa arvioijan valintamenettelystä alkaen. Nämä ryhmät ja komitea valmistelevat konsultin valintaa ja arvioinnin suorittamista. Sitä vastoin Ranskassa komission yksiköille ilmoitetaan virallisesti valinnasta vasta kun on valittu kaksi parasta tarjousta, joiden mukana on lopullinen valintaehdotus ja joista asiasta vastaava alueen prefekti pyytää esittämään mahdolliset huomautukset. Alankomaiden osalta komissio, joka osallistuu kansallisen ohjausryhmän työskentelyyn, jossa painopiste on tavoitteisiin 1 ja 2 kuuluvia alueita koskevien ennakko-, väli- ja jälkiarviointien laatimisessa, ja seurantakomiteoiden työhön, otti vasta myöhään kantaa Flevolandia koskevaan tavoite 1 -ohjelmaan kuuluvaan yhtenäiseen ohjelma-asiakirjaan sisältyvän väliarviointiraporttiluonnoksen sisältöön.

Arviointitavoitteiden painopistealueet

6.14. Väliarviointien toteuttamisessa arviointitavoitteiden painopisteet vaihtelevat lukuun ottamatta toteutuksen ja rahoituksellisten toteutumien tarkastelua, joka on väliarviointien tärkeä osa. Ensisijainen tarkastelu vastaa usein alueen todellisia tarpeita, kuten Korsikan tapauksessa, jossa painopiste on pääasiassa hallinnon, seurannan sekä arvioinnin ja seurannan välistä yhteyttä koskevien ongelmien käsittelyssä. Eräiden arviointitavoitteiden saavuttamista haittaavat tekniset ongelmat, kuten indikaattoritietojen täydentäminen vaikutusarviointia varten.

6.15. Väliarvioinneissa ei useinkaan kiinnitetä tarpeeksi huomiota valitun alueellisen kehittämisstrategian kriittiseen arviointiin, rakennerahastoista rahoitettujen hankkeiden elinkelpoisuuteen, hankkeiden valintaperusteisiin tai ohjelmien erityis- ja yleistavoitteiden vaikutuksiin.

6.16. Yhteisön tuomaa lisäarvoa, jota koskeva analyysi oli yksi yhteisön tavoitteita O1 ja O2 koskevien tukikehysten jälkiarviointien tavoitteista ohjelmakautena 1989-1993, käsitellään väliarvioinneissa ainoastaan poikkeustapauksessa.

6.17. Sosiaalis-taloudellisten olosuhteiden kehitystä, johon yhteisön toiminta suuntautuu ja jonka seurannasta ja ajantasaistamisesta on yleensä sovittu arviointisopimuksissa, käsitellään järjestelmällisesti eräissä tapauksissa (esimerkiksi Vallonian osalta tarkoin taulukoin) ja epätyydyttävästi eräissä toisissa tapauksissa, mikä vaikuttaa suoraan väliarviointiin yleensä sisällytettyjen vahvuus- ja heikkousanalyysien laatuun ja ajantasaistamiseen.

6.18. Kunkin ohjelman sisäisen ja ulkoisen yhtenäisyyden noudattamista ja säilyttämistä kaikilta osiltaan (ohjelman tavoitteet, alaohjelmat ja toimenpiteet, täydentävyys- ja synergiasuhteet tavoitteiden ja toimenpiteiden välillä) tutkitaan vain harvoin järjestelmällisesti. Siten Brandenburgin toimenpideohjelman osalta toimintalinjan 1.1 (tuottavat investoinnit) ja toimintalinjan 1.2 (infrastruktuurit) rahoitussitoumukset ovat ajanjaksona 1994-1996 olleet 138 prosenttia ja 242 prosenttia suunnitellusta ilman että arvioija on esittänyt mitään alueellista kehittämisstrategiaa koskevia perusteluja. Synergioita analysoidaan joskus, mutta analyysit ovat usein epätäydellisiä. Tätä näkökohtaa olisi käsiteltävä entistä järjestelmällisemmin erityisesti EAKR:n ja ESR:n toiminnan välisten synergioiden osalta.

6.19. Samoin vaikka ohjelman painopistealueiden ja varojen käytön uudelleensuuntaaminen olisi arvioinnin nimenomainen tavoite, arviointi ei aina sisällä täydellistä ja yhtenäistä muutosehdotusta tai syiden esittelyä. Ehdotettujen toimenpiteiden laajennusten tai supistusten vaikutuksia ei myöskään aina täsmennetä.

6.20. Monet tarkastellut arvioinnit osoittavat, että arvioija ei ole pystynyt saavuttamaan kaikkia sopimuksessa edellytettyjä tavoitteita erityisesti vaikutusten arvioinnin osalta. Käytettävissä olleet aika ja varat eivät myöskään aina ole olleet suhteessa tavoitteisiin.

Lähestymistavat, menetelmät ja tekniikat

6.21. Koska arvioinnin tavoitteet ja sovellettavat lähestymistavat on usein muotoiltu hyvin yleisellä tasolla sopimuksissa, lähestymistapojen, menetelmien ja tekniikoiden valinta on jätetty usein arvioijien tehtäväksi. Vaikeuksia kohdattuaan arvioijat mukauttavat joskus niitä arviointia tehdessään. Siten saattaa olla, että he muuttavat indikaattoreiksi ainoastaan käytettävissä olevat tiedot.

6.22. Tekniikoita ja menetelmiä ei ole aina kehitetty siten, että ne vastaisivat arviointitavoitteita. Alueellisen kehityksen arviointiin soveltuvista toimintamenetelmistä ei vielä olla myöskään aivan yksimielisiä, ja komissio tyytyy edistämään "parhaita käytäntöjä" yleisellä tasolla pyrkimättä yhteensovittamaan tai yhdenmukaistamaan niiden toteutusta käytännössä. Tämä epämääräisyys, joka liittyy jäsenvaltioiden välisiin ohjelmamenettelyn, toteutuksen tai arvioinnin eroihin, johtaa laadultaan vaihteleviin arviointiraportteihin ja vaikeuttaa tulosten vertailua huomattavasti.

6.23. Vaikutusten mittaaminen osoittaa näin ollen sovellettujen tekniikoiden puutteet, jotka liittyvät erityisesti arvioitavien vaikutusten erikoisluonteeseen ja mutkikkuuteen:

a) entistä parempien indikaattoreiden luomista ei ole vieläkään tutkittu perusteellisesti, ja joskus indikaattorit mittaavat vain konkreettista ja rahoituksellista toteutumista

b) vaikutusten indikaattorit eivät ole aina olleet ajan tasalla

c) sosiaalis-taloudellisten vaikutusten tai alueellisen kehityksen arviointia näyttävät haittaavan useat toimet, alaohjelmat ja toimenpiteet (tavoite 1), kun taas monet teollisen rakenteen uudelleensuuntaamiseen ja/tai toimivuuden edistämiseen tähtäävät ohjelmat (toimenpideohjelmat, yhteisöaloitteet, kansalliset ohjelmat) voidaan käynnistää yhdessä. Yhteisön ohjelmilla ja kansallisilla toimilla on myös joskus eri soveltamisaloja ja toimilla erilaisia käynnistämisaikoja. Tavoitteitakaan ei ole monesti kvantifioitu tai ne on määritelty liian yleisluonteisesti (18). Tässä yhteydessä ratkaistavien sosiaalis-taloudellisten ongelmien havaitsemisen ja toteutettuja toimenpiteitä, alaohjelmia ja hankkeita koskevien tavoitteiden väliset yhteydet eivät aina käy selvästi ilmi, kun otetaan huomioon se, että ohjelman eri tasoilla käytetyt konkreettiset indikaattorit ja vaikutuksia kuvaavat indikaattorit eivät täysin vastaa ohjelman arvioinisen tarpeita. Samoin on osoittautunut vaikeaksi yksilöidä kunkin ohjelman tulokset ja erottaa ne muista yksityisistä, alueellisista tai kansallisista toimista.

d) mallintamista, jolla voidaan arvioida puolivälin toteutumien ja vielä odotettavissa olevien toteutumien perusteella ennakoituja vaikutuksia, on käytetty vain vähän. Tiettyjen kansallisten yhteisön tukikehysten väliarviointi perustuu panos-tuotos-tarkasteluun (Portugali) tai makroekonometriseen malliin (Espanja, Irlanti), kun taas alueellista mallintamista käytetään hyvin vähän. Tässä yhteydessä voidaan mainita esimerkkinä Hainaut'n provinssin (Belgia) kehittämismalli, jota käytetään väliarvioinnin yhteydessä. Toimenpiteiden vaikutusten mallintamistakaan ei ole paljon käytetty liikenteen infrastruktuurien alaa lukuun ottamatta. Esimerkkinä mainittakoon panos-tuotos-mallin soveltaminen Expo 1998 -hankkeeseen (Portugali) ennakko- ja väliarviointien yhteydessä, vaikka ennusteisiin on suhtauduttava varauksellisesti.

e) työllisyysvaikutusten arviointi on myös horjuvaa. Mallien ja muiden analyysi- ja tutkimusmenetelmien soveltaminen ei tuota riittävän tarkkoja tietoja yhtäältä luotujen työpaikkojen todellisesta määrästä ottaen erityisesti huomioon uudet työpaikat, jotka olisi luotu kyseisen toimenpiteen ulkopuolellakin, ja korvaamisen vaikutuksista sekä toisaalta työpaikkojen pysyvyydestä. Lisäksi näiden mallien ja menetelmien soveltaminen ei yleensä ole tuottanut tietoa työpaikoista, joiden syntymisen ei voida katsoa johtuvan ohjelman toteutuksesta.

6.24. Eräissä arviointisopimuksissa on määrätty bottom up -lähestymistavan yhteydessä paikallistalouden kehittämisen osapuolten ja lopullisten tuensaajien, mukaan lukien yhteisön tukea saavat yritykset, keskuudessa toteutettavista kyselytutkimuksista, jotta yhteisön ohjelman osuutta voitaisiin arvioida määrällisesti tai laadullisesti. Joskus tutkimustulokset eivät ole tarpeeksi kattavia, kun otetaan huomioon kyselyihin vastanneiden yritysten ja yhteistyöhön osallistuneiden määrä tai tulosten epäluotettavuus, koska tuloksia ei aina tarkasteta.

6.25. Tuloksia ja vaikutuksia koskevien indikaattorien osalta on todettu, että:

a) tietojen ja tilastojen saamiseen kuluva aika on usein pitkä

b) tiedot koskevat maantieteellisiä alueita, jotka eivät vastaa toiminnan kohteena olevia alueita

c) yrityksiä koskevia tietoja ei ole esitetty yksikkötasolla, mikä vääristää paikallisia tilastotietoja, kun on kyse yrityksestä, jolla on vain yksi toimipaikka alueella mutta joka samaan aikaan toimii useassa toimipaikassa kansallisella tasolla

d) monet tilastokeskukset eivät pysty pilkkomaan kokonaistietoja pienempiin osiin siten, että saataisiin yhtä aluetta tai ongelmakohtaa koskevia tietoja.

6.26. Jos arvioija esittää vaikutusten mittaamisen kannalta riittävämpiä indikaattoreita joko jonkin puutteen korjaamiseksi tai sovittujen indikaattorien korvaamiseksi, hän ei mainitse niitä eikä ota kantaa indikaattorien toimivuuteen. Hän ei aina myöskään mainitse mitään vielä tehtävistä tutkimuksista indikaattorien konkretisoimiseksi eikä arvioi niiden kustannuksia. On myös korostettava, että ohjelman tavoitteita koskevien indikaattoreiden kvantifiointi voi olla vaikeaa, jos ei ole käytettävissä tietoja jo toteutuneesta toiminnasta.

Tavoitteeseen 2 kuuluvien ohjelmien toteuttaminen (1994-1996)

6.27. Ohjelmakauden 1994-1996 yhtenäisten ohjelma-asiakirjojen, yhteisön tukikehysten ja toimenpideohjelmien väliarvioinnin ja seurannan tulokset osoittavat, että ohjelmien toteutuksen ja siihen varatun rahoituksen välillä obn epäsuhta. Huolimatta siitä, että ohjelmiin on ohjelmasuunnittelun 1994-1996 viimeisessä vaiheessa tehty lukuisia muutoksia rahoitusosuuksien käyttöön ottamiseksi, ohjelmakaudelta 1994-1996 siirrettiin määrärahoja ohjelmakaudelle 1997-1999 keskimäärin noin 12 prosenttia. Tämä tilanne voi johtaa siihen, että määrärahojen käyttöönotto on suurimpana huolena ja että arvioinnin merkitystä aliarvioidaan, erityisesti mitä tulee tavoitteiden yhtenäisyyteen, käytettyihin varoihin ja rakennetoimien vaikutukseen.

7. RAKENNERAHASTOJEN VAIKUTUKSET JA ARVIOINTIMALLIT

Vaikutukset yhteisön tukikehysten ja ohjelmien tasolla

Rakennerahastojen vaikutuksia koskevien mallien tulokset

7.1. Rakennerahastojen alan makrotaloudellisessa arvioinnissa käytetyissä malleissa (ks. liite III) tarkastellaan rakennerahastojen vaikutuksia eri näkökulmista seuraavien tekijöiden osalta ottaen huomioon mallien ominaispiirteet:

a) rakennerahastojen tavoitteiden toteutuminen BKT:n kasvun, asukasta kohden lasketun BKT:n todellisen lähentymisen, työllisyyden ja työttömyyden osalta

b) rakennerahastojen toimintaan liittyvien ehtojen noudattaminen; näitä ovat esimerkiksi täydentävyysperiaate ja kestävä kehitys, joka liittyy erityisesti julkisen velan ja maksutaseen hallintaan, tulojen jakautumiseen ja ympäristönäkökohtien huomioon ottamiseen

c) vaikutukset kysyntään ja tarjontaan

d) sellaisten rakennerahastojen välineiden kuin julkisten investointien, henkilöresursseihin tehtävien investointien ja yksityisille yrityksille myönnettävien tukien tehokkuus.

BKT:n kasvu

7.2. Kuten taulukosta 7 käy ilmi, rakennerahastojen vaikutusten arviointi osoittaa, että tärkeimpien käytettyjen mallien (HERMIN, OGM ja DIO) tulosten mukaan koheesiomaiden BKT kasvaa ja sen myötä lähentymiskehitys jatkuu. Näin ollen koheesiomaiden kaudella 1994-1999 yhteisön tukikehykseen kuuluvista rakennetoimista johtuva talouden kumulatiivinen kasvu BKT:n reaalisen kasvun mukaan mitattuna on 5,5 prosenttia Portugalissa, 5,9 prosenttia Kreikassa, 2,6 prosenttia Espanjassa ja 3,3 prosenttia Irlannissa. Näissä tuloksissa oletetaan, että täydentävyysperiaatetta noudatetaan täysin ja että tulokset voivat siten olla erilaisia, jos periaatetta ei noudateta (ks. kohdat 8.11-8.13). Eri makrotaloudelliset mallit ovat myös antaneet riittävän yhtenäisiä tuloksia, jotta kauden 1994-1999 tukikehysten vaikutusta BKT:n vuotuiseen reaaliseen kasvuun voidaan pitää todenmukaisena. Kysyntään liittyvät vaikutukset tuntuvat kuitenkin pääasiassa lyhyellä aikavälillä, kun taas tarjontaan kohdistuvat vaikutukset nähdään paljon myöhemmin. Samoin Hainaut'n alueeseen käytetyn alueellisen HELM-mallin mukaisesti arvioidaan yhtenäisen ohjelma-asiakirjan vaikutuksen kokonaislisäarvon vuotuiseen kasvuun olevan 1,7-2,5 prosenttia ajanjaksona 1994-2002. Sitä vastoin Italian Mezzogiornon tapauksessa rakennerahastojen vaikutus kasvuun näyttää olevan hyvin vähäistä, jopa melkein olematonta. Komission QUEST-malli, jossa tehdään olettamuksia yritysten ja kuluttajien odotuksista, johtaa heikompiin arvioihin vaikutuksista kasvuun ja työllisyyteen kuin aikaisemmat mallit. Tämän mallin hyöty kasvumahdollisuuksien ja työttömyyden vähentämisen osalta näkyy vasta pitkällä aikavälillä.

7.3. Yhteisön tukikehykseen kuuluvista rakennetoimista johtuvan keskimääräisen vuotuisen kasvun nopeutumisen osalta taulukosta 8 ilmenee, että yhteisön tukikehysten yhden prosentin vaikutus BKT:n kasvuun aiheuttaa ajanjaksona 1994-1999 kerrannaisvaikutuksia, jotka johtavat 0,2-0,3 prosentin vuotuiseen lisäkasvuun kysynnän vaikutusten osalta ja enintään 0,2 prosentin kasvuun tarjonnan vaikutusten osalta. HERMIN-mallin osoittamien kysyntään kohdistuvien vaikutusten, jotka häviävät yhteisön tuen loppuessa, vallitsevuus taloudessa myötävaikuttaa perustamissopimuksen 130 a artiklan tavoitteiden toteutumiseen ainoastaan silloin, jos tarjontaan kohdistuvat vaikutukset kehittyvät jatkuvasti ja jos ne vahvistavat asianomaisten alueiden tuotantokykyä. Jos tarjontaan kohdistuvat vaikutukset kehittyvät paljon hitaammin kuin kysyntään kohdistuvat vaikutukset, vastaavia kerrannaisvaikutuksia saatetaan aliarvioida.

Todellinen lähentyminen asukasta kohden lasketulla BKT:lla ilmaistuna

7.4. Rakennerahastojen yhteydessä käytetyt mallit osoittavat, ettei lähentymistä tapahdu aina ja että eräillä yhteisön tukikehykseen kuuluvilla ohjelmilla voidaan pikemminkin vähentää erilaistumista kuin myötävaikuttaa lähentymiskehitykseen.

7.5. Irlannin osalta Bradley (HERMIN 1994) ja Honohan (HERMIN 1997) ovat pohtineet, mitkä voisivat olla yhteisön kausien 1989-1993 ja 1994-1999 tukikehysten tuen vaikutukset bruttokansantuotteeseen asukasta kohden. Bradley arvioi, että kauden 1994-1999 tukikehysten merkitys on vähäinen, kun taas Honohanin mielestä yhteisön tukikehyksillä on merkittävä asema lähentymisessä. Beutel (1997) ennustaa, että Irlanti kuroo umpeen eron muuhun Eurooppaan jopa ilman kauden 1994-1999 tukikehystä, joka lisäisi vuotuista kasvua 0,6 prosentilla. Samoin Espanjan, Portugalin ja Kreikan talous kasvaisi rakennerahastojen ansiosta 0,4, 1,1 ja 1 prosenttia ajanjaksona 1994-1999. Vaikutus on joka tapauksessa ollut myönteinen todellisen lähentymisen kannalta bruttokansantuotteena henkeä kohti.

7.6. OGM-mallin avulla tehdyt ennusteet, jotka koskevat lähentymistä ilmaistuna asukasta kohden lasketulla BKT:lla unionin keskiarvoon verrattuna, osoittavat, että yhteisön tukikehysten nettovaikutus koheesiomaiden lähentymiskehitykseen jää vaatimattomaksi, vaikka vuonna 1995 esitetyt suuntaukset ovatkin Irlannin osalta liian pessimistisiä (ks. taulukko 9).

7.7. Hainaut'n osalta HELM-mallissa tarkastellaan todellista lähentymistä väliarviointia varten ja arvioidaan, että Hainaut'n vuotuinen kasvu olisi rakennerahastojen ansiosta noin 1,4-1,6 prosenttia Euroopan keskiarvoa suurempi, mikä auttaisi keskiarvon saavuttamisessa.

7.8. Näistä arvioista käy ilmi, että rakennerahastojen tuilla on erilaisia vaikutuksia, kun otetaan huomioon tavoitteeseen 1 kuuluvien jäsenvaltioiden alueellisten tai alakohtaisten tuotantorakenteiden erot. Arviot tukevat myös käsitystä, että rakennerahastojen ohjelmasuunnittelun ja -työn laatua on parannettava, jotta näiden rahastojen toimilla voidaan parantaa talouden tuotantokykyä lähentymiseen pyrittäessä.

Työllisyys ja työttömyys

7.9. Taulukossa 10 on yhteenveto rakennerahastojen työllisyyteen ja työttömyyteen kohdistuvien vaikutusten arvioinneista saaduista tuloksista. Kaikkien tutkimusten mukaan yhteisön tukikehykset synnyttävät nettotyöpaikkoja. Nämä uudet työpaikat syntyvät usein muiden kuin kaupallisten palvelujen alalla, kun taas tukikehysten vaikutukset tuottavuuteen keskittyvät pääasiassa teollisuuteen. Eräiden tutkimusten mukaan teollisuuden työllisyysaste vähenee, mikä johtuu työn tuottavuuden kasvusta.

Yhteisön tukikehysten välineiden tehokkuus

7.10. HERMIN-mallin pohjalta tehdyt arvioinnit osoittavat Espanjan, Irlannin ja Portugalin osalta, että julkisille investoinneille myönnettävät, erityisesti infrastruktuurin tuet ovat kasvun kannalta tuottavampia kuin henkilöresursseihin tehtävien investointien tuet (lukuun ottamatta Espanjaa) ja yksityisten investointien tuet. Tämä käy ilmi taulukosta 11, jossa esitetään välineittäin kansallisen BKT:n kasvu, joka johtuu yhteisön tukikehyksen aiheuttamasta yhden prosentin kasvusta kumuloituneessa BKT:ssa ajanjaksona 1994-1999. Lisäksi Kreikkaa koskeneen HERMIN-tutkimuksen päätelmien mukaan yhteisön tukikehysten puitteissa infrastruktuuriin ("hard infrastructure") tehdyt investoinnit myötävaikuttavat BKT:n kasvuun henkilöresursseihin tehtyjä investointeja enemmän. OGM-mallin (Pereira 1991) soveltaminen sen arvioimiseksi, miten yksityisten investointien tai henkilöresursseihin tehtyjen investointitukien korvaaminen infrastruktuuriin tehtyjen investointien lisätuilla vaikuttaa, osoittaa BKT:n kasvaneen ja rakennerahastojen aikaansaaman lähentymisen parantuneen.

Täydentävyyttä ja yhteisrahoitusta koskeva velvoite

7.11. Mallien avulla on myös voitu arvioida täydentävyyden ja julkisen yhteisrahoituksen merkitystä. Siten Honahan (HERMIN 1997) arvioi, että Irlannin talouden kasvu ilman julkisen yhteisrahoituksen velvoitetta olisi ollut yhden prosentin verran yhteisön tukikehyksen vaikutusta alempi ja työllisyys olisi kasvanut hitaammin. Honahan sitä vastoin ennustaa valtionvelan ja BKT:n välisen suhteen ja maksutaseen ylijäämän laskevan tuntuvammin ilman julkisen yhteisrahoituksen velvoitetta. Portugalin osalta yhteisrahoituksen vaatimus johtaa HERMIN-arvioinnin mukaan 1,3 prosentin suuruiseen BKT:n kumuloituneeseen lisäkasvuun, mutta se aiheuttaa myös epäedullisemman valtionvelan kehityksen.

7.12. Hainaut'ta koskevassa HELM-arvioinnissa kiinnitetään paljon huomiota täydentävyyteen. Ajanjaksoa 1994-1999 koskevien kolmen eri mallin mukaisesti - yhtenäisen ohjelmasuunnitteluasiakirjan käsittävä aluepolitiikka, aluepolitiikan harjoittaminen ilman yhteisön tukea ja aluepolitiikka, josta on vähennetty yhtenäisen ohjelma-asiakirjan vaikutus - lisäarvon keskimääräinen kasvu on HELM-arvioinnin mukaan 2,5 prosenttia, 1,7 prosenttia ja 0,1 prosenttia samalla kun työllisyyden kasvu putoaa 0,8 prosentista 0,2 prosenttiin. Teollisuuden tilanne huonontuu myös merkittävästi. HELM-arvioinnin perusteella voitiin myös todeta, että tuen määrää muuttamalla investointitukien määrä ei kannusta investointeihin vastaavassa määrin ja että monet investoinnit toteutettaisiin pienemmillä tukiosuuksilla.

Kestävä kehitys

7.13. Taulukosta 10 käy ilmi, ettei rakennerahastojen vaikutuksia kauppataseeseen, vaihtotaseeseen tai julkistalouden alijäämään ole aina arvioitu. Eri tutkimukset perustuvat lisäksi erilaisiin päätelmiin; siten yhteisön tukikehysten aikaansaama talouskasvu johtaa tietyissä tapauksissa valtiontalouden paranemiseen verotuksen välityksellä, kun taas toisten mallien mukaan yhteisön tukikehykset lisäävät talousarvion alijäämää.

Arvioinnin merkitys makrotalouden tasolla rakennerahastojen päätöksentekomenettelyssä

7.14. Kun otetaan huomioon rakennerahastojen lyhyen aikavälin vaikutukset kysyntään, väliarvioinnissa on tavallista yliarvioida poliittisten viranomaisten yhteisön varojen käyttöön liittyviä ongelmia ja aliarvioida pitemmän aikavälin vaikutukset tarjontaan. Toimenpideohjelmien tai yhteisön tukikehysten uudelleensuuntaaminen tai uudelleensuunnittelu voivat siten olla vääristyneitä. On olemassa vaara, että toimenpiteet tai hankkeet, joissa ei hyödynnetä yhteisön määrärahoja riittävän nopeasti, lopetetaan varsinkin hankalasti toimeenpantavilla aloilla kuten innovaatio tai uudet teknologiat, ja määrärahat suunnataan jo olemassa oleviin rakenteisiin, joiden tuottavuus on paljon heikompi. Tällöin ei aina oteta huomioon kestävän kehityksen makrotaloudellisia näkökohtia.

7.15. Tässä yhteydessä täydentävät makrotaloudelliset arvioinnit, joihin kuuluu kestävyyden, kasvun ja lähentymisen näkökulma, ovat välttämättömiä ennen päätöksentekoa alkuvaiheen ohjelmasuunnittelun ja mukautusten tasolla. Useissa tapauksissa, kuten Espanjassa, Kreikassa tai uusissa Saksan osavaltioissa väliarvioinnin yhteydessä on jo toteutettu mukautuksia ilman perusteellista makrotaloudellista kokonaisanalyysiä. Saksan tavoitteeseen 1 kuuluvista alueista ei ole tehty vaikutusten makrotaloudellista analyysiä väliarvioinnin yhteydessä.

Vaikutukset alaohjelmien, toimenpiteiden ja hankkeiden tasolla

7.16. Alaohjelmien ja toimenpiteiden tasolla on suoritettu hyvin vähän arviointeja huolimatta siitä, että alaohjelmat ja toimenpiteet ovat rakennerahastojen ohjelmatyön kantava voima. Hajautuneisuus, monien alaohjelmien ja toimenpiteiden määrittelyn ja yhtenäisyyden puuttuminen ja niihin liittyvien erityistavoitteiden riittämätön kvantifiointi saattavat selittää tämän vaikeuden mitata vaikutuksia.

7.17. Tämän puutteen vuoksi on vaikeaa yksilöidä tai mitata toimenpiteiden tai eri ohjelmien välistä synergiaa tai täydentävyyttä. Lisäksi ohjelman yleistavoitteiden ja alaohjelmien tai toimenpiteiden erityistavoitteiden väliset yhteydet eivät useinkaan käy selvästi ilmi. Siten väliarviointiraporteissa esitellään yhteisön kauden 1994-1999 tukikehykseen kuuluvien tavoite 1 -ohjelmien yhdenmukaisuusongelmia.

7.18. Tietyn alaohjelman tai yksittäisen toimenpiteen vaikutusten mittaamiseen mukautettu tekniikka on myös harvinaista. Siten edellä kuvailtujen makrotaloudellisten mallien avulla ei voida arvioida yhteisön tukikehyksen tärkeimpien välineiden - julkisten investointien, yksityisten investointien ja henkilöresursseihin tehtävien investointien - tehokkuutta BKT:n kasvun lisääjinä. Yksityistä pääomaa täydentävät infrastruktuurikustannukset näyttävät lisäävän yksityisen pääoman tuottoa, ja ne nopeuttaisivat lähentymistä muita investointimuotoja paremmin (ks. taulukko 11).

7.19. Ohjelmaan kuuluvien toimenpiteiden tai alaohjelmien valinta ja rahoitus eivät ole kuitenkaan riippumattomia aluekehityksen vaikutuksesta kestävään sisäsyntyiseen kasvuun. Komission tai jäsenvaltioiden yhteistyön puitteissa ja alaohjelmien tai toimenpiteiden tasolla suorittama arviointi on sitä paitsi vielä riittämätöntä, jotta voitaisiin tarkastella tietyn erityistoimen vaikutuksia muihin alueisiin tai aloihin tai verrata sitä muihin samanlaisiin tavoitteisiin tähtääviin toimiin. Toimenpiteiden tai alaohjelmien vaikutusanalyysissä on myös otettava huomioon kasvun ja alueen valintaan vaikuttaneen alueellisen samanarvoisuuden välinen sovittelu alkuvaiheessa, jotta odotetut ja toteutuneet tehokkuuden lisäykset voidaan arvioida.

7.20. Hankkeiden kustannus-hyötyanalyysi laaditaan periaatteessa hankkeen rahoituksen hyväksymistä varten. Tämä analyysi on pakollinen asetuksen N:o 2083/93 (EAKR) 5 artiklan nojalla suurten hankkeiden osalta, joiden kokonaiskustannukset ovat yli 25 miljoonaa ecua infrastruktuuriin tehtävien investointien osalta ja 15 miljoonaa ecua tuottavien investointien osalta. Nämä suurten hankkeiden ennakkoarvioinnit sisältyvät yhteisön tukea koskevaan hakumenettelyyn, ja niiden avulla määritetään rahoituksen taso. Sen sijaan niiden jälkiarvioinneista ei säädetä rakennerahastoja koskevissa asetuksissa eikä komissio voi vaatia niitä odotettujen sosiaalis-taloudellisten etujen toteutumisen varmistamiseksi ottaen huomioon käytetyt yhteisön varat. Tämän suuria hankkeita koskevan arviointimenettelyn puutteellisuus merkitsee sitä, etteivät arvioinnin periaatteet toteudu tällä tasolla, sillä ennakkoarvioinnin suorittamista ei voida perustella kuin siinä tapauksessa, että jälkiarviointikin todella toteutetaan. Lisäksi näissä mikrotaloudellisissa ja alakohtaisissa tutkimuksissa voitaisiin arvioida rakennerahastojen mahdollisia vaikutuksia tuottavuuteen ja niistä voisi näin ollen tulla näitä vaikutuksia koskevan arvioinnin lyhyen tai keskipitkän aikavälin tehokas väline.

7.21. Synergiat ja täydentävyydet on myös otettava huomioon hankkeiden arvioinnissa. Niitä ei vielä arvioida riittävästi tai niitä arvioidaan vain pintapuolisesti. Hankkeiden välisen täydentävyyden ja synergian toteutuminen on välttämätöntä, jottei ennakoituja vaikutuksia vaarannettaisi.

7.22. Väliarvioinnissa käsitellään usein ohjelmien hallinnoinnin ongelmia, muttei useinkaan oteta huomioon hankkeiden valintaa ohjanneita perusteita, kuten hankkeen jatkuvuus tai hankkeen merkitys alueen kehittämiselle. Ohjelmien hallinnointijärjestelmällä on pystyttävä takaamaan, että hankkeiden valintaperusteita käytetään ohjelman tulosten optimointiin. Erityisesti olisi vältettävä hankkeita, joilla on kehitykseen nähden erittäin heikko lisäarvo, vaikka niillä olisikin se etu, että niille varatut määrärahat käytetään varsin ripeästi. Hankkeiden valintajärjestelmän on oltava entistä avoimempi, jotta sitä voidaan valvoa ja sen arvioitavuus voidaan taata.

8. PÄÄTELMÄT

8.1. Yhteisön rakenteellisten toimien arviointi perustuu neuvoston päätöksistä johtuviin säädösmääräisiin velvoitteisiin, ja arviointi toteutetaan nykyisin yhteistyöperiaatteen mukaisesti. Arvioinnista on tullut toimien suunnittelun ja hallinnon apujärjestelmä, jolla edistetään toimien vaikutusten ja niistä saatavan hyödyn entistä parempaa tuntemusta. Vuonna 1997 seurantakomiteoiden (19) toimesta suoritettiin yli 250 ohjelmakautta 1994-1999 koskevaa väliarviointia.

8.2. Rakennerahastouudistuksen tarkistuksen myötä arviointi on saavuttanut kypsän vaiheen, jota on tästä lähtien syytä edelleen lujittaa entistä toimivammilla menetelmillä. On pyrittävä kehittämään etenkin ohjelmien sosiaalis-taloudellisten vaikutusten mittaamiseen aluekehityksen alalla parhaiten soveltuvia arviointimenetelmiä, koska MEANS-ohjelmalla ei ole tässä tyydyttävästi onnistuttu.

8.3. Myös eritasoisten indikaattorien laadun, sisällön ja kustannustehokkuuden parantamiseen on kiinnitettävä huomiota. Olisi myös pyrittävä paremmin mallintamaan laatunäkökohdat. Jollei näillä aloilla edistytä edelleen, on vaara, että arviointiprosessi alkaa polkea paikallaan.

8.4. Sama koskee tilastoja, joiden heikkoudet asettavat indikaattorien käyttökelpoisuuden kyseenalaiseksi ja heikentävät suuresti seuranta- ja arviointimenettelyä.

8.5. Enemmän tai vähemmän osuvien indikaattorien tämänhetkinen suuri määrä heikentää arvioinnin laatua ja käyttökelpoisuutta. Olisi valittava huolellisesti muutama rakennepolitiikan perustelemisessa tai uudelleensuuntaamisessa välttämätön vaikutuksia kuvaava indikaattori ottaen huomioon tietojen alueellistamisen mukanaan tuomat vaatimukset ja tiedonkeruun mahdollisuudet. Näiden indikaattorien luotettavuutta olisi valvottava ja niiden vertailukelpoisuutta ja yhdistämismahdollisuutta Euroopan laajuisesti olisi parannettava.

8.6. Jotta arviointi voitaisiin ottaa täysin huomioon päätöksenteossa ja rakennerahastojen toiminnan ohjauksessa, arviointien avoimuus, puolueettomuus, arviointien tavoitteiden vastaavuus tarpeisiin nähden ja valmistuminen ajoissa olisi taattava.

8.7. Arviointitulosten puolueettomuuden varmistamiseksi arvioijien riippumattomuus asianomaisista ohjelmien hallinnoijista ja viranomaisista olisi säilytettävä.

8.8. Yhteisen viitekehyksen käyttö helpottaisi arviointiraporttien luettavuutta ja vertailukelpoisuutta sekä kokemusten vaihtoa.

8.9. Jokaista arviointia varten olisi hyvä määritellä entistä toimivammat tavoitteet. Sopimusehdoissa ja tehtäväkuvauksessa, jotka komissio yleensä hyväksyy, olisi selvästi määriteltävä käytettävät menetelmät sen mukaan, sovelletaanko niitä alueellisten, alakohtaisten tai kansallisten näkökohtien tarkasteluun tai käytetäänkö niitä etenkin lyhyen tai pitkän aikavälin vaikutusten selvittämiseen. Muiden menetelmien vahvoja ja heikkoja puolia olisi verrattava komission esittämiin menetelmiin. Samoin jokaiseen arviointisopimukseen olisi kuuluttava komission esittämä indikaattoreiden vähimmäisluettelo ohjelmien tavoitteiden toimivuuden mittaamiseksi, jotta analyysille välttämätön yhtenäisyys voidaan taata. Muitakin sosiaalis-taloudellisen ja rakenteellisen tilanteen indikaattoreita voidaan luonnollisesti käyttää tämän analyysin täydentämiseksi ja tarkentamiseksi.

8.10. Kun otetaan huomioon se, miten erilaisia arviointiin liittyvät lähestymistavat ovat, komission on vaadittava, että arvioijat tarkentavat jo tarjouskilpailuvaiheessa valitsemansa lähestymistavan paljon entistä paremmin varsinkin niiden vaikutusten osalta, joita kullakin lähestymistavalla on määrä mitata ja millä aikavälillä, jotta käytettyjen menetelmien kattavuutta voidaan arvioida. Arviointiin olisi myös sisällyttävä yksityiskohtainen analyysi ohjelmien tavoitteiden ja näiden tavoitteiden saavuttamiseksi toimeenpantujen toimintalinjojen ja toimenpidekokonaisuuksien välisistä yhteyksistä. Arviointiin olisi myös kuuluttava portaittainen selvitys ohjelmien tavoitteista, tuloksista ja toteutuksista, toimintalinjoista ja toimenpidekokonaisuuksista.

8.11. Tässä yhteydessä on arvioinnin käyttäjiä varten tarpeen jaotella arvioinnin sisältö entistä selkeämmin, jotta arvioinnin tehokkuutta voitaisiin lisätä ja jotta voitaisiin entistä paremmin vastata käyttäjien erityisodotuksiin etenkin väliarviointien osalta. Olisi myös pyrittävä entistä parempaan kustannusten hallintaan, sillä komissio ei aina ole perillä yhteistyöperiaatteen mukaisesti tehtyjen arviointien kustannuksista.

8.12. Komission olisi myös osoitettava ne aluepolitiikan osa-alueet, joita olisi erityisesti arvioitava. Näitä ovat täydentävyysperiaate, lähentyminen, yhteistyöperiaate, keskittäminen, työllisyys, sisäsyntyinen talouskehitys ja yhteiskunnallinen hyvinvointi. Asukasta kohden laskettu BKT ei saa olla ainoa mittapuu, jonka perusteella rakenteellisten toimien tehokkuutta arvioidaan.

8.13. Vaikutuksia ja yhteisön lisäarvoa koskevassa arvioinnissa olisi voitava tukeutua niin kansallisiin ja alueellisiin kehittämismalleihin ohjelman tasolla kuin myös toimenpidekokonaisuuksien vaikutuksia mittaaviin malleihin.

8.14. Rakenteellisten toimien makrotaloudellisia tuloksia olisi tarkennettava ottaen huomioon tulosten pohjana olevien mallien puutteellisuudet sekä toimien aiheuttamat toissijaiset vaikutukset ja vaikutukset yhteiskunnalliseen hyvinvointiin.

8.15. Makrotaloudellisessa mallintamisessa tehdään perustavanlaatuinen ero lyhyen aikavälin kysyntään kohdistuvien vaikutusten ja tarjonnan rakenteellisten mukautusten välillä. Rakennerahastoja koskevassa ohjelmatyössä olisi pyrittävä parantamaan talouden tuotantokykyä, jotta taattaisiin vaikutusten pysyvyys ja vältettäisiin liian suuri riippuvuus kysynnästä, mikä johtaisi tilanteeseen, jossa yhteisön tukea tarvittaisiin pitkään.

8.16. Koska tarjontaan kohdistuvat vaikutukset näkyvät vasta pidemmän ajan kuluttua, väliarvioinnissa kiinnitetään yleensä enemmän huomiota kysynnän vaikutuksiin. Komission olisi käynnistettävä työ, jolla pyritään kehittämään tarvittavat välineet talouteen kohdistuvien rakenteellisten vaikutusten seurantaan ja arviointiin.

8.17. Makrotaloudellisista malleista käy myös ilmi, että talouskasvuun tähtäävä politiikka ei aina ole kestävän kehityksen mukaista. Kasvuun kohdistuvien vaikutusten ja kestävän kehityksen vaikutusten välisiä suhteita olisi analysoitava enemmän, ja tämä kaksijakoisuus olisi otettava järjestelmällisesti huomioon rakennerahastojen toimien suunnittelussa.

8.18. Täydentävyyttä ja julkista yhteisrahoitusta koskevien velvoitteiden vaikutuksia ei ole aina helppo kartoittaa, eikä näitä vaikutuksia aina tutkitakaan. Niitä varten tarvittaisiin entistä järjestelmällisempiä ja syvällisempiä analyysejä.

8.19. Itse arvioinnilla ei ole tarkoituskaan korvata poliittista päätöksentekoa, johon kuuluu laaja-alaisempien näkökohtien huomioon ottaminen, mutta sen on oltava välttämätön työväline yhteisön rakenteellisten toimien hyvässä ja tehokkaassa hallinnoinnissa, jossa otetaan huomioon myös sosiaalis-taloudelliset vaikutukset.

Tilintarkastustuomioistuin on hyväksynyt tämän raportin Luxemburgissa 23. syyskuuta 1998 pitämässään kokouksessa.

Tilintarkastustuomioistuimen puolesta

Bernhard FRIEDMANN

Presidentti

>TAULUKON PAIKKA>

>TAULUKON PAIKKA>

>TAULUKON PAIKKA>

>TAULUKON PAIKKA>

>TAULUKON PAIKKA>

>TAULUKON PAIKKA>

>TAULUKON PAIKKA>

>TAULUKON PAIKKA>

>TAULUKON PAIKKA>

>TAULUKON PAIKKA>

>TAULUKON PAIKKA>

(1) Tässä tarkoitetaan erityisesti:

a) rakennerahastojen päämääristä ja tehokkuudesta ja niiden toiminnan yhteensovittamisesta keskenään annetun puiteasetuksen 6 artiklaa (asetus (ETY) N:o 2052/88, sellaisena kuin se on muutettuna asetuksella (ETY) N:o 2081/93).

b) rakennerahastojen toimien yhteensovittamisesta annetun asetuksen 26 artiklaa (asetus (ETY) N:o 4253/88, sellaisena kuin se on muutettuna asetuksella (ETY) N:o 2082/93).

(2) "Ennakkoarvioinnista" käytetään termejä "appréciation ex ante" ja "évaluation ex ante". Tilintarkastustuomioistuin käyttää tässä kertomuksessa pääasiallisesti säädöskielen termiä "appréciation ex ante".

(3) Yhteisön toiminta täydentää vastaavaa kansallista toimintaa tai myötävaikuttaa siihen. Se perustuu tiiviisiin neuvotteluihin komission, asianomaisen jäsenvaltion, alueellisten ja paikallisten viranomaisten, toimivaltaisten viranomaisten, taloudellisten kumppanien sekä työmarkkinaosapuolten ja muiden toimivaltaisten elinten välillä. Näitä neuvotteluja kutsutaan jäljempänä "yhteistyöhön osallistumiseksi". Yhteistyöhön osallistuttaessa kunnioitetaan sen kaikkien osapuolien institutionaalista, oikeudellista sekä varainhoitoon liittyvää toimivaltaa.

(4) Tilintarkastustuomioistuin esittää erityisesti varainhoitovuosia 1990 (luku 7), 1993 (luvut 6, 7, 8 ja 9) sekä 1994 (luku 4) koskevissa kertomuksissaan lukuisia puutteita, jotka liittyvät ohjelmakaudella 1989-1993 toteutettuihin arviointeihin.

(5) Kyse on seuraavista arvioinneista:

a) ohjelmakauden 1989-1993 osalta:

- tavoitteita 1 ja 5 b koskevien yhteisön tukikehysten ennakkoarvioinnit (1990-1991),

- tavoitetta 1 koskevien yhteisön tukikehysten jälkiarvioinnit (1994-1995),

- tavoitetta 2 koskevien yhteisön tukikehysten jälkiarvioinnit (1996-1997),

- aihekohtaiset arvioinnit (pk-yritykset, televiestintä);

b) ohjelmakauden 1994-1999 osalta:

- tavoitetta 1 koskevien aluekehityssuunnitelmien ennakkoarvioinnit,

- tavoitteen 5 b ohjelmien ennakkoarvioinnit,

- tavoitetta 2 koskevan yhtenäisen ohjelma-asiakirjan ennakkoarvioinnit 1994-1996,

- tavoitetta 2 koskevan yhtenäisen ohjelma-asiakirjan ennakkoarvioinnit 1997-1999,

- yhtenäisen ohjelma-asiakirjan ja yhteisön tukikehyksen tavoitetta 1 koskeva kriittinen arvio (1995).

Jäsenvaltioiden komission pyynnöstä toteuttamat arvioinnit eurooppalaisten rakennepolitiikkojen vaikutuksesta yhteisön taloudelliseen ja sosiaaliseen yhteenkuuluvuuteen.

(6) PO XXII:n huomautus 14. maaliskuuta 1991.

(7) Vuonna 1994 laadittiin ensimmäiset "sopimusehdot yhteisön tukikehyksen ja tavoitteen 1 toimien jatkuvaa arviointia varten". Ehdoissa vahvistetaan väliarvioinnin asemaa seurantakomiteoiden päätöksenteon apuvälineenä ja sen toteuttamista yhteistyössä. Niissä täsmennetään myös arvioinnintoteuttamistapa, erityisesti arviointiryhmän toimenkuva ja tehtävät.

a) Vuonna 1995 julkaistiin yhteisön rakennerahastoja koskevat yhteiset suuntaviivat seurantaa ja väliarviointia varten; suuntaviivoissa määritellään arvioinnin osa-alueet (yleiset ja erityiset tavoitteet sekä osoittimet) sekä seurannan ja väliarvioinnin välinen suhde.

b) Jäsenvaltioille lähetettiin vuonna 1995 kirjeet, joissa muistutettiin väliarviointia koskevasta velvoitteesta ja täsmennettiin uudelleenarvioinnin toivottuja toteuttamistapoja.

(8) Esimerkiksi:

a) Brysselissä 16. marraskuuta 1995 järjestetty konferenssi Euroopan aluepolitiikasta; konferenssissa käsiteltiin erityisesti ajanjaksoa 1989-1993 koskevia tavoitteen 1 jälkiarviointeja ja ajanjakson 1994-1999 ennakkoarviointeja.

b) Berliinissä 2. Ja 3. joulukuuta 1996 järjestetty eurooppalainen konferenssi rakennerahastojen toimien arviointimenetelmistä; konferenssissa paneuduttiin erityisesti vaikutusten arvioinnin ongelmiin mikro- ja makrotaloudellisella tasolla.

c) Sevillassa maaliskuussa 1998 järjestetty konferenssi, jonka tavoitteena oli edistää yhteistyöhön perustuvaan arviointiin liittyvää kokemusten vaihtoa.

(9) Tätä ohjelmaa hallinnoivat yhdessä komissio ja ulkopuolinen konsultti, jonka työskentelykustannukset - vuotuinen summa 932 000 ecua - rahoitetaan budjettikohdasta B2-1 8 2 0.

(10) Ohjelmakohtaisen lähestymistavan esteitä ovat:

i) lyhyet suunnitteluajat, mikä merkitsee erityisesti ennakkoarvioinnin laiminlyöntiä

ii) konkreettisten tavoitteiden sekä saavutuksia, tuloksia ja vaikutuksia koskevien määrällisten osoittimien puute

iii) hallinnolliset esteet erityisesti silloin, kun saman ohjelman aliohjelmat kuuluvat eri hallinnonalojen toimivaltaan tai kun ala- ja aluekohtaiset lähestymistavat ovat ristiriidassa keskenään

iv) yhteisön säännöissä ilmenevät puutteet, josta seuraa, että yhteisön aloitteiksi hyväksytään tavoitteen 1 toimenpideohjelmissa 1 hylätyt hankkeet

v) rakennerahaston hankekohtainen lähestymistapa, joka ei enää edistä ohjelmakohtaisen lähestymistavan tasapainoista soveltamista.

(11) Tämä ei kuitenkaan tarkoita sitä, että kyseessä olisi työpaikkojen luominen, koska ekonometrinen malli perustuu täyden työllisyyden oletukseen ja yrityksillä on laman aikana ylituotantoa.

(12) Rakennerahastoja koskevassa kahdeksannessa vuosikertomuksessa esitetään tärkeitä kannustusvaikutuksia, jotka liittyvät sellaisiin bruttotuloksiin kuin työpaikkojen syntyminen tai yritysten perustaminen.

(13) "Evaluacion intermedia de programas operativos regionales del objetivo no 2 (fase 1994-1996). Orientaciones sobre contenidos comunes a recoger en los pliegos de condiciones ténicas, 23. 5. 1996".

(14) "DATAR, Calendrier réglementaire et administratif".

(15) "General criteria to underpin Terms of Reference for Mid-Term Evaluation of Operational Programmes / Community Initiatives".

(16) "Evaluatiekader voor de programma's van de Europese Structuurfondsen, Terp Advies-CBEA Pieter van Run, joulukuu 1997".

(17) Näistä 36 tutkittiin paikan päällä ja/tai komissiossa.

(18) Esimerkiksi: maaseudun elävöittäminen, alueen talousrakenteen vahvistaminen, alueelliseen kehitykseen liittyvät muutokset.

(19) Seurantakomiteat koostuvat asianomaisten kansallisten viranomaisten ja Euroopan komission edustajista.

LIITE I

Yhteenveto tavoitteeseen 1 kuuluneiden yhteisön tukikehysten 1989-1993 jälkiarviointien yhteydessä sovelletuista menetelmistä

1. Tavoitteeseen 1 kuuluneiden yhteisön tukikehysten 1989-93 jälkiarviointien varsinaisena tavoitteena oli:

a) arvioida tukikehysten strategiaa ja tavoitteita ja saada arvioinnin tuloksena tietoja tulevaa toimintaa varten. Pyrkimyksenä oli myös analysoida toimien uudelleenmäärittelyn ja mukauttamisen vaikutuksia alun perin sovittuihin tavoitteisiin tukikehysten täytäntöönpanon aikana

b) tehdä ensimmäinen yhteenveto yhteisön tukikehysten ja toimenpideohjelmien tasolla merkittävien toimien konkreettisesta toteuttamisesta ja arvioida alustavasti niiden vaikutusta

c) analysoida täytäntöönpanotapojen tehokkuutta ja ottaa arvioinnista oppia mahdollisia tulevia mukautuksia varten.

2. Eri konsulttien jäsenvaltioille suorittamien arviointien yhteensovittamisesta vastaava pääkonsultti on laatinut seuraavat menetelmiä koskevat lähestymistavat:

a) yhteisön tukikehysten ja toimenpideohjelmien sekä vuodesta 1989 alkaen näihin tehtyjen mukautusten arvioimiseksi - ja erityisesti näiden mukautusten syiden, yhteisön lisäarvon, sisäisen yhtenäisyyden, ulkoisen yhtenäisyyden, strategian sopivuuden ongelmiin nähden ja rahoituksen riittävyyden analysoimiseksi - ensimmäisen tavoitteen osalta olisi toteutettava seuraavat top down -lähestymistapaan perustuvat toimet:

- tietojen, myös tärkeimpien perustietojen keruu: rahoitusta, ennakkotavoitteita, odotettuja tuloksia ja vaikutuksia, kohderyhmiä ja -aloja, käytettyjä pääasiallisia välineitä, hyväksyttyjen hankkeiden ja toimenpiteiden määrää sekä toteutettuja hankkeita koskevien tietojen keruu

- ohjelman ympäristön ja sen kehittymisen (alkutilanne - nykytilanne) kuvaus; ohjelman kehittymiseen ja sen menestymiseen tai epäonnistumiseen vaikuttavien ulkoisten tekijöiden yksilöiminen; ongelmien ja perussyiden analysointi; tärkeimpien alueellisen kehittymisen indikaattorimien, mukaan lukien eroavaisuuksien muutostindikaattorimet, konkretisointi

- poliittisten välineiden määrittäminen (lainat, tuet, tekninen apu)

- tavoitteiden asettaminen tärkeysjärjestykseen, hierarkiatasojen sekä tavoitteiden ja välineiden välisten yhteyksien tunnistaminen

b) toisen tavoitteen osalta kehiteltävät analyysit perustuvat top down- ja bottom up-lähestymistapoihin:

- tulosten ja vaikutusten analysointi toimenpideohjelmien tasolla sekä toimenpiteiden ja hankkeiden arviointi ottaen huomioon "puhtaat tappiot" sekä korvaus- ja kerrannaisvaikutukset

- toimenpiteiden ja niiden yhdistelmien tehokkuuden analysointi; menestymisen tai tappioiden syiden analysointi

- tuotosten ja panosten vertailu

tärkeimmät ja vapaaehtoiset indikaattorimet on myös konkretisoitava

c) kolmannen tavoitteen osalta pyritään analysoimaan täytäntöönpanotapojen tehokkuutta yhteisön tukikehysten, toimenpideohjelmien ja muutamien toimenpiteiden tasolla ja yksilöimään ohjelmasuunnitteluun, täytäntöönpanoon, seurantaan ja arviointiin tehdyt ja tehtävät parannukset; kunkin jäsenvaltion osalta tutkittiin päätöksenteon, suunnittelun, rahoitusvalvonnan, täytäntöönpanon, seurannan, valvonnan, rahoitusjärjestelmien, yhteistyöperiaatteen, täydentävyyden, rahastojen yhteensovittamisen, yksinkertaistamisen ja yhdenmukaistamisen, entistä suuremman joustavuuden ja paremman avoimuuden menetelmiä; muutamissa toimenpiteiden ja suurten hankkeiden otoksissa täytäntöönpanoa ja seurantaa analysoitiin perusteellisesti

d) muutamia ohjelmia, toimenpiteitä ja hankkeita valittiin näytteiksi lähempää tarkastelua varten, jotta saataisiin tietoja muutamista konkreettisista ja vaikutuksia kuvaavista indikaattorimista ja jotta toisaalta voitaisiin suorittaa perusteellisia analyysejä.

LIITE II

Yhteenveto tavoitteen 2 ohjelmakautta 1989-1993 koskevasta jälkiarvioinnista

Tavoitteen 2 yhteydessä ohjelmakautena 1989-1993 toteutettujen yhteisön toimien jälkiarviointiin, johon yleensä kuului EAKR:n ja ESR:n osuus, sisältyi seuraavaa:

a) yleiset analyysit kaikista tavoitteeseen 2 kuuluvista alueista: tavoitteena oli vertailla sosiaalis-taloudellista tilannetta vähän ennen tavoitteen 2 yhteydessä toteutettavia rakennerahastojen toimia sosiaalis-taloudelliseen tilanteeseen näiden toimien toteuttamisen jälkeen; pyrkimyksenä oli analysoida täytäntöönpanostrategiaa, tavoitteiden, painopistealueiden ja toimenpiteiden tärkeysjärjestystä, indikaattoreita, suunniteltuja ja suunnittelemattomia vaikutuksia, ohjelmaosien välisiä synergioita sekä eri rahastojen yhdistämistä. Näiden analyysien oli määrä perustua yhteisön tukikehysten ja toimenpideohjelmien sisältöön, vuotuisiin toimintakertomuksiin tai seurantakomiteoille esitettyihin kertomuksiin sekä ennakko- ja jälkiarviointeihin silloin kun niitä oli käytettävissä

b) 22 eri aluetta koskevaa perusteellisempia tutkimuksia, joiden tavoitteena oli:

- tutkia perusteellisesti yhteisön tukikehyksiä, toimenpideohjelmia ja toteutettuja toimenpidetyyppejä

- analysoida institutionaalisia rakenteita ja ohjelmien hallinnointitapoja

- arvioida niitä "lisäarvon" vaikutuksia, joiden voidaan katsoa johtuvan yhteisön tukikehyksistä ja toimenpideohjelmista

- arvioida vaikutusten kustannuksia ja tehokkuutta

- tutkia tavoitteeseen kuuluvien ohjelmien toiminnan myötävaikutusta alueelliseen kehittymiseen.

Perusteelliset arvioinnit perustuvat bottom up -lähestymistapaan, ja niiden tavoitteena on - toimintojen valinnan, niiden tyypin, niitä koskevan hallintomenettelyn, niiden lisäarvovaikutusten, synergioiden sekä täydentävyyden tarkastelun avulla - toiminnan elvyttäminen ja yhdistäminen toimenpiteiden tasolla ja lopulta ohjelman tasolla.

LIITE III

Rakennerahastojen arvioinnin yhteydessä käytettyjen makrotaloudellisten mallien ominaispiirteet

1. Rakennerahastojen makrotaloudellisen arvioinnin tärkeimpiä malleja ovat:

a) ekonometriset mallit, kuten HERMIN (1), HELM (2) ja QUEST (3)

b) laskettavissa olevat yleisen tasapainon mallit, kuten OGM (4) ja BBM (5)

c) panos-tuotos-mallit, kuten DIO (6) ja FIDIMI (7)

d) rakenne- ja jäännösanalyysi.

Näiden mallien soveltamisen piirteet tarkastelluissa tapauksissa on esitetty kaavamaisesti taulukoissa III 1 ja III 2. Taulukossa III 3 kuvataan puolestaan yhteisön tukikehysten piirteiden mallintamista.

2. Lisäksi mahdollisuus simuloida tavoitteeseen 1 kuuluvien maiden talouden kehittymistä yli kymmenen vuoden aikana ja monien eri alojen pohjalta auttaa ymmärtämään rakennerahastojen synnyttämää rakennemuutosta ja arvioimaan kiinnikuromisprosessin kestävyyttä, jota olisi tuettava ja vahvistettava yhteisön tuella.

3. Tilintarkastustuomioistuin teetti tutkimuksensa yhteydessä analyysin (8) sen arvioimiseksi, missä määrin nämä tekniikat soveltuvat makrotalouden tasolla rakenteellisten toimien vaikutusten mittaamiseen ja missä määrin ne voivat tehokkaasti edistää ohjelmasuunnittelun päätöksentekoa ja strategiaa.

4. Tutkimustulosten mukaan rakenteellisten ohjelmien onnistumista säätelevät sisäiset tai ulkoiset tekijät vaihtelevat käytettyjen menetelmien ja käsitteellisten lähestymistapojen mukaan. Makrotaloudellisilla malleilla pyritään kuvailemaan jonkin maan tai alueen talousjärjestelmän mekanismeja ja löytämään tai simuloimaan sellaisia ulkopuolisia äkkivaikutuksia kuin rakenneohjelmien toiminta. Talouden todellisuuden kuvaamiseen ei kuitenkaan ole olemassa yhtä täydellistä menetelmää.

5. Ekonometrisessä HERMIN-mallissa, jossa otetaan huomioon kunkin jäsenvaltion erityispiirteet ja yhd