Erityiskertomus nro 3/2002

Employment-Integra-yhteisöaloitteesta sekä komission vastaukset

(annettu EY:n perustamissopimuksen 248 artiklan 4 kohdan toisen alakohdan nojalla)

(2002/C 263/01)

SISÄLLYS

>TAULUKON PAIKKA>

TIIVISTELMÄ

I. Integra käynnistettiin vuonna 1996 uutena, neljäntenä työllisyyttä ja inhimillisten voimavarojen kehittämistä koskevaan yhteisöaloitteeseen(1) sisältyvänä lohkona ohjelmakaudeksi 1997-1999. Vuosina 1994-1997 Integra oli osa Horizon-lohkoa, mutta koska Euroopan parlamentti ja neuvosto olivat korostaneet työmarkkinoilta syrjäytyneiden ihmisten ongelman merkitystä, Integra irrotettiin omaksi lohkokseen. Heinäkuun 10. päivänä 1996 päivätyssä tiedonannossa, jonka komissio laati jäsenvaltioille, Integran tavoitteeksi on asetettu "edistää toimenpiteitä, joilla parannetaan työmarkkinoiden ulkopuolelle jääneiden, tai jotka ovat vaarassa joutua sellaiseen tilanteeseen, haavoittuvien ryhmien työmarkkinoille pääsyä ja työllisyysmahdollisuuksia".

II. Siitä huolimatta, että kohderyhmiin kuuluu edelleen Employment-Horizon(2) -lohkoon sisältyvät ryhmät, tiedonannossa täsmennettiin, että olisi korostettava maahanmuuttajien, pakolaisten ja muiden samanlaisten haavoittuvien ryhmien erityistarpeisiin keskittyviä toimia, koska he kohtaavat todennäköisesti enemmän syrjintää työmarkkinoilla nyt, kun Euroopassa on havaittavissa rasismin ja muukalaisvihan kasvua.(3)

III. Jäsenvaltioiden käyttöön annettiin 418 miljoonan euron määrärahat, ja ne valitsivat toteutettavaksi ohjelmakauden 1997-1999 aikana ensin noin tuhat hanketta.

IV. Tilintarkastustuomioistuimen tarkastuksen yleisenä tavoitteena oli selvittää:

- taattiinko hankkeen edistäjien ja hankkeiden valintamenettelyissä se, että hankkeet olivat innovatiivisia ja että ne kohdistuivat yhteiskunnan haavoittuvimpiin ryhmiin,

- arvioitiinko saatuja kokemuksia ja opetuksia ja seurattiinko niitä järjestelmällisesti, yhdenmukaisesti ja vertailukelpoisesti,

- hoidettiinko valvonta ja tulosten levittäminen tehokkaasti ja käytettiinkö tuloksia työmarkkinoilta syrjäytymisen torjumiseen tarkoitettujen uusien mallien luomiseen.

V. Komissio ei määritellyt erikseen suuntaviivoissa käytettyjä keskeisiä käsitteitä tai kunkin kohderyhmän väestöä, eikä se laatinut luetteloa keskeisistä päämääristä tai ongelmista. Komissio ja jäsenvaltiot eivät olleet laatineet vertailukohteita tai vertailutilanteita, ja siksi on vaikeata arvioida, milloin ja millä tavoin hankkeet olivat innovatiivisia ja pystyivätkö ne antamaan lisäarvoa tai parantamaan tai muuttamaan käytössä olevia lähestymistapoja.

VI. Ei ole näyttöä siitä, että varoja olisi kohdennettu kohderyhmän erityisille aloille, kuten epäsuotuisassa asemassa oleville kaupunkialueille siten, että Integra-varojen jakamisella olisi tehokkaimmin voitu hankkia tietoa kohderyhmästä ja keinoista sen sisällyttämiseksi työmarkkinoille.

VII. Ohjelman lopussa useimmat hankkeen edistäjät pitivät rajat ylittävää näkökohtaa myönteisenä ja tärkeänä, mutta tarkastuksessa paljastui epäyhdenmukaisuuksia hankkeiden kehitysvaiheessa, valinnassa ja rahoitusta koskevassa politiikassa. Tällä oli kielteinen vaikutus hankkeiden lisäarvoon.

VIII. Komissio tai jäsenvaltiot eivät arvioineet eivätkä seuranneet saatua kokemusta tai opetuksia järjestelmällisesti, yhdenmukaisesti ja vertailukelpoisesti.

IX. Komissio ja jäsenvaltiot katsoivat, että indikaattoreiden käyttäminen eri kohderyhmien vallitsevan tilanteen määrittelemiseksi ei kuulunut yhteisöaloitteen toteuttamiseen. Indikaattoreita käyttämällä olisi kuitenkin saatu selkeät, yhdenmukaiset ja mitattavissa olevat perusteet ja vertailutilanne, johon Integra-aloitetta olisi voitu verrata.

X. Ei ole havaittu näyttöä siitä, että tiedon levittäminen olisi suoritettu järjestelmällisesti ja tehokkaasti ja saatuja tietoja olisi käytetty työmarkkinoilta syrjäytymisen torjumiseen tarkoitettujen uusien mallien laatimisessa jokaisen kohderyhmän kohdalla.

XI. Yhdessäkään tarkastuskäynnin kohteena olleessa jäsenvaltiossa ei havaittu todisteita siitä, että hyviä toimintatapoja olisi siirretty järjestelmällisesti jäsenvaltiossa tai valtioiden rajojen yli. Hankkeen edistäjien tai paikallisten tai alueellisten toimijoiden tasolla tällaisesta oli kuitenkin näyttöä. Tiedon siirtoa ei ollut kuitenkaan järjestetty järjestelmällisesti, ja hankkeen edistäjien yhteydet ja verkostoituminen paikallisten viranomaisten ja toisten hankkeen edistäjien kanssa oli ilmeisesti tärkein tiedon siirtämiseen vaikuttava tekijä.

XII. Integra-aloite on lisännyt yleisön tietoisuutta syrjäytyneistä ryhmistä. Ei ole kuitenkaan mahdollista tehdä selviä päätelmiä siitä, kuinka paljon Integra-aloitteen avulla on saatu uutta tietoa siitä, kuinka voitaisiin edistää toimenpiteitä työmarkkinoilta syrjäytymisen torjumiseksi eri kohderyhmissä ja onko tätä tietoa tosiasiallisesti välitetty poliittisille päätöksentekijöille.

XIII. Tilintarkastustuomioistuin suosittelee, että:

- ennen Integran kaltaisten innovatiivisten ohjelmien aloittamista komissio ja jäsenvaltiot tunnistaisivat tärkeimmät alueet (kohderyhmät ja työmarkkinasegmentit), joilla innovatiiviset hankkeet voisivat edistää uusien politiikkojen laatimista,

- tällaisten ohjelmien alussa olisi laadittava indikaattoreita innovatiivisten hankkeiden jatkuvan ja järjestelmällisen arvioinnin suorittamiseksi. Näin voidaan arvioida ja verrata tuloksia ja varmistaa, että ohjelmat tulevat tuomaan lisäarvoa ja ovat parempia muihin olemassa oleviin ohjelmiin verrattuna,

- komission olisi laadittava strategiasuunnitelma saatujen opetusten ja havaittujen hyvien toimintatapojen järjestelmälliseksi levittämiseksi valtioiden rajojen yli sosiaalisille kumppaneille ja poliittisille päättäjille, jotta voitaisiin varmistua siitä, että tuloksia käytetään kyseisen politiikan täytäntöönpanossa.

JOHDANTO

Employment-Integra

1. Komissio käynnisti työllisyyttä ja inhimillisten voimavarojen kehittämistä koskevan yhteisöaloitteen(4) vuonna 1994. Sen tavoitteena on edistää inhimillisen pääoman kehittämistä ja parantaa työmarkkinoiden toimintaa työllisyyden kasvun tehostamiseksi sekä lisätä Euroopan unionin yhteiskunnallista solidaarisuutta ja naisten yhtäläisiä mahdollisuuksia työmarkkinoilla. Vuosina 1994-1997 Integra oli osa Employment-Horizon-yhteisöaloitetta (ks. alaviite 1 sivulla 2), mutta koska Euroopan parlamentti ja neuvosto olivat korostaneet syrjäytyneiden ihmisten ongelman merkitystä, sosiaalinen syrjäytyminen tunnustettiin erilliseksi asiakokonaisuudeksi.

2. Vuonna 1996 laaditussa tiedonannossa(5) jäsenvaltioille komissio lisäsi mainittuun yhteisöaloitteeseen uuden Employment-Integra-lohkon ohjelmakaudelle 1996-1999. Tämän uuden lohkon perimmäisenä tavoitteena oli "työmarkkinoille pääsyä ja työllistymistä helpottavien toimenpiteiden edistäminen sellaisten haavoittuvien ryhmien osalta, jotka ovat jääneet työmarkkinoiden ulkopuolelle tai joita uhkaa niiden ulkopuolelle jääminen"(6). Kohderyhmään kuuluvat muun muassa pitkäaikaistyöttömät, työttömät yksinhuoltajat, asunnottomat, romaniväestö ja ilman vakituista asuinpaikkaa olevat, vangit ja entiset vangit, huumausaineiden väärinkäyttäjät, jotka saivat tukea jo olemassa olevan Employment-Horizon-lohkon kautta. Employment-Integra-lohkon tarkoituksena oli kuitenkin siirtää painopiste siirtolaisten, pakolaisten ja vastaavanlaisten haavoittuvien ryhmien erityisiin tarpeisiin, sillä ne joutuvat muita herkemmin syrjinnän kohteeksi työmarkkinoilla rasismin ja muukalaisvihan kaltaisten ilmiöiden vuoksi.

3. Euroopan sosiaalirahaston yhteisöaloitteet ovat rakennepolitiikan erityisiä rahoitusvälineitä, joita komissio ehdottaa jäsenvaltioille. Näillä välineillä tuetaan toimenpiteitä, jotka auttavat ratkaisemaan erityisesti vaikutuksiltaan Euroopan laajuisia ongelmia. Näillä aloitteilla on seuraavat keskeiset ominaisuudet, jotka tuovat niille lisäarvoa muihin sosiaalirahastosta rahoitettaviin toimenpiteisiin verrattuna:

a) rajat ylittävyys;

b) innovatiivisuus;

c) alhaalta ylöspäin suuntautuva lähestymistapa;

d) tiedon levittäminen;

e) valtavirtaistaminen.

4. Jäsenvaltioiden käyttöön annettiin 418 miljoonan euron määrärahat (taulukko 1), ja ne valitsivat toteutettavaksi ohjelmakauden 1997-1999 aikana ensin noin tuhat hanketta.

Taulukko 1

Talousarvion toteutus jäsenvaltioittain

>TAULUKON PAIKKA>

Lähde:

Euroopan yhteisöjen komissio - joulukuu 2001.

5. Koska Integra-lohko on osa Employment-yhteisöaloitetta, sen tarkoituksena on kiihdyttää innovaatioita yhteisön tasolla ja samalla rohkaista kokemusten jakamista järjestelmällisesti ja hyviä toimintatapoja koskevien tietojen levittämistä hankkeen edistäjien ja jäsenvaltioiden kesken. Sen vaikutuksia ei tulisi siis arvioida työpaikkojen luomisen perusteella, vaan kohderyhmien työllisyysmahdollisuuksien parantamiseen tähtäävistä innovatiivisista menetelmistä saadun uuden tiedon perusteella.

Tarkastuksen tavoite ja lähestymistapa

6. Tarkastuksen yleisenä tavoitteena oli tutkia, tarjosiko Employment-Integra-yhteisöaloite komissiolle ja jäsenvaltioille uutta tietoa ja uusia menetelmiä, joilla voitaisiin edistää toimenpiteitä työmarkkinoilta syrjäytymisen torjumiseksi yhteiskunnan haavoittuvimpien ryhmien keskuudessa.

7. Tarkastuksen tärkeimpinä tavoitteina oli selvittää:

a) taattiinko hankkeen edistäjien(7) ja hankkeiden valintamenettelyissä se, että hankkeet olivat innovatiivisia ja että ne koskivat niitä ihmisiä, jotka olivat suurimmassa vaarassa joutua työmarkkinoiden ulkopuolelle, ja että nämä hankkeet todella sisälsivät rajat ylittävään kumppanuuteen liittyviä piirteitä;

b) arvioitiinko saatuja kokemuksia ja opetuksia ja seurattiinko niitä järjestelmällisesti, yhdenmukaisesti ja vertailukelpoisesti;

c) hoidettiinko valvonta ja tulosten levittäminen tehokkaasti ja käytettiinkö tuloksia työmarkkinoilta syrjäytymisen torjumiseen tarkoitettujen uusien mallien luomiseen.

8. Tarkastuksen lähestymistapa perustui sovellettujen järjestelmien tarkasteluun komissiossa ja neljässä jäsenvaltiossa (Tanska, Espanja, Ranska ja Yhdistynyt kuningaskunta). Tarkastukseen kuului asiakirjatarkastus sekä komission ja kyseisten neljän jäsenvaltion keskeisten virkamiesten haastattelu. Näiden valtioiden 16 hanketta tarkastettiin kolmen edellä mainitun tarkastuksen tavoitteen yhteydessä. Hankkeiden menot koostuivat pääosin henkilöiden yhteiskuntaan sopeuttamisesta vastaavan henkilöstön palkoista ja hankkeeseen osallistuvien harjoittelusta sekä heille maksetuista korvauksista.

TALOUSARVION TOTEUTUMINEN

9. Integra-aloitteen maksusitoumusmäärärahat olivat yhteensä 418 miljoonaa euroa. Kasvua on 8 prosenttia 385 miljoonan euron alustaviin määrärahoihin verrattuna. Lisäys johtuu pääasiassa siitä, että jäsenvaltiot ovat siirtäneet muiden Employment-yhteisöaloitteiden lohkojen varoja Integra-lohkolle edellisten lisäksi tulevien Integra-hankkeiden rahoituspyyntöjen täyttämiseksi.

10. Komissio oli maksanut 31. joulukuuta 2001 mennessä jäsenvaltioille 327 miljoonaa euroa, joka on 78 prosenttia maksusitoumusten kokonaismäärästä. Integra-lohkon toiminnan on tarkoitus päättyä vuonna 2003 muiden Employment-yhteisöaloitteiden lohkojen kanssa sen jälkeen, kun komissio on saanut tarvittavat asiakirjat, kuten asetuksessa (EY) N:o 2064/97 säädetään.

TOIMET ENNEN OHJELMAN KÄYNNISTÄMISTÄ

Yleistä

11. Innovatiivisen ohjelman, kuten Integran, käynnistäminen edellyttää sitä, että komissio, jäsenvaltiot ja hankkeen edistäjät ovat yhteisymmärryksessä ohjelmaan sisältyvistä teoreettisista käsitteistä ja pyrkimyksistä, jotta väärinkäsitykset olisivat mahdollisimman pieniä ohjelman ollessa käynnissä. Ohjelman täytäntöönpanon onnistumiseksi jäsenvaltioissa on tärkeätä, että ohjelman käynnistämistä edeltävissä asiakirjoissa tunnistetaan keskeiset käsitteet ja määritellään ne selkeästi, asetetaan selkeät tavoitteet ja perusteet ja selkeät seurantamenettelyt ja kohderyhmistä käytetään tilastollisia tietoja ja indikaattoreita.

Toimet komissiossa

12. Komission tiedonannossa jäsenvaltioille ei erikseen:

a) määritellä sitä, onko hanke innovatiivinen, eikä määritellä, mitä hankkeen innovatiiviseen osuuteen olisi sisällyttävä;

b) määritellä Integran jokaisen kohderyhmän väestöä;

c) yksilöidä selkeitä tavoitteita jokaiselle Integran kohderyhmälle;

d) laadita indikaattoreita, joilla seurataan Integra-hankkeiden valintaa;

e) käytetä tilastotietoja tai indikaattoreita kohderyhmien valinnassa;

f) luoda vertailukohteita tai vertailutilanteita kohderyhmille eikä hyödynnetä perinteisten ESR-ohjelmien aikaisempia kokemuksia hankkeiden arvioinnin helpottamiseksi.

13. Komission tiedonannossa kohderyhmänä pidetään erityisesti siirtolaisia, pakolaisia ja vastaavanlaisessa tilanteessa olevia ihmisiä, mutta tätä hyvin erilaista ryhmää ei jaotella alaryhmiksi. Sen vuoksi hyvin erilaiset alaryhmät (kuten vailla minkäänlaista koulutusta olevat pakolaiset tai korkeasti koulutetut pakolaiset), joita olisi lähestyttävä täysin eri tavoin, luokitellaan saman otsikon alle, mikä tekee arvioinnin erittäin vaikeaksi.

Toimet jäsenvaltioissa

14. Mahdollisia kohderyhmiä koskevista ongelmista tai ensisijaisista tavoitteista ei laadittu luetteloa ennen kuin mahdollisille hankkeen edistäjille oli jaettu aineistoa Integrasta. Havaittiin, että tarkastuksen kohteena olleissa jäsenvaltiossa ei juurikaan käytetty etukäteen asiaankuuluvia tilastotietoja tai indikaattoreita, joilla olisi voitu analysoida kunkin mahdollisen kohderyhmän tilannetta.

15. Kaikki tarkastuksen kohteena olleet jäsenvaltiot olivat laatineet Integrasta yksityiskohtaista aineistoa, jota lähetettiin mahdollisille tarjousten tekijöille tai jota saattoi saada pyynnöstä; kuitenkaan yksikään jäsenvaltio, johon tarkastuskäynti tehtiin, ei ollut määritellyt selkeästi keskeisiä käsitteitä ohjelman käynnistämistä edeltävässä aineistossa. Ne eivät olleet laatineet vertailukohteita tai vertailutilanteita koskevia perusteita, joita mahdolliset hankkeen edistäjät käyttäisivät erottamaan kokeelliset hankkeet perinteisistä hankkeista. Näin ollen yksittäisten hankkeen edistäjien tehtäväksi jäi tulkita ja ymmärtää, mitä ohjelman keskeiset käsitteet (ks. kohta 3) tarkoittavat, sekä arvioida itse 'lisäarvon' ja 'olemassa olevien lähestymistapojen parantamisen' merkitykset.

VALINTA JA TÄYTÄNTÖÖNPANO

Yleistä

16. Euroopan unionissa komissio laatii yleiset puitteet, joiden mukaisesti aloite on pantava täytäntöön kansallisesti (ks. taulukko 2 - Hankkeiden valinta). Jäsenvaltioille osoitetun tiedonannon 13 kohdan mukaisesti perustettiin teknisen tuen toimisto (Europs), joka toimii komission apuna Euroopan unionin tukirakenteena. Se perusti euroopanlaajuisen tietokannan hankkeista ja kumppanuuksista ja piti sitä yllä.

Taulukko 2

Hankkeiden valinta

>TAULUKON PAIKKA>

Lähde:

Komissio, Euroopan sosiaalirahasto - Employment Integra - erityiskertomus - helmikuu 1997.

17. Jäsenvaltioissa seurantaan ja täytäntöönpanoon osallistuu useita kansallisia järjestöjä. Kansallinen seurantakomitea, joka yleensä koostuu monien eri kansallisten viranomaisten edustajista ja johon kuuluu myös komission edustaja, seuraa ja arvioi aloitteen täytäntöönpanoa. Kansallisen teknisen tuen tarjoamiseksi on perustettu kansallisia tukirakenteita (NationalSupport Structures, NSS) neuvomaan ja tukemaan yksittäisiä hankkeita ja keräämään ja toimittamaan tietoa.

18. Aktiivista täytäntöönpanoa olisi seurattava yhteisiä menetelmiä noudattaen, jolla varmistettaisiin, että tavoitteet ja päämäärät on saavutettu. Se helpottaisi seurantaa ja arviointia sekä saadun tiedon ja kokemuksen soveltamista tehokkaasti uusien työmarkkinoilta syrjäytymistä torjuvien mallien luomisessa. Yksi aloitteen onnistumisen edellytyksistä on, että ohjelman täytäntöönpanosta vastaavat eri yksiköt noudattavat selkeästi määriteltyjä raportointeja koskevia ohjeita, varsinkin silloin, jos aloitteen hallinto on hajautettu.

Valvonta komissiossa

19. Kunkin kohderyhmän määrittelyn puuttuminen merkitsee sitä, että jäsenvaltioilta saatuja tietoja eri kohderyhmistä ei voida käyttää Integran vaikutusten seurannassa yhteisön tasolla. Jäsenvaltioiden viranomaisilla ei ole ohjeita vuosittaisten täytäntöönpanokertomusten laatimiseksi ja yhdenmukainen luokitusjärjestelmä puuttuu. Tämän vuoksi tietojen laadussa oli suuria eroja ja käytännössä ei ollut mahdollista saada yhteisön laajuista järjestelmällistä katsausta Integran täytäntöönpanosta.

20. Teknisen tuen tarjoajan ja komission välinen sopimus päättyi huhtikuussa 2000, ja sen jälkeen Europsilla oli kolme kuukautta aikaa lopettaa toimintansa. Europsin luoma tietokanta luovutettiin komission käyttöön. Komissio ei kuitenkaan päivittänyt eikä pitänyt sitä yllä, ja koska monia hankkeita ei ollut saatu päätökseen Europsin lakkauttamiseen mennessä(8), hanketasolla saatuja tietoja ja kokemuksia ei pystytty hyödyntämään.

21. Komissio ei luonut seurantajärjestelmää varmistaakseen, että kaikki tarvittavat tiedot oli kerätty ja syötetty yhdennettyyn järjestelmään ja käytetty tehokkaasti uusien työmarkkinoilta syrjäytymisen torjumiseen tarkoitettujen mallien luomiseksi.

Valvonta jäsenvaltioissa

22. Jokainen jäsenvaltio perusti komission tiedonannon mukaisesti valvontakomitean, joka vastasi Employment-aloitteesta kokonaisuudessaan ja siten myös hankkeiden lopullisesta valinnasta.

23. Jäsenvaltiot olivat tietoisia siitä, että uusilla hankkeen edistäjillä, joilla on potentiaalisia ja hyviä innovatiivisia ideoita, mutta vähän tietoa rakennerahastoista, tai jotka eivät tunne niiden toimintaa, saattaisi olla vaikeuksia laatia hakemus oikein. Tämän vuoksi hankkeiden edistäjiä opastettiin hakemusten laatimisessa.

24. Puolueettomuuden takaamiseksi tämä esivalintavaihe (hallinto, opastaminen ja hakemusten ensimmäinen valinta) pidettiin erillään hankkeen edistäjien lopullisesta valinnasta. Tarkastuksen kohteena olleissa jäsenvaltioissa oli erilaisia valintaperusteita ja -menetelmiä, mutta hakemukset tutkittiin huolellisesti, ja vaikka suurin osa valituista hankkeen edistäjistä tunsi ESR:n ohjelmia ja oli osallistunut muihin ESR:n ohjelmiin, myös uusia hankkeen edistäjiä tuli valituksi osallistumaan Integra-aloitteeseen. Tämä on myönteistä siinä mielessä, että hakemusten täyttäminen saattaa olla melko vaikeata ja aikaavievää, varsinkin pienille ja uusille hankkeen edistäjille.

25. Kaikissa tarkastuksen kohteena olleissa jäsenvaltioissa havaittiin, että valittujen hankkeiden innovatiivisuutta on hyvin vaikeata arvioida. Monissa tapauksissa toimivaltaisten viranomaisten oli vaikeata selittää, milloin valittu hanke sisälsi innovatiivisia näkökohtia eikä ollut pelkästään uusi tapa esittää sellaisia lähestymistapoja, jotka kuuluivat jo Euroopan sosiaalirahaston rahoittamiin olemassa oleviin keskeisiin hankkeisiin.

26. Selkeiden ensisijaisten päämäärien puuttuessa tärkein indikaattori hankkeita koskevien tarjousten ja hankkeiden valinnassa oli hankkeen tarjoajan ja varsinaisen soveltamistavan laadun arviointi. Havaittiin, että hankkeen kohderyhmää, hankkeiden täydentävyyttä tai muita indikaattoreita ei otettu huomioon.

27. Yhdenkään tarkastuksen kohteena olleen jäsenvaltion valintamenettelyissä ei niiden toteuttamisen aikana kiinnitetty erityistä huomiota siirtolaisten ja pakolaisten erityistarpeisiin kohdistuviin toimiin, kuten komission tiedonannossa edellytetään.

ARVIOINTI

Yleistä

28. Komission tiedonannossa sanotaan: "Suunnittelukauden aikana ja lopussa komissio arvioi yhteistyössä jäsenvaltioiden kanssa ohjelmien tulokset. Tämän arvioinnin suorittamisessa komissio käyttää edistymisen arvioinnissa pääasiallisena mittapuuna jäsenvaltioiden määrittämiä tavoitteita. Määritettyjen tavoitteiden ja toteutettujen toimenpiteiden arvioinnista saadaan tietoa kohderyhmistä, myös lopullisista edunsaajista."

29. Komissio ja jäsenvaltiot eivät käyttäneet indikaattoreita kuvaamaan aloitteeseen kuuluvien eri kohderyhmien lähtötilannetta. Jos näitä indikaattoreita olisi käytetty, niitä olisi voitu käyttää selkeiden, yhdenmukaisten ja mitattavissa olevien perusteiden laatimisessa ja vertailutilanteen määrittämisessä, joiden perusteella Integra-yhteisöaloitteen innovatiivisia näkökohtia voitaisiin mitata ja arvioida.

30. Employment-Integran kaltaisissa kokeellisissa aloitteissa onnistuminen ja epäonnistuminen ovat yhtä tärkeitä käsitteitä. Jokaisen hankkeen tavoitteena on testata oletusta, ja siinä mielessä epäonnistuminen on tulevan työmarkkinapolitiikan laatimisen kannalta yhtä tärkeä opetus kuin onnistuminenkin. Komissio ei tehnyt erityistä ennakkoarviointia Integra-yhteisöaloitteen ja sen kohderyhmien yhteydessä. Komissio ja tarkastetut jäsenvaltiot eivät myöskään ilmaisseet sitä, kuinka hankkeen tai käsitteen onnistumista mitataan. Sen seurauksena projektitasolla eri jäsenvaltioissa saatuja opetuksia ja kokemusta ei seurattu yhdenmukaisesti eikä komissio pystynyt arvioimaan käsitteiden laatua.

31. Tarkastuksen kohteena olleissa jäsenvaltioissa ja komissiossa ei tehty yhtäkään taloudellista analyysiä tai kustannus-hyötyanalyysiä eri innovatiivisten hankkeiden taloudellisesta tehokkuudesta. Kannattavuusindikaattoreita laskettuna yhtä kohderyhmään kuuluvan henkilön onnistunutta työmarkkinoille pääsyä kohti ei laskettu, ja sen vuoksi jälkikäteen tapahtuva arviointi oli mahdotonta.

Arviointi komissiossa

32. Koko Employment-yhteisöaloitteen arviointi(9) tehtiin elokuun 1998 ja tammikuun 2000 välisenä aikana. Toisin sanoen arviointi aloitettiin ohjelman käynnistämisen jälkeen ja lopetettiin ennen ohjelman päättymistä. Koska hankkeiden arvioijat pääsivät osallistumaan hankkeeseen myöhäisessä vaiheessa ja koska arviointimenettelyn suunnittelu aloitettiin komissiossa myöhään, hankkeiden arvioijien oli tehtävä arviointi tuolloin saatavilla olevan tiedon perusteella tai tutkimalla tietyistä jäsenvaltioista valittuja tapauksia.

33. Tässä arvioinnissa todettiin, että Integran vaikutuksista työmarkkinoihin saatavilla olevien tietojen perusteella on mahdotonta tehdä minkäänlaisia yleisiä aloitetta koskevia päätelmiä siitä, mitkä ovat kohderyhmien mahdollisuudet työllistyä. Lisäksi todettiin, että aloitteen perimmäisin tarkoitus on parantaa kohderyhmien edustusta keskeisissä ohjelmissa ja niiden sijoittumista työmarkkinoille, mutta ilman tietoja työmarkkinoiden tuloksista on vaikeata arvioida aloitteen tuomaa lisäarvoa.

34. Integralle ei tehty erityisarviointia, jossa kaikkien jäsenvaltioiden innovatiivisista hankkeista saatuja kokemusta, tietoa ja opetuksia olisi arvioitu ja seurattu järjestelmällisesti, yhdenmukaisesti ja vertailukelpoisesti.

Arviointi jäsenvaltioissa

35. Tarkastuksen kohteena olleissa jäsenvaltioissa oli aloitettu useita eri tasoisia arviointihankkeita, kuten kansallisia tai kansainvälisiä kokouksia ja kattavia kertomuksia Employment-ohjelmasta yleisesti. Komission käynnistämän tutkimuksen tavoin jäsenvaltioiden arviointikertomuksissa käsiteltiin Employment-aloitetta pääasiassa yhtenä ohjelmana eikä useampana lohkona, joista jokainen on kohdennettu koskemaan eri haavoittuvia ryhmiä.

36. Perusstrategian puuttuessa useimmat arvioijat ottivat käyttöön perinteisen ja yleisen määrällisen arviointimallin eivätkä ottaneet huomioon sitä seikkaa, että Integra oli kohdennettu haavoittuviin / epäsuotuisassa asemassa oleviin ryhmiin, joilla on erilaisia tarpeita. Kertomuksissa ei arvioitu kaikista samaa kohderyhmää koskevista eri hankkeista saatuja kokemuksia ja opetuksia. Yhdessäkään tarkastuksen kohteena olleessa jäsenvaltiossa ei ollut laadittu kertomuksia tai suuntaviivoja parhaasta toimintatavasta Integra-ohjelmaan kuuluvien eri kohderyhmien sisällyttämiseksi työmarkkinoille.

37. Tilintarkastustuomioistuimen kannan mukaan Integra-ohjelman arvioinnilla olisi kyettävä luomaan malleja, joilla voitaisiin osoittaa, kuinka eri kohderyhmiä koskevat hankkeet olisi suunniteltava, jotta näillä syrjäytyneillä ryhmillä olisi mahdollisimman suuri mahdollisuus päästä työmarkkinoille.

Hankekohtainen arviointi

38. Europs laati maaliskuussa 1997 komission puolesta Employment-hankkeiden itsearviointioppaan (Guide to self-evaluation for Employment projects), jonka kansallinen tukirakenne saattoi lähettää hankkeille (ks. kohta 17) kansallisten seurantakomiteoiden puolesta. Se ei ollut niinkään tarkoitettu pakolliseksi arvioinnin välineeksi kuin avuksi niille hankkeen edistäjille, jotka eivät olleet tottuneet arviointien tekemiseen.

39. Kaikissa tarkastuksen kohteena olleissa jäsenvaltioissa kansallinen tukirakenne oli antanut arviointivälineitä hankkeen edistäjien avuksi hankkeiden arviointia varten. Kansalliseen tukirakenteeseen kuuluvat henkilöt tekivät vierailuja hankkeen edistäjien luokse ja/tai pyysivät niitä toimittamaan säännöllisesti kertomuksia tapahtuneesta edistymisestä. Havaittiin, että hankkeen edistäjien ja kansallisen tukirakenteen yhteistyö ohjelman aikana oli ollut yleisesti ottaen tyydyttävää ja että tarkastuksen aikana haastateltujen hankkeen edistäjien mielestä arviointi oli oleellinen osa hanketta.

40. Omien hankkeidensa arvioinnin lisäksi rajat ylittäviin verkostoihin osallistuneet hankkeen edistäjät olivat osallistuneet myös verkoston arviointiin. Rajat ylittävän yhteistyön aikana saadut kokemukset kerättiin yhteen ja lisättiin rajat ylittävän yhteistyön arviointikertomuksiin osaksi verkoston arviointia.

41. Hankkeiden tasolla arviointeja ei ollut kuitenkaan vielä synkronoitu ja yhdenmukaistettu, sillä hankkeen edistäjillä ei ollut käytössään tarvittavia seurantavälineitä ja mitattavissa olevia indikaattoreita eivätkä toimivaltaiset viranomaiset olleet kehittäneet arviointistrategiaa ennen ohjelman käynnistämistä.

42. Niiltä hankkeen edistäjiltä, joiden luona käytiin, kysyttiin, oliko niiden arviointikertomusten osalta suoritettu seurantaa. Yksikään heistä ei ollut saanut palautetta hankkeissaan käyttämiensä innovatiivisten lähestymistapojen tuloksista eikä yksikään heistä tiennyt, olivatko toimivaltaiset viranomaiset tai alueelliset toimijat hyväksyneet ehdotetun hankeen lähestymistavan vai oliko se hylätty.

43. Yksi Integran kaltaisen kokeellisen ohjelman seurauksista on, että ei ole olemassa strategiaa siitä, kuinka jatketaan hankkeita, jotka arviointikertomusten mukaan olivat todistettavasti luoneet onnistuneen lähestymistavan. Joissakin tapauksissa hankkeissaan onnistuneiden edistäjien oli mahdollista jatkaa hanketta, koska paikalliset viranomaiset ja/tai työmarkkinaosapuolet olivat kiinnostuneita hankkeen jatkamisesta, kun taas jotkut hankkeiden edistäjät eivät voineet jatkaa hankkeita, joita he itse pitivät onnistuneina. Useissa tapauksissa hankkeiden edistäjien oli pakko lopettaa toiminta ja kokenut henkilöstö oli siirtynyt muihin töihin.

TIEDON LEVITTÄMINEN JA VALTAVIRTAISTAMINEN

Tiedon levittäminen

44. Integran tavoitteiden (ks. kohta 2) saavuttamiseksi hankkeista saatuja kokemuksia, saatuja opetuksia ja parhaita toimintatapoja on levitettävä paikallisella, alueellisella, kansallisella ja komission tasolla sekä komissiosta kaikkiin jäsenvaltioihin.

45. Monet tarkastuksen kohteena olleista hankkeen edistäjistä ottivat yhteyttä paikallisiin sanomalehtiin, työmarkkinajärjestöihin ja paikallisiin viranomaisiin hankkeen aikana ja sen lopussa. Tiedon levittäminen lähialueen ulkopuolelle oli kuitenkin harvinaista, ja se riippui usein hankkeen edistäjän omasta verkostosta.

46. Tarkastuksen kohteena olleiden hankkeiden perusteella voidaan sanoa, että mahdollisuus tiedon levittämiseen onnistuneesti oli silloin, jos hankkeen edistäjä oli varhaisessa vaiheessa, kuten hankkeen suunnitteluvaiheessa, perustanut niin kutsutun hankkeen ohjausryhmän, joka koostuu kunnallisten viranomaisten, työmarkkinajärjestöjen tai muiden asiasta kiinnostuneiden osapuolten edustajista.

47. Nämä hankkeet näyttivät olevan myös hyvin tehokkaita haavoittuvien ryhmien profiilin kohottamisessa työmarkkinoiden suhteen, mahdollisesti siitä syystä, että hankkeen aikana työmarkkinajärjestöille esitettiin näkemys kohderyhmän ongelmista ja erityistarpeista. Samalla ne saatiin tietoisiksi siitä, että "marginaaliset ryhmät" ovat mahdollista työvoimaa.

48. Yhdessäkään tarkastuksen kohteena olleessa jäsenvaltiossa ei ollut käynnin ajankohtaan mennessä laadittu helppokäyttöistä tietokantaa, josta mahdollisesti kiinnostuneet hankkeen edistäjät voisivat löytää tietoa muun muassa tiettyä kohderyhmää käsittelevistä hankkeista saaduista kokemuksista ja opetuksista.

49. Hanketasolla luotiin ja käytettiin erilaista tiedotemateriaalia, kuten kertomuksia, lehtisiä, CD-ROM-levyjä ja videoita. Lisäksi paikallisia tiedotusvälineitä, radio ja sanomalehdet mukaan lukien, käytettiin hankkeen tulosten levittämiseen. Sellaisilla alueilla, joilla oli käynnissä Integra-hankkeita, hankkeet näyttävät lisänneen yleisön tietoisuutta kohderyhmistä ja ne ovat edistäneet näiden ryhmien osallistumista työelämään.

50. Jäsenvaltiot ovat laatineet Integra-ohjelmaa koskevaa materiaalia, joka sisältää tietoa joistakin tai kaikista ohjelmaan liittyvistä hankkeista, mutta yhdessäkään tarkastuksen kohteena olleessa jäsenvaltiossa ei ollut laadittu ohjeita parhaista toimintatavoista eri kohderyhmien sisällyttämiseksi työmarkkinoille, vaikka useimmat tarkastetuista hankkeista olivat olleet onnistuneita.

51. Komissiolta tai tarkastetuilta jäsenvaltioilta saatavien tietojen perusteella ei voida tehdä selkeitä johtopäätöksiä siitä, kuinka paljon Integran avulla oli saatu uutta tietoa työmarkkinoilta syrjäytymisen torjumiseksi eri kohderyhmissä ja onko tätä tietoa jaettu tehokkaasti poliittisille päättäjille.

Valtavirtaistaminen

52. Ennen kuin valtavirtaistaminen on mahdollista laajemmalla Euroopan tasolla, on arvioitava hankkeen tulosten innovatiiviset mahdollisuudet kunkin kohderyhmän kohdalla, ottaa niistä opiksi ja kehittää paras toimintatapa sekä valita lupaavimmat valtavirtaistamisen lähestymistavat. Osa työstä tehtiin temaattisissa työryhmissä, mutta ei ole näyttöä siitä, että rajat ylittävää valtavirtaistamista olisi tapahtunut.

53. Rajat ylittävien kumppanuuksien ja verkostojen luomisella on saattanut olla rajat ylittäviä vaikutuksia kumppaneina oleville hankkeille, mutta niitä ei ole käsitelty johdonmukaisesti arvioinnin ja valtavirtaistamisen yhteydessä.

54. Yhdessäkään tarkastuksen kohteena olleessa jäsenvaltiossa ei havaittu tehokkaasti toimivaa järjestelmää hyvän toimintatavan siirtämiseksi. Arviointimenettely ei toiminut siten, että olisi voitu tehdä johtopäätöksiä ja valita kohderyhmälle paras toimintatapa. Puuttui myös rakenteeltaan asianmukainen järjestelmä eri kohderyhmien Integra-tulosten yhdistämiseksi kansalliseen poliittiseen päätöksentekomenettelyyn.

55. Tällaisesta toimintatavan siirtämisestä oli parempaa näyttöä hankkeen edistäjien sekä paikallisella ja alueellisella tasolla, varsinkin silloin, kun hankkeen ohjausryhmään kuului kunnallisia ja työmarkkinajärjestöjen toimijoita. Toimintatavan siirtämistä ei ollut kuitenkaan järjestetty johdonmukaisesti, joten hankkeen edistäjien yhteydet ja verkostoituminen paikallisten viranomaisten ja toisten hankkeen edistäjien kanssa näyttivät olevan tärkein tekijä.

MUUT NÄKÖKOHDAT

Työttömyysaste

56. Tarkastuksen kohteena olleiden hankkeiden kohdalla oli jonkin verran näyttöä siitä, että hankkeiden valtavirtaistaminen tai jatkaminen sekä kohderyhmien tilanteen kohentuminen oli sidoksissa niin ikään maantieteellisen alueen työttömyysasteeseen. Joillakin alueilla, joiden työttömyysaste oli matala, työmarkkinajärjestöt ja kunnat pitivät kohderyhmää muita useammin mahdollisena työvoimana. Niiden alueiden, joilla oli korkea työttömyysaste, oli vaikeampi hyväksyä kohderyhmää mahdolliseksi työvoimaksi. Tämän vuoksi sellaisten alueiden suoritusten vertailu on vaikeaa, joiden työllisyysasteet ovat hyvin erisuuruiset.

Varojen jakaminen

57. Tiedonannossa todetaan, että Employment-aloitetta "... toteutetaan koko unionin alueella. Erityisesti korostetaan kuitenkin vaikeassa asemassa olevien alueiden tarpeita. Joukko toimenpiteitä koskee ainoastaan ensisijaisesti kehitettäviä alueita (tavoitteet 1, 2, 5b ja 6)". Toisaalta Employment-Integra-lohkoon liittyvien toimenpiteiden yhteydessä todetaan erityisesti, että "... olisi kiinnitettävä enemmän huomiota vaikeassa asemassa oleviin kaupunkialueisiin kohdistettuihin toimiin".

58. Ei ole näyttöä siitä, että varat olisi ohjattu jollakin erityisellä tavalla kohderyhmien kaupunki- tai muille ryhmittymille siten, että nykyinen Integra-varojen jakaminen oli tehokkain tapa kerätä tietoa kohderyhmästä ja tavasta sen sisällyttämiseksi työmarkkinoille.

Valtioiden rajat ylittävä toiminta

59. Rajat ylittävä kumppanuus on kuulunut yhteisöaloitteiden periaatteisiin niiden alusta alkaen. Myöskään Integra-ohjelmaan kuuluvia hankkeita ei rahoiteta, ellei niitä soviteta yhteen valtioiden rajat ylittävässä toiminnassa muiden jäsenvaltioiden hankkeiden kanssa. Rajat ylittävän toiminnan tavoitteena on siirtää asiantuntemusta, tietoa ja kokemusta ja samalla tarjota väline, jolla voidaan kehittää tai kokeilla sellaisia innovatiivisia ideoita, joita ei voida toteuttaa pelkästään kansallisesti.

60. Europs-järjestön luomien tietokantojen ja jäsenvaltioiden tukirakenteiden avulla asiasta kiinnostuneet hankkeen edistäjät kykenivät löytämään ja luomaan kontakteja mahdollisten rajat ylittävien yhteistyökumppaneiden kanssa.

61. Ohjelma oli jossain määrin epäjohdonmukainen, sillä siinä pyrittiin saamaan mukaan uusia hankkeen edistäjiä, joilla on kokeellisia ja innovatiivisia hankkeita. Samalla edellytettiin kuitenkin, että niillä olisi rajat ylittävä yhteistyökumppani ennen kuin hakemus voitaisiin hyväksyä. "Uusi hankkeen edistäjä, jolla on kokeellisia hankkeita", saattaisi peruuttaa hakemuksensa tämän vaatimuksen vuoksi.

62. Toinen ohjelman epäjohdonmukainen seikka oli se, että jos hankkeen edistäjä olisi löytänyt rajat ylittävän yhteistyökumppanin ja luonut hänen kanssaan yhteisen hankkeen ennen hakemuksen jättämistä, kumpikaan hankkeen edistäjistä ei voisi olla varma siitä, että vastaava kansallinen komitea hyväksyisi hänen osansa hankkeesta. Vaikka hanke olisikin hyväksytty, ei ollut takeita siitä, että rajat ylittävät yhteistyökumppanit saisivat tukea samaan aikaan, jotta hankkeita voitaisiin toteuttaa samanaikaisesti. Yhdessäkään tarkastuksen kohteena olleessa jäsenvaltiossa ei ollut ratkaistu näitä ongelmia, esimerkiksi tekemällä yhteistyötä jäsenvaltioiden komiteoiden kanssa valintamenettelyn ja ohjelman toteuttamisen yhteydessä.

63. Komissio ja jäsenvaltiot eivät antaneet ohjeita valtioiden rajat ylittävään yhteistyöhön myönnettävistä määristä. Tämä puute johti siihen, että hankkeiden edistäjillä oli käytettävissään hyvin vaihtelevia rahamääriä valtioiden rajat ylittävän kumppanuuden toteuttamiseksi jäsenvaltiossa ja jäsenvaltioiden kesken. Eräänä seurauksena tästä kaikilla yhteistyössä toteutettavilla hankkeilla ei ollut siihen käytössä yhtä paljon varoja, joten ne eivät voineet osallistua hankkeisiin samanlaisella panoksella.(10)

64. Tämä johti tilanteeseen, jossa yksi jäsenvaltio rahoitti hankkeita osallistujaa kohden vahvistetulla kiinteällä määrällä kohderyhmän tarpeista riippumatta ja toisessa tehtiin hakemuksen laatuarviointi ja rajat ylittävyys hyväksyttiin merkittäväksi seikaksi ja sekä kouluttajien että hankkeeseen osallistuvien käynnit ulkomaisten yhteistyökumppaneiden luo rahoitettiin. Toisin sanoen kohtelu oli epätasa-arvoista alusta alkaen.

65. Eräillä tarkastuksen kohteena olleiden hankkeiden edistäjillä ei ollut ollut aikaisempaa kokemusta rajat ylittävästä yhteistyöstä. Niiden odotukset olivat alun perin hyvin vähäisiä: niiden mielestä rajat ylittävyys oli aikaavievää ja aiheutti lisää hallinnollista taakkaa ja ne käyttivät kumppanuutta ainoastaan tiedon ja kokemusten vaihtoon. Hankkeen päättyessä ne pitivät rajat ylittävyyttä edelleenkin hyvin aikaavievänä, mutta myös myönteisenä ja tärkeänä hankkeelle ja halusivat kehittää sitä tulevissa hankkeissa. Muun muassa tiedon saaminen siitä, kuinka muut maat ratkaisivat ongelmia, oli antanut niille enemmän tietoa vaihtoehtoisista tavoista lähestyä kohderyhmiä.

66. Muut hankkeen edistäjät, joista useimmilla oli kokemusta aikaisemmista rajat ylittävistä kumppanuuksista, osallistuivat varhaisessa vaiheessa useiden maiden hankkeita kattaviin verkostoihin, ja heillä oli selkeitä tavoitteita kumppanuudelle. Näiden hankkeiden edistäjien osallistuminen rajat ylittävään kumppanuuteen ja niitä koskevat odotukset olivat alusta alkaen eri tasolla uusiin hankkeen edistäjiin verrattuna. Keskushallinnon tasolla puuttuvien selkeiden mallien, toimintatapojen ja menettelyjen vuoksi ne esittivät kriittisiä puheenvuoroja, ja lisäksi ne ilmoittivat, että jäsenvaltioiden olisi osallistuttava aktiivisemmin ja tehtävä keskenään läheisempää yhteistyötä.

67. Rajat ylittävä näkökohta ei yleensä ollut hyväksyttyjen hankkeiden kulmakiviä, ja se mainittiinkin lisätoimintana ilman, että sillä oli suoraa yhteyttä hankkeen ensisijaiseen tarkoitukseen.

PÄÄTELMÄT JA SUOSITUKSET

68. Integra-aloitetta, joka otettiin käyttöön haavoittuvien ryhmien työmarkkinoille pääsyyn ja työllistymiseen kohdistuneen kasvavan kiinnostuksen ja huolestumisen vuoksi, on yleensä pidetty liian kunnianhimoisena hankkeena, koska sillä oli liian monta tavoitetta ja yleisen ohjauksen ja koordinoinnin puutteen vuoksi sitä ei kohdistettu kohderyhmiin riittävän hyvin.

69. Ennen hankkeen käynnistämistä ei varmistuttu siitä, että jäsenvaltioiden kesken oli määritetty yhdenmukainen käsitys tavoitteista ja että menettelytapoja sovellettiin yhdenmukaisesti (ks. kohdat 12-15).

70. Komissio ja jäsenvaltiot eivät käyttäneet indikaattoreita aloitteeseen kuuluvien eri kohderyhmien alkutilanteen kuvaamiseksi. Jos näin olisi ollut, indikaattoreita olisi voitu käyttää selkeiden, yhdenmukaisten, tunnistettavien ja mitattavissa olevien kriteereiden laatimiseksi ja sellaisen vertailutilanteen luomiseksi, johon verrattuna voisi mitata ja arvioida Integra-aloitteen vaikutuksia (ks. kohdat 12 ja 15).

71. Yhdenkään tarkastuksen kohteena olleen jäsenvaltion valintamenettelyissä ei niiden toteuttamisen aikana kiinnitetty erityistä huomiota siirtolaisten ja pakolaisten erityistarpeisiin kohdistuviin toimiin (ks. kohta 27).

72. Komission ja jäsenvaltioiden laatimissa seurantamenettelyissä ei varmistuttu siitä, että kaikki tarvittavat ja asiaankuuluvat tiedot oli kerätty ja tallennettu tiedostoiksi yhdenmukaisiin tietojärjestelmiin, joita voitaisiin käyttää myöhemmin arvioinnissa ja analysoinnissa (ks. kohdat 19-21).

73. Jos Integraa koskeva erityisarviointi olisi tehty, kaikissa jäsenvaltioissa toteutetuista innovatiivisista hankkeista saatuja kokemuksia, tietoja ja tietotaitoa olisi voitu seurata järjestelmällisesti, yhdenmukaisesti ja vertailukelpoisesti. Arviointia ei kuitenkaan tehty (ks. kohdat 28-43).

74. Hyvän toimintatavan levittämisen kannalta on luultavasti myönteistä, jos hankkeen varhaisessa vaiheessa perustetaan hankkeen ohjausryhmä (ks. kohta 46).

75. Tarkastushavaintojen perusteella ei voida päätellä, että:

a) sovelletut hankkeen edistäjien ja hankkeiden valintamenettelyt olisivat taanneet sen, että hankkeet olisivat innovatiivisia ja kohdennettu ihmisiin, jotka ovat eniten vaarassa joutua työmarkkinoiden ulkopuolelle

b) saatuja kokemuksia ja opetuksia olisi arvioitu ja niiden seurantaa olisi toteutettu järjestelmällisesti, yhdenmukaisesti ja vertailukelpoisesti

c) valvonta ja tiedon levittäminen olisi suoritettu tehokkaasti ja niitä olisi käytetty uusien mallien luomisessa työmarkkinoilta syrjäytymisen torjumiseksi.

76. Ei voida myöskään tehdä sellaista päätelmää, että Integra-ohjelman suunnittelu olisi ollut kustannusvaikuttavin ja tehokkain tapa saada kokemusta yhteiskunnan haavoittuvimpien ryhmien työmarkkinoilta syrjäytymisen torjumiseksi ja lisätä niiden osallisuutta työmarkkinoilla (ks. kohdat 31 ja 56-58).

77. Tilintarkastustuomioistuin suosittelee, että:

a) Ennen Integran kaltaisten innovatiivisten ohjelmien käynnistämistä komission ja jäsenvaltioiden olisi varsin yleisluonteisesti esitetyn poliittisen rohkaisun vuoksi tunnistettava tarkasti tärkeimmät alat (kohderyhmät ja työmarkkinasegmentit), joilla innovatiiviset hankkeet voisivat edistää uusien toimintatapojen laatimista.

b) Tällaisten ohjelmien alussa olisi laadittava indikaattoreita, jotta innovatiivisia hankkeita voitaisiin arvioida säännöllisesti ja järjestelmällisesti (ennakko-, väli- ja jälkiarviointi) niin, että arvioidaan ja verrataan tuloksia ja varmistutaan siitä, että ohjelmat sisältävät lisäarvoa ja että ne tuovat parannuksen muihin olemassa oleviin ohjelmiin verrattuna.

c) Komission olisi luotava strateginen suunnitelma saatujen opetusten ja hyvien toimintatapojen siirtämiseksi valtioiden rajojen yli järjestelmällisesti sosiaalisille yhteistyökumppaneille ja poliittisille päättäjille; näin voidaan varmistua siitä, että tuloksia hyödynnetään politiikan toteuttamisessa.

Tilintarkastustuomioistuin on hyväksynyt tämän kertomuksen Luxemburgissa 17. ja 18. heinäkuuta 2002 pitämässään kokouksessa.

Tilintarkastustuomioistuimen puolesta

Juan Manuel Fabra Vallés

presidentti

(1) Tämä yhteisöaloite käynnistettiin 15. kesäkuuta 1994, neuvoston asetuksen (ETY) N:o 4253/88, sellaisena kuin se on muutettuna neuvoston asetuksella (ETY) N:o 2082/93, 11 artiklan nojalla (EYVL L 193, 31.7.1993, s. 20). Aluksi se käsitti kolme lohkoa: Now, Youthstart ja Horizon.

(2) Näihin kuuluvat muun muassa pitkäaikaistyöttömät, työttömät yksinhuoltajat, asunnottomat, kiertolaiset, romaniväestö, ilman vakituista asuinpaikkaa olevat, vangit ja entiset vangit, huumausaineiden väärinkäyttäjät. Tiedonanto jäsenvaltioille (EYVL C 200, 10.7.1996, s. 13).

(3) Tiedonanto jäsenvaltioille (EYVL C 200, 10.7.1996, s. 19).

(4) Neuvoston asetuksen (ETY) N:o 4253/88 11 artikla, sellaisena kuin se on muutettuna neuvoston asetuksella (ETY) N:o 2082/93 (EYVL L 193, 31.7.1993, s. 20).

(5) Komission tiedonanto muutetuista suuntaviivoista toimintaohjelmia tai yleiskattavia tukia varten, joita jäsenvaltiot voivat ehdottaa osana työllisyyttä ja inhimillisten voimavarojen kehittämistä koskevaa yhteisön aloitetta työllisyyden kasvun edistämiseksi ensisijaisesti inhimillisten voimavarojen kehittämisen avulla (EYVL C 200, 10.7.1996, s. 13).

(6) Komission tiedonanto nro 96/C 200/06, 4 kohdan d alakohta (EYVL C 200, 10.7.1996).

(7) Julkinen tai yksityinen henkilö tai järjestö, joka hakee ja mahdollisesti saa tukea tiettyyn hankkeeseen liittyvissä toimenpiteissä.

(8) Ks. erityiskertomus nro 3/2000 Euroopan sosiaalirahastosta ja Euroopan maatalouden ohjaus- ja tukirahastosta (ohjausosasto) - Toimet nuorten työllistämisen edistämiseksi, kohdat 59 ja 60 (EYVL C 100, 7.4.2000).

(9) Berliinin FHVR:n (Fachhochschule für Verwaltung und Rechtspflege) yhteydessä toimiva Forschungsstelle für Berufsbildung, Arbeitsmarkt und Evaluation (FBAE) ja Rotterdamissa sijaitseva Alankomaiden taloudellinen instituutti (NEI) laativat komission nimissä metodologian Employment-yhteisöaloitteen arvioimiseksi. Tätä tutkimusta pidettiin seuraavan Employment-ohjelman, johon kuului myös Integra-ohjelma, arvioinnin perustana. FBAE ja NEI julkaisivat maaliskuussa 2000 komission puolesta tutkimuksen "European wide Evaluation of the Community Initiative Employment".

(10) Ks. erityiskertomus nro 3/2000 Euroopan sosiaalirahastosta ja Euroopan maatalouden ohjaus- ja tukirahastosta (ohjausosasto) (Toimet nuorten työllistämisen edistämiseksi), kohta 51 c (EYVL C 100, 7.4.2000) ja erityiskertomus nro 22/98 naisten ja miesten yhtäläisten mahdollisuuksien edistämiseksi toteutettujen toimenpiteiden hallinnoinnista komissiossa (EYVL C 393, 16.12.1998).

Komission vastaukset

TIIVISTELMÄ

II. Komissio korostaa Integra-ohjelmasta(1) 10. heinäkuuta 1996 antamassaan tiedonannossa myös:

- niiden menetelmien käyttöä, joista on saatu kokemuksia paikan päällä,

- ja sellaisten integroitujen lähestymistapojen käyttöönottoa, joissa pyritään huomioimaan työmarkkinoilta syrjäytymiseen liittyvien ongelmien moninaisuus.

IV. Komissio arvioi, että Integra-aloitteen tavoitteiden kohdalla nousee väistämättä esiin muutamia menetelmäongelmia, jotka liittyvät välineisiin, joilla tavoitteisiin pyritään. Syrjäytyminen on monitahoinen ilmiö ja siihen liittyy monia tekijöitä. Kuten monet arvioinnit ovat osoittaneet, toimenpiteiden tehokkuutta ei ole helppo arvioida, koska indikaattorit näyttävät usein olevan riittämättömiä.

V. Komissio ei pyrkinyt saamaan aikaan tarkkoja ja pysyviä määritelmiä kohderyhmille niiden määritelmien lisäksi, jotka esiintyvät jäsenvaltioille annetussa tiedonannossa (ks. edellä kohta II), koska eri jäsenvaltioissa olosuhteet ovat usein hyvin erilaiset. Käsitteet ja määritelmät voivat vaihdella jäsenvaltiosta toiseen, ja komission yksityiskohtainen "ylhäältä alaspäin" -määritelmä olisi saattanut rajoittaa jäsenvaltioiden liikkumavaraa.

Lisäksi Integraan osallistuvien hankkeiden valinta oli niiden valintakomiteoiden yksinoikeus, jotka aloitteen hallintoviranomaiset olivat perustaneet kussakin jäsenvaltiossa. Innovatiivisuuden tarkka tulkinta oli jokaisessa jäsenvaltiossa valintakomitean vastuulla.

Seuraavaa, Equal-aloitetta(2) varten komissio laati selkeät ja kattavat määritelmät, jotka perustuvat Employment-aloitteen arvioinnin yhteydessä laadittuun typologiaan. Tästä määritelmästä huolimatta hankkeen innovatiivisuuden arviointi jää yksinomaan hankkeiden valintakomiteoiden vastuulle, jotka arvioivat hanketta paikallisen alueen ja olosuhteiden tuntemuksensa perusteella.

VI. Vaatimus siitä, että hankkeita ehdottavat suoraan kohderyhmien parissa työskentelevät tahot, johti työskentelyn automaattiseen keskittymiseen alueille, joille kohderyhmät olivat keskittyneet. Heikoimmassa asemassa olevien kaupunkialueiden erityisongelmiin on puututtu myös Urban-yhteisöaloitteen ohjelmilla.

VII. Aloitteen kansainvälisen ulottuvuuden toteuttamisesta otettiin opiksi, ja nämä kokemukset vaikuttivat voimakkaasti seuraavan, inhimillisten voimavarojen käyttöä edistävän Equal-yhteisöaloitteen suunnitteluun.

VIII. Arvioinnin ja jatkotoimien osalta toteutettiin EU:n tasolla väliarviointi elokuusta 1998 tammikuuhun 2000, ja Employment-aloitteen jälkiarviointi tehdään vuosina 2002-2003.

Aloitteen saavutusten osalta sekä komissio että jäsenvaltiot ovat pyrkineet hyödyntämään saatuja kokemuksia etenkin seuraavien keinojen avulla:

- julkaisusarja,

- kansalaisille suunnatut hyviä käytäntöjä sisältävät esitykset, joita on useita satoja ja jotka ovat saatavilla www-sivustolla,

- työryhmien säännölliset kokoukset Euroopan unionin tasolla,

- lukuisien tilaisuuksien järjestäminen.

IX. Komissio pitää tärkeänä työtä, jota parhaillaan tehdään indikaattorien parissa sosiaalisen osallisuuden edistämisprosessin yhteydessä (jatkoa Lissabonin ja Nizzan huippukokouksille). Tämä työ osoittaa selkeästi, että on vaikea laatia yhdenmukaisia indikaattoreita, joilla voidaan saada tietoa syrjäytymisestä.

X. Komissio julkaisi vuonna 1997 oppaan nimeltä "Impact Guide for Employment Project Promoters"(3). Oppaassa esitellään, miten voidaan suunnitella strategia hankkeen onnistuneiden tulosten levittämiseksi. Sen jälkeen ilmestyi vuonna 1999 "Guide to Public Relations Activities for Project Promoters"(4), jonka tarkoituksena oli mahdollistaa yhteisöaloitteiden hankkeista saatava kaikki hyöty tehokkaan viestinnän avulla. Kun on kyse tulosten levittämisestä ja valtavirtaistamisesta Integran yhteydessä, uutta tietoa työmarkkinoilta syrjäytymisen torjumisesta on jaettu EU:n tasolla sekä kansallisella ja paikallisella tasolla pääasiassa julkaisujen ja www-sivustojen kautta.

XI. Komission www-sivusto osoitteessa http://europa.eu.int/comm/equal sisältää edellä kohdassa X mainitut julkaisut ja monia muita julkaisuja, joista löytyy esimerkkejä hyvistä käytännöistä. Www-sivusto on vapaasti kaikkien EU:n työmarkkina-alan päättäjien käytettävissä. Suurin osa komission tuottamista julkaisuista on painettu ja niitä on jaettu laajasti koko EU:ssa.

Kansallisella ja unionin tasolla järjestetyt tapahtumat ja saavutusten järjestelmällinen hyödyntäminen ohjelmissa, jotka ovat tulleet Integran tilalle (etenkin Equal-aloitteessa), ovat osoitus ohjelmien aktiivisesta toteuttamisesta. Kansainvälisellä tasolla monet julkaisut, jotka ovat saatavilla www-sivustolla, kertovat tämän yhteistyön saavutuksista.

XII. Lopullista arviointia siitä, kuinka tehokkaasti Integra-ohjelmalla on päästy tavoitteisiin, ei voida tehdä, ennen kuin komissio on saanut ja analysoinut kansalliset loppuraportit (määräaika kesäkuussa 2002) ja ennen kuin jälkiarviointi julkaistaan vuonna 2003.

XIII. Komissio katsoo, että Integran tapauksessa pääasialliset kohderyhmät kaikissa Employment-aloitteen ohjelmalohkoissa oli määritelty hyvin jäsenvaltioille annetussa tiedonannossa asettamatta kuitenkaan liiaksi "ylhäältä alas" suuntautuvaa määritelmää, joka olisi rajoittanut jäsenvaltioiden mahdollisuuksia säätää toimintaohjelmiensa painopistealueita vastaamaan omien työmarkkinoidensa erityistarpeita.

- Lisäksi ainoat pätevät indikaattorit sellaiselle innovatiivisia toimia sisältävälle ohjelmalle kuin Employment-aloite ovat syvään juurtuneet ja pysyvät muutokset työmarkkinapolitiikassa ja -käytännöissä. Adapt- ja Employment-aloitteista saatujen kokemusten perusteella komissio teki saman päätelmän kuin tilintarkastustuomioistuin ohjelman seurantaindikaattoreista, ja tämä asia on otettu huomioon Equal-aloitteen suunnittelussa. On kuitenkin selvää, että suurin osa indikaattoreista on laadullisia eikä määrällisiä, mikä jättää paljon harkintavaraa.

- Kun on kyse tarpeesta kehittää strateginen suunnitelma kokemusten ja hyvien käytäntöjen järjestelmällistä vaihtoa varten, komissio katsoo, että työllisyyttä koskevat kansalliset toimintasuunnitelmat ja Euroopan työllisyysstrategia yleisesti muodostavat tärkeän osan strategiasuunnitelmaa, jolla pyritään järjestelmällisesti kehittämään inhimillisiä voimavaroja jäsenvaltioissa. Tässä inhimillisten voimavarojen kehittämiseen tähtäävillä Employment-aloitteella ja muilla yhteisöaloitteilla on tärkeä ja aktiivinen rooli.

TOIMET ENNEN OHJELMAN KÄYNNISTÄMISTÄ

12. Komissio haluaa tuoda esiin seuraavaa:

a) Integra-ohjelmaan osallistuvien hankkeiden valinta oli niiden valintakomiteoiden yksinoikeus, jotka aloitteen hallintoviranomaiset olivat perustaneet kussakin jäsenvaltiossa. Innovatiivisuuden tarkka tulkinta oli jokaisessa jäsenvaltiossa valintakomitean vastuulla.

b) Kun on kyse Integra-ohjelman kohderyhmien määritelmästä, muutetuista suuntaviivoista Employment-aloitteen toimintaohjelmia varten jäsenvaltioille vuonna 1996 annetun tiedonannon(5) 12 kohdassa luetellaan Integra-ohjelmalohkon kohderyhmät. Suuntaviivat ovat kuitenkin laajoja ja yleisiä, ja jäsenvaltioita pyydettiin tulkitsemaan niitä omien olosuhteidensa ja niiden omissa toimintaohjelmissa esitettyjen painopistealueiden perusteella.

c) Yleiset tavoitteet asetettiin vuoden 1996 suuntaviivoissa (tavoitteita koskeva I luku) ja rakennerahastoasetuksissa. Näin ollen jokaisen valitun kohderyhmän tarkat tavoitteet oli määriteltävä jäsenvaltioiden toimintaohjelmissa ja niissä oli otettava huomioon kansalliset politiikat ja painopistealueet.

d) e) Yleiset vaatimukset hankkeiden ja kohderyhmien valinnalle löytyvät kasvua, kilpailukykyä ja työllisyyttä koskevasta komission valkoisesta kirjasta(6) sekä suuntaviivojen VII luvusta. Vaatimuksissa korostetaan kuitenkin sellaisten indikaattorien laatimisen vaikeutta, joilla voitaisiin mitata syrjäytymistä, ja tämä näkyy myös parhaillaan käynnissä olevassa työssä, joka on jatkoa Lissabonin ja Nizzan huippukokouksille.

f) Valittaviin kohderyhmiin liittyvien vertailukohtien asettaminen voi antaa epätäsmällistä tietoa Integran kaltaisen ohjelman onnistumisesta, sillä kohderyhmien koostumus muuttuu jatkuvasti ja tärkeämmässä asemassa ovat laadulliset vaikutukset järjestelmiin ja työmarkkinoilta syrjäytymiseen liittyviin tekijöihin.

13. Komissio on tietoinen niistä vaikeuksista, jotka liittyvät monia kohderyhmiä ja toimintoja sisältävän aloitteen arviointiin. Komissio on kuitenkin sitä mieltä, että mahdolliset hyödyt, jotka voidaan saada eri toimintoja ja kokemuksia hyödyntävästä lähestymistavasta, ovat tärkeämpiä kuin edut, joita voidaan saada hankkeiden vertailevasta analyysista.

14. Hyväksytty lähestymistapa on kokonaisvaltainen, sillä siinä työmarkkinoilta syrjäytymiseen liittyviin ongelmiin on puututtu laajasti. Kuitenkin esimerkiksi Yhdistyneessä kuningaskunnassa(7) aloitteen tavoitteet perustuivat Ison-Britannian työmarkkinoista tehtyyn analyysiin, jossa eriteltiin heikoimmassa asemassa olevat ryhmät. Tämä analyysi julkaistiin syyskuussa 1996 täydennyksenä Employment-aloitteen toimintaohjelmaan(8), jossa yksilöitiin Integra-ohjelman kohderyhmät ja perusteltiin ehdotettuja toimia tilastojen avulla. Yhdistyneen kuningaskunnan hakuoppaan "Guidance for Applicants for the Employment Initiative 1997-99 (Part 2)" liitteen 3 kohdassa, joka koskee tietoja edunsaajasta, määritellään ehdotetut edunsaajat melko yksityiskohtaisesti, kun taas liitteessä 4 luetellaan 805 kaupunginosaa, joissa on esiintynyt työmarkkinoilta syrjäytymistä ja jotka olivat etusijalla Integra-ohjelmassa.

Vastaavat tiedot ovat saatavissa laajemmin Employment-aloitteen Ranskan toimintaohjelmasta.

15. Esimerkiksi Ranskan osalta avainsanojen tarkat määritelmät annettiin hakuoppaassa, jossa selvitetään avainsanojen sisältö sekä arvioidaan innovaation käsitettä. Samoin Yhdistyneen kuningaskunnan hakuoppaassa "Guidance for Applicants for the Employment Initiative 1997-99" annettiin määritelmät sellaisille käsitteille kuin innovaatio, seuranta, kerrannaisvaikutus, tulosten levittäminen ja valtavirtaistaminen sekä kansainvälisyys. Tämä hakuopas toimitettiin kaikille hakijoille ennen hanke-ehdotusten jättämistä. Lisäksi Yhdistyneen kuningaskunnan hakuoppaan liitteessä 1 hakijoille annettiin tarkat valintakriteerit, joiden avulla arvioitiin, miten hakijat ymmärsivät ja sovelsivat näitä käsitteitä.

VALINTA JA TÄYTÄNTÖÖNPANO

18. Komissio laati yleiset ohjeet ESR-tukien seurannasta ja arvioinnista vuonna 1995 ja erityiset suuntaviivat Employment-aloitteesta vuonna 1999(9).

19. Kohderyhmien määrittelyn osalta komissio huomauttaa seuraavaa:

- Muutetuista suuntaviivoista Employment-aloitteen toimintaohjelmia varten jäsenvaltioille annetun tiedonannon(10) 12 kohdassa määritellään Integra-ohjelmalohkon kohderyhmät(11).

- Teknisen avun toimiston Europsin avulla komissiolla oli selkeä käsitys koko Integra-ohjelman soveltamisajan siitä, kuinka ohjelmaa toteutettiin. Toimisto keräsi tietoa hankkeista yhteistyössä Integra-ohjelman kansallisten teknisen avun toimistojen kanssa.

- Asetuksen mukaan loppuraportit aloitteen toteuttamisesta on toimitettava komissiolle 30. kesäkuuta 2002 mennessä. Analysoimalla loppuraportit komissio saa yksityiskohtaista tietoa Integra-ohjelman toteuttamisesta kaikissa jäsenvaltioissa.

20. Aloitteen tarkoituksena oli parantaa EU:n työmarkkinoiden toimintaa, ja koska kaikki pääasialliset toimijat tässä yhteydessä ovat kansalliselta tai jopa kansallista tasoa alemmalta tasolta, valtavirtaistamiseen kiinnitettiin erityistä huomiota juuri näillä tasoilla.

Hankkeiden tulosten levittäminen tehtiin kansallisten teknisen avun toimistojen välityksellä, joista useimmat jatkoivat toimintaansa jonkin aikaa Europsin sulkemisen jälkeen.

EU:n tasolla tulosten levittäminen keskitettiin vuodesta 1997 alkaen yhdeksään aihepiirikohtaiseen työryhmään, jotka perustettiin nimenomaan tätä tarkoitusta varten. Jäsenvaltiot johtivat näitä työryhmiä, joihin kuului kansallisten teknisen avun toimistojen, kansallisten hallintoviranomaisten sekä hankkeiden toteuttajien edustajia, joten Europsin sulkeminen ei juuri vaikuttanut niihin.

21. Integra-ohjelmasta ja Employment-yhteisöaloitteen muista ohjelmalohkoista saadut alustavat kokemukset löytyvät komission Internet-sivustolta(12). Nämä keskeisimmät kokemukset luokiteltiin Euroopan työllisyysstrategian luokitteluperusteiden mukaisesti, jotta jäsenvaltioiden olisi helpompi käyttää niitä laatiessaan omia työllisyyttä koskevia kansallisia toimintasuunnitelmiaan.

Lisäksi, jotta jäsenvaltiot saataisiin hyödyntämään Employment-aloitteesta saatuja tuloksia, nykyinen Equal-aloite suunniteltiin siten, että jäsenvaltioiden oli eriteltävä Adapt- ja Employment-aloitteista saamansa kokemukset Equal-aloitteeseen valittavia aihepiirikohtaisia painopistealueita varten.

25. Espanjassa yhtenä hankkeiden tärkeimmistä valintakriteereistä oli niiden innovatiivisuus (kuten todetaan muutetussa toimintaohjelmassa - komission päätös K(97) 863).

Yhdistyneessä kuningaskunnassa Employment-aloitteen toimintaohjelmassa asetettiin Integra-ohjelmalle ylimääräiset valintakriteerit, joissa hakijoita pyydettiin selvittämään, miten hanke erosi olemassa olevista hankkeista ja ettei siinä ollut päällekkäisyyksiä muiden hankkeiden kanssa.

26. Kuten kohdassa II todettiin, komission vuoden 1996 tiedonannossa asetettiin selkeät tavoitteet Integra-hankkeille. Ainakin Yhdistyneessä kuningaskunnassa valintakriteereissä otettiin huomioon kohderyhmä sekä täydentävyys muiden vastaavien ohjelmien kanssa. Yhdistyneen kuningaskunnan hakuoppaan "Guidance for Applicants for the Employment Initiative 1997-99 (Part 2)" liitteessä 1 on selvästi esitetty Integra-ohjelman ja Employment-aloitteen muiden ohjelmalohkojen valintakriteerit, ja siinä käsitellään myös kohdentamiseen, työmarkkinoiden analyysiin, innovaatioon, kansainvälisyyteen, tuloksiin, seurantaan ja arviointiin, tulosten levittämiseen, kerrannaisvaikutukseen, valmiuksiin, budjettiin ja täydentävyyteen liittyviä asioita.

27. Maahanmuuttajien ja pakolaisten korostamisen osalta:

Espanjassa Integra-ohjelman hankepyynnössä mainittiin, että etusijalla olisivat muun muassa rasismin ja muukalaisvihan torjuminen sekä kielikoulutus maahanmuuttajille, vaikka tuolloin näiden ryhmien suhteellinen koko oli paljon pienempi kuin muissa maissa.

Yhdistyneen kuningaskunnan toimintaohjelmassa tarkennettiin, että pakolaiset ja maahanmuuttajat ovat yksi kohderyhmä. Valintakriteereissä (jotka sisältyvät esimerkiksi hakuoppaaseen "Guidance for Applicants for the Employment Initiative 1997-99 (Part 2)") painotettiin erityisesti toimia pakolaisten auttamiseksi.

ARVIOINTI

29. Luotettavia indikaattoreita ei ollut käytössä tänä aikana. Ainoa sopiva arviointikeino oli verrata aloitteen aikana kehitettyjä välineitä, tekniikoita ja menetelmiä aiempiin välineisiin, tekniikoihin ja menetelmiin.

30. Aloitteen synty liittyy olennaisesti komission kasvusta, kilpailukyvystä ja työllisyydestä antamaan valkoiseen kirjaan, jonka 8 luvussa erityisesti kartoitetaan taustoja niille taloudellisille ja sosiaalisille haasteille, joita EU:lla oli edessään vuonna 1994. Ne erityisaloitteet, joita komissio ryhtyi toteuttamaan heti valkoisen kirjan julkaisemisen jälkeen, olisi nähtävä komission kunnianhimoisena pyrkimyksenä muuttaa laajasti EU:n taloudellista ja sosiaalista rakennetta.

31. Aloitteen kustannusten ja mahdollisten hyötyjen arviointi eri jäsenvaltioissa sekä kohderyhmien jäsenten osallistumisen arviointi ei ole mahdollista, ennen kuin komissio on saanut ja analysoinut jäsenvaltioiden ohjelmien loppuraportit. Loppuraportit on jätettävä 30. kesäkuuta 2002 mennessä.

32. Arviointi tehtiin ohjelman aikana komission ESR-tuista laatimien yleisten ohjeiden(13) perusteella. EU:n laajuinen väliarvioinniksi luokiteltu arviointi julkaistiin maaliskuussa 2000, ja se perustui sekä kansallisiin arviointiraportteihin, joita oli käyty läpi yhteisissä kokouksissa, että erityistutkimuksiin, kuten tapaustutkimuksiin. Lisäksi Employment-yhteisöaloitteen jälkiarviointi tehdään vuosina 2002-2003, ja siitä selviävät tiedot koko aloitteesta.

33. Tarkat tiedot aloitteen tuloksista kussakin jäsenvaltiossa selviävät vasta sitten, kun komissio on saanut jäsenvaltioiden ohjelmien loppuraportit. Loppuraportit on jätettävä 30. kesäkuuta 2002 mennessä.

34. Koska Employment oli yksi ainoa aloite, erityisarviointia kustakin Employment-yhteisöaloitteen ohjelmalohkosta ei tehty. Employment-aloitteen EU:n laajuinen väliarviointi, joka tehtiin yhteistyössä kunkin jäsenvaltion arvioijan kanssa, sisältää runsaasti tietoa Integra-ohjelman toteuttamisesta(14). Ks. Employment-aloitteen arvioinnissa käytetyn lähestymistavan johdonmukaisuuden osalta kohta 33.

36. ESR:n väliarviointeja koskevien päätelmien mukaan yhteisöaloitetta ei tulisi arvioida pelkästään määrällisesti. Arviointien tulisi keskittyä laadullisiin asioihin, kuten prosesseihin, joiden avulla voidaan saavuttaa uusia syrjäytyneitä ryhmiä. Monet jäsenvaltiot ovat kehittäneet seurantavälineitä, joilla saadaan tietoa hankkeiden toteutuksesta niiden sisällön, rahoituksen ja kansainvälisyyden osalta(15).

37. Employment-aloitteen suunnittelu perustui siihen, että oli olemassa monia erilaisia ongelmia, jotka koskettivat erilaisia ryhmiä ja alaryhmiä, ja siihen, että ongelmien ratkaisemiseksi tarvittiin monia erilaisia ehdotuksia. Vuonna 2003 julkaistavassa Employment-aloitteen jälkiarvioinnissa olisi kiinnitettävä poliittisten päättäjien ja ohjelmien suunnittelijoiden huomio erilaisiin parhaiden käytäntöjen malleihin ja esitettävä riippumaton arvio mallien mahdollisuuksista.

41. Arviointia ennakoitiin ohjelman aikana ja sen lopussa. Komissio on laatinut yleiset ohjeet ESR-tuista(16). EU:n laajuisesti toimivia arvioijia on unionin tasolla käytetty tukena ja lisänä kansallisille arvioijille. EU:n laajuisessa arvioinnissa annetaan menettelyohjeet, joilla tuetaan kansallisia arvioijia ja joiden avulla laaditaan yhteinen kehys tehtäville analyyseille ja kerättäville tiedoille. EU:n arvioijilla on mahdollisuus hyödyntää sekä kansallisia arviointiraportteja, joita on käyty läpi yhteisissä kokouksissa, että erityistutkimuksia, kuten tapaustutkimuksia.

42. Yksittäisten hankkeiden arviointiraportit olivat jäsenvaltioissa ja samalla myös EU:n tasolla osa tiedottamiseen ja tulosten levittämiseen perustuvaa järjestelmää. Useissa tapauksissa hankkeiden arvioinnista saadut tulokset sisällytettiin kansallisiin raportteihin ja julkaisuihin, jotka annettiin yleiseen käyttöön.

43. Aloitteen tavoitteessa ei ole otettu huomioon sitä, että hankkeet olisi tarkoitettu jatkumaan rajoittamattomaksi ajaksi. Jos hankkeella saadaan aikaan onnistunut lähestymistapa, lähestymistapa olisi valtavirtaistettava myös yleiseen työmarkkinapolitiikkaan ja -käytäntöihin. Onnistuneen lähestymistavan jättäminen pelkästään yhteisöaloitteeseen tarkoittaisi valtavirtaistamisen epäonnistumista ja samalla aloitteen keskeisen periaatteen noudattamatta jättämistä.

Jäsenvaltioilla oli kuitenkin strategia, jossa valtavirtaistamisen avulla hyödynnettiin hankkeista saatuja kokemuksia.

TIEDON LEVITTÄMINEN JA VALTAVIRTAISTAMINEN

44. ja 45. Osana tulosten levittämiseen liittyviä toimia komissio julkaisi vuonna 1997 oppaan nimeltä "Impact Guide for Employment Project Promoters". Opas sisältää ehdotuksia, miten voidaan suunnitella strategia hankkeen onnistuneiden tulosten levittämiseksi (CE-V/7-97-003-XX-C, 1997, s. 32). Sen jälkeen ilmestyi vuonna 1999 "Guide to Public Relations Activities for Project Promoters", jonka tarkoituksena oli mahdollistaa yhteisöaloitteiden hankkeista saatava kaikki hyöty tehokkaan viestinnän avulla (1999, s. 28).

Kansalliset teknisen avun toimistot antoivat lisäksi ohjeita omia hankkeitaan varten.

Esimerkiksi:

- Yhdistyneessä kuningaskunnassa teknisen avun toimisto laati heinäkuussa 1997 ohjeet (Guidance Note 7: Dissemination), jotka sisälsivät yksityiskohtaisia ohjeita tulosten levittämisen tavoitteista, keinoista ja tekniikoista hankkeita varten.

- Espanjassa julkaistiin esitteitä ja järjestettiin kolme kansallisen tason seminaaria, jotka pidettiin heinäkuussa 1998, marraskuussa 1998 ja kesäkuussa 1999. Lisäksi järjestettiin monia alueellisia ja paikallisia seminaareja ja infotilaisuuksia. Erityisesti tuettiin kohderyhmien parissa työskenteleviä verkostoja (Red Europea de Gitanos y Viajeros, Red Repris, Red Labora Vita).

46. Komissio on samaa mieltä tästä huomautuksesta ja on ottanut huomioon vaatimuksen tällaisten laajojen ohjausryhmien perustamisesta nykyisen Equal-yhteisöaloitteen suunnittelussa.

48. Komissio on Employment-aloitteen teknisen avun toimiston Europsin avulla avannut Internet-sivuston, joka sisältää runsaasti tietoa Integra-ohjelmasta saaduista kokemuksista. Kun Europs lopetti toimintansa vuonna 2000, www-sivuston sisältö siirrettiin komissiolle ja se on vapaasti käytettävissä osoitteessa http://europa.eu.int/comm/equal.

Monet jäsenvaltiot, esimerkiksi Espanja, ovat perustaneet tietokantoja, jotka sisältävät perustietoa hankkeista.

50. Jäsenvaltiot osallistuivat tiiviisti EU:n tasolla aihepiirikohtaisten työryhmien toimintaan, jonka yhteydessä laadittiin ohjeita, jotka julkaistiin Innovations-sarjassa. Integra-ohjelman kannalta erityisen tärkeitä olivat seuraavat julkaisut:

- Employment and solidarity(17),

- Forging strong local partnerships(18),

- Towards employment for all(19). Vaikka muut sarjan julkaisut eivät suoraan liity Integra-hankkeiden työhön, ne sisältävät arvokasta tietoa Integra-ohjelman kohderyhmille (ks. liite 1).

51. Tarkempaa tietoa siitä, missä määrin Integra-ohjelma on vaikuttanut työmarkkinoilta syrjäytymiseen, saadaan Employment-yhteisöaloitteen jälkiarvioinnista, joka julkaistaan vuonna 2003, sekä kansallisista aloitteen toteuttamista koskevista loppuraporteista, jotka on lähetettävä komissioon 30. kesäkuuta 2002 mennessä.

53. Komissio julkaisi yhteistyössä jäsenvaltioiden kanssa yksityiskohtaisen julkaisun "Transnationality works! If you work at it!", jossa kansainvälisyyttä tarkastellaan kolmesta keskeisestä näkökulmasta. Julkaisu ilmestyi viidellä suurimmalla virallisella kielellä, ja sitä jaettiin keskeisille toimijoille, päättäjille, kansallisille viranomaisille ja hankkeiden toteuttajille. Julkaisu on vapaasti saatavilla komission Internet-sivustolla osoitteessa: http://europa.eu.int/comm/equal (luettelotiedot: Innovations n°8, CE-19-98-487-XX-C, 1999, s. 60).

54. Komissio ei pysty vahvistamaan tai kiistämään tilintarkastustuomioistuimen väitettä, jonka mukaan niissä jäsenvaltioissa, joissa se vieraili, ei ollut strategista suunnitelmaa hyvien käytäntöjen järjestelmällistä vaihtoa varten.

Joka tapauksessa ainakin Yhdistyneessä kuningaskunnassa oli järjestelmällinen valtavirtaistamissuunnitelma, joka oli hallintoviranomaisten laatima ja seurantakomitean hyväksymä (Employment-aloitteen seurantakomitean kokous 29.4.1997). Suunnitelma toteutettiin teknisen avun toimiston avulla, sitä päivitettiin säännöllisesti, ja sen etenemisestä raportoitiin seurantakomitealle jatkuvasti jokaisessa myöhemmässä kokouksessa. Samanlainen suunnitelma toteutettiin myös Ranskassa.

55. Komissio havaitsi Employment-aloitteen toteuttamisen aikana, että näiden toimijoiden (paikalliset viranomaiset, työnantajat, työmarkkinaosapuolet jne.) osallistumisella hankkeiden ohjausryhmiin oli suotuisia vaikutuksia. Tästä syystä nämä toimijat on otettu järjestelmällisesti mukaan Equal-yhteisöaloitteen (Employment-aloitetta seurannut aloite) hankkeiden ohjausryhmiin.

MUUT NÄKÖKOHDAT

58. Vaatimuksesta ottaa paikalliset toimijat mukaan toimenpiteiden suunnitteluun, toteuttamiseen ja arviointiin (suuntaviivojen 6 kohdan d alakohta) seurasi toimintojen keskittyminen alueille, joilla oli asianomaisia paikallisia toimijoita.

Esimerkiksi Espanjassa Integra-ohjelman valintakriteereissä on erityisesti mainittu niiden toimien olevan etusijalla, jotka koskevat heikoimmassa asemassa olevia kaupunkialueita. Jotta näillä alueilla käynnissä olevien aloitteiden toimet täydentäisivät paremmin toisiaan, Espanja järjesti yhteisen Integra-Urban-seminaarin Córdobassa.

60.-63. ja 65.-67. Adapt- ja Employment-aloitteista saatujen kokemusten perusteella komissio teki saman päätelmän kuin tilintarkastustuomioistuin, ja tämä asia on otettu huomioon nykyisen Equal-aloitteen suunnittelussa.

64. Toissijaisuusperiaatteen mukaisesti tässä asiassa otettiin huomioon jäsenvaltioiden mieltymykset. Hankkeiden valinta ja niiden kustannusarvioiden hyväksyminen oli jäsenvaltioiden yksinoikeus, ja ne perustuivat laajasti ehdotettujen työohjelmien tarkkaan analyysiin.

PÄÄTELMÄT JA SUOSITUKSET

68. Komissio katsoo, että, kuten aloitteen toteuttamiseen liittyneistä ongelmista voidaan päätellä, Integra-ohjelma ja koko Employment-yhteisöaloite olivat kunnianhimoinen mutteivät silti liian kunnianhimoinen aloite. Aloitteen tavoitteet olivat selkeitä ja verrattain yksinkertaisia, kuten aloitteen muutetuista suuntaviivoista jäsenvaltioille vuonna 1996 annetussa tiedonannossa todetaan, ja useimmat käytännössä toteutetut hankkeet ovat olleet onnistuneita.

69. Täytäntöönpanoa edeltäneistä toimista voidaan todeta, että aloitteen tavoitteet esitettiin sekä suuntaviivoissa (tavoitteita koskeva I luku) että rakennerahastoasetuksissa. Yleisiä taustoja selvitettiin komission valkoisessa kirjassa kasvusta, kilpailukyvystä ja työllisyydestä(20), kuten suuntaviivojen 3 kohdassa todetaan.

70. Komission suuntaviivat, jotka sisältyvät jäsenvaltioille annettuun tiedonantoon(21), olivat laajoja ja yleisiä, ja jäsenvaltioita pyydettiin tulkitsemaan niitä oman tilanteensa ja niiden omissa toimintaohjelmissa esitettyjen painopistealueiden perusteella. Komissio katsoo, että valittaviin kohderyhmiin liittyvien vertailukohtien asettaminen voi antaa epätäsmällistä tietoa Integran kaltaisen ohjelman onnistumisesta, sillä kohderyhmien koostumus muuttuu jatkuvasti ja tärkeämmässä asemassa ovat laadulliset vaikutukset järjestelmiin ja työmarkkinoilta syrjäytymiseen liittyviin tekijöihin.

71. Sekä Espanjan että Yhdistyneen kuningaskunnan toimintaohjelmissa täsmennettiin, että pakolaiset ja maahanmuuttajat ovat yksi kohderyhmä. Yhdistyneessä kuningaskunnassa valintakriteereissä (jotka sisältyvät esimerkiksi hakuoppaaseen "Guidance for Applicants for the Employment Initiative 1997-99 (Part 2)") painotettiin erityisesti toimia pakolaisten auttamiseksi.

72. Integra-ohjelmasta ja Employment-yhteisöaloitteen muista ohjelmalohkoista saadut alustavat tulokset löytyvät komission Internet-sivustolta. Keskeisimmät tulokset luokiteltiin Euroopan työllisyysstrategian luokitteluperusteiden mukaisesti, jotta jäsenvaltioiden olisi helpompi käyttää niitä laatiessaan omia työllisyyttä koskevia kansallisia toimintasuunnitelmiaan.

Lisäksi Employment-aloitteen jälkiarviointi ja ohjelmien loppuraportit (määräaika 30. kesäkuuta 2002) toimivat tiivistettynä yhteenvetona sekä kansallisen että EU:n tason keskeisimmistä kokemuksista ja saavutetuista tuloksista.

73. Employment oli yksi ainoa aloite, joten erityisarviointia kustakin Employment-yhteisöaloitteen ohjelmalohkosta ei tehty. EU:n laajuisessa arvioinnissa asetetaan menettelyohjeet, joilla tuetaan kansallisia arvioijia ja joiden avulla laaditaan yhteinen kehys tehtäville analyyseille ja kerättäville tiedoille. Lisäksi Employment-aloitteen jälkiarvioinnissa saadaan yksityiskohtaista tietoa koko aloitteen ja siten myös Integra-ohjelman tuloksista.

74. Komissio on samaa mieltä tästä huomautuksesta, joka liittyy tulosten levittämiseen, ja se on liittänyt tämän vaatimuksen kiinteästi nykyiseen Equal-yhteisöaloitteeseen (Employment-aloitetta seurannut aloite).

75. a) Sekä Espanjassa että Yhdistyneessä kuningaskunnassa valintakriteereihin kuuluivat innovatiivisuus sekä avun kohdentaminen hankkeisiin, joilla tuettiin ihmisiä, jotka olivat vaarassa syrjäytyä työmarkkinoilta.

b) Luotettavia päätelmiä saaduista kokemuksista ja niiden perusteella toteutettavista jatkotoimista ei voida tehdä, ennen kuin komissio on saanut ja analysoinut aloitteen loppuraportit.

c) Seuranta toteutettiin kussakin jäsenvaltiossa muodollisesti perustetun seurantakomitean kautta, jonka jäseniin kuului myös komission edustajia. Tulosten levittäminen tapahtui laajasti niin hankkeiden tasolla kuin myös paikallisella, kansallisella ja EU:n tasolla. Seurantaa tai tulosten levittämistä ei käytetty uusien mallien luomiseen työmarkkinoilta syrjäytymisen torjumiseksi, mutta kummatkin olivat tärkeitä osia prosessissa, jossa varmistettiin, että hankkeista saadut kokemukset välitettiin mahdollisimman suurelle joukolle päättäjiä.

76. Luotettavia päätelmiä Integra-ohjelman arvosta ja tehokkuudesta ei voida tehdä, ennen kuin komissio on saanut ja analysoinut Employment-aloitteen loppuraportit, jotka on jätettävä viimeistään 30. kesäkuuta 2002, ja ennen kuin jälkiarviointi julkaistaan vuonna 2003.

77. Tilintarkastustuomioistuimen suositusten osalta komissio haluaa täsmentää seuraavaa:

a) Euroopan työllisyysstrategiasta ensimmäisinä vuosina saadut kokemukset ovat osoittaneet, että työllisyyspolitiikan aihepiirikohtaisesta lähestymistavasta on hyötyä. Syrjintään ja eriarvoisuuteen liittyvät ilmiöt ovat tulleet yhä yleisemmiksi ja monimuotoisemmiksi. Työmarkkinoiden avaaminen kaikille edellyttää paljon kokeiluja. Komissio katsoo, että paikallisten elinten tehtävänä on hankkeita valittaessa varmistaa niiden innovatiivisuus.

b) Komissio on tilintarkastustuomioistuimen kanssa yhtä mieltä siitä, että mahdollisimman pian olisi laadittava luotettavat ja yhdenmukaiset indikaattorit. Jäsenvaltiot tekevät parhaillaan yhteistyötä indikaattorien määrittämiseksi. Laadullisella arvioinnilla, jota jatketaan koko hankkeen ajan, voidaan parhaiten antaa lisäarvoa tämäntyyppisille koeluonteisille ohjelmille.

c) Adapt- ja Employment-aloite ovat olleet ensimmäinen vaihe komission ja jäsenvaltioiden tiiviimmässä ja läheisemmässä yhteistyössä etenkin Euroopan tason aihepiirikohtaisten työryhmien kautta, ja Equal-aloitteen luomisessa on otettu huomioon nämä myönteiset tekijät.

Liite 1

Aloitteen täytäntöönpanon loppuvaiheessa julkaistiin sarja keskeisiä julkaisuja, joista seuraavat ovat tärkeitä Integra-ohjelman kannalta:

- Crossing the Job threshold: Aihepiirikohtaisen työryhmän toiminnan tuloksena syntyi julkaisu "Crossing the Job Threshold". Tämä julkaisu korostaa voimavarojen kohdentamista niihin, jotka ovat syrjäytyneet tai vaarassa syrjäytyä työmarkkinoilta. Julkaisusta on hyötyä ennen kaikkea niille elimille ja henkilöille, jotka voivat toimia välittäjinä muita heikommassa asemassa olevien ryhmien ja työnantajien välillä, kuten julkisille työvoimapalveluille, yksityisille työvoima- ja työnhakupalveluille, ammatillisen koulutuksen tarjoajille sekä kansalaisjärjestöille, jotka ajavat muita heikommassa asemassa olevien ryhmien etuja. Tämänkaltaiset elimet eivät voi helposti muuttaa tai kehittää menetelmiään ja lähestymistapojaan ilman poliittista tukea, joten tämä julkaisu on myös suunnattu niille työmarkkinaosapuolille ja päättäjille, jotka toimivat työllisyyspolitiikan parissa EU:n tasolla sekä kansallisella, alueellisella ja paikallisella tasolla (CE-V/1-00-016-XX-C, 2000, s. 28).

- Empowerment: Aihepiirikohtaisen työryhmän toiminnan tuloksena syntyi julkaisu voimaannuttamisesta. Työryhmä on tarkastellut, miten Employment-Integra-hankkeissa päästiin voimaannuttamista koskevaan tavoitteeseen osana strategiaa syrjäytyneiden ihmisten ja ryhmien työllistämiseksi. Työryhmä valitsi tätä lähestymistapaa parhaiten edustavat hankkeet ja työskenteli sekä kansallisella että EU:n tasolla selvittääkseen voimaannuttamisstrategioiden luonnetta ja vaikutuksia työllisyyteen ja sosiaaliseen osallisuuteen (CE-V/1-00-013-XX-C, 2000, s. 30).

- Integra - Väyliä sosiaalisesti syrjäytyneiden integrointiin ja työllistämiseen: Integran tavoitteena on edistää toimenpiteitä, joilla parannetaan työmarkkinoilta syrjäytyneiden pääsyä työmarkkinoille ja työllistyvyyttä (CE-97-96-475-XX-C, 1997, s. 20).

- Shaping active employment policies: Tämä julkaisu on yhteenveto Adapt- ja Employment- aloitteista saaduista strategisista kokemuksista. Adapt- ja Employment-hankkeissa on kokeiltu suuri määrä innovatiivisia hyvien käytäntöjen malleja aktiivisen työllisyyspolitiikan parantamiseksi ja tukemiseksi. Nämä käytännöt liittyvät suoraan Euroopan työllisyysstrategian sekä työllisyyttä koskevien jäsenvaltioiden kansallisten toimintasuunnitelmien neljään osa-alueeseen: työllistyvyys, yrittäjyys, sopeutumiskyky sekä naisten ja miesten yhtäläiset mahdollisuudet (CE-V/1-00-020-XX-C, 2000, s. 16).

- Territorial Approaches - the key principles: Alueellisilla lähestymistavoilla viitataan yhä laajenevaan paikallishallintojärjestelmään. Tämä järjestelmä antaa alueille ja niiden sisäisille alueille mahdollisuuden vastata joustavasti ja innovatiivisesti yhä avoimemman maailmantalouden haasteisiin, ja samalla se kannustaa kansalaisten osallistumista ja osallisuutta (CE-V/1-00-001-XX-C, 2000, s. 36).

(1) Tiedonanto jäsenvaltioille muutetuista suuntaviivoista toimintaohjelmia tai yleiskattavia tukia varten, joita jäsenvaltiot voivat ehdottaa osana työllisyyttä ja inhimillisten voimavarojen kehittämistä koskevaa yhteisön aloitetta työllisyyden kasvun edistämiseksi ensisijaisesti inhimillisten voimavarojen kehittämisen avulla (EYVL C 200, 10.7.1996, s. 13).

(2) Equal-yhteisöaloite valtioiden välisestä yhteistyöstä, jonka tarkoituksena on edistää uusia käytäntöjä kaikenlaisen työmarkkinoihin liittyvän syrjinnän ja eriarvoisuuden torjumiseksi ohjelmakautena 2000-2006 (EYVL C 127, 5.5.2000).

(3) CE-V/7-97-003-XX-C, 1997, s. 32.

(4) Kuten edellä, 1999, s. 28.

(5) Tiedonanto jäsenvaltioille muutetuista suuntaviivoista toimintaohjelmia tai yleiskattavia tukia varten, joita jäsenvaltiot voivat ehdottaa osana työllisyyttä ja inhimillisten voimavarojen kehittämistä koskevaa yhteisön aloitetta työllisyyden kasvun edistämiseksi ensisijaisesti inhimillisten voimavarojen kehittämisen avulla (EYVL C 200, 10.7.1996, s. 13).

(6) Kasvu, kilpailukyky ja työllisyys. Haasteet ja tiet 2000-luvulle. Valkoinen kirja. ISBN 92-826-7423-1, 1994, 8 luvun f kohta.

(7) Yhdistynyt kuningaskunta esitti kaksi erillistä Employment-yhteisöaloitetta koskevaa toimintaohjelmaa, Ison-Britannian toimintaohjelman ja Pohjois-Irlannin toimintaohjelman. Komission vastausten esimerkit koskevat Ison-Britannian toimintaohjelmaa.

(8) Yhteisöaloitteisiin liittyvät toimintasuunnitelmat esitettiin komissiolle toimintaohjelmien muodossa.

(9) "Common guide for monitoring and evaluation EC Structural Funds", Euroopan komissio, 1995, ja "A methodology for the European evaluation of the Employment Initiative", 1999.

(10) Ks. alaviitteessä 1 mainittu asiakirja (vuodelta 1996).

(11) Asiakirjan mukaan kohderyhmiin kuuluvat edelleen muita heikommassa asemassa olevat ryhmät, jotka aiemmin kuuluivat Employment-Horizon-yhteisöaloitteeseen, kuten pitkäaikaistyöttömät, työttömät yksinhuoltajat, kodittomat, kiertolaiset ja romaniväestö, nykyiset ja entiset vangit, päihteiden väärinkäyttäjät jne. Erityistä huomiota on kiinnitettävä toimintoihin, joiden kohteena ovat maahanmuuttajien, pakolaisten ja vastaavien muita heikommassa asemassa olevien ryhmien erityistarpeet.

Employment-Horizon-yhteisöaloiteohjelman määritelmiin kohderyhmistä, joihin yllä olevassa kappaleessa viitataan, kuuluivat huumeiden väärinkäyttäjät, marginaaliryhmät, maahanmuuttajat, pakolaiset, liikkuva väestö, yksinäiset, yksinhuoltajaperheet, kodittomat, vangit sekä entiset vangit (EYVL C 180, 1.7.1994, s. 36).

(12) Osoitteessa http://europa.eu.int/comm/equal/ae.cfm Strategic Lessons.

(13) Ks. "Common guide for monitoring and evaluation EC Structural Funds", Euroopan komissio, 1995, ja "A methodology for the European evaluation of the Employment Initiative", 1999.

(14) Ks. edellinen alaviite.

(15) "Final EU wide evaluation of Community Initiative Employment", maaliskuu 2000, s. 107.

(16) Ks. "Common guide for monitoring and evaluation EC Structural Funds", Euroopan komissio, 1995, ja "A methodology for the European evaluation of the Employment Initiative", 1999.

(17) Innovations n°7, CE-11-98-932-XX-C, 1998, s. 36.

(18) Innovations n°1, CE-11-98-924-XX-C, 1998, s. 28.

(19) Innovations n°9, CE-26-99-780-XX-C, 2000, s. 40.

(20) ISBN 92-826-7423-1.

(21) Ks. edellä mainittu tiedonanto jäsenvaltioille (EYVL C 200, 10.7.1996, s. 19).