natgillin/translations-raw huggingface dataset:
It attempts to establish the role of the evaluation process in the develop ment of the present Mid-Term Review and to identify best evaluation practice as a guide for the future programming period.
Kertomuksessa yritetään selvittää arviointimenettelyn merkitys tämän välitarkistuksen kulun kannalta ja valita arvioinnin parhaat toimintatavat ohjeeksi tulevaa ohjelmakautta varten.
the overall Mid-Term Review process; the principal findings of the Mid-Term Evaluations; the main outcomes and adjustments made; the implications for programme delivery and priorities as well as future challenges.
Kertomuksessa tarkastellaan seuraavia neljää aihepiiriä: 1. välitarkistusmenettelyä 2. väliarviointien tärkeimpiä tuloksia 3. tärkeimpiä seurauksia ja tehtyjä muutoksia 4. seurauksia ohjelmien toimeenpanon järjestelyn ja toimintalinjojen kannalta sekä tulevia haasteita.
I. Key elements of the Mid-Term review process
I. Välitarkistusmenettelyn avaintekijät
The main aim of CSFs and SPDs is to reduce disparities between Member States in terms of their respective per capita income.
Yhteisön tukikehysten ja yhtenäisten ohjelmaasiakirjojen päätavoite on vähentää jäsenvaltioiden välisiä eroja tulojen määrässä asukasta kohti.
The four poorest Member States -the "Cohesion countries"- have seen a notable improvement in their per capita income levels.
Neljässä köyhimmässä jäsenvaltiossa - ns. "koheesiomaissa" - tulojen määrä asukasta kohti on noussut huomattavasti.
For example, Ireland's recent economic success has altered the need for certain types of intervention, notably interventions which aim to assist the productive sector.
Esimerkiksi Irlannin äskettäinen talouskasvu on muuttanut tarvetta tietyntyyppisiin tukitoimiin, varsinkin tukitoimiin, joilla pyritään auttamaan tuotantoalaa.
The Mid-Term Evaluation carried out in respect of that Member State has shown that there is a need to redirect resources towards public infrastructure (e.g. non-urban roads) to keep pace with the rapid economic growth.
Siellä tehdyssä väliarvioinnissa havaittiin, että on tarvetta suunnata entistä enemmän varoja julkisten infrastruktuurien (esim. maaseutualueiden teiden) kehittämiseen, jotta pysytään nopean talouskasvun vauhdissa.
The changing economic and social context at Member State level has led the Commission to adopt general guidelines5to foster the value-added of Community interventions.
Jäsenvaltioiden taloudellisessa ja sosiaalisessa tilanteessa tapahtuneet muutokset ovat johtaneet siihen, että komissio on vahvistanut yleiset suuntaviivat5parantaakseen yhteisön tukitoimilla saatavia tuloksia.
These aimed to provide a general policy and priority framework within which adjustments to their current 1994-1999 Objective 1 and 6 programmes could be made as part of the Mid-Term Review process.
Suuntaviivojen avulla pyrittiin luomaan yleinen politiikka ja toimintalinjakehys, jonka sisällä muutokset nykyisiin vuosien 1994-1999 tavoite 1 ja 6 -ohjelmiin voitaisiin tehdä osana välitarkistusmenettelyä.
This overall aim was underpinned by the following
Tätä yleistä tavoitetta tuettiin seuraavilla
Key elements of the Mid-Term Review process specific priorities: Basic Infrastructure, Productive Environment (all types of measures to improve the growth and competitiveness of business and industry), Research and Technological Development, Environment and Sustainable Development, Human Resources Development and Equal Opportunities.
erityistoimintalinjoilla: perusinfrastruktuurit, tuotantoympäristö (kaikenlaiset toimenpiteet kaupan ja teollisuuden kasvun ja kilpailukyvyn parantamiseksi), tutkimus ja teknologinen kehittäminen, ympäristö ja kestävä kehitys, henkilöresurssien kehittäminen ja yhtäläiset mahdollisuudet.
In accordance with Structural Funds regulations and the programmes' standard clauses, all Member States (with the exception of Italy6) have managed to carry out Mid-Term Evaluations to inform the review of their structural interventions.
Kaikki jäsenvaltiot (Italiaa lukuun ottamatta6) ovat onnistuneet suorittamaan väliarviointeja rakennerahastoasetusten ja ohjelmien vakiolausekkeiden mukaisesti hankkiakseen tietoja rakennetukitoimiensa tarkistusta varten.
The guidance document7published by the Commission stated that Mid-Term Evaluations should involve: a critical analysis of all of the data collected (particularly monitoring data); some measurement of the extent to which objectives were being achieved; an explanation of any discrepancies between the actual and expected results of the intervention; an assessment of the rationale for the intervention and the continued relevance of its objectives.
Komission julkaisemissa ohjeissa7 todetaan, että väliarviointien on sisällettävä seuraavat osat: kaiken kerätyn aineiston kriittinen analyysi (erityisesti seurantatietojen analyysi); sen mittaus, kuinka hyvin tavoitteet on saavutettu; selitys mahdollisille eroille tukitoimien tosiasiallisten ja odotettujen tulosten välillä; arviointi tukitoimen perusteista ja sen tavoitteiden merkityksestä tulevaisuudessa.
Progress is summarised below for programmes under Objectives 1 and 6 (see Annex 2).
Seuraavaksi esitetään yhteenveto tavoite 1 ja 6 -ohjelmien rahavarojen käytön edistymisestä (ks. liite 2).
By the end of 1997, 64% of the funds had been committed (compared with 46% at the end of 1996).
Vuoden 1997 lopussa varoista oli sidottu 64% (vuoden 1996 lopussa 46%).
Similarly, payments had been made covering 48% of the funds (compared with 33% at the end of 1996).
Suoritetut maksut kattoivat 48% varoista (vuoden 1996 lopussa 33%).
Progress was particularly marked in Spain and Portugal where, over the 1994-1997 period, respectively 69% and 70% of funds were committed and 53% and 56% of funds were paid.
Edistyminen oli erityisen nopeaa Espanjassa ja Portugalissa: kaudella 1994-1997 sidottiin Espanjassa 69% ja Portugalissa 70% varoista ja maksettiin vastaavasti 53% ja 56% varoista.
Implementation is more advanced in Finland than in Sweden. In Finland, by the end of 1997, 59% of funds had been committed compared with 32% in Sweden.
Toimeenpano on edistynyt paremmin Suomessa kuin Ruotsissa: vuoden 1997 lopussa varoista oli sidottu Suomessa 59%, mutta Ruotsissa ainoastaan 32%.
Lessons from the Mid-Term Evaluations
Väliarvioinneista saadut kokemukset
Implementing the Mid-Term Evaluations a) Mid-Term Evaluation: a shared responsibility
Väliarviointien toteuttaminen a) Väliarviointi: yhteinen velvollisuus
These requirements are clearly set out in the Regulations.
Nämä vaatimukset esitetään selkeästi asetuksissa.8
By and large, despite the problems which accompany any new procedures and the difficulties some Member States had in defining and initiating an evaluation process, there have been no major differences of opinion between the Member States and the Commission .
Yleisesti ottaen jäsenvaltioiden ja komission mielipiteissä ei ole ollut suuria eroja9, huolimatta uusiin menettelytapoihin liittyvistä ongelmista ja vaikeuksista, joita joillakin jäsenvaltioilla oli arviointiprosessin määrittelemisessä ja aloittamisessa.
b) Setting up the Mid-Term Evaluations
b) Väliarviointien aloittaminen
Beyond the regulations - Improving management Most of the forms of intervention (CSFs, SPDs, Operational Programmes, Global Grants, etc..) programmed in each Member State were subject to a specific evaluation.
Asetusten jälkeen - Hallinnon parantaminen Suurinta osaa kunkin jäsenvaltion ohjelmien tukimuodoista (YTK, YOA, toimenpideohjelmat (TO), yleiskattava tuki jne.) arvioitiin erityisarviointien avulla.
These were either thematic (examining, inter alia, SMEs and Research related measures) or operational (e.g. selection criteria, procedures, etc.).
Nämä liittyivät joko tiettyihin aiheisiin (esim. pkyrityksiin kohdistuviin tai tutkimukseen liittyviin toimenpiteisiin) tai toiminnan osiin (esim. valintaperusteisiin, menettelytapoihin jne.).
The cost of the evaluations In the SEM 2000 Communication on Evaluation (1996), it was recommended that the overall budget for evaluation activities should not exceed 0.5% of the programme budget. Evaluation costs were generally financed under the "Technical Assistance" budget of each programme.
Arvio siitä, kuinka hyvin ohjelma voidaan arvioida, on välttämätön puutteiden ja epäjohdonmukaisuuksien korjaamiseksi ohjelmaasiakirjojen sisältämissä tiedoissa, kuten määrällisten tavoitteiden ilmaisemisessa olevien puutteiden korjaamiseksi tiettyjen toimenpiteiden osalta.
The percentage of funds allocated to this activity has been in general below 0.1% of total cost of the programmes.
Arvioinnin onnistumiseksi on tarpeen varmistaa riittävin järjestelyin, että kyseinen ohjelma voidaan arvioida.
In any case, fixed percentages would have been inappropriate since the cost of an evaluation is not necessarily proportionate to the cost of the programme in question.
Erityisesti ohjelman arviointi edellyttää yleensä sitä, että ennakolta on asetettu tarkoituksenmukaisia indikaattoreita ja tavoitteita ja että niitä seurataan koko ohjelman ajan (tekstikehys 1).
The evaluation procedure The starting point for the Mid-Term Evaluation process is to analyse the extent to which the programme in question lends itself to evaluation (the practicability of carrying out an evaluation or "evaluability") and to establish a methodology to apply in the subsequent phase.
Tekstikehys 1: Arvioinnin toteutettavuuden arviointi - EAKR:sta rahoitettava Andalusian TO (tavoite 1) Tämän arvioinnin tavoitteena oli kuvailla ohjelman toiminnan, tavoitteiden ja päämäärien perusteet, niiden välisen yhteisvaikutuksen määrä ja ohjelman hallinnon riittävyys.
Important to this process is the recognition that, before a successful evaluation can be undertaken, there is a need to ensure that sufficient arrangements have been put in place to allow the programme in question can be evaluated.
Arvioinnissa keskityttiin kolmeen päätekijään: suunnittelun laatuun, tietojärjestelmiin ja hallintovalmiuksiin.
In particular, the evaluation of a programme generally requires that relevant indicators and targets have been set in advance and monitored over the programme's lifetime (Box 1).
Valittu lähestymistapa käsitti ohjelmaasiakirjojen analyysin (käyttäen Logical Framework Scheme -menetelmää) ja avainohjelmien hallinnosta vastaavien tahojen haastatteluja.
Box 1: Assessing the practicability of evaluation - ERDF Andalusia OP (Obj.
Tämän menetelmän soveltamisen perusteella tehtiin muutamia käytännöllisiä päätelmiä.
1) This evaluation aimed to describe the rationale for the programmed actions, objectives and goals, the degree of synergy between them and the adequacy of programme management.
Ohjelman laadun osalta arvioija havaitsi joitakin puutteita SWOT-analyysissa (vahvuudet-heikkoudet-mahdollisuudet-uhkat) sekä ongelmia joidenkin tavoitteiden (esim. matkailu) suuntaamisessa.
It focused on three main elements: quality of planning; information systems; management capacity.
Myös hallintojärjestelmä arvioitiin, jotta saataisiin aikaan mahdollisia parannuksia, erityisesti tehtävien ja vastuun jakamisessa aluehallinnossa.
The approach adopted involved an analysis of the programming documents (using a Logical Framework Scheme) and interviews with key programme managers.
Vaikkei kaikkia esitettyjä suosituksia noudatettu, tämä ensimmäinen arviointi auttoi ohjelmien hallinnosta vastaavia tahoja tiedostamaan paremmin tarpeen edistää arviointikulttuuria ja ymmärtää omaa ohjelmaansa.
The application of this methodology led to some practical conclusions.
Itse väliarviointi tehdään myöhemmin ohjelman toteuttamisen puolivälissä.
With regard to the quality of the programme, the evaluator observed some deficiencies in the SWOT (Strengths-Weaknesses-Opportunities and Threats) analysis as well as problems with some of the objectives (e.g. Tourism) which were poorly targeted.
Sen tarkoituksena on arvioida missä määrin ohjelman tavoitteet on saavutettu, määritellä tukitoimien ensivaikutukset ja tarvittaessa ehdottaa suosituksia ohjelman hallinnon parantamiseksi ja parhaiden mahdollisten tulosten saamiseksi.
An assessment of the management system was also under taken in order to bring about possible improvements, with particular regard to the division of tasks and responsibilities within the regional administration.
Väliarvioinneissa olisi yleensä otettava vertailukohteeksi tulokset, jotka on saatu jäsenvaltioiden esittämien suunnitelmien perusteella tehdyistä ennakkoarvioinneista.
Although not all of the recommendations made were taken on board, this first assessment raised an increased awareness among programme managers of the need to promote an evaluation culture and establish a better understanding of their own programme.
Tämän vuoksi on luotu rakenteita ulkopuolisten arvioijien nimittämiseksi (konsultit, akateemiset asiantuntijaryhmät, jne.). Jäsenvaltioissa, joissa arviointi on vakiintunut osa julkisin varoin kustannettavia ohjelmia, ulkopuoliset arvioijat ovat usein saaneet jatkuvasti neuvoja ja tukea asianomaisilta viranomaisilta.
The Mid-Term Evaluation itself is carried out halfway through a programme's implementation.
Sisäisillä arvioinneilla voi olla joitakin etuja (esim. "tekemällä oppimisen" edistäminen), koska hallintoviranomaiset joutuvat pohtimaan usein toimintansa perussyitä (miten ja miksi).
It is intended to assess the degree to which the programme has met its objectives, determine the initial impact of the interventions and, where necessary, propose recommendations in order to improve the management of the programme and optimise its results. Mid-Term Evaluations should, in general, take
Väli- ja jälkiarviointien kannalta sisäiset arvioinnit eivät ehkä kuitenkaan ole käytännöllisiä, taloudellisia tai
Midterm review of Structural Funds Programmes: Objectives 1 and 6 (1994-99) as a reference point the outcomes of the ex-ante evaluations conducted on the basis of the plans submitted by the Member States.
Välitarkistuskertomus Tavoite 1 ¡a 6 -Ohjelmat (1994-99) edes toivottavia.
Independence of the evaluators The Member States agreed that it was particularly important to ensure that evaluation reports were drawn up independent of both the authorities responsible for managing the Structural Funds and the executive bodies with responsibility for cofinanced actions.
Merkittävän poikkeuksen muodostaa Italia, jossa valtiovarainministeriön arviointiyksikön tekemässä väliarvioinnissa esitettiin lukuisia kriittisiä kysymyksiä ja arvosteltiin erityisesti ohjelmaasiakirjojen laatua ja asianmukaisten tavoitteiden ja indikaattoreiden puuttumista.
Internal evaluations can have some benefits (e.g. promoting "learning by doing") since managing authorities are closely involved in questioning the 'how' and the 'why' of their activities.
Hallintorakenteiden luominen Seurantakomiteat ovat yleensä vastuussa väliarviointien toteuttamisesta.
However, for midterm and ex-post evaluations, internal evaluations may not be practical, cost effective or even desirable.
Seurantakomiteat ovat olleet myös mukana määrittelemässä arviointikertomusten sisältöä ja luomassa arvioijien työohjelmaa.
A notable exception was Italy where the Mid-Term Evaluation, performed by the Evaluation Unit of the Budget Ministry, raised a number of critical issues, especially on the quality of the programming documents and the lack of appropriate targets and indicators.
Vielä tärkeämpää on se, että seurantakomiteat ovat analysoineet valmiit arviointikertomukset, keskustelleet niistä ja tarvittaessa ehdottaneet tai neuvoneet tekemään mahdollisia muutoksia ohjelmiin rakennerahastoista myönnettyjen varojen toimivuuden ja tehokkuuden maksimoimiseksi.
c) Building up evaluation capacities in the Members States
Nämä ovat sitten laatineet (arvioinneista saatujen tulosten perusteella) kertomuksia ja ehdotuksia koko komiteassa keskusteltavaksi ja selvitettäväksi.
Establishing management structures Responsibility for the implementation of Mid Term Evaluations usually rests with the Monitoring Committees.
Tekstikehys 2: Arvioinnin järjestäminen - erikoisrakenteiden luominen Irlannissa koko YTK:tä ja kutakin siihen kuuluvaa kolmea suurinta toimenpideohjelmaa varten oli oma arviointiyksikkö, jotka antoivat jatkuvasti neuvoja ja asiantuntija-apua.
Typically, these are involved in defining the content of evaluation reports and establishing a work programme for the evaluators.
Ulkopuoliset arvioijat tarjosivat pyynnöstä samanlaista palvelua viidelle muulle toimenpideohjelmalle.
In a significant number of cases, Monitoring Committees have established technical groups or subcommittees (see Box 2) in charge of ensuring ongoing liaison between the Committees themselves and the evaluators.
Seurantakomiteat ovat keskustelleet väliarviointikertomuksista kahdessa erillisessä kokouksessa. Niiden päätelmät ja suositukset sekä yksittäiset toimenpideohjelmien arvioinnit ovat olleet koko YTK:n väliarvioinnin aineistona.
These have then drawn up reports and proposals (based on evaluation results), for discussion and clearance by the Committee as a whole.
Lisäksi YTK:n arviointiin saatiin tietoja alueellisesta arviointikertomuksesta ja tarkistuksessa on otettu huomioon komission suuntaviivat.
Box 2: Managing evaluations - the creation of ad-hoc structures.
Portugalissa perustettiin teknisiä arviointiryhmiä ohjaamaan ja valvomaan arviointiprosessia.
In Ireland, the CSF as a whole and its three largest component Operational Programmes were each served by a dedicated evaluation unit providing on going advice and expertise.
Niiden päätehtäviin kuului mm. ohjesääntöjen vahvistaminen, arvioijien valinnassa avustaminen ja lopullista kertomuksista keskusteleminen ennen niiden jättämistä seurantakomiteoille.
External evaluators supplied a similar on-call service to five other Operational Programmes.
Nämä ryhmät koostuivat komission virkamiehistä ja asianomaisen kansallisen tai alueellisen hallinnon edustajista.
The Monitoring Committees have discussed the Mid-Term Evaluation reports at two separate meetings.
Kumppanuuden merkitys Yleisesti ottaen ohjelman toteuttamiseen osallistuneet kumppanit ovat suhtautuneet myönteisesti väliarviointeihin ja ovat mielellään ottaneet vastuun niiden kehittämisestä.
Their conclusions and recommendations, along with the content of individual Operational Programme evaluations, have provided input to the overall CSF Mid-Term Evaluation.
Alueelliset viranomaiset eroavat toisistaan kuitenkin siltä osin, kuinka paljon ne osallistuvat väliarviointitehtäviin.
In addition, a regional evaluation report informed the overall CSF evaluation and account has also been taken of the Commission's guidelines.
Nämä erot heijastavat poliittisten ja institutionaalisten järjestelmien ominaispiirteitä (eli hajauttamisen astetta), rakennetukitoimien eri muotoja (kansalliset, aloittaiset, alueelliset ja seutukunnittaiset ohjelmat) ja eri jäsenvaltioiden erilaisia toimintatapoja ja kokemuksia.
In Portugal, technical evaluation groups were set up to orient and control the evaluation process. Their
Viranomaiset huolehtivat arvioijien valinnasta, heidän työnsä määrittelemisestä ja
Lessons from the Mid-Term Evaluations main tasks included, inter alia, validating terms of reference, assisting in the selection of evaluators and discussing final reports prior to submission to the Monitoring Committees.
edistämisestä sekä varmistivat, että seurantakomiteat keskustelivat arviointien tuloksista ja analysoivat niitä.
These groups consisted of Commission officials and representatives of the relevant national and regional administrations.
Lisäksi viranomaiset varmistivat, että arviointisuosituksia sovellettiin ohjelmatasolla.
They normally met at least twice a year in advance of the Monitoring Committee meetings.
Toisissa tapauksissa tehtävistä ja työstä huolehtivat sekä kansalliset että alueelliset viranomaiset.
Constructive relations between the partners within these groups have contributed to an improvement in the quality of evaluation work.
Tavallisesti kuitenkin kansalliset viranomaiset olivat vastuussa arvioinnista, jos alueelle oli vahvistettu yhteisön tukikehys (kuten joillakin tavoite 1 -alueilla).
Role of the partnerships In general, programme partners have shown a positive attitude towards Mid-Term Evaluations and willingly accepted responsibility for taking these forward.
Lisäksi on jäsenvaltioita, joissa alueellisilla viranomaisilla ei ole toimeenpanotehtäviä ohjelmatyössä ja rakennerahastojen hallinnossa.
However, regional authorities vary in terms of their specific involvement in the tasks associated with Mid-Term Evaluation.
Tällöin viranomaiset osallistuivat arviointiprosessiin auttamalla arviointikertomusten laatimisessa tarvittavien tietojen hankinnassa, osallistumalla poliittisten toimenpiteiden paikallisen tason vaikutusten analyysiin ja jossain määrin osallistumalla strategisten ja toiminnallisten suuntaviivojen uudelleen määrittelemiseen arviointikertomusten suositusten perusteella.
In some cases, regional authorities were responsible for setting up and managing the evaluation process.
Arvioinnissa tarvittavan ammattitaidon kehittäminen Neljän viime vuoden aikana arviointitoimet ovat kehittyneet huomattavasti kaikissa jäsenvaltioissa.
They were involved in selecting the evaluators, defining and facilitating their work and ensuring that the Monitoring Committees discussed and analysed the outcome of the evaluations.
Rakennerahastoja koskevien asetusten vaatimukset ovat olleet päätekijä tässä kehityksessä.
In addition, they ensured that evaluation recommendations were applied at programme level.
Arviointipalveluja tarjoavat suurelta osin hallinnon ulkopuolella olevat tahot, tosin Irlanti ja Italia ovat huomattavia poikkeuksia, koska ne ovat luoneet omat erikoisryhmänsä.
In other cases, responsibilities and work were taken on by both national and regional authorities.
Arvioinnin kehittyminen erikoistuneena palveluna on lisännyt ammattitaitoa ja asiantuntemusta.
But normally, where there were Community Support Frameworks (as in the case of some Objective 1 regions), the national authorities were responsible for the evaluation.
Vaikka eri ohjelmiin nimitetyillä arviointiryhmillä on usein monien alojen asiantuntemusta ja niissä on ollut jäseniä sekä konsulttiyrityksistä että akateemisista tutkimuskeskuksista, ryhmien vahvinta osaamista ovat yleensä taloustiede ja hallinto.
Their participation in the process, consisted of facilitating the provision of the data and information needed to draw up evaluation reports, co-operating in the analysis of the impact that policy measures had made at local level, and, to some extent, participating in the redefinition of strategic and operational guidelines stemming from the recommendations of the evaluation reports.
Ohjelmakaudella 1994-99 tehtyjen väliarviointien keskimääräinen laatu parani selvästi verrattuna edelliseen kauteen (1989-93), vaikka tiettyjen ohjelmien käynnistämisessä ilmenneet viivästykset ja epätarkoituksenmukaisten menetelmien käyttö merkitsivät vielä joidenkin arviointien jäämistä keskimääräistä heikommiksi.
In general, partnerships have been developed in a pragmatic and flexible manner.
Näiden arviointien mukaan suurin osa kertomuksista oli laadultaan kohtuullisia (tekstikehys 3).
Creating professional skills in evaluation Over the past four years, the development of evaluation activities across all Member States has been notable.
Arvioinneista saatiin yleensä ajantasalla olevaa tietoa, ja niissä arvioitiin ohjelmia suhteessa niiden tavoitteisiin. Joissakin arvioinneissa (esim.
Structural Funds regulatory requirements have been a main factor in this development.
Pohjois-lrlannissa) on sovellettu omaa menetelmää vahvuuksien ja heikkouksien arvioinnissa.
The provision of evaluation services remains largely outside of the various administrations, although Ireland and Italy are notable exceptions, having created their own specialised teams.
Kokeneet arvioijat sekä laajempi tietämys ja tutkimus arvioinnin käytännön seikoista on osaltaan parantanut kertomusten laatua.
The development of evaluation as a specialised service has led to growing professionalism and expertise.
Tekstikehys 3: Arvioinnin laadun arvioiminen: Irlannin YTK.n arviointi Arviointikertomus täyttää seuraavat perusteet: • kiinnitettiin riittävästi huomiota tiedon tarpeisiin • tutkittiin kattavasti ohjelman perusteet ja tavoitteet