natgillin/translations-raw huggingface dataset:
As such, Leader explores innovation through its ‘pilot actions’ and tests new theories, with the analysis of the results forming an integral part of the research process.
Niinpä Leaderissa tutkitaan innovaatioita ”pilottitoimissa” ja testataan uusia teo- rioita tulosten analysoinnin muodostaessa tutkimusprosessin olennaisen osan.
Analysis makes it possible to establish what works, and to learn for the future.
Analysoinnin ansiosta selviää, mikä toimii, ja voidaan ottaa oppia tulevaisuutta varten.
In this respect Leader+ and its evaluation is no different. erent.
Tässä mielessä Leader+ ja sen jälkiarviointi eivät eroa muista.
on a range of practitioner perspectives in discussing issues which emerge from the experience of evaluating Leader and the implications of this in the future.
nimenomaan Leaderin haasteisiin. Siinä käsitellään kysymyksiä, joita Leaderin jälkiarvioinnin suorittaminen on herättänyt joissakin arvioijissa, sekä näiden kysymysten merkitystä tulevaisuudelle.
Making the case for evaluation effectiveness and eficiency of the proposals are also assessed.
ten mahdollinen vaikuttavuus ja tehokkuus.
In the case of Leader+, the ex ante process was iterative, that is to say where evaluators worked alongside those developing the plan, informed about their process, and proposed and responded to changes.
Leader+:ssa ennakkoarviointiprosessi oli iteratiivinen; toisin sanoen arvioijat työskentelivät suunnitelmien laatijoiden rinnalla, kertoivat prosessinsa etenemisestä, ehdottivat muutoksia ja reagoivat niihin.
e mid-term and ex post evaluations
Väli- ja jälkiarviointi
The primary purposes of evaluation are twofold and may be described thus:• to examine the results arising from a programme or
Arvioinnilla on kaksi päätarkoitusta, joita voidaan kuvailla seuraavasti:• ohjelman tai hankkeen tulosten tarkasteleminen ver-
• project against what was expected;to ensure that the lessons learned are identified and fed back into the development or decision-making process.
• taamalla niitä odotuksiinsen varmistaminen, että ohjelmista tai hankkeista otetaan opiksi ja että oppi syötetään takaisin kehitys- tai päätöksentekoprosessiin.
Evaluation is principally a policy and programme development tool.
Arvioinnilla pyritään ennen kaikkea kehittämään toimintatapoja ja ohjelmia.
For example, the UK Treasury now defines evaluation as being ‘not about apportioning blame, but about learning from experience’.
Esimerkiksi Yhdistyneen kuningaskunnan valtionkassan nykyisen määritelmän mukaan jälkiarvioinnin tarkoituksena ei ole syyllisten löytäminen vaan kokemuksesta oppiminen.
The developmental role of evaluation may be characterised by its role in what is known as the Roamef (1) cycle as demonstrated in the diagram below.There are three principal stages of evaluation normally carried out in relation to the development cycle of programmes or initiatives.
Arvioinnin kehittämistehtävää voidaan valaista tarkastelemalla sen asemaa niin kutsutussa ROAMEF-syklissä (1), joka on esitetty alla.Ohjelmien tai hankkeiden kehityskaareen sisältyy yleensä kolme pääasiallista arviointivaihetta.
These can be described in terms of the different elements of the cycle above, which in European programmes are commonly referred to as the ex ante, mid-term, and ex post evaluations.
Ne voidaan määritellä suhteessa edellä esitetyn syklin eri osiin, ja niitä kutsutaan EU:n ohjelmissa yleensä ennakkoarvioinniksi, väliarvioinniksi ja jälkiarvioinniksi.
The different purpose or role of each of these is outlined briefly below.
Jäljempänä hahmotellaan lyhyesti kunkin tarkoitus tai tehtävä.
This form of evaluation takes place at stage 5 in the above process and is dependent on the monitoring of the programme’s implementation at stage 4.
Tämä arviointi tapahtuu edellä esitetyn prosessin vaiheessa 5 ja riippuu ohjelmien täytäntöönpanon seurannasta vaiheessa 4.
The results feed into the management of the remainder of the programme and the development of successor programmes.
Tuloksia käytetään hyväksi ohjelman jäljellä olevan osan hallinnossa ja myöhempien ohjelmien suunnittelussa.
In the case of Leader+, the mid-term evaluations took place at the mid-point of the programming period, which in many instances was too early in the process to consider actual results.
Leader+:ssa väliarvioinnit suoritettiin ohjelmakauden puolivälissä, jolloin varsinaisia tuloksia ei monissakaan tapauksissa vielä ehditty tarkastella.
These were therefore more concerned with the implementation arrangements and levels of activity achieved.Before thinking about the specific relevance to Leader, there are a number of more generic factors relating to small-scale rural development which are of relevance.
Väliarvioinneissa keskityttiinkin siksi enemmän täytäntöönpanojärjestelyihin ja aikaansaadun toiminnan määrään.Ennen kuin perehdymme arvioinnin merkitykseen nimenomaan Leaderin tapauksessa, on syytä tarkastella joitakin pienimuotoiseen maaseudun kehittämiseen liittyviä yleisempiä tekijöitä.
e ex ante evaluation
Ennakkoarviointi
Small-scale rural development
Pienimuotoinen maaseudun kehittäminen
Much rural development activity focuses on achieving change. Monitoring and evaluation measure this change and the effects of the activities supported in achieving this.
Ennakkoarviointi suoritetaan ennen ohjelman käynnistämistä osana sen suunnitteluprosessia, ja se on itse asiassa ehdotetun ohjelman etukäteisarvio.
This is carried out prior to the start of a programme as part of its development process, and is in effect a pre-appraisal of the proposed programme; it represents stage 3 of the above cycle.
Se on yllä esitetyn syklin vaihe 3.
Its purpose is to confirm: the consistency and relevance of the proposed strategy; its objectives; the actions supported; and the targets and results anticipated, according to the prevailing circumstances.
Sen tarkoituksena on vahvistaa ehdotetun strategian johdonmukaisuus ja aiheellisuus, tavoitteet, tue- tut toimet sekä odotetut kohderyhmät ja tulokset vallitsevien olosuhteiden perusteella.
6 Feedback
6 Palaute
1 Rationale
1 Perustelut
Research suggests that socioeconomic outputs and impacts are extremely dificult to attribute in small-scale projects where conventional multipliers are thought not to apply.
Seurannan ja arvioinnin avulla voidaan mitata tätä muutosta ja tuettujen toimien vaikutusta siihen.Tutkimusten mukaan sosioekonomisten tuotosten ja vaikutusten määrittely on erittäin vaikeaa pienimuotoisissa hankkeissa, joissa tavanomaisia kertoimia ei katsota voitavan soveltaa.
The effects of small-scale rural development are themselves small scale and dispersed, and ultimate benefits may take a considerable time to emerge: possibly beyond the end of the project or programme.
Pienimuotoisen maaseudun kehittämisen vaikutukset ovat itsessään pienimuotoisia ja hajanaisia, ja lopulliset tulokset saattavat ilmetä vasta pitkän ajan kuluttua, mahdollisesti vasta hankkeen tai ohjelman päätyttyä.
Many of the outputs and impacts will be primarily qualitative and may therefore be thought
Monet tulokset ja vaikutukset ovat ennen kaikkea laadullisia, ja siksi niiden ilmaisemista määrällisesti voidaan pi-
2 Objectives dificult to quantify.To measure the effects of small-scale rural development it is therefore important to plan the approach well in advance, to think through what is trying to be changed and what else might change as a result of actions taken.
2 Tavoitteet
This includes where, when and to whom the effect will arise and what
On määriteltävä, missä, milloin ja kenelle vaikutukset tapahtuvat ja mitä perustietoja tarvitaan muutosten laajuuden ja määrän hahmottamiseksi.
4 Monitoring
4 Seuranta
( of the six stages.
3 Ennakkoarviointi
Of course, the initiative was evaluated but this did not consistently extend to capturing the effects at the local level where the‘real e ects’ are felt.
Aloite tietenkin arvioitiin, mutta vaikutusten arviointia ei johdonmukaisesti ulotettu paikalliselle tasolle, jolla aloitteen ”todelliset vaikutukset”ovat havaittavissa.
The evaluation methodology did not evolve to address this and as a consequence the overall impact and effect of the Leader approach is not fully evaluated.
Arviointimenetelmä ei kehittynyt siten, että ne olisi voitu ottaa huomioon, ja siksi Leader-menetelmän kokonaisvaikutusta ja -tehoa ei ole tyhjentävästi arvioitu.
The baseline is effectively the starting position for the range of indicators against which performance is measured, and it should therefore relate directly to the objectives and targets.
Perustiedot muodostavat alkutilanteen, josta indikaattoreita lähdetään mittaamaan ja johon suoritustasoa verrataan, ja niiden olisi siksi liityttävä suoraan tavoitteisiin.
In small-scale rural development these should address the micro-level and be appropriate to the scale of activity.
Pienimuotoisessa maaseudun kehittämisessä niiden olisi koskettava mikrotasoa ja oltava toiminnan laajuuteen nähden tarkoituksenmukaisia.
As a general principle baseline to baseline measurement is thought only to be effective when carried out at a project level.It is also worth noting that Leader+ makes specific budgetary provision for supporting the establishment of baselines.
Yleisesti katsotaan, että perustietojen vertaaminen eri kehitysvaiheissa on järkevää vain hanketasolla.Huomionarvoista on myös, että Leader+ sisältää erityisiä määrärahoja perustietojen selvittämisen tukemiseen.
Aggregating results
Tulosten yhdistäminen
Drawing together or aggregating the local outputs and impacts from projects even when they lie within a single programme or scheme can be dificult.
Hankkeiden paikallisten tuotosten ja vaikutusten yhdistäminen voi olla vaikeaa, vaikka hankkeet sisältyisivät samaan ohjelmaan tai suunnitelmaan.
Without a simple causal structure relating projects’ activities with their outcome, similar projects may result in a different range of outputs and impacts.
Ilman yksinkertaista syy-yh-teysrakennetta, jossa hankkeisiin sisältyvät toimet yhdistetään seurauksiinsa, samantapaisetkin hankkeet voivat johtaa erilaisiin tuotoksiin ja vaikutuksiin.
This is particularly the case with a bottom-up approach where projects arise from the community in response to locally perceived opportunities and needs.
Näin käy erityisesti hankkeissa, jotka lähtevät ruohonjuuritasolta paikallisen yhteisön vastauksena havaittuihin mahdollisuuksiin ja tarpeisiin.
Where a number of projects within an integrated programme or scheme combine, it is dificult to assess the combined effects of different complementary invest-ments.The implication of this is that local project-based evaluation cannot be fully effective if undertaken through a topdown programme-level framework.
Kun useita yhtenäiseen ohjelmaan tai suunnitelmaan kuuluvia hankkeita yhdistyy, on vaikeaa arvioida toisiaan täydentävien eri investointien yhteisvaikutuksia.Tästä seuraa, että paikallinen hankepohjainen arviointi ei voi täysin toimia, jos se suoritetaan ylhäältä alas suuntautuvassa ohjelmatason viitekehyksessä.
It is, however, possible to design the project monitoring processes to contribute to such approaches.
On kuitenkin mahdollista suunnitella hankkeiden seurantaprosessit siten, että ne soveltuvat tällaiseen lähestymistapaan.
The particular case of Leader
Leaderin arviointi
Evaluation is highlighted as a key element in identifying and demonstrating the main lessons of the Leader experience for other rural development policies and facilitating the transfer and promotion of best practice.
Tietojenkeruu- ja -yhdistelyprosessia voidaan kuvata eräänlaisena pyramidina, jossa huippu edustaa EU:n tasoa ja kanta paikallisyhteisöjen tasoa. Perinteisessä, ylhäältä alas suuntautuvassa arvioinnissa arvioinnin viitekehys ja indikaattorit asetetaan huipulla, josta ne laskeutuvat alemmille tasoille.
Evaluation of Leader has therefore generally sought to take account of both the classic impact evaluation approach and the quantitative and qualitative evaluation of the seven spe-ci c features of the Leader approach.
Suuri riippuvuus avainhenkilöistä ja paikallisten toimintaryhmien rajalliset resurssit merkitsivät myös, että seurantasuositukset unohtuivat joiltakin ryhmiltä matkan varrella.
This sought to meet monitoring and evaluation information needs from the local to the European level.That this has not been universally successful is rest ect-ed in the conclusions of major evaluations and in the developing evaluation guidance, e.g. for Leader+.
Tämän takia on entistä välttämättömämpää luoda tehokkaita ja tarkoituksenmukaisia menetelmiä tulosten havaitsemiseksi johdonmukaisella tavalla ja siten, että niiden käyttäminen myöhemminkin on mahdollista.
Leader is about integrated sustainable development and is there-
Kestävä kehitys ja yhdennetty lähestymistapa
The process of data collection and aggregation can be viewed as a pyramid structure with the peak being at the EU level and the base at the community level.
Arviointia pidetään tärkeänä keinona havaita ja osoittaa ne Leaderista saadut kokemukset, joita voidaan hyödyntää muussa maaseudun kehittämispolitiikassa.
The classic topdown evaluation sets the evaluation framework and indicators from the peak, and cascades these down to the lower levels.
Arvioinnin avulla voidaan myös siirtää ja edistää parhaita toimintatapoja.
The bottom-up approach sees the effects first hand, and depends on this being recorded at the base level.
Leaderin arviointiin on siksi yleensä pyritty sisällyttämään sekä klassinen vaikutusten arviointi että Leaderin seitsemän erityispiirteen määrällinen ja laadullinen arvioin- ti.
This is then aggregated to provide information to the upper levels.
Leaderissa on kyse yhdennetystä kestävästä kehityksestä, ja sen arvioiminen on siksi monimutkaista.
The most comprehensive information is therefore available at the local community level but not all information gathered there necessarily translates to the upper levels.There are particular issues identified in relation to capturing the real effects of the programme at the local level.
Tavanomaisilla indikaattoreilla tai arviointitavoilla ei kyetä havaitsemaan yhdennetyn lähestymistavan ”lonkeroita”, jotka aiheuttavat suuren osan hienovaraisemmasta ja laajemmasta vaikutuksesta.
The ex post evaluators of the original Leader programme faced particular problems, with no structure of indicators and monitoring designed into the programme.
Leaderin kahden aiemman sukupolven seurannassa ja arvioinnissa on ollut huomattavia vaikeuksia. Näin ollen suurta osaa näiden ohjelmien tuottamista vaikutuksista ja
The heavy dependency on the key individuals and limited LAG resources also meant that‘some groups forgot’about the monitoring rec-
Yhdennetty lähestymistapa kestävään maaseudun kehittämiseen ei tarkoita, että eri alueilla tapahtuneet vaikutukset
The nal evaluation of Leader II found, however, that only 20 % of groups had practised self-evaluation.Evaluation is not an end in itself, but a tool to help learn from experience, establish the effectiveness of innovative approaches and identify good practice, thus improving performance and better meeting wider strategic objectives.
Arviointi ei ole itsetarkoitus, vaan väline, joka mahdollistaa kokemuksista oppimisen, innovatiivisten menetelmien tehokkuuden määrittelyn ja hyvien toimintatapojen havaitsemisen, mikä puolestaan parantaa suoritustasoa ja helpottaa laajempien strategisten tavoitteiden saavuttamista.
It has a fundamental role in facilitating the dissemination and transfer of experience and approaches between areas, sectors and groups.
Arviointi on olennainen osa kokemusten ja menetelmien jakamista ja siirtämistä alueiden, alojen ja ryhmien välillä.
Such reflective learning is therefore fundamental to the Leader approach and is an essential tool for sustainable development.This is not restricted to programme managers and LAGs, however, and must include those local actors who are promoting the bottom-up activities inherent in the Leader approach.
Tällainen pohtiva oppiminen kuuluu siten olennaisena osana Leader-menetelmään, ja se on välttämätön kestävän kehityksen edistämiskeino.Tämä ei kuitenkaan koske vain ohjelmien vetäjiä ja paikallisia toimintaryhmiä, vaan ehdottomasti myös Leaderiin itsestään selvästi kuuluvia paikallisia toimijoita, jotka työskentelevät ruohonjuuritasolla.
The integrated approach to sustainable rural development does not imply that the effects in each area should be indivisible from each other; it should be possible to identify the whole effect and the individual contributions.
Siirtymäkauteen liittyvät seikat olisivat toisistaan erottamattomia; pitäisi olla mahdollista eritellä kokonaisvaikutus ja yksittäiset vaikutukset.
Evaluation designed only to meet economic policy needs will not be effective and in the local context may be misleading or open to misinterpretation.
Pelkästään talouspolitiikan tarpeisiin suunniteltu arviointi ei ole tehokas, ja se saattaa paikalliskontekstissa olla harhaanjohtava tai väärin tulkittavissa.
To attempt to measure the socioeconomic impact of, for example, a natural herit-age-based development activity, rather than the directly attributable impacts such as direct employment, is to misunderstand the core purpose of integrated initiatives such as Leader. Whilst there are undoubted economic effects, these will be thoroughly spread and diluted, and require a disproportionate effort to capture.
Jos pyritään mittaamaan esimerkiksi luonnonperintöön perustuvan kehitystoimen sosioekonomista vaikutusta mittaamalla muita kuin toimesta suoranaisesti johtuvia vaikutuksia, kuten välittömiä työllistämisvaikutuksia, ymmärretään väärin Leaderin kaltaisten yhdennettyjen aloitteiden keskeinen tarkoitus.
Effective measurement of the project outputs and impacts in relation to its corestated objectives and targets will be much more effective.
Toimella on epäilemättä taloudellisia vaikutuksia, mutta ne ovat niin laajalle levinneitä ja heikentyneitä, että niiden havaitseminen edellyttää suhteettomasti työtä.
This extends to the evaluation of local programmes: funding has been awarded to groups on the basis of their strategies; projects which are supported should be consistent with these strategies; and their effects are best measured in relation to these local objectives.
On paljon tehokkaampaa mitata hankkeen tosiasialliset tuotokset ja vaikutukset suhteessa ilmaistuihin perustavoitteisiin.Tämä koskee myös paikallisten ohjelmien arviointia: ryhmille on myönnetty rahoitusta niiden strategioiden perusteella, joten tuettavien hankkeiden tulisi olla näiden strategioiden mukaisia, ja niiden vaikutukset on parasta mitata suhteessa näihin paikallisiin tavoitteisiin.
e method and the actions
Menetelmä ja toimet
In setting up the Leader+ initiative, the Commission notice to the Member States indicated that the key approach was to provide common evaluation questions (with success criteria) across the national programmes, and that this will reinforce the complementarity of the evaluation of Leader+ with that of rural development programmes and evaluation under the Structural Funds.
Leader+-aloitetta perustettaessa jäsenvaltioille osoitettiin komission tiedonanto, jossa todettiin, että tärkeintä on määritellä yleiset arviointikysymykset (tavoitteiden saavuttamista kuvaavine perusteineen) ja soveltaa niitä kaikkiin kansallisiin ohjelmiin ja että näin on mahdollista myös parantaa Leader+-ohjelmien, maaseudun kehittämisohjelmien ja rakennerahasto-ohjelmien arviointien välistä täydentävyyttä.
As the Leader approach moves towards being mainstreamed through the 2007–13 rural development regulation, the need to provide convincing evidence that the approach and the actors can deliver will become more important.
Nyt kun Leader-menetelmä pian sisällytetään yleiseen maaseudun kehittämispolitiikkaan maaseudun kehittämistä vuosina 2007–2013 koskevalla asetuksella, on entistä tärkeämpää osoittaa vakuuttavasti, että Lea-der-menetelmään ja -toimijoihin voidaan luottaa.
The opportunity exists to build on Leader+ and to avoid the previous weaknesses in capturing and capitalising on learning, and the associated losses of experience between generations of the initiative.The development of approaches, such as the application to Leader of the common evaluation questions for rural development, highlights both the link and the need to demonstrate Leader’s more direct relevance to wider rural development.
Nyt tarjoutuu mahdollisuus rakentaa Leader+:n varaan välttäen aiemmat puutteet oppimismahdollisuuksien havaitsemisessa ja hyödyntämisessä sekä tästä johtuva kokemuksen katoaminen aloitteen eri sukupolvien välillä.Maaseudun kehittämistä koskevien ”yleisten arviointi-kysymysten” soveltaminen Leaderiin ja muiden senkaltaisten toimintatapojen kehittäminen korostavat Leaderin yhteyttä laajempaan maaseudun kehittämiseen, mutta myös tarvetta osoittaa, että Leader liittyy siihen suoremmin.
The onus is rightly placed on those involved in the initiative to prove that Leader works!
Aloitteessa mukana olevien on aivan oikeutetusti osoitettava, että Leader toimii!
Evaluation of Leader must be seen as a key element of the continuing development process, which should involve all the actors.
Leaderin arviointia on pidettävä tärkeänä osana jatkuvaa kehitysprosessia, johon kaikkien toimijoiden olisi otettava osaa.
It should provide vital information in developing and implementing effective approaches which benefit rural people, businesses, environments and communities.
Sen avulla olisi tuotettava olennaista tietoa maaseudun asukkaita, liikeyrityksiä, ympäristöä ja yhteisöjä hyödyttävien, tehokkaiden menetelmien kehittämisestä ja täytäntöönpanosta.
The Commission drew on the experience of previous programmes and previous evaluations in developing the guidance for the evaluation of Leader+.
Laatiessaan suuntaviivoja Leader+:n arviointia varten komissio käytti hyväkseen aiemmista ohjelmista ja arvioinneista saatuja kokemuksia.
The guidance for the evaluation of the programme states that: ’For an Initiative such as Leader+, evaluation should go beyond approaches to evaluation mainly centred on results and impacts, by extending the scope also to the implementing process and its contribution to the overall effects of the initiative.’
Ohjelmien arviointiohjeissa todetaan, että ”Leader+:n kaltaisen aloitteen arvioinnissa ei saisi keskittyä pelkästään tuloksiin ja vaikutuksiin, vaan arvioinnissa pitäisi ottaa huomioon myös täytäntöönpanoprosessi ja sen osuus aloitteen kokonaisvaikutuksista”.
Evaluators were therefore directed to address the ‘double scope’, promoting integrated and sustainable rural development in a broader sense while encouraging the actors to develop the inner potential and dynamism of rural areas.
Arvioijia kehotetaan siksi kiinnittämään huomiota aloitteen kaksinaiseen tehtävään: yhtenäisen ja kestävän maaseudun kehittämisen edistämiseen laajemmassa mielessä, mutta samalla toimijoiden rohkaisemiseen hyödyntämään maaseutualueiden omia sisäisiä mahdollisuuksia ja muutosvoimia.
This means that evaluation now should take account of the specific features of the Leader approach, extending beyond approaches mainly centred on results and impacts and considering the contribution of the process of implementation to the overall effects of the initiative.
Tämä merkitsee, että arvioinnissa olisi nyt otettava huomioon Leader-menetelmän erityispiirteet keskittymättä pelkästään tuloksiin ja vaikutuksiin ja tarkasteltava täytäntöönpanoprosessin osuutta aloitteen kokonaisvaikutuksista.
This includes the extent to which:• the Leader method has been implemented;• this method has provided added value compared with conventional approaches.The perspective now is that it is only by combining the evaluation of the impact with the assessment of the implementation of the method at all levels that Leader may be appropriately evaluated.
On siis arvioitava muun muassa, missä määrin• Leader-menetelmää on sovellettu• menetelmä on tuonut lisäarvoa verrattuna tavanomaisiin lähestymistapoihin.Näkökulmana on nyt se, että Leaderia voidaan arvioida asianmukaisesti vain yhdistämällä vaikutusten arviointi menetelmän soveltamisen arviointiin kaikilla tasoilla.
Self-learning
Itseoppiminen
Self-learning is clearly inherent in Leader in several ways.
Itseoppiminen sisältyy selvästi monin tavoin Leaderiin.