natgillin/translations-raw huggingface dataset:
Monitoring and evaluation at LAG level
Seuranta ja arviointi paikallisen toimintaryhmän tasolla
‘Hell shared with a sage is better than paradise with a fool’. (Yiddish Proverb.)
”Mieluummin viisaan kanssa helvetissä kuin hullun seurassa paratiisissa”, juutalainen sananlasku
In previous sections the learning capacities of LAGs have been stressed.
Edellisissä luvuissa painotettiin paikallisten toimintaryhmien oppimisvalmiuksia.
For the LAG the learning process implies the sharing of perceptions and perspectives.
Paikallisen toimintaryhmän oppimisprosessi edellyttää mielipiteiden ja näkökulmien jakamista.
Alongside willingness, time and resources, a set of tools can also support the learning process.
Innon, ajan ja resurssien lisäksi tarvitaan myös tiettyjä apuvälineitä, jotka voivat tukea oppimisprosessia.
measurements of the programme’s impact, and discuss or even develop the set of indicators, and assess the intended implementation routine.
Ennakkoarviointiin tulisi sisällyttää viitekehys ohjelman vaikutusten mittaamista varten, ja sen yhteydessä pitäisi pohtia tai jopa kehittää sopivia indikaattoreita sekä arvioida kaavailtuja täytäntöönpanotapoja.
The midterm evaluation will provide cross-cutting insights to the performance of LAGs, and often includes case studies or encourages meetings of LAG stakeholders from all over the country.
Väliarvioinnit puolestaan tarjoavat poikkileikkauksen paikallisten toimintaryhmien saavutuksista. Ne sisältävät usein tapaustutkimuksia ja innostavat paikallisten toimintaryhmien sidosryhmiä eri puolilta maata kokoontumaan yhteisiin tapaamisiin.
The discussion and contacts gained in such an evaluation process can be supportive of decisions about strategy taken at the LAG level.
Tällaisessa arviointiprosessissa käydyt keskustelut ja sen aikana syntyneet yhteydet voivat tukea strategiapäätösten tekemistä paikallisen toimintaryhmän tasolla.
Finally ex post evaluations will retrieve a wealth of information due to the full use of case studies, and the synthesis over several strands of policy.
Jälkiarvioinnit taas tuottavat runsain mitoin tietoa, koska niissä on hyödynnetty täysimittaisesti tapaustutkimuksia ja tehty synteesiä politiikan eri osa-alueista.
International experiences and pointing out case studies or the benefits of different policy frameworks is certainly an added value, and helps to broaden the perspectives of national stakeholders of Leader.
Kansainvälisen kokemuksen saaminen ja tiettyihin tapaustutkimuksiin tai tiettyjen poliittisten toimintakehysten etuihin tutustuminen ovat varmasti yhtenä lisäarvotekijänä, ja ne auttavat Leaderin kansallisia sidosryhmiä laajentamaan näkökulmiaan.
In short, the process and results of such compulsory evaluations at programme level should not be neglected by the LAGs.
Lyhyesti sanottuna paikallisten toimintaryhmien ei kannata suhtautua välinpitämättömästi tällaisten pakollisten ohjelmatason arviointien prosesseihin eikä tuloksiin.
There is a clear added value in having an aggregate view of local or regional initiatives in terms of assessing the strategy, benchmarking and sharing knowledge about the individual initiatives.
Kun saadaan kokonaisnäkemys paikallisista tai alueellisista aloitteista, tästä on selvää hyötyä strategioiden arvioinnin, vertailuanalyysien ja yksittäisiä aloitteita koskevien tietojen jakamisen kannalta.
Monitoring and evaluation terminology and key intention
Seuranta ja arviointi – käsitteet ja tärkeimmät tavoitteet
Monitoring and evaluation should help to fix the LAG’s learning capacities and related partnerships.
Itsearviointi paikallisen toimintaryhmän tasolla – erilaiset tarpeet eri vaiheissa
It comprises a set of tools and techniques which are to some extent both standardised and based on the motivation of individual LAGs.
Seurannan ja arvioinnin tarkoituksena on parantaa paikallisen toimintaryhmän oppimisvalmiuksia ja sen muodostamia kumppanuuksia.
A clear distinction should be made between the terms of ‘monitoring’ and ‘evaluation’.
Tätä varten on tarjolla erilaisia välineitä ja menetelmiä, jotka ovat tietyssä määrin sekä standardoituja että kunkin paikallisen toimintaryhmän motivaatioon perustuvia. ”Seuranta” ja ”arviointi” tulisi erottaa selkeästi toisistaan.
Generally speaking:
Yleensä
® monitoring is essentially the checking of results against expectations and thus an important prerequisite for evaluation, whereas;evaluation involves analysing information from monitoring and other sources to find out and explain the effects of the interventions.
®seurannalla tarkoitetaan pääasiassa tulosten vertaamista odotuksiin, joten se on tärkeä ennakkoehto arvioinnille®arvioinnilla tarkoitetaan seurannasta ja muista lähteistä saatujen tietojen analysointia toimenpiteiden vaikutusten määrittämiseksi ja selittämiseksi.
Evaluation at programme level
Arviointi ohjelmatasolla
It is important to see that with a view to monitoring and evaluation at programme level the European Commission has developed and established a comprehensive framework which details the expected standards for the outcomes, such as for ex ante evaluation, midterm and ex post evaluation reports.
Euroopan komissio on kehittänyt ja perustanut ohjelmatason seurantaa ja arviointia varten kokonaisvaltaisen viitekehyksen, jossa määritellään vaaditut tulosstandardit esimerkiksi ennak-ko-, väli- ja jälkiarviointiraportteja varten.
These evaluations are done at programme level and will, of course, take the aggregate achievements of the LAGs into account.
Arvioinnit tehdään koko ohjelman tasolla ja niissä luonnollisesti otetaan paikal-
Their main purpose is the legitimisation of public expenditure used for certain policies.
Käynnistysvaiheessa on hyödyllistä määrittää toimintakenttä ja paikallisen toimintaryhmän identiteetti.
However, it is also important to see that these evaluations at programme level, if not restricted to mere compliance exercises, provide a wealth of policy-related information which is also useful when reflecting the work at LAG level. The ex ante evaluation should include a framework for the
Käyttökelpoisia menetelmiä ovat SWOT-analyysi (Strengths, Weaknesses, Opportunities, Threats), fokusryhmähaastattelut, käsitekartat ja CIT-menetelmä sekä erilaiset hankemessut jne.Kokeneemmat paikalliset toimintaryhmät voivat soveltaa itsearviointia laadunhallinnassa ja -valvonnassa halutessaan
A broad set of methods and techniques exist for self-evalu-ation.
Käytettävissä on laaja valikoima menetelmiä tai itsearviointitekniikoita.
The following outline of methods has been devel-
Seuraavan menetelmätaulukon on kehittänyt Bernd
It may serve as a starting point to develop tailored solutions for self-evaluation.
® itsearviointiratkaisujen kehittämiselle.
(1) Bernd Schuh, ‘Monitoring and evaluation at LAG level’, incentive speech for the miniplenary session in the Corsican seminar, ‘The
(1) Bernd Schuh, ”Monitoring and evaluation at LAG level”, työryhmäalustus Korsikalla pidetyssä seminaarissa ”Leader+:n paikallinen perintö: tarkastella saavutuksia, prosesseja ja työrutiineja.
In the inception phase it will be useful to de ne the scope of action and the LAG’s identity. Such useful methods might include: SWOT analysis (strengths, weaknesses, opportunities and threats): focus groups; mind mapping and critical incident technique; and project fairs etc.
Tähän soveltuvia menetelmiä ovat laatupiirit, standardoitu tiedonkeruu ja Balanced Scorecard (tasapainotettu mittaristo).Jatkuva ja säännöllinen itsearviointiprosessi, joka perustuu valikoimaan erilaisia menetelmiä, voi helpottaa institutionaalista oppimista ja tietämyksen kodifiointia, mistä on apua laajeneville organisaatioille ja myös henkilöstökierron yhteydessä.
Legacy of Leader+ at local level: Building the future of rural areas’.
maaseudun tulevaisuuden rakentaminen”.
LAG development stage
Toimintaryhmän kehitysvaihe
Self-evaluation goal
Itsearvioinnin tavoite
Selected methods
Valitut menetelmät
Self-definition nition
Itsemäärittely
SWOT analysis Focus groups (external facilitation recommended)Critical incident technique (ibid.)Mind mapping
SWOT-analyysi Fokusryhmähaastattelu (suositellaan ulkoistettavaksi)Kriittisten tapahtumien menetelmä (CIT) (suositellaan ulkoistettavaksi)Käsitekartta (mind mapping)
Films Identity markets/fairs (external facilitation)
Elokuvat Identiteettimarkkinat/messut (ulkoinen toteutus)
Quality controland management
Laadunvalvonta ja -hallinta
Quality circles Standardisation of data collection Local balanced scorecard
Laatupiirit Tiedonkeruun standardointi Local Balanced Scorecard (paikallistason tasapainotettu mittaristo)
Institutionalised learning and codification of knowledge
Tietokanta (ulkoisesti perustettu, sisäisesti hallinnoitu)Laatupiirit
Database (externally set up, internally managed)Quality circles
Institutionaalinen oppiminen ja tietämyksen kodifioiminen oiminen
Self-evaluation needs guidance, exchange and tools
Itsearviointi vaatii ohjausta, vuorovaikutusta ja välineitä
There is a strong need for tool development: some compendia or exemplary information on self-evaluation have been prepared by national network units (NNU), as is the case in Finland and Austria.
Useimmilta mailta puuttuu kuitenkin edelleen yksinkertaisia välineitä, jotka edistäisivät jatkuvaa ja säännöllistä itsearviointiprosessia.
The Finnish NNU has published two comprehensive documents on self-evaluation which are available in English.
Kuten jo havaittiin, itsearviointi vaatii melko johdonmukaisen työkalukokoelman, joka vastaa paikallisen toimintaryhmän elinkaaren eri vaiheissa vaihtelevia tiedontarpeita.
The Austrian NNU has started an initiative to establish LAG self-evaluation within an overall framework of Leader quality management.
Alueellisella tai kansallisella tasolla toteutettujen arviointien hyödyt ovat ilmeiset.
However, the provision of a simple set of tools which will foster an ongoing and regular process of self-evaluation is still a challenge in most of the countries.
Itsearviointi rajoittui usein vain yksittäisiin toimintoihin, eikä se johtanut korjaaviin toimenpiteisiin.
As has already been shown, a rather coherent system of tools is needed which
Tutkimuksessa suositeltiin, että paikallisten toimintaryhmien tasolla toteutettaisiin ulkoinen arviointi yhdistettynä avustettuun itsearviointiin, johon tarjottaisiin vahvaa tukea alueellisilta ja kansallisilta verkostoilta.
The ‘Synthesis of midterm evaluations’ has shed some light on the state of play as regards self-evaluation in Leader+, notably that the coverage and quality of the activities revealed serious gaps.
Arviointitekniikoiden tehokasta ja vaikuttavaa soveltamista on demonstroitava ja siihen on tarjottava koulutusta. Myös arviointitulosten kohdennettu käyttö vaatii keskustelua, yhteisymmärrystä ja sitoutumista.
Activities tended to lack coordination and cooperation between the LAGs and national networks played, with some exceptions, only a minor role in terms of active support.
Ulkopuolisesta asiantuntijasta voi olla suuresti apua tässä prosessissa. Eräissä kansallisissa verkostoyksiköissä on perustettu asiantuntijaryhmiä, joilla on vankka kokemus arviointitekniikasta.
Self-evaluation was often restricted to one-off activities without subsequent corrective action.
Välineitä on tarpeen kehittää: kansallisissa verkostoyksiköissä, esimerkiksi Suomessa ja Itävallassa, on laadittu joitakin käsikirjoja tai esimerkkikoosteita itsearvioinnista.
The study has recommended a mix of external evaluation and assisted self-evaluation at LAG level with strong support from regional and national networks.
Suomen kansallinen verkostoyksikkö on julkaissut itsearvioinnista kaksi perusteellista katsausta, jotka ovat saatavilla englanniksi.
satisfies the different information needs throughout the life cycle of a LAG.
Itsearviointiin liittyvät järjestelyt tulisi määritellä, ja niistä pitäisi sopia jo hyvin varhaisessa vaiheessa.
The benefits of actions taken at regional or national level are evident.
Itsearvioinnin tulisi yleensäkin olla avoin, reflektiivinen ja osallistava viestintäprosessi.
The comparability of evaluation techniques, and the ensuing results, is an important element for benchmarking which should not be misinterpreted as a mere comparison of performance, but rather seen as an encouragement for mutual learning among the LAGs.
Sen tarkoituksena ei ole tuottaa loppuun asti hiottuja, tasapainoisia poliittisia raportteja vaan helpottaa käytännön kokemusten ja näkökulmien käsittelyä paikallisessa toimintaryhmässä ja avata uusia kehitysmahdollisuuksia.
External expertise could be a decisive help in self-evalu-ation.
Kuten jo on osoitettu, tiedon keräämiseen ja järjestämiseen on käytettävissä laaja valikoima erilaisia menetelmiä ja tekniikoita.
The effective and e cient application of evaluation techniques needs to be demonstrated and trained.
Jos käytetään pelkkiä määrällisiä menetelmiä, sidosryhmien kiinnostus alkaa hiipua hyvin nopeasti.
Also the targeted use of evaluation results needs discussion, agreement and commitment. An external person could be a major support in this process.
Laadullisia ja määrällisiä menetelmiä yhdistelemällä saadaan viesti perille laajemmalle joukolle paikallisten toimintaryhmien sidosryhmiä.
Some NNUs have set up a pool of experts with proven experience in evaluation techniques.
Jäsennettyjä aivoriihimenetelmiä, kuten SWOT-analyysiä, voitaisiin hyödyntää jo strategiasuunnittelun alusta lähtien.
The NNU gets feedback on the quality of the evaluator’s work done for the LAGs, and thus can base its recommendation on previous experiences.
Ne auttavat määrittämään keskeiset toimintasuunnat ja ymmärtämään paikallisten toimintaryhmien monimutkaista toimintaympäristöä.
Thus the initial hesitance towards a stranger having insights into the LAG’s business might be overcome.
SWOT-analyysiä on käytetty Leaderissä myös ohjelmatasolla; se kerrataan ohjelman väliarvioinnissa.
Simple but effective: video films as a self-evaluation tool used by the LAG Grande-Terre(Guade loupe, France)
Yksinkertaista mutta tehokasta: videot paikallisen toimintaryhmän Grande-Terren itsearviointivälineinä (Guadeloupe, Ranska)
The LAG decided to use video films as a simple tool, for example to film the projects and interviews with project stakeholders (an enriching experience for the LAG members).
Se on videoinut esimerkiksi hankkeita ja hankevetäjien haastatteluja, jotka olivat erittäin rikastava kokemus paikallisen toimintaryhmän jäsenille.
Videos help to convey emotion and thus raise the level of interest!
Videot auttavat välittämään tunnelmia ja sitä kautta herättämään enemmän kiinnostusta katsojissa.
Similarly, videos have been used to analyse the meetings of the LAG.
Videoita on käytetty apuna myös paikallisen toimintaryhmän kokousten analysoinnissa.
This was useful when it transpired that some amendments to the format of the meeting could be arranged easily, and that this was beneficial for the atmosphere and proceedings of the meetings.
Kokousvideot osoittautuivat hyödyllisiksi, sillä niiden perusteella kokouskaavaan voitiin helposti tehdä muutoksia, jotka paransivat kokousten ilmapiiriä ja menettelyjä.
The use of videos led to better participation and involvement between the public and private actors, notably lengthy presentations were replaced by discussion.
Videoiden käyttö lisäsi osallistumista sekä julkisen ja yksityisen sektorin toimijoiden välistä vuorovaikutusta, kun esimerkiksi pitkät alustukset korvattiin keskustelulla.
SWOT analysis and Balanced Scorecard as tools: the example of the LAG Auerbergland (Germany)
SWOT-analyysin ja Balanced Scorecardin käyttö – paikallinen toimintaryhmä Auerbergland (Saksa)
The LAG Auerbergland has introduced SWOT analysis as well as the balanced scorecard (BSC) as tools for self-evaluation.
Paikallinen toimintaryhmä Auerbergland on käyttänyt itsearvioinnin apuvälineinä SWOT-analyysiä ja Balanced Scorecardia eli tasapainotettua mittaristoa.
In both cases, it is important to make use of a broad group of stakeholders in order to capture a wide range of opinion.
Kummassakin tapauksessa on tärkeää käyttää suurta joukkoa sidosryhmiä, jotta mielipiteitä saadaan kartoitettua mahdollisimman laajalti.
SWOT analysis captures a broad sample of qualitative aspects which can also be used to distil adequate performance indicators.
SWOT-analyysiin voidaan sisällyttää laaja otos laadullisia tekijöitä, joita voidaan käyttää myös asianmukaisten suoritusindikaattoreiden määrittämiseen.
It is a major help in defining and adjusting the LAG strategy over various phases of the LAG’s lifecycle as well as for the formulation of short-term action plans.
Siitä on paljon apua paikallisen toimintaryhmän strategian määrittelyssä ja mukauttamisessa sen elinkaaren eri vaiheissa samoin kuin lyhyen aikavälin toimintasuunnitelmien laatimisessa.
In the German case it also includes elements of benchmarking with other regions.
Saksan tapauksessa analyysiin sisältyi myös vertailua muihin alueisiin.
The BSC translates the visions and strategy into a tailored set of performance indicators at project level.
Balanced Scorecard muuntaa visiot ja strategiat räätälöidyiksi hanketason suoritusindikaattoreiksi.
The LAG uses it for the evaluation of projects, but also for the monitoring of projects throughout the project lifecycle.
Paikallinen toimintaryhmä käyttää mittaristoa paitsi hankkeiden analysoinnissa myös niiden seurannassa elinkaaren alusta loppuun.
The standardised systems allow for aggregation which is again an important input for making adjustments to the strategy.
Standardoidut järjestelmät mahdollistavat tietojen yhdistelyn, joka on tärkeää, jotta strategiaa voidaan tarvittaessa mukauttaa.
The so-called
Niin sanottu paikallistason
Again for each of the four perspectives a few indicators can be identified. ed.
Kullekin ulottuvuudelle voidaan määrittää muutamia indikaattoreita.
Due to the fact that the basic grid for the SWOT as well as the BSC remains unchanged, both instruments allow for the comparison and transparent documentation of project evaluation and regular strategy assessment.
Koska SWOT:n ja Balanced Scorecardin perusrakenne on aina samanlainen, kumpikin väline mahdollistaa hankearvioiden vertailun ja avoimen dokumentoinnin sekä strategian säännöllisen arvioinnin.
) Developed by Leo Baumfeld together with a working group of the Austrian Leader+ network
Laatijat: Leo Baumfeld ja Itävallan Leader+-verkoston työryhmä.
This might allow for a fruitful comparison of the perspectives at local and national level.
Se mahdollistaa paikallisen ja kansallisen tason näkökulmien hedelmällisen vertailun.
SWOT could also be a standard element of project development.
SWOT-analyysi voitaisiin myös vakiinnuttaa osaksi hankkeiden kehittämistä.
This type of analysis is a foundation for various steps.
Tämäntyyppinen analyysi muodostaisi hyvä pohjan eri hankevaiheissa.
As a subsequent step requirements and objectives of data collection are better understood and accepted from all parties involved.
Sen avulla saataisiin kaikki osallistuvat osapuolet ymmärtämään ja hyväksymään paremmin tiedonkeruun vaatimukset ja tavoitteet.
An internal structured reflection along the project management cycle for types of projects, paired with focus groups including LAG management and project owners, might help to detect gaps in the capacity of the LAG.
Hankehallinnan kierron eri vaiheissa käyty jäsennetty sisäinen keskustelu yhdistettynä fokusryhmäkeskusteluihin, joihin myös paikallisen toimintaryhmän johto ja hankkeiden vetäjät osallistuvat, voi auttaa havaitsemaan puutteita paikallisen toimintaryhmän valmiuksissa.
Such gaps could be mitigated in quality circles including external support.
Puutteita voidaan korjata laatupiireissä ja myös ulkoisella tuella.
Local balanced scorecard (LBSC): An example
Paikallistason tasapainotettu mittaristo (LBSC): Esimerkki
● Relationships to stakeholders and their participation
● Suhteet sidosryhmiin ja niiden osallistuminen
● Services to project promoters (feedback)
● Palvelut hankkeiden edistäjille (palaute)
● Feedback from external partners
● Palaute ulkoisilta kumppaneilta t u l k o
, self- t ary and pr g an is a t nerships
, itse ar t ti he nk antaminen
● Composition of the partnership (specifically changes)
● Kumppanuuksien kokoonpano (erityisesti muutokset)
● Internal relationships and meetings
● Sisäiset suhteet ja kokoukset
● Decision-making processes
● Päätöksentekoprosessit
A wealth of information on processes and techniques for partnership building and consolidation could be transferred within the EU, and these transactions will certainly lead to mutual benefit. t.
ja vakiinnuttamiseen liittyvistä prosesseista ja menetelmistä, ja tämä tietämyksen siirto tuottaisi varmasti molemminpuolista etua.
However the whole issue of evaluation at LAG level still needs further development.
Paikallisen toimintaryhmän tasolla tapahtuvaa arviointia on kuitenkin tarpeen vielä kehittää.
There is still ample room for improvement and the NNUs might have an important role in adding momentum to the process.
Prosessissa on yhä paljon parannettavaa, ja kansallisille verkostoyksiköille voitaisiin antaa nykyistä merkittävämpi rooli tämän prosessin vauhdittamisessa.
It would be desirable to establish more opportunities to review the evaluations at programme and LAG levels.
Olisi suotavaa järjestää enemmän tilaisuuksia arviointien tarkasteluun sekä ohjelmatasolla että paikallisen toimintaryhmän tasolla.
Qualitative policy-related nd-ings at the LAG level would improve the quality of evaluation at programme level: a minimum of comparable performance information would help to establish a more detailed picture of the achievements of the programme.
Politiikkaan liittyvät laadulliset tulokset paikallisen toimintaryhmän tasolla parantaisivat arvioinnin laatua ohjelman tasolla: vähimmäismäärä vertailukelpoisia tulostietoja auttaisi luomaan tarkemman kuvan ohjelman saavutuksista.
In turn the LAGs could benefit from a well-founded reflection on national policy, since it might give them new inputs for their internal discussions and methods to measure performance.
Paikalliset toimintaryhmät puolestaan hyötyisivät kansallista politiikkaa koskevasta perusteellisesta pohdinnasta, sillä se voisi tuoda uusia näkökulmia niiden sisäisiin keskusteluihin sekä menetelmiin, joita ne käyttävät saavutusten arvioinnissa.
Partnerships in the framework of Leader share common roots and are part of a ‘trademark’ at European level.
Leaderin puitteissa perustetuilla kumppanuuksilla on yhteiset juuret, ja ne ovat osa Leaderin ”tavaramerkkiä” Euroopan tasolla.
However it is a trademark designed for a general principle of partnership and not for a nal product.
Tämä tavaramerkki on kuitenkin suunniteltu kuvastamaan kumppanuuden yleistä periaatetta eikä niinkään sillä saavutettavaa lopputulosta.
The partnerships at LAG level, as well as at project level, are the subject of constant transformation.
Kumppanuudet ovat niin paikallisen toimintaryhmän tasolla kuin hanketasolla jatkuvan muutosprosessin keskellä.
LAGs go through a lifecycle ranging from the intense animation and network formation, to developing sustainable structures along projects, and finally to the consolidation of earlier results and economic sustainability, which are all part of a sharpened profile and deepened competencies.
Paikalliset toimintaryhmät käyvät läpi tietyn elinkaaren, joka etenee hankkeissa uutterasta toiminnan edistämisestä ja verkostoitumisesta kestävien rakenteiden kehittämiseen ja jossa pyritään aikaisempien tulosten ja taloudellisen kannattavuuden lujittamiseen niin, että alueellinen profiili terävöityy ja valmiudet paranevat.
One major point which needs to be respected, and which should become part of policy implementation at the European level (for the 27 National Networking Units to the universe of LAGs), is the capacity to learn from success or from failure.
Yksi tärkeä näkökohta, joka olisi pidettävä mielessä ja josta olisi tultava osa politiikan täytäntöönpanoa EU:n tasolla (lähtien 27 kansallisesta verkostoyksiköstä aina paikallisiin toimintaryhmiin asti), on kyky oppia niin onnistumisista kuin epäonnistumisistakin.