natgillin/translations-raw huggingface dataset:
Evaluation evidence is therefore important in justifying the use of resources and the application of public funds, particularly in a challenging or competitive funding environment where resources are nite.
Inom ramen för Leader I och II utvecklade många landsbygdsområden innovativa och lokalt förankrade strategier för lokal utveckling, och en del av dessa har mognat och integrerats i de övergripande programmen för landsbygdsutveckling.
When it comes to mainstreaming, evaluation allows us to demonstrate that ‘we know what works and what doesn’t’ for the different sectors of the rural communities, since it is based on proven experience.
Kommissionen har som uttalat mål att ”Leader+ kommer att ha kvar karaktären av försöksverksamhet” där man kunde fördjupa den experimentverksamhet som påbörjades under Leader I och II.
In making the wider case for Leader, with its focus on process as well as results, justification rather than assertion is crucial regardless of how attractive we find the process, method or approach.The remainder of this article outlines and explains some of the principles of evaluation and how they relate to the particular challenges of Leader.
Genom sina ”pilotåtgärder” undersöker Leader innovativ verksamhet och prövar nya teorier. Här är resultatanalysen en integrerad del av forskningsprocessen.
In doing so, it draws
Analysen gör det möjligt att se vad som fungerar och dra lärdomar inför framtiden.
Although for many people the evaluation process is the least interesting part of Leader+, it is important, however, to ensure that the benefits arising from Leader+ and the involvement of all Leader actors is fully realised.Leader was conceived as a laboratory of rural development, and Leader I and II saw many rural areas develop bottom-up, innovative approaches to local development, some of which have matured to be included in mainstream rural development programmes.
I det hänseendet är det ingen skillnad mellan Leader+ och utvärderingen.En av de fördelar som brukar framhållas med Leader är att programmet är ett sätt att komma runt utvecklingskontorens problem när det gäller obenägenheten att ta risker.
The Commission’s stated intention was that‘Leader+ will continue its role as a labo-ratory’ to deepen the experimentation started under Leader I and II.
Något av det som bromsar initiativet mest av allt är nämligen just oviljan att ta risker hos vissa av ländernas partner för likafinansiering.
As such, Leader explores innovation through its ‘pilot actions’ and tests new theories, with the analysis of the results forming an integral part of the research process.
Det är därför viktigt med evidensmaterial från utvärderingen när man ska rättfärdiga resursanvändningen och fördelningen av offentliga medel, särskilt när resurserna är begränsade och det kan vara svårt att få resurser.
Analysis makes it possible to establish what works, and to learn for the future.
När det gäller integrationen av Leader innebär utvärderingen att vi kan visa att ”vi vet vad som fungerar och vad som inte gör det” inom olika landsbygdssektorer, eftersom den baseras på dokumenterad erfarenhet.
In this respect Leader+ and its evaluation is no different. erent.
När det utvidgas till hela Leader, som är både process- och resultat- orienterat, kvittar det hur mycket vi tilltalas av processen,
on a range of practitioner perspectives in discussing issues which emerge from the experience of evaluating Leader and the implications of this in the future.
Genom att ta upp frågor som bygger på mina erfarenheter av Leaderutvärderingen och utvärderingens framtida konsekvenser behandlar jag en rad olika praktiska infallsvinklar.
Making the case for evaluation effectiveness and eficiency of the proposals are also assessed.
Det görs också en bedömning av förslagens potentiella genomslagskraft och effektivitet.
In the case of Leader+, the ex ante process was iterative, that is to say where evaluators worked alongside those developing the plan, informed about their process, and proposed and responded to changes.
När det gäller Leader+ följde förhandsutvärderingen ett återkommande förlopp, vilket innebär att utvärderarna arbetade jämsides med dem som utvecklade planen, höll sig informerade om hur arbetet fortskred samt föreslog och reagerade på förändringar.
e mid-term and ex post evaluations
Mellan- och eerhandsutvärderingarna
The primary purposes of evaluation are twofold and may be described thus:• to examine the results arising from a programme or
Utvärderingen har två huvudsyften och kan beskrivas på följande sätt:• Att undersöka om ett program eller projekt har gett de
• project against what was expected;to ensure that the lessons learned are identified and fed back into the development or decision-making process.
• förväntade resultaten.Att se till att lärdomarna fastställs och återförs till ut-vecklings- eller beslutsprocessen.
Evaluation is principally a policy and programme development tool.
Utvärderingen är mest av allt ett redskap för strategi- och programutveckling.
For example, the UK Treasury now defines evaluation as being ‘not about apportioning blame, but about learning from experience’.
Finansministeriet i Storbritannien fastslår nu t.ex. att utvärdering ”inte handlar om att fastställa skuld, utan om att lära sig av sina erfarenheter”.
The developmental role of evaluation may be characterised by its role in what is known as the Roamef (1) cycle as demonstrated in the diagram below.There are three principal stages of evaluation normally carried out in relation to the development cycle of programmes or initiatives.
Utvärderingens funktion för utvecklingen kan demonstreras genom den roll som utvecklingen spelar i den s.k. ROA-MEF-bedömningscykeln (1) – se diagrammet nedan.Utvärderingen omfattar tre huvudfaser som normalt utförs i förhållande till programmens eller initiativens utvecklingscykel.
These can be described in terms of the different elements of the cycle above, which in European programmes are commonly referred to as the ex ante, mid-term, and ex post evaluations.
Dessa kan beskrivas utifrån ovanstående cykel, och i EU-programmen talar man ofta om förhands-, mellan- och efterhandsutvärderingar.
The different purpose or role of each of these is outlined briefly below.
Här följer en kortfattad beskrivning av dessa utvärderingars olika funktioner.
This form of evaluation takes place at stage 5 in the above process and is dependent on the monitoring of the programme’s implementation at stage 4.
Den här utvärderingen sker under fas 5 i ovanstående process och är beroende av att det sker en övervakning av programgenomförandet under fas 4.
The results feed into the management of the remainder of the programme and the development of successor programmes.
Resultaten återförs till ledningen under resten av programmet samt till utvecklingsarbetet med efterföljande program.
In the case of Leader+, the mid-term evaluations took place at the mid-point of the programming period, which in many instances was too early in the process to consider actual results.
När det gäller Leader+ genomfördes mellanutvärderingarna mitt under programperioden, vilket i många fall var alltför tidigt för att de faktiska resultaten skulle kunna beaktas.
These were therefore more concerned with the implementation arrangements and levels of activity achieved.Before thinking about the specific relevance to Leader, there are a number of more generic factors relating to small-scale rural development which are of relevance.
Inom dessa utvärderingar behandlade man därför snarare genomförandeformer och uppnådda verksamhetsnivåer.Innan vi går in på vad detta innebär för just Leader finns det ett antal mer allmänna faktorer som spelar in när det gäller småskalig landsbygdsutveckling.
e ex ante evaluation
Den här utvärderingen genomförs innan programmet startar.
Monitoring and evaluation measure this change and the effects of the activities supported in achieving this.
Den är ett led i utvecklingsprocessen och är i själva verket en förhandsbedömning av programförslaget.
This is carried out prior to the start of a programme as part of its development process, and is in effect a pre-appraisal of the proposed programme; it represents stage 3 of the above cycle.
Den motsvaras av fas 3 i nedanstående cykel.
The potential
Syftet med denna
1 Rationale
1 Bakgrund
5 Evaluation
5 Utvärdering
2 Objectives dificult to quantify.To measure the effects of small-scale rural development it is therefore important to plan the approach well in advance, to think through what is trying to be changed and what else might change as a result of actions taken.
Denna förändring mäts genom övervakning och utvärdering och genom effekterna av de åtgärder som stöds för att man ska kunna uppnå detta.Forskningen tyder på att det är extremt svårt att fastställa socioekonomiska resultat och konsekvenser i småskaliga projekt där konventionella multiplikatoreffekter inte anses kunna tillämpas.
This includes where, when and to whom the effect will arise and what
Effekterna av småskalig landsbygdsutveckling är i sig småskalig och utspridd, och det kan ta lång tid innan det går att se de slutgiltiga fördelarna: kanske först när projektet eller programmet är slut. Många resultat och
3 Appraisal
3 Bedömning
1) The acronym is based on the initial letter of each
) Förkortningen bygger på den första bokstaven i var och en av de sex faserna: Rationale, Objective, Appraisal, Monitoring, Evaluation, Feedback.
baseline information is needed to capture the extent and magnitude of this change.
Detta omfattar var, när och för vem som effekten kommer att uppstå samt vilka utgångsvärden som krävs för att fastställa omfattningen och graden av denna förändring.
Baselines fore complex to evaluate.
Leader handlar om att skapa en integrerad hållbar utveckling och är därför svår att utvärdera.
Conventional indicators and evaluation approaches do not pick up the ‘tentacles’ of the integrated approach which are responsible for much of the more subtle and wider impact.
Konventionella indikatorer och utvärderingsstrategier ger inte utslag för den integrerade metodens ”tentakler” som leder till ett mycket mer subtilt och omfattande resultat.
The two previous generations of Leader have presented considerable di -culties in monitoring and evaluation.
Det har förekommit en hel del problem när det gäller att övervaka och utvärdera de båda tidigare generationerna av Leader.
Much of the effects and benefits which these programmes generated cannot therefore be fully measured or demonstrated, particularly the more qualitative aspects.
Dessa program har genererat många effekter och fördelar som därför inte kan mätas eller demonstreras fullt ut, särskilt inte de mer kvalitativa aspekterna.
Of course, the initiative was evaluated but this did not consistently extend to capturing the effects at the local level where the‘real e ects’ are felt.
Initiativet har självklart utvärderats, men man har inte alltid konsekvent lyckats fånga upp effekterna på lokal nivå, den nivå där de ”verkliga effekterna” upplevs.
The evaluation methodology did not evolve to address this and as a consequence the overall impact and effect of the Leader approach is not fully evaluated.
Utvärderingsmetoderna utvecklades aldrig så att detta åtgärdades och det ledde till att Leader-metodens övergripande resultat och effekter inte har utvärderats fullt ut.
The baseline is effectively the starting position for the range of indicators against which performance is measured, and it should therefore relate directly to the objectives and targets.
Utgångsvärdena är i själva verket utgångsläget för de indikatorer som resultatet mäts emot och bör därför ha en direkt koppling till målsättningar och mål.
In small-scale rural development these should address the micro-level and be appropriate to the scale of activity.
När det gäller småskalig landsbygdsutveckling bör dessa avse mikronivån och vara lämpliga i förhållande till verksamhetsnivån.
As a general principle baseline to baseline measurement is thought only to be effective when carried out at a project level.It is also worth noting that Leader+ makes specific budgetary provision for supporting the establishment of baselines.
Generellt sett anses mätningen av olika utgångsvärden bara vara effektiv när den utförs på projektnivå.Det kan också vara värt att notera att Leader+ omfattar särskilda budgetanslag för stöd till upprättande av utgångsvärden.
Aggregating results
Resultatsammanställning
Drawing together or aggregating the local outputs and impacts from projects even when they lie within a single programme or scheme can be dificult.
Det kan vara svårt att sammanställa eller aggregera de lokala resultaten och konsekvenserna från projekt, även om de gäller ett enda program eller en enda projektordning.
Without a simple causal structure relating projects’ activities with their outcome, similar projects may result in a different range of outputs and impacts.
Finns det inte någon enkel orsaksstruktur där projektverksamheten kopplas ihop med resultatet, kan liknande projekt leda till en rad olika resultat och konsekvenser.
This is particularly the case with a bottom-up approach where projects arise from the community in response to locally perceived opportunities and needs.
Detta gäller särskilt för lokalt förankrade strategier där projekt uppstår i samhällena som ett svar på de möjligheter och behov som finns på lokal nivå.
Where a number of projects within an integrated programme or scheme combine, it is dificult to assess the combined effects of different complementary invest-ments.The implication of this is that local project-based evaluation cannot be fully effective if undertaken through a topdown programme-level framework.
Om det förekommer ett antal olika projekt inom ett integrerat program eller en projektordning, är det svårt att bedöma de kombinerade effekterna av olika kompletterande investeringar.Slutsatsen av detta är att en utvärdering som baseras på lokala projekt inte kan bli helt effektiv om den genomförs utifrån programramar som går uppifrån och ner.
It is, however, possible to design the project monitoring processes to contribute to such approaches.
Det är emellertid möjligt att utforma processer för projektövervakning som bidrar till sådana strategier.
Evaluation is highlighted as a key element in identifying and demonstrating the main lessons of the Leader experience for other rural development policies and facilitating the transfer and promotion of best practice.
Utvärdering lyfts fram som en central del i arbetet med att fastställa och demonstrera det viktigaste man har lärt sig av Leader med tanke på andra åtgärder för landsbygdsutveckling, men också för att förenkla överföring och främjande av bästa metoder.
Evaluation of Leader has therefore generally sought to take account of both the classic impact evaluation approach and the quantitative and qualitative evaluation of the seven spe-ci c features of the Leader approach.
När Leader har utvärderats har man därför i allmänhet försökt utgå från såväl en traditionell konsekvens-bedömning som en kvantitativ och kvalitativ bedömning
The process of data collection and aggregation can be viewed as a pyramid structure with the peak being at the EU level and the base at the community level.
Arbetet med att samla in och aggregera data kan ses som en pyramid där EU-nivån är pyramidens topp och lokalsamhället pyramidens bas.
The classic topdown evaluation sets the evaluation framework and indicators from the peak, and cascades these down to the lower levels.
Om utvärderingen genomförs enligt den klassiska top-down-modellen fastställs utvärderingens ram och indikatorer från toppen och överförs sedan till de lägre nivåerna.
The bottom-up approach sees the effects first hand, and depends on this being recorded at the base level.
Om utvärderingen i stället görs enligt bottom-up-modellen ser man effekterna i första hand och är då beroende av att dessa registreras på basnivån.
This is then aggregated to provide information to the upper levels.
Dessa data aggregeras sedan så att informationen kan överföras till de högre nivåerna.
The most comprehensive information is therefore available at the local community level but not all information gathered there necessarily translates to the upper levels.There are particular issues identified in relation to capturing the real effects of the programme at the local level.
Den mest omfattande informationen finns därför på lokalsamhällesnivå, men all information som samlas in där behöver inte nödvändigtvis spridas till de högre nivåerna.Vissa frågor har kunnat konstateras när det gäller att fastställa programmets faktiska effekter på lokal nivå.
The ex post evaluators of the original Leader programme faced particular problems, with no structure of indicators and monitoring designed into the programme.
De som skulle genomföra efterhandsutvärderingen av det ursprungliga Leader-programmet ställdes inför särskilda problem, eftersom programmet inte var uppbyggt med tanke på indikatorer och övervakning.
They concluded it to be almost impossible to quantify the results.The team which conducted the EU nal evaluation of Leader II concluded that compilation and comparison of the information collected at the European level turned out to be unexpectedly dificult and that this was ‘due to extreme diversity in the implementation of the initiative and, as a consequence, in the monitoring and data collection systems; variation in the scope and methodologies used for the national and regional programme evaluations and loss of institutional memory (resulting in some cases in different sources giving different answers to the same ques-tions)’.This lack of consistency and the loss of institutional memory highlight the dependency on individuals especially at the local level; the evaluators conclude, however, that the practice of evaluation ‘is still rare at the bottom end of the programme delivery chain’. The heavy dependency on the key individuals and limited LAG resources also meant that‘some groups forgot’about the monitoring rec-
Utvärderarna slog fast att det var praktiskt taget omöjligt att kvantifiera resultaten.Teamet som genomförde EU:s slututvärdering av Leader II kom fram till att det hade varit oväntat svårt att sammanställa och jämföra den information som hade samlats in på europeisk nivå och detta ”berodde på att det förekom så extremt stora skillnader när det gäller initiativets genomförande och följaktligen också när det gäller systemen för övervakning och datainsamling; det förekommer variationer i fråga om den räckvidd och metodik som har tillämpats vid de nationella och regionala programutvärderingarna och bristande institutionellt minne (vilket i vissa fall
This reinforces the need for effective and appropriate approaches to capture the results in a consistent way which allows them to be accessed in future.
Detta ökar behovet av effektiva och lämpliga strategier som gör det möjligt att få in resultaten på ett enhetligt sätt och kunna komma tillbaka till dem längre fram.
Sustainable development and integration
Hållbar utveckling och integration
Leader+ evaluation guidance and in the nal evaluation of Leader II.
Detta framhålls särskilt som en övergripande strategi som gäller för de grundläggande utvärderingsprinciperna, bl.a. i vägledningen till utvärderingen av Leader+ samt i slututvärderingen av Leader II.
This evaluation concluded that‘apart from the obligatory character of evaluations, they should be considered as an important eld of innovation for local groups’.Self-evaluation may be differentiated from external evaluation in that it is primarily learning focused and separate from impact assessment.
I utvärderingen slås det fast att ”frånsett att utvärderingarna är av obligatorisk karaktär, bör de också betraktas som ett område där de lokala grupperna kan visa prov på en hög grad av nyskapande”.Självutvärdering kan skiljas från extern utvärdering genom att den i första hand är inriktad på lärandet och skild från konsekvensbedömningen.
The nal evaluation of Leader II found, however, that only 20 % of groups had practised self-evaluation.Evaluation is not an end in itself, but a tool to help learn from experience, establish the effectiveness of innovative approaches and identify good practice, thus improving performance and better meeting wider strategic objectives.
I slututvärderingen av Leader II kunde det emellertid konstateras att endast 20 % av grupperna hade gjort någon självutvärdering.Utvärderingen är inte något självändamål utan ett redskap för att göra det lättare att lära sig av sina erfarenheter, se till så att de innovativa strategierna är effektiva samt fastställa bra metoder.
It has a fundamental role in facilitating the dissemination and transfer of experience and approaches between areas, sectors and groups.
Utvärderingen har en stor betydelse för att förenkla spridning och överföring av erfarenheter och metoder mellan olika områden, sektorer och grupper.
Such reflective learning is therefore fundamental to the Leader approach and is an essential tool for sustainable development.This is not restricted to programme managers and LAGs, however, and must include those local actors who are promoting the bottom-up activities inherent in the Leader approach.
Ett sådant reflekterande lärande är därför av stor betydelse för Leader-metoden och utgör ett viktigt verktyg för hållbar utveckling.Det gäller emellertid inte bara de programansvariga och LAG-grupperna, utan måste även omfatta de lokala aktörer som främjar ”bottom-up”-åtgärderna i Leader-metoden.
Transition issues
Frågor vid övergången
The integrated approach to sustainable rural development does not imply that the effects in each area should be indivisible from each other; it should be possible to identify the whole effect and the individual contributions.
Den integrerade metoden för hållbar landsbygdsutveckling innebär inte att effekterna inom varje område inte ska gå att särskilja: det ska vara möjligt att fastställa hela effekten och de enskilda bidragen.
Evaluation designed only to meet economic policy needs will not be effective and in the local context may be misleading or open to misinterpretation.
En utvärdering som utformas enbart för att tillgodose ekonomipolitiska behov kommer inte att ge någon effekt och kan vara vilseledande och resultera i feltolkningar i ett lokalt sammanhang.
To attempt to measure the socioeconomic impact of, for example, a natural herit-age-based development activity, rather than the directly attributable impacts such as direct employment, is to misunderstand the core purpose of integrated initiatives such as Leader.
Om man försöker mäta den socioekonomiska effekten av t.ex. en utvecklingsåtgärd med naturarvet som utgångspunkt på något annat sätt än genom direkta effekter, t.ex. direkt sysselsättning, har man inte heller förstått huvudsyftet med integrerade initiativ som Leader.
Whilst there are undoubted economic effects, these will be thoroughly spread and diluted, and require a disproportionate effort to capture.
Även om det visst förekommer ekonomiska effekter, kommer dessa att i hög grad ha spritts ut och urvattnats, och det skulle kräva en oproportionell insats att fastställa dem.
Effective measurement of the project outputs and impacts in relation to its corestated objectives and targets will be much more effective.
I så fall är det mycket mer effektivt att mäta projektets resultat och effekter i förhållande till de uttalade målen och målsättningarna.
This extends to the evaluation of local programmes: funding has been awarded to groups on the basis of their strategies; projects which are supported should be consistent with these strategies; and their effects are best measured in relation to these local objectives.
Detta kan utvidgas till att omfatta utvärderingen av de lokala programmen: finansieringen har tilldelats grupperna utifrån deras strategier. De projekt som får stöd bör följa dessa strategier och effekterna mäts bäst i förhållande till de lokala målen.
e method and the actions
Metod och åtgärder