natgillin/translations-raw huggingface dataset:
95). (c) The regulation on common rules and procedures for the implemen‐ tation of the Union’s instruments for financing external action stipu‐ lates the following20. (i) Financing decisions must include in an annex a descrip‐ tion of each action, specifying its objectives, main activities, expected results, methods of implementation, budget and indicative timetable and performance monitor‐ ing arrangements (preamble, paragraph 5). (ii) The Union’s external action under the Instruments must contribute to clear results (covering outputs, outcomes and impacts); the results of the Union’s external action and the efficiency of a particular Instrument must be monitored and assessed on the basis of predefined, clear, transpar‐ ent and, where appropriate, country‐specific and measur‐ able indicators (preamble, paragraph 12). (iii) Action programmes must specify for each action the ob‐ jectives pursued, the expected results and the main activities (Article 2). (iv) From 2015, the Commission must submit to the European Parliament and to the Coun‐ cil an annual report on the achievement of the objectives of each regulation by means of indicators, measuring the results delivered and the ef‐ ficiency of the relevant instru‐ ment; this report must assess the results of the Union’s financial assistance using, as far as possible, specific and measurable indicators of its role in meeting the objectives of the instruments (Article 13). 
95). c) Unionin ulkoisen toiminnan rahoitusvälineiden täytäntöönpanoa koskevista yhteisistä säännöistä ja menettelyistä annetussa asetuksessa säädetään seuraavaa20: (i) Rahoituspäätöksien on sisällettävä liite, joka sisältää kunkin toimen kuvauksen, josta käyvät ilmi sen tavoitteet, tärkeimmät toiminnot, toivotut tulokset, täytäntöönpanome-netelmät, talousarvio ja alustava aikataulu sekä edistymisen seurantajärjestelyt (johdanto-osan 5 kappale). (ii) Välineiden mukaisesti toteutetulla unionin ulkoisella toiminnalla on edistettävä selkeitä tuloksia (jotka kattavat tuotokset, tulokset ja vaikutukset).
Our review 13 20 Our review aimed to provide in a sin‐ gle document an overview of what the Court considers to be the main risk areas related to a results approach for EU development and coopera‐ tion action. 
Tilintarkastustuomio-13 istuimen suorittama arviointi 20 Tilintarkastustuomioistuimen suorittaman arvioinnin tavoitteena oli esittää yhdessä asiakirjassa yleiskatsaus siitä, mitä tilintarkastustuomioistuin pitää EU:n kehitysyhteistyötoimia koskevaan tulosperusteiseen lähestymistapaan liittyvinä keskeisinä riskialoina.
It also illustrates the risks concerned on the basis of experience acquired by the Court through its au‐ dits in the field of external actions. 
Lisäksi arvioinnissa havainnollistetaan kyseisiä riskejä niiden kokemusten perusteella, joita tilintarkastustuomioistuin on saanut ulkoisten toimien alalla toimittamiensa tarkastusten yhteydessä.
It is particularly relevant in the context of current discussions related to the Com‐ mission’s performance framework (see paragraph 5) and the implementation of a results framework for EU interna‐ tional cooperation and development action (see paragraph 11). 
Arviointi on erityisen ajankohtainen, sillä parhaillaan käydään keskusteluja komission tuloksellisuusjärjestelmästä (ks. kohta 5) ja EU:n kansainvälisen kehitysyhteistyön tuloskehyksen täytäntöönpanosta (ks. kohta 11).
21 Our review was guided by the follow‐ ing question: did the Commission ad‐ equately address the key risks entailed by a results approach for EU develop‐ ment and cooperation measures? 
21 Ohjaavana periaatteena arvioinnissa oli seuraava kysymys: kiinnittikö komissio asianmukaisesti huomiota EU:n kehitysyhteistyötoimia koskevaan tulosperusteiseen lähestymistapaan liittyviin keskeisiin riskeihin?
22 We carried out our review work between October 2014 and January 2015. 
22 Tilintarkastustuomioistuin teki arvioinnin lokakuun 2014 ja tammikuun 2015 välisenä aikana.
It consisted of a desk review of documentation from EU institutions and other major multilateral and bilat‐ eral aid donors, as well as interviews with EU Commission staff, including from the EU delegation in Cambodia, and officials from two international organisations and several implement‐ ing bodies. 
Arvioinnin yhteydessä käytiin läpi EU:n toimielinten ja muiden merkittävien monen-tai kahdenvälisen avunantajien asiakirjoja ja haastateltiin EU:n komission henkilöstöä, myös EU:n Kambodžan edustuston henkilöstöä, sekä kahden kansainvälisen järjestön ja usean täytäntöönpanevan elimen toimihenkilöitä.
A screening of ECA special reports published in recent years was also carried out in order to illustrate the key risk areas identified with specific examples. 
Lisäksi tehtiin viime vuosina julkaistujen tilintarkastustuomioistuimen erityiskertomusten kartoitus, jotta keskeisiä riskialoja voitiin havainnollistaa esi-merkein.
The timescale of development actions is such that these examples sometimes relate to actions undertaken several years ago. 4. 
Kehitystoimien aikataulu on sellainen, että nämä esimerkit liittyvät toisinaan useita vuosia sitten toteutettuihin toimiin. 4.
Key risk areas 14 23 On the basis of its review work, the Court identified nine key risk areas, which are detailed and illustrated be‐ low. 
Keskeiset riskialat 14 23 Arviointityönsä perusteella tilintarkastustuomioistuin tunnisti yhdeksän keskeistä riskialaa, joita kuvaillaan tarkemmin ja havainnollistetaan jäljempänä.
They relate to: (a) the consistent use of results re‐ lated terminology (section 4.1); (b) the establishment of a clear results chain (section 4.2); (c) increased complexity due to the integration of cross‐cutting issues (section 4.3); (d) the harmonisation of instruments and frameworks between develop‐ ment partners (section 4.4); (e) results reporting and evaluation (section 4.5); (f) data consolidation and results overview (section 4.6); (g) data quality (section 4.7); (h) focus on budgetary outturn (sec‐ tion 4.8); and (i) changes in the context of EU ac‐ tions (section 4.9). 
Ne liittyvät seuraaviin asioihin: a) tuloksiin liittyvän terminologian johdonmukainen käyttö (osa 4.1) b) selkeän tulosketjun luominen (osa 4.2) c) laaja-alaisten aiheiden sisällyttämisestä johtuva monimutkaistuminen (osa 4.3) d) kehitysyhteistyökumppanien välineiden ja kehysten yhdenmukaistaminen (osa 4.4) e) tulosten raportointi ja arviointi (osa 4.5) f) tietojen konsolidointi ja yleiskatsaus tuloksista (osa 4.6) g) tietojen laatu (osa 4.7) h) talousarvion toteutuman painottaminen (osa 4.8) i) EU:n toimien toimintaympäristön muutokset (osa 4.9).
Formulation of objectives and indicators 4.1.1. 
Tavoitteiden ja indikaattoreiden muotoilu 4.1.1.
Terminology 24 Given the number and diversity of parties involved in, or associated with, implementing a new framework for EU development and cooperation, it is crucial for them to be able to employ a common and consistent terminology. 
Terminologia 24 Koska EU:n kehitysyhteistyön uuden kehyksen täytäntöönpanoon osallistuu tai liittyy monia erilaisia osapuolia, on ratkaisevan tärkeää, että he voivat käyttää yhteistä ja johdonmukaista terminologiaa.
25 However, the Court found that re‐ sults‐related terminology is not always used consistently (see Box 1). 
25 Tilintarkastustuomioistuin havaitsi kuitenkin, ettei tuloksiin liittyvää terminologiaa käytetä aina johdonmukaisesti (ks. laatikko 1).
26 A lack of clarity and consistency in terminology employed can cause mis‐ understanding and confusion among those involved in EU development and cooperation activities, notably in the context of evaluating actions. 4. 
26 Käytettävän terminologian epätarkkuus ja epäjohdonmukaisuus voi aiheuttaa väärinkäsityksiä ja sekaannusta EU:n kehitysyhteistyötoimintaan osallistuvien keskuudessa, erityisesti toimien arvioinnin yhteydessä. 4.
Key risk areas 15 Examples of terminology issues While the regulation on common rules and procedures for the implementation of the Union’s instruments for financing external action21 provides that results cover outputs, outcomes and impact (see paragraph 19), EuropeAid’s management plan for 2014 uses a different categorisation in which outcomes include results and impact22. 
Keskeiset riskialat 15 Esimerkkejä terminologiaan liittyvistä kysymyksistä Vaikka unionin ulkoisen toiminnan rahoitusvälineiden täytäntöönpanoa koskevista yhteisistä säännöistä ja menettelyistä annetussa asetuksessa21 säädetään, että tulokset (results) kattavat tuotokset, tulokset ja vaikutukset (outputs, outcomes ja impact) (ks. kohta 19), vuotta 2014 koskevassa EuropeAidin hallintosuunnitelmassa käytetään eri luokittelua, jonka mukaan tulokset (outcomes) käsittävät tulokset ja vaikutukset (results ja impact)22.
While regulations provide for specific, measurable, achievable, relevant and timed (SMART) objectives, Euro‐ peAid’s Results Oriented Monitoring Handbook, which constitutes a reference document for all EuropeAid’s results‐oriented monitoring activities, refers to ‘SMART OVIs’, where ‘OVIs’ stands for objectively verifiable indicators; it thus confuses objectives and indicators; similarly, the Commission’s budget circular for 2014 referred to SMART as the ‘minimum conditions to be fulfilled by objectives and indicators’23. 
Vaikka asetuksissa säädetään erityisistä mitattavissa ja toteutettavissa olevista, asiaan kuuluvista ja ajallisesti määrätyistä (SMART) tavoitteista, EuropeAidin tulosperusteisen seurantajärjestelmän käsikirjassa (Results Oriented Monitoring Handbook), joka toimii viiteasiakirjana kaikelle EuropeAidin tulosperusteiselle seurannalle, käytetään termiä ”SMART OVIs”, jossa ”OVIs” tarkoittaa objektiivisesti todennettavissa olevia indikaattoreita. Käsikirjassa siis sekoitetaan tavoitteet ja indikaattorit toisiinsa. Vastaavasti vuoden 2014 talousarviota koskevassa komission yleiskirjeessä SMARTilla tarkoitetaan vähimmäisehtoja, jotka tavoitteiden ja indikaattoreiden on täytettävä23.
While regulations provide for predefined, clear, transparent and — where appropriate — country‐specific and measurable indicators, other sets of quality criteria are sometimes used, as EuropeAid pointed out in its 2012 guidelines for budget support24: ‘Different sets of criteria exist to assess indicator quality: SMART indicators are Specific, Measurable, Achievable, Realistic and Time‐limited. 
Vaikka asetuksissa säädetään ennalta määritetyistä, selkeistä, avoimista sekä tarvittaessa maakohtaisista ja mitattavissa olevista indikaattoreista, toisinaan käytetään muita laatukriteerisarjoja, kuten EuropeAid huomautti vuonna 2012 antamissaan budjettituen suuntaviivoissa24 toteamalla, että indikaattoreiden laadun arviointia varten on erilaisia kriteerisarjoja. SMART-indikaattorit ovat täsmällisiä, mitattavia, saavutettavia, realistisia ja aikasidonnaisia (Specific, Measurable, Achievable, Realistic and Time-limited).
CREAM criteria refer to indicators that are Clear, Relevant, Economic, Adequate and Monitorable. 
CREAM-kriteerien mukaiset indikaattorit ovat selkeitä, asiaan kuuluvia, taloudellisia, riittäviä ja seurattavissa olevia (Clear, Relevant, Economic, Adequate and Monitorable).
Eurostat indicator guidance focuses on logic, relevance, the possibility of setting a target, frequency of data collection, appropriateness and possibility of estimating precision. 
EUROSTATin indikaattoriohjeissa painotetaan loogisuutta, asiaankuuluvuutta, tavoitteiden asettamisen mahdollisuutta, tiedonkeruun taajuutta, tarkoituksenmukaisuutta ja mahdollisuutta arvioida tarkkuutta.
RACER indicators refer to indicators that are Relevant, Accepted, Credible, Easy, and Robust.’ 
RACER-indikaattorit ovat asiaan kuuluvia, hyväksyttäviä, uskottavia, helppoja seurata ja vakaita (Relevant, Accepted, Credible, Easy, and Robust).
21 Regulation (EU) No 236/2014. 
21 Asetus (EU) N:o 236/2014.
22 See, for example, the DCI (Development Cooperation Instrument) intervention logic in section 4.1.4 of EuropeAid’s management plan for 2014. 
22 Ks. esimerkiksi EuropeAidin vuoden 2014 hallintosuunnitelman osassa 4.1.4 kuvailtava kehitysyhteistyövälineen (DCI) toimintalogiikka.
23 European Commission — Budget circular for 2014 — Standing instructions, 14.12.2012. 
23 Euroopan komissio – Budget circular for 2014 – Standing instructions, 14.12.2012.
24 Budget Support Guidelines — Programming, Design and Management — A modern approach to Budget Support, September 2012. 
24 Budget Support Guidelines – Programming, Design and Management – A modern approach to Budget Support, syyskuu 2012.
Document alignment and consistency 27 Objectives — together with their indi‐ cators — are easier to understand and more likely to be achieved when they are formulated in a clear and consist‐ ent way in all interrelated documents. 
Asiakirjojen yhdenmukaistaminen ja johdonmukaisuus 27 Tavoitteet ja niihin liittyvät indikaattorit on helpompi ymmärtää ja ne saavutetaan todennäköisemmin, jos ne muotoillaan selkeästi ja johdonmukaisesti kaikissa toisiinsa liittyvissä asiakirjoissa.
4. Key risk areas 16 28 Objectives and indicators for EU devel‐ opment and cooperation are specified in a broad variety of documents. 
4. Keskeiset riskialat 16 28 EU:n kehitysyhteistyön tavoitteita ja indikaattoreita määritellään monenlaisissa asiakirjoissa.
These include: (a) the Treaty on the Functioning of the European Union; (b) high‐level development goals (see section 2.1.1); (c) regulations on instruments for financing external action25; (d) the Commission’s regional and country strategies and multian‐ nual indicative programming documents; (e) annual action programmes an‐ nexed to the Commission’s financ‐ ing decisions; (f) financing agreements with partner countries, administration/contribu‐ tion agreements with international organisations, grant agreements and contracts with non‐govern‐ mental organisations and service providers; (g) activity statements (or programme statements) as part of the budget‐ ary procedure; (h) annual management plans and annual activity reports of the Commission directorates‐general concerned. 
Esimerkkeinä voidaan mainita seuraavat: a) Euroopan unionin toiminnasta tehty sopimus b) korkean tason kehitystavoitteet (ks. osa 2.1.1) c) ulkoisen toiminnan rahoitusvälineitä koskevat asetukset25 d) komission alueelliset ja maakohtaiset strategiat sekä suuntaa-antavat monivuotiset ohjelmasuunnitteluasiakirjat e) komission rahoituspäätöksiin liitet-tävät vuotuiset toimintaohjelmat f) kumppanimaiden kanssa tehtävät rahoitussopimukset, kansainvälisten järjestöjen kanssa tehtävät hallinto-/rahoitussopi-mukset, kansalaisjärjestöjen ja palveluntarjoajien kanssa tehtävät avustussopimukset g) talousarviomenettelyyn liittyvät toimintoselvitykset (tai ohjelmaselvitykset) h) komission asianomaisen pääosaston vuotuiset hallintosuunnitelmat ja vuotuiset toimintakertomukset.
29 The administration of all these docu‐ ments, which originate from different authorities and are subject to differ‐ ent adoption cycles and procedures, necessarily leads to adjustments to objectives and indicators and, in some cases, inconsistencies. 
29 Kaikkien näiden eri viranomaisilta peräisin olevien ja erilaisissa hyväksy-miskierroissa ja -menettelyissä käsiteltävien asiakirjojen hallinnointi johtaa välttämättä tavoitteiden ja indikaattoreiden mukautuksiin ja joissakin tapauksissa epäjohdonmukaisuuksiin.
In this connec‐ tion, a results reporting pilot exercise carried out by the Commission in 2014 in the preparation of the results framework found that, where logical frameworks existed at both decision and contract levels, ‘the degree of co‐ herence between them was mixed — at best’26. 
Komission tuloskehyksen valmistelua varten vuonna 2014 toteuttamassa tulosten raportoinnin pilottihankkeessa havaittiin tältä osin, että jos sekä päätösten että sopimusten tasolla oli käytössä loogiset viitekehykset, niiden välinen johdonmukaisuus oli parhaimmillaankin vaihteleva26.
30 In previous audits, the Court also found inconsistencies between objec‐ tive and indicator‐setting documents (see Box 2). 
30 Aiemmissa tarkastuksissaan tilintarkastustuomioistuin on havainnut epäjohdonmukaisuuksia myös tavoitteiden ja indikaattoreiden määrittelyyn käytettävien asiakirjojen välillä (ks. laatikko 2).
25 OJ L 77 2014, 15.3.2014. 
25 EUVL L 77, 15.3.2014.
26 A logical framework is a document that provides an overview of a project’s objectives, activities and resources. 
26 Looginen viitekehys on asiakirja, jossa esitetään yleiskatsaus hankkeen tavoitteista, toiminnoista ja resursseista.
It also usually outlines critical assumptions on which the project rests and provides information on how the project will be monitored, including through the use of indicators. 
Asiakirjassa esitetään tavallisesti myös pääpiirteittäin olennaiset olettamukset, joihin hanke perustuu, ja annetaan tietoja siitä, miten hanketta aiotaan seurata, esimerkiksi indikaattoreita käyttämällä.
Example of inconsistencies between documents ‘The annual activity reports contain seven indicators for Central Asia. 
Esimerkki asiakirjojen välisistä epäjohdonmukaisuuksista ”Vuotuiset toimintakertomukset sisältävät seitsemän Keski-Aasiaa koskevaa indikaattoria.
Though of general relevance to the suc‐ cess of EU development assistance in Central Asia, these indicators are different from those set in the Regional Strategy Paper and Multi‐annual indicative programmes; nor are they directly linked to the intended results of the Council’s new partnership strategy for Central Asia.’27 27 Special Report No 13/2013 ‘EU development assistance to Central Asia’, paragraph 79 (http://eca.europa.eu). 
Vaikka nämä indikaattorit ovat yleisesti ottaen relevantteja EU:n Keski-Aasialle antaman kehitysavun onnistumisen kannalta, ne poikkeavat alueellisessa strategia-asiakirjassa ja maaohjelmissa määritetyistä indikaattoreista; ne eivät myöskään nivelly suoraan Keski-Aasiaa koskevalta neuvoston uudelta kumppanuusstrategialta odotettuihin tuloksiin.”27 27 Erityiskertomus nro 13/2013 ”EU:n kehitysapu Keski-Aasialle”, kohta 79 (http://eca.europa.eu).
4. Key risk areas 17 31 Inconsistencies in the formulation of objectives and indicators can give rise to confusion about what should serve as a basis for assessing what has been achieved. 
4. Keskeiset riskialat 17 31 Tavoitteiden ja indikaattoreiden muotoiluun liittyvät epäjohdonmukaisuudet voivat aiheuttaa epäselvyyttä siitä, mitä olisi käytettävä lähtökohtana saavutuksia arvioitaessa.
Setting SMART objectives and clear indicators 32 Setting specific, measurable, achiev‐ able, relevant and time bound (SMART) objectives is a legal requirement for all EU development and cooperation activities. 
SMART-tavoitteiden ja selkeiden indikaattoreiden määritteleminen 32 Lainsäädännössä edellytetään erityisten mitattavissa ja toteutettavissa olevien, asiaan kuuluvien ja ajallisesti määrättyjen (SMART) tavoitteiden asettamista kaikille EU:n kehitysyhteis-työtoimille.
Moreover, the results of EU external action — including EU devel‐ opment and cooperation — and the efficiency of a particular instrument should be monitored and assessed on the basis of predefined, clear, transpar‐ ent and — where appropriate — coun‐ try‐specific and measurable indicators (see paragraph 19)28. 
Lisäksi EU:n ulkoisen toiminnan, myös EU:n kehitysyhteistyön, tuloksia ja tietyn välineen tehokkuutta olisi seurattava ja arvioitava ennalta määritetyillä, selkeillä, avoimilla sekä tarvittaessa maakohtaisilla ja mitattavissa olevilla indikaattoreilla (ks. kohta 19)28.
Need for SMART objectives and clear indicators 28 In April 2014, the European Parliament urged the adoption of specific, measurable, achievable, relevant and timed benchmarks for all programmes in Heading 4 — Global Europe — of the multiannual financial framework 2014‐2020. 
SMART-tavoitteiden ja selkeiden indikaattoreiden tarve 28 Huhtikuussa 2014 Euroopan parlamentti kehotti hyväksymään erityiset, mitattavissa ja saavutettavissa olevat, asiaan kuuluvat ja ajallisesti määrätyt vertailuarvot kaikille kauden 2014–2020 monivuotisen rahoituskehyksen otsakkeen 4 (”Globaali Eurooppa”) ohjelmille.
See the European Parliament Decision of 3 April 2014 on discharge in respect of the implementation of the general budget of the European Union for the financial year 2012, Section III — Commission and executive agencies — ref. P7_TA‐PROV(2014)0287. 
Euroopan parlamentin päätös 3. huhtikuuta 2014 vastuuvapauden myöntämisestä Euroopan unionin yleisen talousarvion toteuttamisesta varainhoitovuonna 2012, pääluokka III – Komissio ja toimeenpanovirastot – viite P7_TA-PROV(2014)0287.
Activities SMART objectives Clear indicators Input Outputs Outcome Impact Results Figure 2 4. 
Toiminnot SMART tavoitteet Selkeät indikaattorit Panokset Tuotokset Tulokset Vaikutukset Tulokset Kaavio 2 4.
Key risk areas 18 33 In previous audits, the Court often found that the objectives set were too vague or unrealistic (see Box 3). 
Keskeiset riskialat 18 33 Tilintarkastustuomioistuin on havainnut usein aiemmissa tarkastuksissaan, että asetetut tavoitteet olivat liian epämääräisiä tai epärealistisia (ks. laatikko 3).
Similarly, the Court often found that indicators were missing or unclear (see Box 4). 
Samoin tilintarkastustuomioistuin on havainnut usein, että indikaattorit puuttuivat tai että ne olivat epäselviä (ks. laatikko 4).
Even when indicators are well defined, their interpretation can be relative and their value can vary considerably according to the context in which they are used (see Box 5). 
Silloinkin, kun indikaattorit on määritelty hyvin, niiden tulkinta voi olla suhteellista ja niiden arvo voi vaihdella huomattavasti käyttöympäristön mukaan (ks. laatikko 5).
34 The results reporting pilot exercise car‐ ried out by the Commission in 2014 in the preparation of the results frame‐ work also found that, in many cases, where the logical frameworks existed in decisions and contracts, they were not of good quality, i.e. objectives were not SMART and indicators were not well defined or were based on unclear data sources. 
34 Komission tuloskehyksen valmistelua varten vuonna 2014 toteuttamassa tulosten raportoinnin pilottihankkeessa havaittiin myös, että kun päätöksissä ja sopimuksissa oli loogiset viitekehykset, ne olivat monissa tapauksissa heikkolaatuisia, eli tavoitteet eivät olleet SMART-tavoitteita eikä indikaattoreita ollut määritelty hyvin tai indikaattorit perustuivat epäselviin tietolähteisiin.
35 As well as contravening regulations, failing to set SMART objectives and clear indicators undermines perfor‐ mance monitoring and results assess‐ ment, which is detrimental to account‐ ability and public audit. 
35 SMART-tavoitteiden ja selkeiden indikaattoreiden määrittelemättä jättäminen paitsi rikkoo lainsäädäntöä myös vaarantaa tuloksellisuuden seurantaa ja tulosten arviointia, mikä on haitallista tilivelvollisuuden ja julkisen tarkastuksen kannalta.
The results of an intervention also risk being limited if its objectives are not well defined from the beginning. 
Lisäksi on vaarana, että toimen tulokset jäävät vähäisiksi, jos sen tavoitteita ei määritellä hyvin heti alussa.
Example of objectives that were too vague or unrealistic ‘The lack of clear definition of project objectives relates mainly to equipment planned, its level of operation (quantity and quality) and the target population expected to benefit from project results. 
Esimerkki liian epämääräisistä tai epärealistisista tavoitteista ”Hanketavoitteita ei ole määritelty selkeästi lähinnä suunnitellun välineistön, sen käyttötason (määrä ja laatu) ja hanketuloksista oletettavasti hyötyvän kohdeväestön kohdalla.