natgillin/translations-raw huggingface dataset:
The focus of this audit was therefore to scrutinise the quantity and quality (namely relevance and reliability) of the performance indicators used in variable tranches and the Commission’s analysis of payment requests. 14 The main audit question was: “Did the Commission use relevant and reliable performance data for disbursing budget support variable tranches?” 
Tämän tarkastuksen tavoitteena oli siksi arvioida vaihtelevansuuruisissa erissä käytettyjen tuloksellisuusindikaattoreiden määrää ja laatua (erityisesti merkityksellisyyttä ja luotettavuutta) sekä sitä, miten komissio analysoi maksupyynnöt. 14 Tarkastuksessa käsiteltiin seuraavaa pääkysymystä: ”Maksoiko komissio vaihtelevansuuruiset budjettitukierät relevanttien ja luotettavien tuloksellisuustietojen perusteella?”.
In order to answer this question, we broke it down into the following sub-questions. (a) Did the budget support contracts include indicators that allow relevant results to be monitored effectively in the supported sectors? (b) Did the Commission effectively verify the reliability of performance data in the requests for disbursements of variable tranches? 
Kysymykseen haettiin vastausta seuraavien osakysymysten avulla: a) Sisälsivätkö budjettitukisopimukset indikaattoreita, joiden avulla relevantteja tuloksia voidaan seurata tuetuilla aloilla vaikuttavalla tavalla? b) Tarkastiko komissio vaikuttavalla tavalla vaihtelevansuuruisista eristä tehtyihin maksupyyntöihin sisältyvien tuloksellisuustietojen luotettavuuden?
15 The audit covered a sample of 24 sector reform performance contracts (see Annex II to the eight partner countries with the largest disbursements of variable tranches paid in 20173. 
15 Tarkastus kattoi otoksen, johon sisältyi 24 alakohtaista tulosperusteista uudistamissopimusta (ks. liite II), jotka oli tehty niiden kahdeksan kumppanimaan kanssa, joiden vaihtelevansuuruisten erien maksut olivat suurimmat vuonna 20173.
These countries received 43.29 % of the total variable tranche payments for that year. 
Näille maille maksettiin 43,29 prosenttia kaikista vaihtelevansuuruisten erien maksuista kyseisenä vuonna.
The variable tranches audited for the selected contracts involved a total of 248 performance indicators. 
Otokseen valittujen sopimusten tarkastetuissa vaihtelevansuuruisissa erissä oli yhteensä 248 tuloksellisuusindikaattoria.
Annex III details the payments made in 2017 and the sectors audited. 
Liitteessä III esitetään vuonna 2017 suoritetut maksut ja tarkastetut alat.
12 3 With the exception of Morocco, is the subject of an ECA Special Report to be published in 2020. 
12 3 Lukuun ottamatta Marokkoa, joka on vuonna 2020 julkaistavan tilintarkastustuomioistuimen erityiskertomuksen aiheena.
16 For the selected contracts, we examined the Commission’s assessment of the capacity of the countries’ systems to provide reliable performance data. 
16 Tilintarkastustuomioistuin tutki otokseen valittujen sopimusten osalta, miten komissio arvioi maiden järjestelmien valmiuksia tuottaa luotettavia tuloksellisuustietoja.
We also checked the design of the budget support contract provisions, in particular the quality of the performance indicators used in the variable tranches. 
Lisäksi tilintarkastustuomioistuin tarkasti budjettituen sopimusehtojen muotoilun ja erityisesti vaihtelevansuuruisissa erissä käytettyjen tuloksellisuusindikaattorien laadun.
When examining these verifications, we carried out a documentary review of the payment files prepared by the Commission and re-assessed the achievement of targets and the calculation of the variable tranche payments. We then compared our conclusions with those of the Commission. 
Tilintarkastustuomioistuin tutki näitä tarkastuksia toteuttamalla asiakirjatarkastuksen komission laatimista maksutiedostoista sekä arvioimalla uudelleen tavoitteiden saavuttamisen ja vaihtelevansuuruisia eriä koskevien maksujen laskemisen.
17 The audit included visits to three countries: Jordan, Georgia and Bolivia. 
17 Tarkastuskäynnit tehtiin seuraaviin kolmeen maahan: Jordania, Georgia ja Bolivia.
During these visits, carried out in February and March 2019, we interviewed Commission staff, representatives of national authorities and other donors/stakeholders. 
Helmi-ja maaliskuussa 2019 tehtyjen tarkastuskäyntien aikana haastateltiin komission henkilöstöä, kansallisten viranomaisten edustajia ja muita avunantajia sekä sidosryhmiä.
In addition to the procedures carried out for the rest of the countries selected, in these three countries we re-performed the Commission’s verifications of the variable tranche disbursement requests and the related payments and compared our results with the results of the analysis done by the Commission. 
Muiden otokseen valittujen maiden kohdalla toteutettujen menettelyjen lisäksi tilintarkastustuomioistuin suoritti näissä kolmessa maassa uudelleen komission tekemät tarkastukset, jotka koskivat vaihtelevansuuruisten erien maksupyyntöjä ja niihin liittyviä maksuja, ja vertasi tuloksia komission analyysin tuloksiin.
Furthermore, we cross-checked the performance data declared by the partner countries with other sources of evidence from external experts and other donors to assess its reliability. 13 
Lisäksi tilintarkastustuomioistuin arvioi tietojen luotettavuutta tarkastamalla kumppanimaiden ilmoittamat tiedot ristiin muiden tarkastusevidenssin lähteiden (ulkopuolisten asiantuntijoiden ja muiden avunantajien toimittamat tiedot) kanssa. 13
Observations Relevance of variable tranche indicators weakened by their design 18 We examined whether: (i) the performance indicators are relevant for achieving the budget support contracts’ objectives and are aligned with country policies; and (ii) they provide a sound basis for monitoring meaningful results. 
Huomautukset Vaihtelevansuuruisia eriä koskevien indikaattorien muotoilu heikentää niiden relevanssia 18 Tilintarkastustuomioistuin tutki seuraavia kysymyksiä: i) Ovatko tuloksellisuusindikaattorit relevantteja budjettitukisopimusten tavoitteiden saavuttamisen kannalta ja vastaavatko ne maan toimintapolitiikkoja? ii) Tarjoavatko ne vankan perustan tarkoituksenmukaisten tulosten seurantaa varten?
Indicators are consistent with country sector strategies, but mostly focus on short-term actions rather than longer-term results 19 Budget support is regarded by the Commission as a results-based means of delivering aid. 
Indikaattorit ovat maakohtaisten toimialastrategioiden mukaisia, mutta indikaattoreissa keskitytään pääasiassa lyhyen aikavälin toimiin, ei pitkän aikavälin tuloksiin 19 Komission mukaan budjettituki on tulosperusteinen avun toimittamistapa.
Whereas project-based aid is disbursed for eligible expenditure, budget support variable tranches are disbursed when partner countries meet the general conditions and achieve previously agreed results, measured by selected performance indicators. 
Siinä missä hankepohjaista apua maksetaan tukikelpoisiin menoihin, vaihtelevansuuruiset budjettitukierät maksetaan, kun kumppanimaat täyttävät yleiset ehdot ja saavuttavat aiemmin sovitut tulokset, joita mitataan valituilla tuloksellisuusindikaattoreilla.
Therefore, the relevance of variable tranches depends on whether these performance indicators measure meaningful results. 
Näin ollen vaihtelevansuuruisten erien relevanssiin vaikuttaa se, mitataanko tuloksellisuusindikaattoreilla tarkoituksenmukaisia tuloksia.
20 As presented in Box 1, there are five types of indicators. 
20 Kuten laatikosta 1 kävi ilmi, indikaattoreita on viidentyyppisiä.
Input, process and output indicators are most relevant for the day-to-day management of public spending programmes. 
Panos-, prosessi-ja tuotosindikaattorit ovat relevanteimpia julkisten meno-ohjelmien päivittäisessä hallinnoinnissa.
Outcome and impact indicators measure longer-term effects, such as the progress of reforms and programmes towards set objectives; for example, the SDGs. 
Tulos-ja vaikutusindikaattoreilla mitataan pidemmän aikavälin vaikutuksia, kuten uudistusten ja ohjelmien etenemistä asetettujen tavoitteiden, kuten kestävän kehityksen tavoitteiden, saavuttamisessa.
Figure 4 includes an example of different types of indicators used for one of the budget support programmes in Bolivia. 14 
Kaaviossa 4 on esimerkki erityyppisistä indikaattoreista, joita käytettiin eräässä Boliviassa toteutetussa budjettitukiohjelmassa. 14
Figure 4 – Result chain and different types of performance indicators 15 NEEDS Support the National Strategy of Integral Development including Coca in Bolivia OBJECTIVES • increase of agricultural production • reduction of coca surface INPUTS Indicator 7: Increase in allocation of resources from National Treasure to the sector PROCESSES Indicator 6: Framework for Performance Assessment for the sectoral policy made and monitored by a monitoring and evaluation system RESULTS IMPACTS Indicator 8: Reduction of coca crops area OUTCOMES Indicator 1: Increase in production for six strategic agricultural items indicated in the national strategy OUTPUTS Indicator 3: Enhancement of sustainable local economic development projects implemented in protected areas and buffer zones Source: OECD Development Assistance Committee result chain, used in EU external actions. 
Kaavio 4 – Tulosketju ja erityyppiset tuloksellisuusindikaattorit 15 TARPEET Kansallisen kehittämisstrategian, joka kattaa myös kokapensaat, tukeminen Boliviassa TAVOITTEET • maataloustuotannon lisääminen • kokaviljelmien pinta-alan väheneminen PANOKSET Indikaattori 7: Valtionkassasta osoitetaan enemmän määrärahoja kyseiselle alalle PROSESSI Indikaattori 6: Alakohtaista politiikkaa varten laaditaan tuloksellisuuden arviointikehys, ja sitä seurataan seuranta-ja arviointijärjestelmällä SAAVUTUKSET VAIKUTUKSET Indikaattori 8: Kokapensaan viljelyala vähenee TULOKSET Indikaattori 1: Kuuden kansallisessa strategiassa ilmoitetun strategisen maataloustuotteen tuotanto kasvaa TUOTOKSET Indikaattori 3: Lisätään suojelluilla alueilla ja puskurialueilla toteutettavia kestävää paikallista taloudellista kehitystä koskevia hankkeita Lähde: OECD:n kehitysapukomitean tulosketju, jota käytetään EU:n ulkoisessa toiminnassa.
21 The budget support guidelines allow the use of any of the above type of indicator. 
21 Budjettitukiohjeissa sallitaan kaikkien edellä mainittujen indikaattorityyppien käyttö.
According to the Commission, though, preference should be given to outcome indicators, because they encourage evidence-based policy making, protect political space for partner countries to choose their own policies and strategies for achieving them, and stimulate a demand for high-quality statistical information. 
Komission mukaan olisi kuitenkin käytettävä ensisijaisesti tulosindikaattoreita, koska ne edistävät evidenssiin pohjautuvaa päätöksentekoa, suojaavat kumppanimaiden poliittisia mahdollisuuksia valita omat politiikkansa ja strategiansa niiden saavuttamiseksi sekä lisäävät korkealaatuisten tilastotietojen kysyntää.
The greater the confidence in the partner government’s ability to produce reliable data, the more emphasis should be placed on outcome indicators. 
Mitä enemmän luotetaan kumppanimaan kykyyn tuottaa luotettavaa tietoa, sitä enemmän painoarvoa tulisi asettaa tulosindikaattoreille.
We also consider impact indicators useful for measuring results, in particular the achievement of the SDGs. 
Tilintarkastustuomioistuin pitää myös vaikutusindikaattoreita hyödyllisinä tulosten mittaamisessa, varsinkin kestävän kehityksen tavoitteiden saavuttamisessa.
22 Our analysis of 248 indicators in the audited contracts shows that they are aligned with the sector strategies of the partner countries. 
22 Tilintarkastustuomioistuin analysoi tarkastetuissa sopimuksissa yhteensä 248 indikaattoria ja havaitsi, että indikaattorit ovat kumppanimaiden toimialastrategioiden mukaisia.
However, variable tranche disbursements are mainly based on input, process and output indicators, which together account for 87 % of the total number of indicators. 
Vaihtelevansuuruisten erien maksut perustuvat kuitenkin pääasiassa panos-, prosessi-ja tuotosindikaattoreihin. Niiden osuus kaikista indikaattoreista on yhteensä 87 prosenttia.
Only 33 indicators (13 %) measured outcome and impact – see Figure 5. 
Tulosta ja vaikutusta mitattiin vain 33 indikaattorissa (13 prosenttia) – ks. kaavio 5.
Figure 5 – Type of indicator used for variable tranches in the audited programmes 16 Source: ECA. 
Kaavio 5 – Tarkastettujen ohjelmien vaihtelevansuuruisissa erissä käytetyn indikaattorin tyyppi 16 Lähde: Euroopan tilintarkastustuomioistuin.
23 We found that most outcome and impact indicators were used in countries with lower and lower-middle income economies, while in upper-middle income countries, such as Jordan and Georgia, which had a better capacity to produce performance data, only four outcome indicators and no impact indicators were used. 
23 Tilintarkastustuomioistuin totesi, että tulos-ja vaikutusindikaattoreita käytettiin eniten alemman tulotason ja alemman keskitulotason maissa. Sitä vastoin ylemmän keskitulotason maissa, kuten Jordaniassa ja Georgiassa, käytettiin vain neljää tulosindikaattoria eikä yhtään vaikutusindikaattoria, vaikka niillä oli paremmat valmiudet tuottaa tuloksellisuustietoja.
This shows that indicator selection is not necessarily linked to countries’ development status. 
Tämä osoittaa, että indikaattorien valinta ei välttämättä liity vain maiden kehitysasteeseen.
24 The input indicators used in the audited variable tranches related mainly to the procurement of goods (18 cases) and increases in budgetary allocations (9 cases). 
24 Tarkastetuissa vaihtelevansuuruisissa erissä käytetyt panosindikaattorit liittyivät pääasiassa tavaroiden hankintaan (18 tapausta) ja määrärahojen lisäyksiin (9 tapausta).
Increases in budgets or the procurement of equipment might have the potential to trigger changes in a particular area of interest, but they do not automatically mean that meaningful progress will be achieved. 
Määrärahojen lisäykset tai laitteistohankinnat voivat saada aikaan muutoksia tietyllä aihealalla, mutta ne eivät tarkoita automaattisesti, että saavutetaan tarkoituksenmukaista edistystä.
25 The process indicators may play a useful role, in particular when the policy is aimed at achieving changes in the regulatory framework. 
25 Prosessi-indikaattoreista voi olla hyötyä erityisesti silloin, kun politiikan tavoitteena on muuttaa sääntelykehystä.
However, as indicated in the Guidelines, these should not focus only on processes, but should also measure qualitative aspects, e.g. what an entity to be set up is expected to cover, etc.4 However, this was not always the case. 
Ohjeiden mukaan niissä ei kuitenkaan pitäisi keskittyä ainoastaan prosesseihin, vaan niiden olisi mitattava myös laadullisia näkökohtia, kuten sitä, mitä perustettavan tahon odotetaan käsittelevän4. Tämä ei kuitenkaan aina toteutunut.
Box 2 presents some examples of indicators, which did not specify any minimum quality requirements regarding the content or the structure of the information to be submitted. 
Laatikossa 2 on joitakin esimerkkejä indikaattoreista, joissa ei määritellä lainkaan toimitettavien tietojen sisältöä tai rakennetta koskevia vähimmäislaatuvaatimuksia.
This makes it difficult to ensure that variable tranches reward good-quality processes. 
Siksi on vaikea varmistaa, että vaihtelevansuuruisilla erillä palkitaan laadukkaista prosesseista.
One third of indicators do not allow results to be measured objectively 26 The indicators used to measure progress in the implementation of a public policy need to be specific, have quantified and measurable targets, and when applicable, a reliable baseline. 
Kolmannes indikaattoreista ei mahdollista tulosten objektiivista mittaamista 26 Julkisen politiikan täytäntöönpanossa saavutetun edistymisen mittaamiseen käytettyjen indikaattorien on oltava täsmällisiä, niillä on oltava määrälliset ja mitattavissa olevat tavoitteet ja soveltuvissa tapauksissa luotettava lähtötaso.
Otherwise, it is not possible to objectively measure progress achieved. 
Saavutettua edistystä ei ole muutoin mahdollista mitata objektiivisesti.
Indicators, baselines and targets must be agreed when budget support contracts are formulated and specified in the financing agreement. 
Indikaattoreista, lähtötasoista ja tavoitteista on sovittava, kun budjettitukisopimukset laaditaan. Ne on myös määriteltävä rahoitussopimuksessa.
Although the Guidelines state that changes to the indicators should be avoided, targets might need to be amended during contract implementation to reflect new circumstances, or to correct errors in the definition of baselines or the calculation of indicators. 
Vaikka ohjeissa todetaan, että indikaattorien muuttamista olisi vältettävä, tavoitteita voi olla tarpeen muuttaa sopimuksen täytäntöönpanon aikana, jotta voidaan vastata uusiin olosuhteisiin tai korjata lähtötasojen määritelmässä tai indikaattorien laskennassa olevia virheitä.
17 Box 2 Examples of process indicators with no qualitative specifications In the contract for the Moldova visa liberalisation action plan (contract 15), one indicator relates to a regulatory framework approved for the mandatory registration of reported offences, without any reference to the quality/content of this framework. 
17 Laatikko 2 Esimerkkejä prosessi-indikaattoreista, jotka eivät sisällä laadullisia vaatimuksia Sopimus 15 on tehty Moldovan viisumivapautta koskevasta toimintasuunnitelmasta. Yksi sopimuksen indikaattoreista liittyy ilmoitettujen rikkomusten pakollista rekisteröintiä varten hyväksyttyyn sääntelykehykseen.
In the energy contract for Jordan (contract 4), the target for one indicator refers to “a multi-stakeholder policy dialogue structure led by Ministry of Energy and Mineral Resources is operationalised and meets regularly” without any additional specification on how often the meetings should be held. 
Sopimus 4 on Jordanian kanssa tehty energia-alan sopimus. Yhdessä sen indikaattoreista tavoitteena on, että otetaan käyttöön energiasta ja mineraalivaroista vastaavan ministeriön johtama sidosryhmien välinen toimintapoliittinen vuoropuhelurakenne ja että se kokoontuu säännöllisesti.
4 Budget Support guidelines 2017, p. 
4 Budget Support Guidelines, 2017, s.
27 Our analysis shows that 72 indicators (i.e. 29 % of our sample) were not sufficiently specific. 
27 Tilintarkastustuomioistuimen analyysista käy ilmi, että 72 indikaattoria (eli 29 prosenttia otoksesta) ei ollut riittävän täsmällisiä.
Non-specific indicators are especially problematic during the process of analysing disbursement requests: there is a risk of conflicting judgements as to whether targets have been achieved. 
Epätäsmälliset indikaattorit aiheuttavat ongelmia erityisesti maksupyyntöjen analysoinnissa: riskinä on, että tavoitteiden saavuttamisesta annetaan ristiriitaisia arvioita.
This can in turn lead to a variety of different results being arrived at when calculating the variable tranche amount to be paid. 
Tämä voi puolestaan johtaa siihen, että maksettavaa vaihtelevansuuruista erää laskettaessa päädytään useisiin eri tuloksiin.
28 29 % of the indicators were vaguely formulated with no quantified targets, using words such as ”improve”, ”increase the focus”, and ”provide evidence”. 
28 Indikaattoreista 29 prosenttia oli muotoiltu löyhästi, eivätkä ne sisältäneet määrällisiä tavoitteita. Niissä käytettiin esimerkiksi ilmaisuja ”parannetaan”, ”kiinnitetään enemmän huomiota” ja ”toimitetaan evidenssiä”.
We observed that contracts in the agriculture sector included the highest number of specific indicators (86.5 %), whereas in the Public Financial Management (PFM), only 60 % of indicators were specific. 
Tilintarkastustuomioistuin totesi, että täsmällisiä indikaattoreita oli eniten maatalousalan sopimuksissa (86,5 prosenttia). Sitä vastoin julkisen varainhoidon alalla vain 60 prosenttia indikaattoreista oli täsmällisiä.
Box 3 gives examples of non-specific indicators and the implications for the calculation of variable tranche disbursements. 
Laatikossa 3 on esimerkkejä epätäsmällisistä indikaattoreista ja niiden vaikutuksista maksettavien vaihtelevansuuruisten erien laskemiseen.
18 Box 3 Examples of non-specific indicators/targets o In the contract on “Support to the second phase of education reform in Jordan” (contract 1), the target for indicator 5 was: ”6 new schools equipped and operational with adequate means/learning environment and adequate human resources”. 
18 Laatikko 3 Esimerkkejä epätäsmällisistä indikaattoreista ja tavoitteista o Sopimuksella 1 tuetaan Jordanian koulutusuudistuksen toista vaihetta. Sopimuksen indikaattorissa 5 tavoitteena oli saada aikaan kuusi uutta koulua, joilla on riittävät resurssit/oppimisympäristöt ja riittävät henkilöresurssit ja jotka ovat toimintavalmiita.
The compliance with the term “adequate” and how this should be quantified for the calculation of the payment was not sufficiently specified in the Financing Agreement and therefore was open to different interpretations. 
Rahoitussopimuksessa ei yksilöity riittävän tarkasti, mitä tarkoitetaan ”riittävällä” ja miten riittävyys olisi arvioitava määrällisesti maksun laskentaa varten. Sopimusteksti oli siis tulkinnanvarainen.
As a consequence, the external expert analysing the target achievement for the Commission had to develop his own methodology to assess these criteria. 
Siksi ulkopuolisen asiantuntijan, joka analysoi tavoitteen saavuttamista komissiolle, oli kehitettävä kriteereiden arviointiin omat arviointiperusteensa.
This means that these criteria had not been set out in advance in the financing agreement, and had thus not been agreed with the partner country. o Indicator 2.1 of the contract on “Support to public finance policy reform” in Georgia (contract 8) reads as follows: ”The Ministry of Finance organises a series of public discussions on fiscal governance [...].“This indicator does not specify the number and character of meetings. 
Tämä tarkoittaa, että näitä perusteita ei ollut vahvistettu etukäteen rahoitussopimuksessa, eikä niistä siten ollut sovittu kumppanimaan kanssa. o Georgian kanssa tehdyn, julkisen talouden uudistuksen tukemista koskevan sopimuksen (sopimus 8) indikaattorissa 2.1 todetaan, että valtiovarainministeriö järjestää sarjan julkisia keskusteluja finanssipolitiikan ohjausjärjestelmästä. Indikaattorissa ei täsmennetä kokousten määrää ja luonnetta.
29 We have also found good examples of where the Commission had made efforts to measure progress for indicators which were not easy to analyse. 
29 Tilintarkastustuomioistuin havaitsi myös hyviä esimerkkejä, joissa komissio oli toteuttanut toimia edistymisen mittaamiseksi indikaattoreissa, joiden analysointi ei ollut helppoa.
In the case illustrated in Box 4, the Commission had led the way for the entire donor community in the area of education. 
Laatikossa 4 kuvatussa tapauksessa komissio näytti tietä koko avunantajayhteisölle koulutuksen alalla.
19 Box 4 Measuring the quality of education – a good example In the contract “Budget support to the Jordanian Ministry of Education to deal with the Syrian refugee crisis” the Commission used the indicator ”Quality education provided to Syrian pupils in single-and double-shift schools in host communities and camps comparable to Jordanian standards and advocated in the country”. 
Näitä indikaattoreita ei otettu huomioon tässä arviossa. 19 Laatikko 4 Koulutuksen laadun mittaaminen – hyvä esimerkki Jordanian opetusministeriölle myönnettiin budjettitukea Syyrian pakolaiskriisin käsittelyä varten.
This was an outcome indicator measuring the quality of education provided to Syrian students. 
Tällä tulosindikaattorilla mitattiin syyrialaisille oppilaille annetun koulutuksen laatua.
The value of the indicator was obtained through a survey carried out in a sample of schools. 
Indikaattorin arvo saatiin toteuttamalla kysely otokseen valituissa kouluissa.