natgillin/translations-raw huggingface dataset:
This con‐ tributed to the incomplete execution of the indicative multiannual evalua‐ tion programme for the 2007–13 per‐ iod; only 70 % of the selected evalu‐ ations were completed. 
Detta bidrog till att det vägledande fleråriga utvärderingsprogrammet för 2007– 2013 inte var helt genomfört; endast 70 % av de utvalda utvärderingarna var klara.
According to EuropeAid, this was particularly due to staff resource constraints in the Evalu‐ ation unit. 
Enligt EuropeAid berodde detta delvis på bristande personalresurser vid utvärderingsenheten.
20 Article 17 of Regulation (EU) No 236/2014 of the European Parliament and of the Council of 11 March 2014 laying down common rules and procedures for the implementation of the Union’s instruments for financing external action (OJ L 77, 15.3.2014, p. 
20 Artikel 17 i Europaparlamentets och rådets förordning (EU) nr 236/2014 av den 11 mars 2014 om fastställande av gemensamma bestämmelser och förfaranden för genomförandet av unionens instrument för finansiering av yttre åtgärder (EUT L 77, 15.3.2014, s.
21 Key policy priorities are: • Human rights, democracy, governance (including rule of law, gender equality and the empowerment of women, public sector management, tax policy and administration, corruption, civil society and local authorities, natural resources, development‐security); • Inclusive and sustainable growth (social protection, health, education and jobs, business environment, regional integration and world markets, sustainable agriculture and energy). 
21 De centrala politiska prioriteringarna är: · Mänskliga rättigheter, demokrati och god styrning (bl.a. rättsstatsprincipen, jämställdhet och kvinnors egenmakt, den offentliga sektorns förvaltning, skattepolitik och skatteförvaltning, korruption, det civila samhället och lokala myndigheter, naturresurser samt utveckling och säkerhet), · Hållbar tillväxt för alla (socialt skydd, hälsa, utbildning och arbetstillfällen, företagsmiljö, regional integration och världsmarknaderna samt hållbart jordbruk och hållbar energi).
22 Country evaluations took on average 18 months instead of the planned 12 months. 
22 Landsutvärderingar tog i genomsnitt 18 månader i stället för som planerat tolv.
Observations 15 29 Even though programme evaluations are usually carried out according to their timetable, the Court’s survey found that, in the period 2010–13, there was a significant difference between the evaluations planned and carried out23. 
Iakttagelser 15 29 Även om programutvärderingarna oftast görs enligt tidtabell visade vår enkät att det under perioden 2010–2013 var stor skillnad mellan planerade och gjorda utvärderingar23.
The provisions set out in the financing agreements were not systematically applied during programme implementation as evalu‐ ations were sometimes postponed or cancelled. 
Bestämmelserna i finansieringsöverenskommelserna tillämpades inte alltid systematiskt under programmets genomförande, utan utvärderingar sköts ibland upp eller ställdes in.
The Court’s survey indi‐ cates that EU delegations take such decisions on the basis of factors like limited staff resources24, the needs of evaluation users and problematic pro‐ gramme implementation. 
Enkätsvaren tyder på att EU-delegationerna fattar dessa beslut på grundval av faktorer som begränsade personalresurser24, behoven hos dem som använder utvärderingarna och problem med programgenomförandet.
The reasons for not carrying out planned evalu‐ ations were not documented. This increases the risk that decisions not to carry out an evaluation are not taken for sound reasons, or at the appropri‐ ate level. 
Skälen till att man inte gjorde planerade utvärderingar dokumenterades inte, vilket ökar risken för att besluten att inte utvärdera inte fattas på goda grunder eller lämplig nivå.
The ROM selection methodology reduces the usefulness of ROM 30 The selection of ROM reviews is based on clearly defined standard criteria25 and is made in consultation between the ROM contractors and programme managers. 
Urvalsmetoden vid resultatinriktad övervakning minskar övervakningens användbarhet 30 Urvalet av resultatinriktade övervakningar bygger på tydligt definierade standardkriterier25 och beslutas i samråd mellan utförarna av resultatinriktad övervakning och programför-valtarna.
ROM reviews are usually carried out according to plan and reports are usually delivered without significant delays. 
De resultatinriktade övervakningarna utförs oftast som planerat, och rapporterna levereras vanligen utan stora förseningar.
31 However, in its Special Report No 1/201126 the Court pointed to key limitations which reduce the useful‐ ness of ROM as an indicator for the overall aid portfolio, notably that the sample of projects selected is not established on a statistical but rather on a judgemental basis. 
31 Revisionsrätten pekade dock i särskild rapport nr 1/201126 på viktiga begränsningar av hur användbart systemet med resultatinriktad övervakning är som indikator för de sammanlagda biståndsinsatserna, bl.a. att de projekt som väljs ut inte väljs ut på en statistisk grund utan på grundval av en subjektiv bedömning.
In 2011, EuropeAid’s Internal Audit Capabil‐ ity also found that, as the selection is not risk‐based, ROM reviews do not provide the feedback to programme managers where it is most needed to improve programme implementation. 
Även EuropeAids internrevisionsfunktion konstaterade 2011 att eftersom urvalet inte är riskbaserat ger de resultatinriktade övervakningarna inte programförvaltarna återkoppling där den behövs bäst för att förbättra programmets genomförande.
The procedures to ensure the quality of programme evaluations and ROMs are implemented inconsistently Contracting procedures ensure the recruitment of sufficiently qualified experts 32 Evaluations are carried out by external consultants contracted by EuropeAid through public procurement proce‐ dures. 
Förfarandena för att kvalitetssäkra programutvärderingar och resultatinriktade övervakningar tillämpas inte konsekvent Förfarandena för kontraktstilldelning garanterar att tillräckligt kvalificerade experter rekryteras 32 Utvärderingar utförs av externa konsulter som EuropeAid har ingått kontrakt med efter offentliga upphandlingsförfaranden.
Team leaders and senior experts usually have 10 to 15 years of professional experience in the field of intervention, plus 5 years of experience in evaluation for team leaders. 
Grupp-ledare och erfarna experter har oftast tio till femton års yrkeserfarenhet på insatsområdet, plus fem års erfarenhet av utvärdering som gruppledare.
23 On average, 3,5 annual evaluations were planned by EU delegations, and 2,9 evaluations were performed. 
23 EU-delegationerna hade planerat i genomsnitt 3,5 utvärderingar per år och gjorde 2,9 utvärderingar.
24 Mentioned as the main reason for not carrying out a planned evaluation. 
24 Anges som främsta orsak till att en planerad utvärdering inte genomförs.
25 The main reasons for departing from the standard criteria are: (i) to avoid unnecessary monitoring of well‐managed programmes or programmes evaluated recently; (ii) to cover problematic programmes which fall below the financial threshold; and (iii) to strengthen monitoring efforts on programmes with insufficient internal monitoring. 
25 De främsta skälen till att man avviker från standardkriterierna är att i) undvika onödig tillsyn över program som förvaltas väl eller nyligen har utvärderats, ii) få med program som har problem men ligger under det ekonomiska gränsvärdet, iii) stärka tillsynen över program som saknar tillräcklig intern övervakning.
26 Special Report No 1/2011 ‘Has the devolution of the Commission’s management of external assistance from its headquarters to its delegations led to improved aid delivery’, paragraph 25 (http://eca.europa.eu). 
26 Punkt 25 i särskild rapport nr 1/2011 Har delegeringen av kommissionens förvaltning av externt bistånd från huvudkontoret till delegationerna lett till ett bättre bistånd? (http:// eca.europa.eu).
27 Terms of reference or technical specifications. 
27 Kravspecifikationer eller tekniska specifikationer.
Observations 16 33 ROM reviews are also carried out by external consultancy firms (ROM con‐ tractors) selected through public pro‐ curement procedures28. 
Iakttagelser 16 33 Även resultatinriktade övervakningar utförs av externa konsultfirmor (utfö-rare av resultatinriktad övervakning) som väljs ut genom förfaranden för offentlig upphandling28.
The required experience of development coopera‐ tion in the given region is 10 years for senior experts, 5 to 10 years for mid‐level experts and up to 5 years for junior experts. 
En erfaren expert ska ha tio års erfarenhet av utvecklingssamarbete i den aktuella regionen, en expert med viss erfarenhet fem till tio års erfarenhet och en expert på lägre nivå upp till fem års erfarenhet.
For contracts to be signed in 2014, EuropeAid required ROM contractors to hire specialised experts on long‐term assignments in order to further enhance the level of expertise. 
För de kontrakt som skulle undertecknas 2014 krävde EuropeAid att utförarna av resultatinriktad övervakning anställde experter på långtidskontrakt för att ytterligare höja kompetensnivån.
Quality control procedures for programme evaluations and ROMs are not systematically applied 34 The Commission’s evaluations stand‐ ards stipulate that, save in duly justi‐ fied cases, a reference group29 must be set up for each evaluation to advise on the terms of reference, support the evaluation work and take part in assessing the quality of the evaluation with appropriate regularity. 
Kvalitetskontrollförfarandena för programutvärderingar och resultatinriktade övervakningar tillämpas inte systematiskt 34 Enligt kommissionens utvärderings-standarder ska, förutom i vederbörligen motiverade fall, en referens-grupp29 inrättas för varje utvärdering och ge råd om kravspecifikationer, stödja utvärderingsarbetet och med lämpliga intervall delta i bedömningen av utvärderingens kvalitet.
Europe‐ Aid’s evaluation guidelines stress that quality assurance at each step of the process is a key task of the evaluation manager, together with the reference group, which should include repre‐ sentatives of the main stakeholders concerned30. 
I EuropeAids riktlinjer för utvärdering betonas att kvalitetssäkring av varje steg i processen är en viktig uppgift för utvär-deringsförvaltaren tillsammans med referensgruppen där företrädare för de största intressenterna ska ingå30.
35 Reference groups are systematically set up for strategic evaluations. 
35 Referensgrupper inrättas systematiskt för strategiska utvärderingar.
They meet on a regular basis and their work, including quality review at all stages, is documented in meeting minutes. 
De träffas regelbundet och deras arbete, bl.a. kvalitetskontroll av alla steg, dokumenteras i sammanträdesprotokoll.
36 This was not the case for programme evaluations. 
36 Detta gällde inte programutvärderingar.
According to the Court’s survey, only 39 % of EU delegations set up a reference group always or most of the time31, and a reference group was rarely formally set up by EuropeAid’s operational units and EU delegations visited by the Court. 
Enligt revisionsrättens enkät inrättade endast 39 % av EU-delegationerna alltid eller oftast en referensgrupp31, och det var ovanligt att de operativa enheter vid EuropeAid och de EU-delegationer som vi besökte formellt hade inrättat en referensgrupp.
Some consultations may take place between the programme manager and other stakeholders at various stages of the evaluation process (e.g. for drafting the terms of reference or reviewing the draft evaluation report). 
Vissa kontakter kanske tas mellan programförvaltaren och andra intressenter i olika steg av utvärderingsprocessen (t.ex. för att utforma kravspecifikationer eller gå igenom förslaget till utvärderingsrapport).
However, in the absence of appropriate documen‐ tation, it was not possible for the Court to assess if this was frequent practice. 
Men eftersom det saknades lämplig dokumentation var det omöjligt för revisionsrätten att bedöma om detta var vanligt.
37 EuropeAid’s evaluation guidelines provide that the quality of the draft and final evaluation reports must be assessed on the basis of nine well‐de‐ fined criteria32. 
37 Enligt EuropeAids riktlinjer för utvärdering ska kvaliteten på förslaget till utvärderingsrapport och den slutliga utvärderingsrapporten bedömas i förhållande till nio väl definierade kriterier32.
For this purpose, a quality grid must be filled by two persons who discuss the nine criteria. 
För detta används en kvalitetsmatris som ska fyllas i av två personer som diskuterar de nio kriterierna.
For strategic evaluations, the qual‐ ity grid was filled systematically and published together with the evalu‐ ation report on EuropeAid’s website33. 
Vid strategiska utvärderingar fylldes kvalitetsmatrisen systematiskt i och offentliggjordes tillsammans med utvärderingsrapporten på EuropeAids webbplats33.
For programme evaluations, according to the Court’s survey, only 71 % of EU delegations assess the quality of the evaluation report and only 37 % fill the assessment grid34. 
För programutvärderingar visade vår enkät att endast 71 % av EU-delegationerna bedömer utvärderingsrapportens kvalitet och att endast 37 % fyller i bedömningsmatrisen34.
28 There are five ROM contractors in total: one per region for geographical programmes (Africa — Caribbean — Pacific; Asia; Latin America; Neighbourhood) and one for the thematic programmes. 
28 Det finns totalt fem utförare av resultatinriktad övervakning: en per region för geografiska program (Afrika – Västindien – Stillahavsområdet, Asien, Latinamerika och Grannskap) och en för tematiska program.
29 Also referred to as ‘steering group’ in the Commission. 
29 Kallas även styrgrupp vid kommissionen.
30 Depending on the type and place of the evaluation, the reference groups may include representatives from EuropeAid, the EEAS, other Commission’s departments, partner country’s authorities, the civil society organisations, other donor agencies, or other experts. 
30 Beroende på typen av utvärdering och var den äger rum kan referensgruppen innehålla företrädare för EuropeAid, Europeiska utrikestjänsten, andra kommissionsavdelningar, myndigheter i partnerländerna, organisationer i det civila samhället, andra givarorganisationer eller andra experter.
31 No formal reference groups were created in the delegations and operational units visited during the audit except in the case of programme evaluations similar to strategic evaluations. 
31 Inga formella referensgrupper hade inrättats vid de delegationer och operativa enheter som besöktes under revisionen utom för programutvärderingar som liknade strategiska utvärderingar.
32 The nine criteria are: (1) Meeting needs; (2) Relevant scope; (3) Defensible design; (4) Reliable data; (5) Sound analysis; (6) Credible findings; (7) Valid conclusions; (8) Useful recommendations; (9) Clear report. 
32 De nio kriterierna är: 1) uppfyller behoven, 2) relevant omfattning, 3) motiverad utformning, 4) tillförlitliga uppgifter, 5) välgrundad analys, 6) trovärdiga iakttagelser, 7) giltiga slutsatser, 8) användbara rekommendationer, och 9) tydlig rapport.
For programme evaluations, criteria 2 and 3 are combined into one: Appropriate design. 
Vid programutvärderingar slås kriterium 2 och 3 ihop till ett: lämplig utformning.
Each criteria is rated by five levels: excellent, very good, good, poor and unacceptable. (http://ec.europa.eu/ europeaid/evaluation/ methodology/guidelines/ gui_qal_flr_en.htm#03). 
Varje kriterium betygssätts enligt fem nivåer: utmärkt, mycket bra, bra, dålig och oacceptabel http://ec.europa.eu/ europeaid/evaluation/ methodology/guidelines/ gui_qal_flr_en.htm#03).
33 http://ec.europa.eu/ europeaid/evaluation‐ reports_en 34 This grid was filled in for only one out of the ten programme evaluations reviewed by the Court, the African Peace Facility evaluation. 
33 http://ec.europa.eu/ europeaid/ evaluation-reports_en 34 Matrisen hade endast fyllts i för en av de tio programutvärderingar som revisionsrätten granskade – utvärderingen av den fredsbevarande resursen för Afrika.
Observations 17 38 Programme managers are required to assess the quality of ROM reports by filling a compulsory response sheet. 
Iakttagelser 17 38 Programförvaltarna ska bedöma kvaliteten på rapporterna om resultatinriktad övervakning genom att fylla i ett obligatoriskt svarsformulär.
This was done for less than 60 % of ROM reports delivered over the period from 2011 to 2013. 
Detta gjordes för mindre än 60 % av de rapporter om resultatinriktad övervakning som levererades mellan 2011 och 2013.
The evaluation and ROM systems do not provide adequate information on results achieved Programme objectives and indicators are not well defined 39 To enable an evidence‐based assess‐ ment of achievements to be carried out, there must be specific, measur‐ able and time‐bound objectives for programmes with objectively verifi‐ able indicators. 
Systemen för utvärdering och resultatinriktad övervakning ger inte adekvat information om vilka resultat som uppnås Programmens mål och indikatorer är inte väl definierade 39 För att det ska gå att göra en bevisbaserad bedömning av vad som uppnåtts måste programmen ha specifika, mätbara och tidsbundna mål med objektivt kontrollerbara indikatorer.
The objectives men‐ tioned in high level policy documents and legal texts establishing the financ‐ ing instruments are prepared in a po‐ litical context and, while they should provide a basis, are often not focused enough to be useful at implementing level. 
Målen i policydokument på hög nivå och i rättsliga texter om inrättande av finansieringsinstrument formuleras i en politisk kontext och ska ange en grund, men de är ofta inte tillräckligt tydliga för att kunna användas vid genomförandet.
They need to be translated into more specific operational objectives when programming aid for a country, region or sector, and designing indi‐ vidual interventions. 
De måste översättas till mer specifika operativa mål när bistånd till ett land, en region eller en sektor programplaneras eller enskilda insatser utformas.
40 Out of the 15 thematic, regional and country‐level programming docu‐ ments reviewed by the Court (see Annex II), five35 contained clearly described objectives and indicators, but set no baselines or targets against which to assess performance. 
40 Av de 15 tematiska programdokument på regional nivå och landsnivå som revisionsrätten granskade (se bilaga II) hade fem35 tydligt beskrivna mål och indikatorer, men det angavs inga utgångslägen eller mål för bedömningen av prestationer.
For the other 10, objectives were unclear and indicators often lacking (see Box 1). 
De övriga tio hade oklara mål och saknade ofta indikatorer (se ruta 1).
41 Concerning individual programmes, several Court’s reports36 have high‐ lighted that objectives are insuffi‐ ciently clear and that no measurable indicators are defined. 
41 När det gäller enskilda program har revisionsrätten i flera rapporter36 betonat att målen inte är tillräckligt tydliga och att inga mätbara indikatorer har fastställts.
Out of the 10 programme evaluation reports re‐ viewed by the Court, four mentioned unclear objectives and indicators, as well as the absence of baselines and unavailability of monitoring data, as major weaknesses37 (see Box 2). 
I fyra av de tio programutvär-deringsrapporter som revisionsrätten granskade nämndes otydliga mål och indikatorer och avsaknad av utgångslägen och övervakningsuppgifter som stora brister37 (se ruta 2).
Only two evaluations made positive com‐ ments in this respect38. 
Bara två utvärderingar hade positiva kommentarer i detta avseende38.
42 In the absence of clearly defined objectives and indicators, it is not possible for an evaluation to establish evidence‐based performance assess‐ ments. 
42 När det saknas tydligt definierade mål och indikatorer går det inte att vid en utvärdering göra bevisbaserade bedömningar av prestationer.
This issue was also mentioned in a 2011 study commissioned by EuropeAid39. 
Detta problem nämndes också i en studie från 2011 som EuropeAid hade beställt39.
35 Food Security, Benin, Chad, Uruguay and Zambia. 
35 Livsmedelstrygghet, Benin, Tchad, Uruguay och Zambia.
36 E.g. Special Report No 1/2012 ‘Effectiveness of European Union development aid for food security in sub‐Saharan Africa’, paragraph 51 and Special Report No 13/2013 ‘EU Development Assistance to Central Asia’, paragraph 52. (http://eca.europa.eu). 
36 T.ex. punkt 51 i särskild rapport nr 1/2012, Ändamålsenligheten i Europeiska unionens utvecklingsbistånd till en tryggad livsmedelsförsörjning i Afrika söder om Sahara och punkt 52 i särskild rapport nr 13/2013, EU:s utvecklingsbistånd till Centralasien. (http:// eca.europa.eu).
37 Similar comments were made by two ROM contractors, one responsible for the ROM, for the European Neighbourhood Partnership Instrument and the other responsible for the ROM for the Centrally Managed Thematic Programmes, in their annual reports 2011, 2012 and 2013. 
37 Liknande kommentarer lämnades av två utförare av resultatinriktad övervakning, en med ansvar för resultatinriktad övervakning av det europeiska grannskaps-och partnerskapsinstrumentet och en med ansvar för resultatinriktad övervakning av tematiska program med central förvaltning, i deras årsrapporter för 2011, 2012 och 2013.
38 Benin: PACTE — programme d’appui aux collectivités territoriales ; Food Facility programmes implemented with the African Union — Interafrican Bureau for Animal Resources (AU‐IBAR): Livestock Emergency Intervention to mitigate Food Crisis in Somalia (LEISOM) and Vaccines for the Control of Neglected Animal Diseases in Africa (VACNADA). 
38 Benin: Pacte – programme d’appui aux collectivités territoriales (program för stöd till lokala och regionala samhällsorgan), program inom livsmedelsmekanismen som genomförs med Afrikanska unionen – Interafrican Bureau for Animal Resources, AU-IBAR (inter-afrikanska byrån för djur-resurser): Livestock Emergency Intervention to mitigate Food Crisis in Somalia, Leisom (krisinsats för djurbesättningar för att lindra livsmedelskrisen i Somalia) och Vaccines for the Control of Neglected Animal Diseases in Africa, Vacnada (vaccin för att kontrollera försummade djursjukdomar i Afrika).
39 Study on Legal Instruments and Lessons Learned from the Evaluations Managed by the Joint Evaluation Unit, July 2011, paragraph 26, p. ix (it does not cover the EDF). http://ec.europa.eu/ europeaid/ evaluation‐reports_en, under the section ‘per instrument / channel’. 
39 Se punkt 26, s. ix i Study on Legal Instruments and Lessons Learned from the Evaluations Managed by the Joint Evaluation Unit (studie om rättsliga instrument och erfarenheter från utvärderingar som förvaltats av enheten för gemensamma utvärderingar), juli 2011 (omfattar inte EUF). http:// ec.europa.eu/europeaid/ evaluation-reports_en, under ”per instrument / channel”
CSP/NIP Bolivia 2007–13 ‘Strengthening the productive sector comprising micro‐enterprises and SMEs, and improving the institutions framework in order to increase their productivity and competitiveness, which will lead to better market access and integration with the purpose of creating decent and sustainable work.’ 
CSP/NIP Bolivia 2007–2013 Stärka den produktiva sektor som utgörs av mikroföretag och små och medelstora företag och förbättra den institutionella ramen för att höja deras produktivitet och konkurrensförmåga, vilket kommer att leda till bättre marknadstillträde och integration i syfte att skapa anständiga och hållbara arbetstillfällen.
Examples of vague objectives in programmes EuroMed Migration II 2008–11 ‘Strengthen cooperation in the management or migration so as to build the MEDA partners’ capacities to pro‐ vide an effective, targeted and comprehensive solution for the various forms of migration.’ 
Exempel på vaga mål i program EuroMed Migration II 2008–2011 Stärka samarbetet i fråga om förvaltning eller migration för att bygga upp Medapartnernas kapacitet att leverera och ändamålsenliga, målinriktade och heltäckande lösningar för de olika formerna av migration.