natgillin/translations-raw huggingface dataset:
However, the BNAO identified that neither quantitative indicators for results, nor target values per year for activities related to Horizon 2020 are included in the action plans for the NDP. Neither were quantitative indicators per activity included in the action plan for the NSSR. 
BNAO tuvastas aga, et riikliku arengukava tegevuskavades ei sisaldu ei programmiga „Horisont 2020“ seotud tegevuste kvantitatiivseid tulemusnäitajaid ega aasta sihtväärtusi. Ka teadusuuringute riikliku strateegia tegevuskava ei sisaldanud kvantitatiivseid tegevuspõhiseid näitajaid.
The BNAO has also identified some issues regarding coordination and interaction between all the participants engaged in Horizon 2020 at the national level, and that improving the interaction between all the participants would stimulate Bulgaria’s participation in the programme. 
BNAO leidis ka probleeme seoses kõikide programmi „Horisont 2020“ osalejate omavahelise koordineerimisega riiklikul tasandil. Leiti, et kõikide osalejate vahelise suhtluse parandamine aitaks Bulgaarial mõjusamalt programmis osaleda.
Portugal (according to specific audit work by the Portuguese Tribunal de Contas during the first quarter of 2016) The main national strategic document in the area of research and innovation is the Research and Innovation Strategy for Smart Specialization (RISSS) that has a 2014-2020 timeframe, matching the Horizon 2020 timeframe and Europe 2020 end date. 
Portugal (vastavalt Portugali riikliku auditiasutuse (Tribunal de Contas) auditile, mis viidi läbi 2016. aasta esimeses kvartalis) Peamine riiklik teadusuuringute ja innovatsiooni valdkonna dokument on aruka spetsialiseerumise teadusuuringute ja innovatsioonistrateegia, mille kestus on 2014–2020. See vastab programmi „Horisont 2020“ ajakavale ja strateegia „Euroopa 2020“ lõpptähtajale.
One of its chapters includes links between Europe 2020 and the Portugal 2020 partnership agreement, signed between Portugal and the Commission, in the area of R&D and innovation, mobilizing funds from both cohesion policies and Horizon 2020. 
Üks dokumendi peatükkidest sisaldab seoseid strateegia „Euroopa 2020“ ja Portugali partnerluslepingu vahel, mis sõlmiti Portugali ja komisjoni vahel teadus-ja arendustegevuse ning innovatsiooni valdkonnas, ja mille rakendamisel kasutatakse nii ühtekuuluvuspoliitika kui programmi „Horisont 2020“ vahendeid.
THE COMMISSION’S REPLIES The Commission supports Bulgaria actively both via the ‘Stairway to Excellence’ pilot (see above) and the new ‘lagging regions’ initiative(1) in order to improve its innovation eco-system and participation in Horizon 2020 via the implementation and evolution of the Bulgarian smart specialisation strategy. 
KOMISJONI VASTUSED Komisjon toetab Bulgaariat aktiivselt nii tipptasemele tõusmise („Stairway to Excellence“) katseprojekti kui ka uue mahajäänud piirkondade(1) algatuse abil, et parandada riigi innovatsiooni-keskkonda ja osalust programmis „Horisont 2020“ Bulgaaria aruka spetsialiseerumise strateegia rakendamise ja arendamise kaudu.
The European Commission presented in October 2015 key policy recommendations to help modernise the research and innovation sectors in Bulgaria. 
Euroopa Komisjon esitles 2015. aasta oktoobris oma peamiseid poliitikasoovitusi Bulgaaria teadusuuringute ja innovatsiooni sektorite ajakohastamise toetuseks.
This was the first time that an EU Member State made voluntary use of the Horizon 2020 Policy Support Facility (PSF), a new instrument that gives governments practical support to identify, implement and evaluate those reforms needed to enhance the quality of their public research and innovation structures. 
See oli esimene kord, kui ELi liikmesriik kasutas vabatahtlikult uut programmi „Horisont 2020“ poliitika toetusvahendit, mis pakub valitsustele praktilist tuge, et teha kindlaks, rakendada ja hinnata reforme, mida on vaja selleks, et parandada nende riiklike teadusuuringute ja innovatsiooni struktuuride kvaliteeti.
(1) http://s3platform.jrc.ec.europa.eu/ris3-in-lagging-regions 
(1) http://s3platform.jrc.ec.europa.eu/ris3-in-lagging-regions.
EN C 375/92 Official Journal of the European Union 13.10.2016 THE COURT’S OBSERVATIONS The Portuguese Tribunal de Contas noted that the RISSS included two scenarios for the evolution of the indicator on the proportion of GDP invested in research and development: a ‘conservative’ one of 2 % achieved by 2020, and a ‘change’ one with 2,7 % by 2020. 
C 375/92 Euroopa Liidu Teataja 13.10.2016 ET KONTROLLIKOJA TÄHELEPANEKUD KOMISJONI VASTUSED Portugali kontrollikoda märkis, et aruka spetsialiseerumise teadusuuringute ja innovatsioonistrateegia sisaldab kahte stsenaariumit, töötamaks välja teadus-ja arendustegevusse investeeritud SKP osakaalu näitaja: konservatiivne, mille kohaselt saavutatakse 2020. aastaks 2 % SKPst, ning muutust toetav, mille eesmärk on 2,7 %.
It also found that, taking account of Europe 2020, Horizon 2020 indicators and the Innovation Union indicators, some issues are not tackled by the national strategy indicators, such as the researchers’ gender, the contribution that is sustainable development and climate change related, and the participation of SMEs. 
Ühtlasi leiti, et võttes arvesse strateegia „Euroopa 2020“, programmi „Horisont 2020“ ja „Innovatiivse liidu“ näitajaid, ei käsitleta mõningaid teemasid riiklikes strateegianäitajates, nagu teadusuuringutega tegelejate sugu, säästva arengu ja kliimamuutustega seotud mõju ning VKEde osalus.
The Tribunal de Contas also noted that there are similar indicators at national and European level, such as those dealing with scientific publications or innovative products or processes, that cannot be compared, for instance because different denominators are used. 
Portugali kontrollikoda märkis ka, et sarnased näitajad on olemas ka liikmesriigi ja Euroopa tasandil, nagu need, mis hõlmavad teaduslikke publikatsioone või innovatiivseid tooteid või protsesse. Neid näitajaid ei saa võrrelda, sest kasutatud on eri nimetajaid.
Section 3 — The mechanics of Horizon 2020 do not consistently drive a focus on performance 3.24. 
3. jagu. Programmi „Horisont 2020“ tegevusraamistikus ei keskenduta järjepidevalt tulemuslikkusele 3.24.
Measuring performance in the area of research is inherently difficult. 
Teadusuuringute valdkonnas on tulemuslikkuse mõõtmine keeruline.
The results and impacts of research by their nature are difficult to predict, generally rather long-term and often do not follow a linear path. 
Teadusuuringute tulemusi ja mõju on nende iseloomu tõttu keeruline ennustada, ning üldiselt on tulemusi näha alles pikas perspektiivis ja need ei ole sageli lineaarsed.
However, the EU still needs to obtain reliable information on scientific progress, productivity and quality for the research it finances, in order to measure scientific performance for good decision making. 
ELil on siiski vaja usaldusväärseid andmeid teadusvallas tehtud edusammudest ning rahastatud uuringute tootlikkusest ja kvaliteedist, et mõõta teadusalast tulemuslikkust ja teha selle põhjal häid otsuseid.
This need is recognised in the Horizon 2020 framework regulation which states that ‘effective performance management, including evaluation and monitoring, requires the development of specific performance indicators [...] which are relevant to the appropriate hierarchy of objectives and activities’ (22). 
Vajadusele osutatakse „Horisont 2020“ raammääruses, milles on öeldud, et „tõhusaks tulemusjuhtimi-seks, sh hindamiseks ja järelevalveks, on vaja välja töötada konkreetsed tulemusnäitajad, mis [...] vastaksid eesmärkide ja toimingute pingereale.“ (22).
Against this background, this section examines whether: (a) there is a focus on performance, including a clear and operational link to Europe 2020, in the grant management process of Horizon 2020; THE COMMISSION’S REPLIES (22) Preamble recital 46 of Regulation (EU) No 1291/2013. 
Eeltoodu taustal uuritakse käesolevas jaos, kas: a) programmi „Horisont 2020“ toetuste haldamise käigus pööratakse tulemuslikkusele piisavalt tähelepanu, ning kas on olemas selge ja toimiv seos strateegiaga „Euroopa 2020“; (22) Määruse (EL) nr 1291/2013 preambuli põhjendus 46.
The grant management processes are not fully designed to focus on performance 3.26. 
Toetuste haldamise protsessid ei ole täielikult kavandatud tulemuslikkust silmas pidades 3.26.
To assess whether the Horizon 2020 grant management processes included an appropriate focus on performance, particularly in its links to Europe 2020, we examined the design of the Horizon 2020 legal framework, the focus on performance at the level of work programme and calls and, for each of the five work programmes we sampled (23), one successful proposal by beneficiaries. The legal framework of Horizon 2020 introduces several important elements for performance management but there are some weaknesses in design, particularly as regards the use of performance indicators 3.27. 
Selleks, et hinnata, kas programmi „Horisont 2020“ toetuste haldamise protsessid on asjakohaselt tulemuslikkusele suunatud, eriti seoses strateegiaga „Euroopa 2020“, kontrollis kontrollikoda „Horisont 2020“ õigusraamistiku ülesehitust, tulemuslikkusele keskendumist tööprogrammi ja projektikonkursside tasandil, ning kõigi viie valimisse kuulunud tööprogrammi puhul (23) ka ühte edukat taotlust. „Horisont 2020“ õigusraamistikus on esitatud mitmed olulised tulemuslikkuse haldamise aspektid, kuid kavandamises on mõningaid puudusi, eelkõige seoses tulemusnäitajate kasutamisega 3.27.
The objectives and indicators agreed by the legislative authority for Horizon 2020 represent a real improvement on the previous framework programmes. 
Seadusandja heakskiidetud „Horisont 2020“ eesmärgid ja näitajad on eelmiste raamprogrammidega võrreldes suur samm paremuse poole.
As we have observed in the past, objectives defined in legislation may be at too general and high a level for operational use by management (24). 
Nagu kontrollikoda on varemgi märkinud, võivad õigusaktides määratletud eesmärgid olla liiga üldised ja kõrgetasemelised, et juhtkond neid operatiivselt kasutada saaks(24).
This is also the case for these high-level Horizon 2020 objectives — even those referred to as specific objectives in the regulation, most of which are not actually formulated as objectives but rather as challenges and/or areas. 
Sama kehtib ka programmi „Horisont 2020“ kõrgetasemeliste eesmärkide puhul – isegi nende puhul, mida määruses nimetatakse konkreetseteks eesmärkideks, mis ei ole tegelikult sõnastatud eesmärkide, vaid pigem probleemide ja/ või valdkondadena.
For example, for the priority ‘Societal challenges’ two specific objectives are: ‘health, demographic change and well-being’; and ‘secure clean and efficient energy’. 
Näiteks prioriteedi „ühiskondlikud väljakut-sed“ kaks konkreetset eesmärki on „tervishoid, demograafiline muutus ja heaolu“ ning „kindel, puhas ja tõhus energia“.
It did lead to an extensive debate with the legislative authority about the objectives of the programme, and the indicators to be monitored. 
Sellest sai alguse põhjalik arutelu seadusandliku asutusega programmi eesmärkide ja jälgitavate näitajate üle.
(23) ERC work programme 2014; Marie Sklodowska-Curie Actions 2014-2015 work programme; ICT 2014-2015 work programme; SMEs instrument 2014-2015 work programme; and Health, demographic change and well-being 2014-2015 work programme. 
(23) Euroopa Teadusnõukogu tööprogramm 2014; Marie Curie nimelise meetme tööprogramm (2014–2015); IKT tööprogramm (2014–2015); VKEde instrument (2014–2015); tervise, demograafiliste muutuste ja heaolu tööprogramm (2014–2015).
(24) 2014 annual report, paragraph 3.72. 
(24) 2014. aasta aastaaruande punkt 3.72.
As well as specifying the objectives of the programme, the Horizon 2020 legislation also includes three performance indicators for assessing progress against the general objective, set out in paragraph 3.10. 
Lisaks programmi eesmärkide määratlemisele sisaldab „Horisont 2020“ käsitlev õigusakt ka kolme tulemusnäitajat punktis 3.10 toodud eesmärgi saavutamisel tehtud edusammude mõõtmiseks.
At the next level down of the legal framework, the specific programme (25) introduces further elements important for performance management. 
Järgmine tasand pärast õigusakti on eriprogramm, (25) milles tutvustatakse edasisi tulemuslikkuse haldamise seisukohast olulisi elemente.
It lists 18 key indicators for assessing results and impacts of the specific objectives of the Horizon 2020 programme (26). 
Selles on loetletud 18 peamist näitajat programmi „Horisont 2020“ erieesmärkide (26) tulemuste ja mõjude hindamiseks.
In addition, the Commission has identified a further five key performance indicators (KPIs) giving 23 in all(27). 
Lisaks on komisjon määratlenud veel viis peamist tulemusnäitajat, seega on näitajaid kokku 23 (27).
The inclusion of performance indicators in the legislation is a positive step. 
Tulemusnäitajate lisamine õigusakti on positiivne samm.
However, we found a number of shortcomings with regard to the programme indicators, set out in the following paragraphs. 
Kontrollikoda leidis seoses programminäitajatega siiski mitmeid puudusi, mida on kirjeldatud järgmistes punktides.
Of these 23 key performance indicators, more than half measure input or output rather than results and impacts (see also Figure 3.4). 
Üle poole 23 peamisest tulemusnäitajast mõõdavad pigem sisendeid ja väljundeid kui tulemusi ja mõju (vt ka selgitus 3.4).
Furthermore there are ambiguities in the formulation of some indicators, which make their interpretation difficult without further clarification. 
Lisaks on mõne näitaja puhul sõnastus umbmäärane, mistõttu on neid ilma täiendava selgituseta keeruline tõlgendada.
Examples include the ‘Number of institutional change actions promoted by the programme’ or the ‘Number of occurrences of tangible specific impacts on European policies resulting from technical and scientific support provided by the Joint Research Centre’ (28). of the European Union THE COMMISSION’S REPLIES 13.10.2016 3.29. 
Näiteks „Programmi edendatud institutsiooniliste muudatusmeetmete arv“ või „Teadusuuringute Ühiskeskuse tehnilisest ja teaduslikust toetusest tulenenud ning Euroopa poliitikale tuntavalt mõjunud sündmuste arv“ (28). 3.29.
Ambiguities in formulation may always exist, especially in legislation, so there are often further clarifications. 
Sõnastuses, eriti õigusaktide puhul, võib alati ette tulla mitmeti mõistetavust, mistõttu tehakse sageli täiendavaid täpsustusi.
For example, the ‘Number of occurrences of tangible specific impacts on European policies resulting from technical and scientific support provided by the Joint Research Centre’ is further defined in an indicator fiche, which also includes a reference to the methodology for measuring the indicator. 
Näiteks Teadusuuringute Ühiskeskuse tehnilisest ja teaduslikust toetusest tulenenud ning Euroopa poliitikale tuntavalt mõjunud sündmuste arvu täpsustatakse näitajate toimikus, mis sisaldab ka viidet näitaja mõõtmise metoodikale.
(25) Decision 2013/743/EU. 
(25) Otsus 2013/743/EL.
(26) Annex II ‘Performance indicators’ of the Decision 2013/743/EU. 
(26) Otsuse 2013/743/EL II lisa „Tulemusnäitajad“.
(27) There are a further 51 indicators in a Commission booklet, ‘Horizon 2020 indicators’, published in 2015 (https://ec.europa. eu/programmes/horizon2020/en/news/horizon-2020-indica-tors-assessing-results-and-impact-horizon). 
(27) Veel 51 näitajat on toodud komisjoni brošüüris „Horisont 2020 näitajad“, mis avaldati 2015. aastal (https://ec.europa.eu/pro-grammes/horizon2020/en/news/horizon-2020-indicators-asses- sing-results-and-impact-horizon).
(28) There are also such examples amongst the indicators for monitoring Horizon 2020 cross-cutting issues, such as the percentage of third-country participants in Horizon 2020, for which the figure varies between 2 % and 5,9 %, depending on how ‘third countries’ are defined. 
(28) Selliseid näiteid esineb ka programmi „Horisont 2020“ mitut valdkonda hõlmavate teemade järelevalves kasutatavate näitajate puhul, nagu programmis osalevate kolmandate riikide osalejate protsent, mis on vahemikus 2–5,9% sõltuvalt sellest, kuidas „kolmandaid riike“ määratletakse.
For a third of the Horizon 2020 key performance indicators, the Commission did not set either baselines, milestones, or targets on the grounds that these indicators represent a ‘new approach’, and therefore no targets can be set before the first results are available, due at the beginning of 2018. 
Programmi „Horisont 2020“ tulemusnäitajatest kolmandiku puhul ei määranud komisjon ei algväärtusi, vahe-eesmärke ega eesmärke, põhjuseks asjaolu, et need näitajad esindavad uut lähenemisviisi ja seega ei saa seada eesmärke enne, kui on saavutatud esimesed tulemused (2018. aasta alguses).
Only five of the 23 Horizon 2020 key performance indicators have both a baseline and a target. 
Ainult viie puhul programmi „Horisont 2020“ 23 peamisest tulemusnäitajast on määratletud nii algväärtus kui eesmärk.
Where targets do exist, they are sometimes unambitious. 
Kui eesmärgid ka on olemas, on need mõnikord vähenõudlikud.
In some cases, targets are set below the level of results achieved under FP7. 
Mõnel juhul on eesmärgid seatud allapoole nende tulemuste taset, mis saavutati seitsmenda raamprogrammi kestel.
In addition, we found five Horizon 2020 indicators(29) in the 2015 programme statements where the target was below the baseline. 
Lisaks leidis kontrollikoda 2015. aasta programmi tegevusaruannetes viis programmi „Horisont 2020“ näitajat, (29) mille eesmärk oli algväärtusest madalam.
For several indicators, no meaningful data will be available before 2018/2019 for reporting. 
Mitme näitaja kohta ei ole aruandluseks vajalikku teavet saadaval enne 2018/2019. aastat.
For a quarter of the Horizon 2020 key performance indicators, the Commission considers that it is not meaningful to report results before 2019, because a critical mass of finished projects will not be reached before then. 
Neljandiku programmi „Horisont 2020“ peamiste tulemusnäitajate puhul on komisjon seisukohal, et tulemustest ei ole mõttekas anda aru enne aastat 2019, sest enne seda ei ole saavutatud lõpetatud projektide kriitilist massi.
While these indicators might be useful for the ex post evaluation of Horizon 2020, they are not suitable for interim evaluations or for annual monitoring purposes before 2018. 
Kuigi need näitajad võivad olla kasulikud programmi „Horisont 2020“ järelhindamisel, ei sobi need vahehindamiseks ega enne 2018. aastat toimuvaks iga-aastaseks seireks.
For example, for the number of researchers who have access to research infrastructures through union support has been reduced because ‘priority will be given to new emerging infrastructures and the targeting of new communities (starting communities) whose infrastructures are usually not able to provide as large an access as advanced communities’ (annual report of DG RTD, page 33). 
Näiteks on vähendatud nende teadlaste arvu, kes saavad tänu liidu toetusele juurdepääsu teadustaristule, kuna „eelistada tuleb uut tekkivat taristut ja suunatust uutele (alustavatele) kogukondadele, kelle taristu ei suuda tavaliselt pakkuda sama laialdast juurdepääsu kui arenenud kogukondade oma“ (teadusuuringute ja innovatsiooni peadirektoraadi aastaaruande lk 33).
In many areas targets are ambitious and increased from FP7 — for example SME involvement, climate change related expenditure, expenditure on renewable energy, time taken to sign grants, to give some examples. 
Paljudes valdkondades on eesmärgid nõudlikud ja seitsmenda raamprogrammi eesmärkidest suuremad – mõned näited on VKEde kaasamine, kliimamuutustega seotud kulud, taastuvenergia kulud ja toetuslepingute sõlmimiseks kulutatav aeg.
Compared to other funding areas, there can be a considerable time lag between the moment research funds are disbursed and the moment research produces outputs and the moment when these outputs produce results (during and after the project’s lifetime). 
Teiste rahastatavate valdkondadega võrreldes võivad teadusuuringute fondide puhul esineda olulised ajanihked väljamaksete tegemise, uuringuväljundite tekke ja neist väljunditest tulemuste saavutamise vahel (projekti vältel ja pärast seda).
For example, at the time of the ex post evaluation of FP7 published in January 2016 (hence, 2 years after the end of FP7), more than half of FP7 projects were still ongoing. 
Näiteks 2016. aasta jaanuaris avaldatud seitsmenda raamprogrammi järelhindamise ajal (seega kaks aastat pärast seitsmenda raamprogrammi lõppu) olid enam kui pooled raamprogrammi projektidest alles käimas.
For this reason, the Commission will continue reporting on FP7 results in a dedicated section of the monitoring reports of Horizon 2020. 
Seetõttu jätkab komisjon aruandlust seitsmenda raamprogrammi tulemustest programmi „Horisont 2020“ seirearuannetele pühendatud osas.
Moreover, the interim evaluation of Horizon 2020 will include an assessment of the longer term impacts of previous framework programmes. 
Lisaks sellele lisatakse programmi „Horisont 2020“ vahehindamisele eelmiste raamprogrammide pikaajaliste mõjude hinnang.
This approach will continue over time mitigating this problem. 
Sellise lähenemisviisiga jätkatakse, leevendades aja jooksul kõnealust probleemi.
(29) Number of researchers who have access to research infrastructures through Union support; publications in peer-reviewed high impact journals in the area of health and wellbeing; publications in peer-reviewed high impact journals in the area of food security; publications in peer-reviewed high impact journals in the area of climate action, resource efficiency and raw materials; number of occurrences of tangible specific impacts on European policies resulting from technical and scientific support provided by the Joint Research Centre. 
(29) Teadlaste arv, kellel on liidu toel juurdepääs teadustöö infra-struktuurile; publikatsioonide arv eksperdihinnangu saanud mõjukates ajakirjades tervishoiu ja heaolu teemadel; publikatsioonide arv eksperdihinnangu saanud mõjukates ajakirjades toiduga kindlustatuse teemadel; publikatsioonide arv eksperdihinnangu saanud mõjukates ajakirjades kliimameetmete, ressursitõhususe ja toorainete teemal; Teadusuuringute Ühiskeskuse tehnilisest ja teaduslikust toetusest tulenenud ning Euroopa poliitikale tuntavalt mõjunud sündmuste arv.
A practical example of the problems caused by the poor use of indicators is provided in our special report on the EIT. 
Praktiline näide näitajate kehvast kasutamisest on esitatud kontrollikoja eriaruandes Euroopa Innovatsiooni-ja Tehnoloogiainstituudi kohta.
We noted that the organisation’s core indicators continued to focus on input or output rather than results or impacts, and concluded that it was difficult to assess the performance of the EIT since it started operations in 2010. 
Kontrollikoda märkis, et organisatsiooni põhinäitajad keskendusid jätkuvalt sisenditele ja väljunditele, mitte tulemustele ja mõjudele, ning järeldas, et 2010. aastal tegevust alustanud EIT tulemuslikkust on keeruline hinnata.
There was a lack of robust and relevant reporting and monitoring processes and few impacts were visible (30). 
Puudusid usaldusväärsed ja asjakohased aruandlus-ja järelevalveprotsessid, ning nähtavat mõju on vähe (30).
There is insufficient focus on performance at the level of work programmes and calls 3.33. 
Tööprogrammide ja projektikonkursside kõikidel tasanditel on tulemuslikkusele keskendumine puudulik 3.33.
The work programmes and associated calls are a key driver in the way that Horizon 2020 operates. 
Tööprogrammid ja nendega seotud projektikonkursid on olulised tegurid programmi „Horisont 2020“ toimimisel.
They provide an opportunity for the Commission to translate the high-level general and specific objectives of Horizon 2020 into lower level objectives useful for operational performance management purposes. 
Need annavad komisjonile võimaluse teisendada „Horisont 2020“ kõrgetasemelised üld-ja erieesmärgid madalama taseme eesmärkideks, mis on kasulikud operatiivse tulemuslikkuse haldamise seisukohast.