natgillin/translations-raw huggingface dataset:
The BNAO has also identified some issues regarding coordination and interaction between all the participants engaged in Horizon 2020 at the national level, and that improving the interaction between all the participants would stimulate Bulgaria’s participation in the programme. 
BNAO har även identifierat vissa problem när det gäller samordningen och samverkan mellan alla dem som deltar i Horisont 2020 på nationell nivå, och konstaterar att bättre samverkan mellan deltagarna skulle stimulera Bulgariens deltagande i programmet.
Portugal (according to specific audit work by the Portuguese Tribunal de Contas during the first quarter of 2016) The main national strategic document in the area of research and innovation is the Research and Innovation Strategy for Smart Specialization (RISSS) that has a 2014-2020 timeframe, matching the Horizon 2020 timeframe and Europe 2020 end date. 
Portugal (enligt det specifika granskningsarbete som utfördes av Portugals högre revisionsorgan under det första kvartalet 2016) Det viktigaste nationella strategidokumentet för området forskning och innovation är forsknings-och innovations-strategin för smart specialisering (RISSS) som gäller för 2014–2020, vilket överensstämmer med tidsramen för Horisont 2020 och slutdatumet för Europa 2020.
One of its chapters includes links between Europe 2020 and the Portugal 2020 partnership agreement, signed between Portugal and the Commission, in the area of R&D and innovation, mobilizing funds from both cohesion policies and Horizon 2020. 
I ett av kapitlen görs kopplingar mellan Europa 2020 och Portugals partnerskapsavtal 2020, som ingåtts mellan Portugal och kommissionen på området FoU och innovation om medel från både sammanhållningspolitiken och Horisont 2020.
THE COMMISSION’S REPLIES The Commission supports Bulgaria actively both via the ‘Stairway to Excellence’ pilot (see above) and the new ‘lagging regions’ initiative(1) in order to improve its innovation eco-system and participation in Horizon 2020 via the implementation and evolution of the Bulgarian smart specialisation strategy. 
KOMMISSIONENS SVAR Kommissionen stöder Bulgarien aktivt dels genom pilotprojektet ”spetsforskningsstegen” (se ovan) och dels genom det nya initiativet om ”regioner med eftersläpning”(1), i syfte att förbättra dess ekosystem för innovation och medverkan i Horisont 2020 via genomförande och utveckling av Bulgariens strategi för smart specialisering.
The European Commission presented in October 2015 key policy recommendations to help modernise the research and innovation sectors in Bulgaria. 
I oktober 2015 presenterade Europeiska kommissionen viktiga politiska rekommendationer som kan bidra till att modernisera forsknings-och innovationsverksamheten i Bulgarien.
This was the first time that an EU Member State made voluntary use of the Horizon 2020 Policy Support Facility (PSF), a new instrument that gives governments practical support to identify, implement and evaluate those reforms needed to enhance the quality of their public research and innovation structures. 
Detta var första gången en medlemsstat i EU valde att använda enheten för politiskt stöd inom Horisont 2020, ett nytt instrument som ger länderna praktisk hjälp med att identifiera, genomföra och utvärdera de reformer som krävs för att höja kvaliteten hos deras offentliga strukturer för forskning och innovation.
EN C 375/92 Official Journal of the European Union 13.10.2016 THE COURT’S OBSERVATIONS The Portuguese Tribunal de Contas noted that the RISSS included two scenarios for the evolution of the indicator on the proportion of GDP invested in research and development: a ‘conservative’ one of 2 % achieved by 2020, and a ‘change’ one with 2,7 % by 2020. 
SV C 375/92 Europeiska unionens officiella tidning REVISIONSRÄTTENS IAKTTAGELSER Portugals högre revisionsorgan (Tribunal de Contas) noterade att RISSS hade två scenarier för utvecklingen av indikatorn för andelen BNP som investeras i forskning och utveckling: ett försiktigt scenario på 2 % till 2020 och ett förändrings-scenario på 2,7 % till 2020.
It also found that, taking account of Europe 2020, Horizon 2020 indicators and the Innovation Union indicators, some issues are not tackled by the national strategy indicators, such as the researchers’ gender, the contribution that is sustainable development and climate change related, and the participation of SMEs. 
En jämförelse mellan Europa 2020 och indikatorerna för Horisont 2020 och Innovationsunionen visade också att några aspekter inte täcks av indikatorerna för den nationella strategin, till exempel om forskarna är kvinnor eller män, om bidraget är kopplat till hållbar utveckling och klimatförändring samt i vilken utsträckning små och medelstora företag deltar.
The Tribunal de Contas also noted that there are similar indicators at national and European level, such as those dealing with scientific publications or innovative products or processes, that cannot be compared, for instance because different denominators are used. 
Tribunal de Contas konstaterade också att det finns liknande indikatorer på nationell och europeisk nivå, till exempel de som handlar om vetenskapliga publikationer eller innovativa produkter och processer, som inte kan jämföras eftersom man använder olika nämnare.
Section 3 — The mechanics of Horizon 2020 do not consistently drive a focus on performance 3.24. 
Avsnitt 3 – Mekanismerna i Horisont 2020 driver inte alltid fram ett fokus på resultat 3.24.
The results and impacts of research by their nature are difficult to predict, generally rather long-term and often do not follow a linear path. 
Resultat och effekter av forskning är till sin natur svåra att förutsäga, i allmänhet relativt långsiktiga och utvecklas ofta inte linjärt.
However, the EU still needs to obtain reliable information on scientific progress, productivity and quality for the research it finances, in order to measure scientific performance for good decision making. 
Men EU måste få tillförlitlig information om vetenskapliga framsteg och vetenskaplig produktivitet och kvalitet för forskningen som finansieras för att kunna mäta vetenskapliga resultat och fatta rätt beslut.
This need is recognised in the Horizon 2020 framework regulation which states that ‘effective performance management, including evaluation and monitoring, requires the development of specific performance indicators [...] which are relevant to the appropriate hierarchy of objectives and activities’ (22). 
Behovet formuleras i ramförordningen för Horisont 2020 där följande anges: ”För en effektiv resultatorienterad förvaltning, inklusive utvärdering och övervakning, krävs utveckling av specifika resultatindikatorer [...] som är relevanta för en lämplig rangordning av mål och verksamheter” (22).
Against this background, this section examines whether: (a) there is a focus on performance, including a clear and operational link to Europe 2020, in the grant management process of Horizon 2020; THE COMMISSION’S REPLIES (22) Preamble recital 46 of Regulation (EU) No 1291/2013. 
Mot denna bakgrund granskar vi i detta avsnitt om a) processen för förvaltning av bidrag från Horisont 2020 är resultatinriktad och har en tydlig och operativ koppling till Europa 2020, 13.10.2016 KOMMISSIONENS SVAR (22) Skäl 46 i ingressen till förordning (EU) nr 1291/2013.
EN 13.10.2016 Official Journal THE COURT’S OBSERVATIONS (b) the design of the monitoring and reporting system of Horizon 2020 enables the Commission to monitor and report on performance; and (c) important basic concepts of performance monitoring and reporting are used in a consistent and correct manner by the Commission. 
SV 13.10.2016 Europeiska unionens officiella tidning C 375/93 REVISIONSRÄTTENS IAKTTAGELSER b) utformningen av övervaknings-och rapporteringssystemet för Horisont 2020 ger kommissionen möjlighet att övervaka och rapportera om resultat, c) kommissionen använder viktiga grundläggande begrepp för övervakning och rapportering av resultat på ett konsekvent och korrekt sätt.
The grant management processes are not fully designed to focus on performance 3.26. 
Processerna för förvaltning av bidrag är inte helt utformade för att vara resultatinriktade 3.26.
To assess whether the Horizon 2020 grant management processes included an appropriate focus on performance, particularly in its links to Europe 2020, we examined the design of the Horizon 2020 legal framework, the focus on performance at the level of work programme and calls and, for each of the five work programmes we sampled (23), one successful proposal by beneficiaries. 
För att bedöma om processerna för förvaltning av bidrag från Horisont 2020 hade en lämplig resultatinriktning, särskilt när det gällde kopplingarna till Europa 2020, granskade vi hur den rättsliga ramen för Horisont 2020 var utformad, i vilken grad arbetsprogrammen och ansökningsomgångarna var inriktade på resultat och, för vart och ett av de fem arbetsprogrammen i vårt urval (23), ett förslag från stödmottagare som hade godkänts.
The legal framework of Horizon 2020 introduces several important elements for performance management but there are some weaknesses in design, particularly as regards the use of performance indicators 3.27. 
Med den rättsliga ramen för Horisont 2020 införs flera element som är viktiga för resultatstyrning men utformningen har några brister, särskilt när det gäller användningen av resultatindikatorer 3.27.
The objectives and indicators agreed by the legislative authority for Horizon 2020 represent a real improvement on the previous framework programmes. 
De mål och indikatorer som den lagstiftande myndigheten har kommit överens om för Horisont 2020 innebär en verklig förbättring jämfört med de tidigare ramprogrammen.
As we have observed in the past, objectives defined in legislation may be at too general and high a level for operational use by management (24). 
Som vi tidigare har konstaterat kan de mål som anges i lagstiftningen ligga på en alltför allmän och hög nivå för att ledningen ska kunna använda dem för operativa ändamål (24).
This is also the case for these high-level Horizon 2020 objectives — even those referred to as specific objectives in the regulation, most of which are not actually formulated as objectives but rather as challenges and/or areas. 
Detta gäller också för högnivåmålen för Horisont 2020 – till och med för dem som kallas särskilda mål i förordningen och där de flesta faktiskt inte är formulerade som mål utan snarare som utmaningar eller områden.
For example, for the priority ‘Societal challenges’ two specific objectives are: ‘health, demographic change and well-being’; and ‘secure clean and efficient energy’. 
Prioriteringen Samhällsutmaningar har till exempel följande två särskilda mål: Hälsa och sjukvård, demografiska förändringar och välbefinnande samt Säker, ren och effektiv energi.
It did lead to an extensive debate with the legislative authority about the objectives of the programme, and the indicators to be monitored. 
Det ledde till en omfattande diskussion med den lagstiftande myndigheten om målen för programmet och vilka indikatorer som skulle övervakas.
(23) ERC work programme 2014; Marie Sklodowska-Curie Actions 2014-2015 work programme; ICT 2014-2015 work programme; SMEs instrument 2014-2015 work programme; and Health, demographic change and well-being 2014-2015 work programme. 
(23) Europeiska forskningsrådets arbetsprogram för 2014, arbetsprogrammet för 2014–2015 för Marie Sklodowska-Curie-åtgärder, IKT-arbetsprogrammet för 2014–2015, arbetsprogrammet för 2014–2015 för Instrumentet för små och medelstora företag samt arbetsprogrammet för 2014–2015 för Hälsa och sjukvård, demografiska förändringar och välbefinnande.
(24) 2014 annual report, paragraph 3.72. 
(24) Punkt 3.72 i årsrapporten för 2014.
EN C 375/94 Official Journal THE COURT’S OBSERVATIONS 3.28. 
SV C 375/94 Europeiska unionens officiella tidning 13.10.2016 REVISIONSRÄTTENS IAKTTAGELSER 3.28.
As well as specifying the objectives of the programme, the Horizon 2020 legislation also includes three performance indicators for assessing progress against the general objective, set out in paragraph 3.10. 
Förutom målen för programmet innehåller lagstiftningen om Horisont 2020 också tre resultatindikatorer, vilket redovisas i punkt 3.10, som ska användas för att bedöma framstegen mot det allmänna målet.
At the next level down of the legal framework, the specific programme (25) introduces further elements important for performance management. 
På nästa nivå nedåt i lagstiftningsramen tillkommer ytterligare element i det särskilda programmet (25) som är viktiga för resultatstyrning.
It lists 18 key indicators for assessing results and impacts of the specific objectives of the Horizon 2020 programme (26). 
Där finns en tabell med 18 nyckelindikatorer för bedömningen av resultat och effekter av de särskilda målen för Horisont 2020-programmet (26).
In addition, the Commission has identified a further five key performance indicators (KPIs) giving 23 in all(27). 
Därutöver har kommissionen fastställt ytterligare fem centrala resultatindikatorer, vilket innebär att det sammanlagt finns 23 indikatorer(27).
The inclusion of performance indicators in the legislation is a positive step. 
Införandet av resultatindikatorer i lagstiftningen är en positiv utveckling.
However, we found a number of shortcomings with regard to the programme indicators, set out in the following paragraphs. 
Vi konstaterade dock att programindikatorerna hade ett antal brister, vilka redovisas i punkterna nedan.
Of these 23 key performance indicators, more than half measure input or output rather than results and impacts (see also Figure 3.4). 
Av de 23 centrala resultatindikatorerna mäter över hälften input eller output snarare än resultat och effekter (se även figur 3.4).
Examples include the ‘Number of institutional change actions promoted by the programme’ or the ‘Number of occurrences of tangible specific impacts on European policies resulting from technical and scientific support provided by the Joint Research Centre’ (28). of the European Union THE COMMISSION’S REPLIES 13.10.2016 3.29. 
Följande indikatorer är exempel på detta: antal åtgärder för institutionella förändringar som får stöd genom programmet eller antal förekomster av påtaglig specifik påverkan på europeisk politik till följd av tekniskt och vetenskapligt stöd från det gemensamma forskningscentrumet (28). KOMMISSIONENS SVAR 3.29.
Ambiguities in formulation may always exist, especially in legislation, so there are often further clarifications. 
Det kan alltid finnas otydliga formuleringar, särskilt i lagstiftning, så ytterligare förklaringar ges ofta.
For example, the ‘Number of occurrences of tangible specific impacts on European policies resulting from technical and scientific support provided by the Joint Research Centre’ is further defined in an indicator fiche, which also includes a reference to the methodology for measuring the indicator. 
Formuleringen ”Antal förekomster av påtaglig specifik påverkan på europeisk politik till följd av tekniskt och vetenskapligt stöd från gemensamma forsknings-centrumet” förtydligas till exempel i en indikatorbeskrivning som också innehåller en hänvisning till mätmetoden.
(25) Decision 2013/743/EU. 
(25) Beslut 2013/743/EU.
(26) Annex II ‘Performance indicators’ of the Decision 2013/743/EU. 
(26) Bilaga II ”Resultatindikatorer” till beslut 2013/743/EU.
(27) There are a further 51 indicators in a Commission booklet, ‘Horizon 2020 indicators’, published in 2015 (https://ec.europa. eu/programmes/horizon2020/en/news/horizon-2020-indica-tors-assessing-results-and-impact-horizon). 
(27) Det finns ytterligare 51 indikatorer i en broschyr som kommissionen har gett ut, Horizon 2020 indicators (indikatorer för Horisont 2020), som offentliggjordes 2015 (https://ec. europa.eu/programmes/horizon2020/en/news/horizon-2020-in-dicators-assessing-results-and-impact-horizon).
(28) There are also such examples amongst the indicators for monitoring Horizon 2020 cross-cutting issues, such as the percentage of third-country participants in Horizon 2020, for which the figure varies between 2 % and 5,9 %, depending on how ‘third countries’ are defined. 
(28) Sådana exempel finns även bland indikatorerna för övervakning av övergripande frågor inom Horisont 2020, som procentandelen för deltagare från tredjeländer i Horisont 2020, där siffrorna varierar mellan 2 och 5,9% beroende på hur tredjeländer definieras.
EN 13.10.2016 Official Journal THE COURT’S OBSERVATIONS 3.30. 
SV 13.10.2016 Europeiska unionens officiella tidning C 375/95 REVISIONSRÄTTENS IAKTTAGELSER 3.30.
For a third of the Horizon 2020 key performance indicators, the Commission did not set either baselines, milestones, or targets on the grounds that these indicators represent a ‘new approach’, and therefore no targets can be set before the first results are available, due at the beginning of 2018. 
För en tredjedel av de centrala resultatindikatorerna inom Horisont 2020 fastställde kommissionen varken utgångsvärden, delmål eller målvärden med motiveringen att de representerade ett nytt synsätt och att det därför inte gick att fastställa målvärden innan de första resultaten är tillgängliga, vilket de blir i början av 2018.
Only five of the 23 Horizon 2020 key performance indicators have both a baseline and a target. 
Endast fem av de 23 centrala resultatindikatorerna inom Horisont 2020 har både ett utgångsvärde och ett målvärde.
In our view, 2018 is much too late to be useful for a programme lasting from 2014 to 2020. 
Vi anser att 2018 är alldeles för sent för att vara till nytta för ett program som pågår mellan 2014 och 2020.
Where targets do exist, they are sometimes unambitious. 
Där det finns målvärden är de ibland oambitiösa.
In some cases, targets are set below the level of results achieved under FP7. 
I några fall fastställs målvärden som ligger under de resultat som uppnåddes inom sjunde ramprogrammet.
In addition, we found five Horizon 2020 indicators(29) in the 2015 programme statements where the target was below the baseline. 
I programförklaringarna för 2015 fann vi dessutom fem indikatorer inom Horisont 2020(29) där målvärdet låg under utgångsvärdet.
For several indicators, no meaningful data will be available before 2018/2019 for reporting. 
För flera indikatorer kommer det inte att finnas några meningsfulla uppgifter att rapportera före 2018/ 2019.
For a quarter of the Horizon 2020 key performance indicators, the Commission considers that it is not meaningful to report results before 2019, because a critical mass of finished projects will not be reached before then. 
När det gäller en fjärdedel av de centrala resultatindikatorerna för Horisont 2020 anser kommissionen att det inte är meningsfullt att rapportera resultat före 2019 eftersom en kritisk massa med avslutade projekt inte kommer att uppnås förrän då.
While these indicators might be useful for the ex post evaluation of Horizon 2020, they are not suitable for interim evaluations or for annual monitoring purposes before 2018. 
Även om de här indikatorerna kan vara till nytta vid efterhandsutvärderingen av Horisont 2020 lämpar de sig inte för halvtidsutvärderingar eller årlig övervakning före 2018.
This is confirmed in the Horizon 2020 Monitoring Report 2014. of the European Union C 375/95 THE COMMISSION’S REPLIES 3.30. 
Detta bekräftas i 2014 års övervakningsrapport om Horisont 2020. KOMMISSIONENS SVAR 3.30.
While the Legislative Financial Statement accompanying the Commission’s proposal for Horizon 2020 generally provided baselines and targets for indicators, a number of new indicators were included in the legislative process, and for these there was no baseline on which to consider a reasonable target. 
I finansieringsöversikten för rättsakt till kommissionens förslag om Horisont 2020 angavs i regel utgångsvärden och målvärden för indikatorerna, men senare har ett antal nya indikatorer inkluderats i lagstiftningsprocessen. För dessa fanns det inte några utgångsvärden att basera rimliga målvärden på.
Setting a target without adequate evidence may lead to them lacking relevance and credibility (two of the RACER criteria). 
Om man sätter upp mål som inte är tillräckligt underbyggda kan dessa bli mindre relevanta och trovärdiga (två av RACER-kriterierna).
Horizon 2020 targets that are below the FP7 results are explained. 
De målvärden i Horisont 2020 som ligger under resultaten för sjunde ramprogrammet förklaras.
For example, for the number of researchers who have access to research infrastructures through union support has been reduced because ‘priority will be given to new emerging infrastructures and the targeting of new communities (starting communities) whose infrastructures are usually not able to provide as large an access as advanced communities’ (annual report of DG RTD, page 33). 
Till exempel har stödet till de forskare som har tillgång till forskningsinfrastrukturer med stöd av unionen minskats eftersom nya framväxande infrastrukturer och satsningar på nya forskarsamhällen som vanligen inte har infrastruktur som kan ge lika stor tillgång som mer utvecklade ska prioriteras (enligt årsrapporten från GD Forskning, s. 33).
In many areas targets are ambitious and increased from FP7 — for example SME involvement, climate change related expenditure, expenditure on renewable energy, time taken to sign grants, to give some examples. 
På många områden är målvärdena ambitiösa och högre än i sjunde ramprogrammet, till exempel när det gäller små och medelstora företags medverkan, utgifter relaterade till klimatförändringar, utgifter för förnybar energi och tidsåtgången för att bevilja bidrag.
Compared to other funding areas, there can be a considerable time lag between the moment research funds are disbursed and the moment research produces outputs and the moment when these outputs produce results (during and after the project’s lifetime). 
Jämfört med andra finansieringsområden kan det uppstå en betydande eftersläpning mellan tidpunkten för utbetalning av forskningsmedel och den tidpunkt då forskningen genererar resultat samt den tidpunkt då dessa resultat genererar effekter (under och efter projekttiden).
For example, at the time of the ex post evaluation of FP7 published in January 2016 (hence, 2 years after the end of FP7), more than half of FP7 projects were still ongoing. 
När efterhandsutvärderingen av sjunde ramprogrammet offentliggjordes i januari 2016 (det vill säga två år efter programmets slutdatum) pågick över hälften av dess projekt till exempel fortfarande.
For this reason, the Commission will continue reporting on FP7 results in a dedicated section of the monitoring reports of Horizon 2020. 
Därför kommer kommissionen att fortsätta redovisa resultaten av sjunde ramprogrammet i ett särskilt avsnitt i övervakningsrapporten om Horisont 2020.
Moreover, the interim evaluation of Horizon 2020 will include an assessment of the longer term impacts of previous framework programmes. 
Dessutom kommer halvtidsutvärderingen av Horisont 2020 att innehålla en bedömning av effekterna på längre sikt av tidigare ramprogram.
(29) Number of researchers who have access to research infrastructures through Union support; publications in peer-reviewed high impact journals in the area of health and wellbeing; publications in peer-reviewed high impact journals in the area of food security; publications in peer-reviewed high impact journals in the area of climate action, resource efficiency and raw materials; number of occurrences of tangible specific impacts on European policies resulting from technical and scientific support provided by the Joint Research Centre. 
(29) Antalet forskare som har tillgång till forskningsinfrastruktur genom stöd från unionen, publikationer i fackgranskade erkända tidskrifter inom området hälsa och välbefinnande, publikationer i fackgranskade erkända tidskrifter inom området livsmedelstrygghet, publikationer i fackgranskade erkända tidskrifter inom området klimatåtgärder, resurseffektivitet och råvaror samt antal förekomster av påtaglig specifik påverkan på europeisk politik till följd av tekniskt och vetenskapligt stöd från det gemensamma forskningscentrumet.
EN C 375/96 Official Journal THE COURT’S OBSERVATIONS 3.32. 
SV C 375/96 Europeiska unionens officiella tidning 13.10.2016 REVISIONSRÄTTENS IAKTTAGELSER 3.32.