natgillin/translations-raw huggingface dataset:
Several Member States and associated countries carry out their own national evaluations of the FPs, which address relevant and interesting questions from their own perspective (1). 
Useat jäsenvaltiot ja assosioituneet maat suorittavat kansallisella tasolla omia puiteohjelmien arviointeja, joissa käsitellään olennaisia ja kiintoisia kysymyksiä kyseisten maiden omasta näkökulmasta (1).
In the last eight years, 14 such studies have been produced for nine Member States and one associated country. 
Viimeisten kahdeksan vuoden aikana on suoritettu 14 tällaista tutkimusta yhdeksän jäsenvaltion ja yhden assosioituneen maan kohdalla.
Whilst the Commission encouraged standardised approaches where possible, these national impact studies are very heterogeneous (2). 
Komissio kannusti vakiomuotoisten lähestymistapojen käyttöä mahdollisuuksien mukaan, mutta kansalliset vaikutuksia koskevat tutkimukset ovat erittäin heterogeenisiä (2).
Moreover, given their national character, these studies can only partly capture the European cooperative dimension. 
Lisäksi kyseiset tutkimukset voivat kansallisen luonteensa takia kattaa eurooppalaisen yhteistyöulottuvuuden vain osittain.
In the 2007 ERA ‘Green paper’ the Commission argued that it was important that accurate analyses should be available at ERA level on the impact and effectiveness of research activities and policies, including those of the Member States and the EU. 
Vuonna 2007 julkaistussa eurooppalaista tutkimusaluetta koskevassa vihreässä kirjassa komissio piti tärkeänä, että eurooppalaisen tutkimusalueen tasolla on käytössä tarkkoja analyysejä tutkimustoimintojen ja -politiikkojen tehosta ja vaikuttavuudesta sekä jäsenvaltioiden että EU:n tasolta.
It also recognised that current arrangements were not adequate to address this challenge because each level of intervention performed evaluations separately from the others (3). 
Komissio toi niin ikään esille, että nykyiset järjestelyt eivät riitä mainitun haasteen käsittelemiseen, koska jokainen toiminnan taso suoritti arviointejaan erillään muista (3).
Recommendations Disseminating and using evaluation findings 98. 
Suositukset Arviointihavaintojen levittäminen ja hyödyntäminen 98.
Evaluation should provide relevant information and analysis that can be effectively used for programme management and policy making. 
Arvioinnin avulla pitäisi saada asianmukaista tietoa ja analyysi, joita voidaan käytännössä hyödyntää ohjelmien hallinnointiin ja politiikkojen laadintaan.
In particular, evaluation should provide the basis for the informed reflection on the strengths and weaknesses of a public intervention that is necessary for learning to take place. 
Arvioinnin tulisi muodostaa perusta varsinkin julkisen tukitoimenpiteen vahvuuksiin ja heikkouksiin liittyvälle perusteelliselle pohdinnalle, joka on välttämätön kokemusten perusteella oppimisen kannalta.
The Court checked the extent to which evaluations were properly timed, findings were communicated and disseminated to stakeholders outside the Commission and recommendations were taken into account by the Commission to revise ongoing programmes (learning programmes). 
Tilintarkastustuomioistuin tarkasti, kuinka oikea-aikaisia arvioinnit olivat, minkälaajuista oli havainnoista tiedottaminen ja niiden levittäminen komission ulkopuolisille osallistujille ja missä määrin komissio otti huomioon käynnissä olevien ohjelmien tarkistusta koskevat suositukset (”oppimisohjelmat”).
Timing of evaluations did not take into account the type of information that could realistically have been expected 99. 
Arviointien ajoituksessa ei otettu huomioon, millaisia tietoja oli realistista odottaa 99.
The Court recognises that certain types of analysis require a long-term perspective (e.g. the evaluation of outcomes and socio-economic impacts) and that some aspects are related to a specific programming period (e.g. programme objectives, even within a given scientific field), whereas others are not (see Figure 8). 
Tilintarkastustuomioistuin tiedostaa, että tietyntyyppiset analyysit edellyttävät pitkän aikavälin perspektiiviä (esimerkiksi tulosten ja sosiaalis-taloudellisten vaikutusten arviointi) ja että jotkin näkökohdat liittyvät tiettyyn ohjelmakauteen (esimerkiksi ohjelmatavoitteet, jopa tietyn tieteenalan sisällä), ja jotkin puolestaan eivät (ks. kaavio 8).
However, the Commission has not adopted an approach in its evaluation activities that takes these time horizons into consideration. 
Komissio ei ole kuitenkaan ottanut arviointitoimintojensa yhteydessä käyttöön lähestymistapaa, jonka kohdalla otettaisiin huomioon mainitut aikaan liittyvät näkökohdat.
The legislation has required the Commission’s main evaluation activities to focus exclusively on the five years preceding the 5YA thereby covering parts of two successive programming periods. 
Lainsäädännössä on edellytetty komission pääasiallisten arviointitoimintojen keskittämistä yksinomaan viisivuotisarviointia edeltäviin viiteen vuoteen, jolloin menettely kattaa osia kahdesta peräkkäisestä ohjelmakaudesta.
As a result, medium and long-term outcomes and impacts have barely been addressed. As a consequence, the 5YAs have generally focused mostly on monitoring aspects, short-term programme design issues and general observations about the orientation of the FPs. 
Näin ollen keskipitkän ja pitkän aikavälin tuloksia ja vaikutuksia ei ole juurikaan käsitelty. Viisivuotisarvioinnit ovatkin yleensä keskittyneet lähinnä seuran-tanäkökohtiin, lyhyen aikavälin ohjelmasuunnitteluun ja puiteohjelmien suuntaamista koskeviin yleisiin havaintoihin.
The Court welcomes the fact that FP7 legislation no longer requires 5YAs, or any other pre-defined period of coverage. 
Tilintarkastustuomioistuin suhtautuu myönteisesti siihen, että seitsemättä puiteohjelmaa koskevassa lainsäädännössä ei enää edellytetä viisivuotisarviointeja tai muita tiettyyn ennalta määritettyyn ajanjaksoon kohdistuvia arviointeja.
Participants’ reporting obligations towards the Commission should be reduced significantly and surveys carried out on a sample basis only. 
Osallistujien raportointivaatimuksia komissiolle olisi vähennettävä huomattavasti ja kyselytutkimuksia suoritettava ainoastaan otantaperusteisesti.
The contractual requirement to submit indicator-based impact data for each project should be replaced by a short self-assessment upon project completion. 
Sopimuksiin perustuva vaatimus, jonka mukaan kunkin hankkeen osalta on toimitettava indikaattoreihin pohjautuvia tietoja vaikutuksista, olisi korvattava hankkeen päättyessä suoritettavalla lyhyellä itsearvioinnilla.
The Commission should make more extensive use for its evaluations of existing complementary sources of relevant data (both within the Commission and in Member States). 
Komission pitäisi hyödyntää olemassa olevia, arvioinnin kannalta olennaisia tietoja sisältäviä täydentäviä tietolähteitä (sekä komission että jäsenvaltioiden tasolla) laajemmin arviointiensa yhteydessä.
The Commission should employ the full range of evaluation techniques available. 
Komission olisi hyödynnettävä kaikkia käytettävissä olevia arviointitekniikoita.
In addition, it should support the development of innovative approaches to address the methodological difficulties inherent to evaluating public intervention in research (see Annex I) and use these approaches in its own evaluations. 
Sen olisi myös tuettava innovatiivisten lähestymistapojen kehittämistä tutkimusalan julkisten tukitoimenpiteiden arviointimenetelmiin liittyvien vaikeuksien ratkaisemiseksi (ks. liite I) ja sovellettava kyseisiä lähestymistapoja omissa arvioinneissaan.
The Commission should consult with Member States on how to maximise the benefits of national-level evaluations of the FPs. 
Komission pitäisi konsultoida jäsenvaltioita kysymyksissä, jotka liittyvät kansallisella tasolla suoritettavista puiteohjelmien arvioinneista saatavan hyödyn maksimointiin.
The Commission should draw up a manual for the evaluation of activities funded by the FPs, providing definitions of key concepts and terminology and identifying a range of appropriate methodologies for certain evaluation activities. 
Komission pitäisi laatia puiteohjelmien avulla rahoitettujen toimintojen arviointia varten käsikirja, jossa määritettäisiin keskeiset käsitteet sekä terminologia ja yksilöitäisiin joukko tiettyihin arviointitoimintoihin soveltuvia menetelmiä.
This manual should be based on existing guides and toolboxes and should be updated on a regular basis. 
Käsikirjan tulisi perustua olemassa oleviin oppaisiin ja ohjeistoihin ja sitä olisi päivitettävä säännöllisesti.
The Commission should define its information needs, taking into account the need to limit the administrative burden on participants. 
Komission pitäisi määrittää tietotarpeensa ottaen huomioon osallistujille aiheutuvan hallinnollisen työmäärän rajoit-tamistarve.
The Commission should provide monitoring information on the implementation of the FPs in a timely manner. 
Komission tulisi antaa oikea-aikaisesti seurantatietoja puiteohjelmien toteuttamisesta.
As required by the FP7 ‘Rules for Participation’, problems relating to the Commission’s IT systems for managing data on programme management and participants should be addressed urgently. 
Seitsemännen puiteohjelman ”osallistumissäännöissä” edellytetään, että ongelmat, jotka liittyvät ohjelmahallinnointia ja osallistujia koskevien tietojen hallinnointiin käytettäviin komission tietojärjestelmiin, on ratkaistava viipymättä.
(1) European Commission, ‘The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report’ (1995). 
(1) Euroopan komissio, ”The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report” (1995).
(2) European Commission, ‘Design of a harmonised impact study methodology for the R&D EU Framework Programmes’, 1992. 
(2) Euroopan komissio, ”Design of an harmonized impact study methodology for the R&D EU Framework Programmes”, 1992.
(3) European Commission, Staff working document, ‘The European Research Area: new perspectives’, SEC(2007) 412/2, 4 April 2007, section 3.3.3 ‘ERA and the implications for evidence-based monitoring and evaluation’, p. 
(3) Euroopan komission yksiköiden valmisteluasiakirja, ”The European Research Area: new perspectives”, SEC(2007) 412/2, 4. huhtikuuta 2007, kohta 3.3.3 ”ERA and the implications for evidence-based monitoring and evaluation”, s.
C 26/20 EN Official Journal of the European Union 30.1.2008 Figure 8 Monitoring and evaluation issues according to different time horizons Monitoring of programme implementation (on-going) — Programme management issues (e.g. time-to-contract, time-to-payment, subscription and success rates, budgetary execution, funding rates, etc.) Evaluation Short term (say, at the earliest after 1-2 years) — Programme management issues (e.g. efficiency of administrative procedures) — Programme design issues (e.g. accessibility and flexibility of instruments, barriers to participation, implications of non-success in calls for proposals, etc.) — Analysis of participation profile (mainly quantitative at this stage) Evaluation Medium term (say, after 7 years) — Programme design issues (e.g. effectiveness of instruments) — Analysis of participation (combining qualitative and quantitative aspects, e.g. research networks analysis, impacts on the behaviour of researchers, etc.) — Analysis of project outputs (1) (e.g. publications, conference papers, patents, licences, prototypes, standards, trained scientists, etc.) 
C 26/20 FI Euroopan unionin virallinen lehti 30.1.2008 Kaavio 8 Erilaisiin ajanjaksoihin perustuvat seuranta-ja arviointikysymykset Ohjelman toteutuksen seuranta (ohjelman ollessa käynnissä) — Ohjelman hallinnointiin liittyvät kysymykset (esimerkiksi sopimuksentekoon ja maksun suorittamiseen kuluva aika, osallistumis-ja onnistumis-aste, talousarvion toteuttaminen ja rahoitusaste) Arviointi Lyhyt aikaväli (aikaisintaan esimerkiksi 1–2 vuoden kuluttua) — Ohjelman hallinnointiin liittyvät kysymykset (esimerkiksi hallinnollisten menettelyiden tehokkuus) — Ohjelman suunnitteluun liittyvät kysymykset (esimerkiksi välineiden saatavilla olo ja joustavuus, osallistumisen esteet ja tarjouspyyntöjen epäonnistumisen seuraukset) — Osallistumisprofiilin analysointi (tässä vaiheessa lähinnä kvantitatiivinen) Arviointi Keskipitkä aikaväli (esimerkiksi 7 vuoden kuluttua) — Ohjelmasuunnitteluun liittyvät kysymykset (esimerkiksi välineiden vaikuttavuus) — Osallistumisen analysointi (jossa yhdistyvät laadulliset ja kvantitatiiviset näkökohdat, esimerkiksi verkostojen analysointi ja vaikutukset tutkijoiden toimintaan) — Hanketuotosten analysointi (1) (esimerkiksi julkaisut, artikkelit, patentit, lisenssit, prototyypit ja koulutetut tutkijat) Arviointi Pitkä aikaväli (esimerkiksi yli 10 vuoden kuluttua) — Tulosten ja vaikutusten arviointi (1) Lähde: Euroopan tilintarkastustuomioistuin.
It should be noted that grant agreements for projects are signed throughout the programming period, the first agreements generally coming into force at the end of the first year of a programme. 
On syytä tuoda esille, että hankkeita koskevia avustussopimuksia tehdään koko ohjelmakauden ajan siten, että ensimmäiset sopimukset tulevat yleensä voimaan ohjelman ensimmäisen toteutusvuoden lopussa.
The duration of these agreements is mostly three to five years, as a result final outputs can be expected at the earliest after four to six years. 
Sopimukset ovat useimmiten voimassa kolmesta viiteen vuotta, joten lopullisia tuotoksia voidaan odottaa aikaisintaan 4–6 vuoden kuluttua.
101. comes and impacts of the FPs has also been noted by the Commission’s experts: The shortcomings of the 5YAs in assessing the out-102. 
101. tisarviointien puutteet puiteohjelmien tulosten ja vaikutusten arvioinnissa: Myös komission asiantuntijat ovat havainneet viisivuo-102.
The issue of timeliness also affects specific evaluations required by the legislation. 
Oikea-aikaisuuteen liittyvät kysymykset koskevat myös lainsäädännössä edellytettyjä erityisarviointeja.
For example, the 2004 Marimón report, which analysed the new instruments introduced in FP6 (2003-2006), was required too early, and as a result, there was little or no practical experience and empirical evidence on which to base its conclusions (3). 
Esimerkiksi vuonna 2004 julkaistu Marimónin kertomus, jossa analysoitiin kuudennen puiteohjelman (2003–2006) yhteydessä käyttöön otettuja uusia välineitä, vaadittiin liian varhaisessa vaiheessa, joten päätelmien perustaksi oli vain vähän tai ei lainkaan käytännön kokemusta ja empiiristä näyttöä (3).
Communication and dissemination 103. 
Tiedottaminen ja levittäminen 103.
On its own, the Commission can develop and adapt operational work programmes according to short-term cycles, subject to approval by the relevant programme committee. 
Komissio voi itsenäisesti kehittää ja hyväksyä operatiivisia työohjelmia lyhyen aikavälin sykleissä; ohjelmat on hyväksytettävä kyseisestä ohjelmasta vastaavalla komitealla.
This could represent an opportunity for adjustments to be made to programme management, and also for reallocations of budgets within sub-programmes. 
Tämän menettelyn avulla ohjelmien hallinnointiin voitaisiin tehdä mukautuksia ja myös suunnata määrärahoja uudelleen alaohjelmien sisällä.
No evidence was found that the Commission makes use of this possibility (see paragraph 107). 
Ei ollut havaittavissa, että komissio hyödyntäisi tätä mahdollisuutta (ks. kohta 107).
Beyond this, given the way the FPs are designed and adopted, it is all but impossible for the Commission to make significant changes, such as modifications of programme objectives or the reallocation of budgets between sub-programmes. 
Muutoin komission on puiteohjelmien suunnittelu-ja hyväksymistapa huomioon ottaen lähes mahdotonta tehdä huomattavia muutoksia esimerkiksi ohjelmien tavoitteisiin tai määrärahojen suuntaamiseen alaohjelmien välillä.
Only the legislator can enact such wide-ranging modifications during a revision of the FP legislation (such as in 2010 for FP7) or the adoption of the subsequent FP. 
Ainoastaan lainsäätäjä voi panna täytäntöön näin laajamittaisia muutoksia puiteohjelmia koskevan lainsäädännön tarkistamisen (esimerkiksi seitsemännen puiteohjelman kohdalla vuonna 2010) tai seuraavan puiteohjelman hyväksymisen yhteydessä.
For this reason, the legislation has typically stipulated that the main evaluation exercises be timed so that their results could be most usefully taken into account for policy making. 
Tästä syystä lainsäädännössä on yleensä edellytetty, että pääasialliset arviointitoimet ajoitetaan niin, että niiden tuloksia voidaan hyödyntää parhaalla mahdollisella tavalla politiikkojen laadinnassa.
(3) European Commission, ‘Evaluation of the Effectiveness of the New Instruments of Framework Programme VI’, 21 June 2004, Report of a High-level Expert Panel chaired by Professor Ramon Marimón, p. 
(3) Euroopan komissio, ”Evaluation of the effectiveness of the New Instruments of Framework Programme VI”, 21. kesäkuuta 2004, professori Ramon Marimónin johtaman korkean tason asiantuntijaryhmän raportti, s.
20. — the 2004 5YA panel noted that ‘... evaluation should cover and give sufficient attention to both long-term and short-term issues’ and ‘... resources could be released [...] to allow more ambitious long-term evaluation studies that could explore the structural and wider socio-economic issues in a more systematic way’ (1), — a study commissioned by DG Research found that ‘... current EU RTD evaluation practices (comprising continuous monitoring, five year assessments and mid term evaluation) are characterised by strong focus on monitoring compared to impact assessment’ and ‘... in order to shift demand and expectation [...] towards socio-economic impact there would need to be a new evaluation and monitoring framework that obliged a greater effort at impact level rather than monitoring of outputs’ (2). 
20. — vuoden 2004 viisivuotisarvioinnin suorittaneen arviointiryhmän mukaan arvioinnin pitäisi kattaa ja kiinnittää riittävästi huomiota sekä pitkän että lyhyen aikavälin kysymyksiin ja resursseja voitaisiin suunnata tavoitteellisempiin pitkän aikavälin arviointitutkimuksiin, joissa voitaisiin tutkia systemaattisemmin rakenteellisia ja laajempia sosiaalis-taloudellisia kysymyksiä (1), — tutkimuksen pääosaston tilaaman tutkimuksen mukaan nykyiset EU:n TTK-toimien arviointikäytännöt (jatkuva seuranta, viisivuotisarviointi ja väliarviointi) keskittyvät vaikutusten arvioinnin sijasta voimakkaasti seurantaan ja jotta kysyntää ja odotuksia voitaisiin ohjata sosiaalis-taloudellisten vaikutusten suuntaan, olisi perustettava uudet arviointi-ja seurantapuitteet, joiden yhteydessä edellytettäisiin tuotosten seurannan sijasta vaikutusten voimakkaampaa painottamista (2).
(1) European Commission, ‘Five-year assessment of the European Union Research Framework Programmes, 1999-2003’, Report of the Independent Expert Panel chaired by Erkki Ormala (15 December 2004): Section 6 ‘Evaluating the Framework Programme’, p. 
(1) Euroopan komissio, ”Five year assessment of the European Union Research Framework Programmes, 1999–2003”, Erkki Ormalan johtaman riippumattoman asiantuntijaryhmän raportti (15. joulukuuta 2004): kohta 6 ”Evaluating the Framework Programme”, s.
(2) European Commission, ‘Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies’, the so-called ‘EPUB Toolbox’ edited by Joint Research Centre (JRC) — Institute for Prospective Technological Studies (IPTS) and Joanneum Research (August 2002), Executive Summary, pp. 9 and 12. 
(2) Euroopan komissio, ”Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD Policies”, the so-called ”EPUB Toolbox”, laa-tijat: yhteinen tutkimuskeskus – teknologian alan ennusteita laativa tutkimuslaitos (Institute for Prospective Technological Studies, IPTS) ja Joanneum Research (elokuu 2002), tiivistelmä, sivut 9 ja12.
30.1.2008 EN Official Journal of the European Union C 26/21 105. 
30.1.2008 FI Euroopan unionin virallinen lehti C 26/21 105.
Therefore, some of the main users of the Commission’s evaluations are the ‘research DGs’ themselves (1). 
Näin ollen komission arviointien pääkäyttäjin lukeutuvat itse tutkimusalan pääosastot (1).
However, the FP legislation also explicitly requires evaluations to be communicated to the European Parliament and the Council. 
Puiteohjelmia koskevassa lainsäädännössä edellytetään kuitenkin selkeästi, että arvioinnit on toimitettava Euroopan parlamentille ja neuvostolle.
In the Court’s survey of the European Parliament’s ITRE committee and the Council’s CREST committee, a majority of respondents, however, indicated that they did not feel sufficiently informed about the implementation and the results of the FPs (see Figure 9) (2). 
Tilintarkastustuomioistuimen Euroopan parlamentin teollisuus-, ulkomaankauppa-, tutkimus-ja energiavaliokunnalle ja neuvoston tieteen ja tekniikan tutkimuskomitealle tekemässä kyselytutkimuksessa suurin osa vastaajista toi kuitenkin esille, etteivät he kokeneet saaneensa riittävästi tietoa puiteohjelmien toteuttamisesta ja tuloksista (ks. kaavio 9) (2).
Figure 9 Perception of institutional stakeholders — satisfaction with information received Source: ECA survey 2007. 
Kaavio 9 Tyytyväisyys saatuihin tietoihin – yhteisön osallistujien näkemys Lähde: tilintarkastustuomioistuimen kyselytutkimus 2007.
Follow-up of evaluation findings 107. 
Arviointihavaintojen seuranta 107.
In its Annual Evaluation Reviews, the Commission provides a summary of findings and actions taken stemming from its evaluations (3). 
Komissio esittää vuotuisissa arviointeja koskevissa katsauksissaan yhteenvedon suorittamiinsa arviointeihin perustuvista havainnoista ja toimista (3).
With regard to the follow-up, the Commission has also provided formal replies to the findings and recommendations of the 5YAs and the specific evaluations required by the legislation and, to the extent possible, has taken appropriate measures to address the weaknesses identified therein. 
Seurannan osalta komissio on myös antanut muodollisia vastauksia viisivuotisarviointien havaintoihin ja suosituksiin sekä lainsäädännössä edellytettyihin erityisarviointeihin ja on ryhtynyt mahdollisuuksien mukaan asianmukaisiin toimenpiteisiin niissä havaittujen puutteiden korjaamiseksi.
This was, however, not the case for many of the other evaluation reports reviewed and no evidence was found that their findings and recommendations were taken into account for amendments to work programmes. 
Näin ei kuitenkaan ollut useiden muiden tarkastettujen arviointikertomusten kohdalla eikä ollut havaittavissa, että kertomusten havainnot ja suositukset olisi otettu huomioon työohjelmien muuttamiseksi.
Similarly, the DGs’ ABB budgetary statements and their Annual Activity Reports do not indicate the extent to which evaluation findings were acted upon. 
Vastaavasti pääosastojen toimintoperusteiseen budjetointiin liittyvissä selvityksissä ja vuotuisissa toimintakertomuksissa ei tuoda esille, missä määrin arviointihavaintojen perusteella ryhdyttiin toimenpiteisiin.
(1) European Policy Evaluation Consortium (EPEC), Technopolis France, ‘Study on the use of evaluation results in the Commission: Final report’, Dossier No 1 Synthesis report and annexes, May 2005. 
(1) European Policy Evaluation Consortium (EPEC), Technopolis France, ”Study on the use of evaluation results in the Commission: Final report”, asiakirja nro 1 Synthesis report and annexes, toukokuu 2005.
(2) The higher level of satisfaction reported by respondents from CREST, who are often also members of Programme Committees, may be due to their formal role in monitoring programme implementation. 
(2) Tieteenjatekniikantutkimuskomiteanvastaajien(jotkakuuluvatusein myös ohjelmakomiteoihin) ilmoittama korkeampi tyytyväisyysaste saattaa johtua siitä, että komitean jäsenillä on virallinen asema hankkeiden täytäntöönpanon seurannassa.
(3) European Commission, Staff working paper, Annual Evaluation Review 2004 — Overview of the Commission’s evaluation findings and activities, SEC(2005) 587, 28 April 2005. 
(3) Euroopan komission valmisteluasiakirja, Annual Evaluation Review 2004 – Overview of the Commission’s evaluation findings and activities, SEC(2005) 587, 28. huhtikuuta 2005.