natgillin/translations-raw huggingface dataset:
Levels 3 and 4 (behaviour and results) can be used to assess the impacts and outcomes of the actions and serve more strategic purposes such as re-assessing the needs, identifying new needs, etc. 
Tasoja 3 ja 4 (käyttäyty-minen ja tulokset) voidaan käyttää toimien vaikutusten ja tuotosten arviointiin, ja ne palvelevat strategisempia tarkoituksia, kuten tarpeiden uudelleenarviointia tai uusien tarpeiden yksilöintiä.
Direct feedback from training participants is often collected by training providers but seldom used by Member State authorities to improve subsequent actions 69 The Court found that, in the case of EAFRD knowledge-transfer measures, most of the Member States collect immediate feedback from training participants but they do not use it to the extent possible for assessing the quality of the training or for modifying courses. 
Koulutuksen järjestäjät keräävät usein suoraa palautetta koulutukseen osallistuvilta, mutta jäsenvaltioiden viranomaiset käyttävät sitä harvoin myöhempien toimien parantamiseen 69 Tilintarkastustuomioistuin havaitsi, että maaseuturahaston tietämyksen siirtoa koskevien toimenpiteiden kohdalla useimmat jäsenvaltiot keräävät välitöntä palautetta koulutukseen osallistujilta, mutta ne eivät hyödynnä sitä täysimittaisesti arvioidakseen koulutuksen laatua tai muuttaakseen kursseja.
Few Member States monitor information about actual learning (level 2). 
Harvat jäsenvaltiot seuraavat tosiasiallista oppimista koskevia tietoja (taso 2).
70 In most of the Member States audited, training participants fill in feedback forms (also called ‘happiness sheets’ or ‘satisfaction sheets’) immediately after having finished training. 
70 Useimmissa tarkastetuissa jäsenvaltioissa koulutukseen osallistujat täyttävät palautelomakkeita (joita kutsutaan myös ”tyytyväisyyslomakkeiksi”) välittömästi koulutuksen päätyttyä.
This is mostly done on the initiative of the service provider but some Member State authorities have developed guidelines or standardised feedback forms (see also Box 9). 
Tämä tapahtuu useimmiten palveluntarjoajan aloitteesta, mutta joidenkin jäsenvaltioiden viranomaiset ovat laatineet asiaa koskevia suuntaviivoja tai vakiomuotoisia palautelomakkeita (ks. myös laatikko 9).
71 In many cases however, the Member State authorities do not fully use the information collected. 
71 Monissa tapauksissa jäsenvaltion viranomaiset eivät kuitenkaan käytä kerättyjä tietoja täysimääräisesti.
In Poland, consolidated results of only one qualitative question are forwarded to the authorities in the final report at payment stage. 
Puolassa vain yhden laadullisen kysymyksen osalta kootut tulokset toimitetaan viranomaisille maksuvaiheessa esitettävässä loppuraportissa.
In Austria, neither the feedback forms nor their analyses are forwarded to the authorities. 
Itävallassa sen paremmin palautelomakkeita kuin niiden analyysejakaan ei toimiteta viranomaisille.
In Spain (Galicia), in the case of training actions managed through direct intervention, the central services of the authorities do not receive the completed forms from the project coordinators. 
Espanjassa (Galicia) viranomaisten keskusyksiköt eivät viranomaisten suoraan hallinnoimien koulutustoimien kohdalla saa täytettyjä lomakkeita hankekoordinaattoreilta.
Observations 36 Examples of good practice in collecting information for project evaluation The Polish authorities provide standardised feedback forms to the service providers containing 11 qualitative questions. 
Huomautukset 36 Esimerkkejä hyvistä käytännöistä tietojen keräämisessä hankkeiden arviointia varten Puolan viranomaiset antavat palveluntarjoajille vakiomuotoisia palautelomakkeita, jotka sisältävät 11 laatua koskevaa kysymystä.
The authorities in the United Kingdom (England) allow providers to use their own evaluation forms but they ensure, through guidelines, that the forms correspond to the minimum requirements. 
Yhdistyneen kuningaskunnan (Englanti) viranomaiset sallivat palveluntarjoajien käyttää omia arviointi-lomakkeitaan, mutta varmistavat suuntaviivojen avulla, että lomakkeet täyttävät tietyt vähimmäisvaatimukset.
Three or more options (e.g. very satisfied, satisfied or dissatisfied) are given to the trainees with regard to six different elements; pace and content of the course, materials, venue and facilities, level of support by the tutor, overall quality and skills relevance. 
Koulutettaville annetaan vähintään kolme vaihtoehtoa (esimerkiksi erittäin tyytyväinen, tyytyväinen tai tyytymätön), joilla arvostellaan kuutta eri tekijää: kurssin etenemisvauhtia ja sisältöä, opetusmateriaalia, tiloja, ohjaajan antamaa tukea, yleistä laatua ja merkitystä taitojen kannalta.
The participants are also required to confirm the relevance of the skills and the likelihood that they will be put into practice. 
Osallistujia pyydetään myös vahvistamaan, että taidoilla on merkitystä ja että niitä todennäköisesti hyödynnetään käytännössä.
Some space is available for comments and suggestions for improvement. 
Kommenteille ja parannusehdotuksille on jätetty hieman tilaa.
Still in the United Kingdom (England), the authorities conduct a telephone survey of randomly selected trainees. 
Myös Yhdistyneessä kuningaskunnassa (Englanti) viranomaiset suorittavat puhelimitse satunnaisesti valittujen koulutettavien kyselytutkimuksen.
The primary aim of the telephone survey is to check attendance, but it is also a useful mechanism to obtain feedback. 
Puhelinkyselyn ensisijaisena tavoitteena on tarkistaa osallistuminen koulutukseen, mutta se on myös hyödyllinen mekanismi palautteen saamiseksi.
In Austria, the Court saw a good example, where evaluation was integrated in the concept of an innovative management course for women who are active in rural development. 
Itävallassa tilintarkastustuomioistuin havaitsi hyvän esimerkin, jossa arviointi oli sisällytetty maaseudun kehittämisessä aktiivisesti toimiville naisille tarkoitetun innovatiivisen johtamiskurssin suunnitelmaan.
The course included an assessment of qualitative elements per module, such as the learning atmosphere, course content and practical relevance, and the quality of the trainers and the learning documents. 
Kurssi sisälsi osioittain arvioinnin laadullisista tekijöistä, kuten oppimisilmapiiristä, kurssin sisällöstä ja käytännön merkityksestä sekä kouluttajien ja opetusasiakirjojen laadusta.
The trainers were required to do a self-assessment, which was compared with the participants’ evaluation, and finally the provider had a feedback discussion with the Austrian authorities. 
Kouluttajia pyydettiin tekemään itsearviointi, jota verrattiin osallistujien tekemään arviointiin, ja lopuksi palveluntarjoaja kävi palautekeskustelun Itävallan viranomaisten kanssa.
The participants were also required to present an examination document, on which they worked continuously during the course, and the provider envisages conducting a survey after 1-2 years to enquire whether the participants are still using the knowledge and skills obtained. 
Osallistujia pyydettiin myös esittämään koeasiakirja, jota he laativat jatkuvasti kurssin aikana. Lisäksi palveluntarjoaja aikoo tehdä 1–2 vuoden kuluttua kyselytutkimuksen siitä, käyttävätkö osallistujat yhä saamaansa tietämystä ja taitoja.
Participant interviews, which confirm the positive results of the evaluation, are also provided on the internet. 
Osallistujien haastatteluja, jotka vahvistavat arvioinnin myönteiset tulokset, on myös asetettu saataville internetiin.
72 Most of the Member State authorities visited during the audit do not monitor to what extent participants actually acquire the intended knowledge, skills, and attitudes based on their participation in the learning event (equivalent to Kirkpatrick level 2 (learning)). 
72 Useimmat jäsenvaltioiden viranomaisista, joiden luo tehtiin tarkastuskäynti, eivät seuraa, missä määrin osallistujat todella saavat halutun tietämyksen, taidot ja asenteet opetustapahtumaan osallistumisen perusteella (vastaa Kirkpatrickin tasoa 2 (oppiminen)).
For example, in Spain the authorities did not follow up how many of the training participants actually took the exam for which the preparatory course was offered. 
Esimerkiksi Espanjassa viranomaiset eivät seuranneet, kuinka moni koulutukseen osallistujista itse asiassa suoritti tut-kinnon, jota varten valmistavaa kurssi tarjottiin.
In the United Kingdom (England), the authorities do not monitor the pass rates for certificate courses and the Court found examples where even the main contractor did not know the pass rates of courses given by its subcontractor. 
Yhdistyneessä kuningaskunnassa (Englanti) viranomaiset eivät seuraa todistukseen johtavien kurssien läpäisseiden osuutta, ja tilintarkastustuomioistuin havaitsi esimerkkejä, joissa edes päätoimeksisaaja ei tiennyt, kuinka moni osallistujista läpäisi sen alihankkijan järjestämät kurssit.
In Poland, there are no tests or interviews before and after the training event to evaluate what the trainee has learned. 
Puolassa ei järjestetä ennen koulutustapahtumaa eikä sen jälkeen kokeita tai haastatteluja sen arvioimiseksi, mitä koulutettava on oppinut.
The certificate participants receive at the end of the training event is merely a confirmation of their participation and not a confirmation that they have successfully passed a test. 
Todistus, jonka osallistujat saavat koulutustapahtuman päätteeksi, on vain vahvistus heidän osallistumisestaan eikä siitä, että he ovat suorittaneet kokeen menestyksellisesti.
Observations 37 73 In Austria, on the contrary, in the case of certificate courses, participants are required to pass an examination. 
Huomautukset 37 73 Itävallassa sitä vastoin todistukseen johtavilla kursseilla osallistujien on läpäistävä koe.
The providers have to monitor and evaluate the courses in accordance with certain criteria and submit a summary of the results to the national chamber of agriculture. 
Palveluntarjoajien on seurattava ja arvioitava kursseja tiettyjen kriteerien mukaisesti ja toimitettava yhteenveto tuloksista kansalliselle maatalouskamarille.
According to the data provided, more than 850 certificates are issued per year, which represents a success rate of approximately 95 %. 
Toimitettujen tietojen mukaan vuosittain annetaan yli 850 todistusta, mikä merkitsee noin 95 prosentin onnistumisastetta.
75 In Sweden, regular country-wide postal surveys carried out by the Swedish statistical service provide feedback on all four evaluation levels. 
75 Ruotsissa Ruotsin tilastokeskuksen säännöllisesti suorittamat, koko maan kattavat postitse toimitettavat kyselyt tuottavat palautetta kaikilla neljällä arviointitasolla.
The latest survey was carried out in spring 2010 on 8000 individuals who had participated in rural-development knowledge-transfer or advisory activities. 
Viimeisin kysely suoritettiin keväällä 2010, ja se kattoi 8 000 henkilöä, jotka olivat osallistuneet maaseudun kehittämisen tietämyksen siirtoon tai neuvontatoimiin.
Similar studies were carried out in 1999 and 2006 and a new survey is planned for 2015.32 76 In Austria, the authorities commissioned a specific evaluation of measures 111 and 331. 
Samankaltaisia tutkimuksia tehtiin vuosina 1999 ja 2006, ja uusi kysely on suunnitteilla vuodeksi 2015.32 76 Itävallassa viranomaiset teettivät erityisen arvioinnin toimenpiteistä 111 ja 331.
The authors of the study use the following four methods: analysis of national and international studies, reports and other documents; online survey of rural operators (both participants and non-participants in training measures), training providers and officials; ‘dialogue interviews’ of 1-2 hours, and ‘evaluation cafés’. 
Tutkimuksen tekijät käyttivät seuraavia neljää menetelmää: kansallisten ja kansainvälisten tutkimusten, raporttien ja muiden asiakirjojen analyysi; maaseudun toimijoiden (sekä koulutustoimiin osallistuneiden että muiden), koulutuksen järjestäjien ja virkamiesten keskuudessa suoritettu verkkokysely; 1–2 tuntia kestävät henkilökohtaiset haastattelut; ”arvi-ointikahvilat”.
The authors provide a lot of detailed information, e.g. on the estimated benefits of the training measures in general and of different types of actions, or the obstacles to participation. 
Tekijät antavat runsaasti yksityiskohtaisia tietoja esimerkiksi koulutustoimenpiteiden sekä erityyppisten toimien arvioiduista hyödyistä yleensä ja osallistumisen esteistä.
On the other hand, they also point to weaknesses in the Austrian system and suggest the introduction of competitive project selection by using specific success indicators per project33. 
Toisaalta he myös tuovat esille Itävallan järjestelmän puutteita ja ehdottavat, että käyttöön otetaan kilpailuun perustuva hankkeiden valintajärjestelmä käyttämällä erityisiä hankekohtaisia menestyksen indikaattoreita33.
77 Data collected through external studies in the United Kingdom (England) and Sweden also allow conclusions to be drawn on the benefits of training and advice (see Box 10). 
77 Yhdistyneessä kuningaskunnassa (Englanti) ja Ruotsissa ulkoisilla tutkimuksilla kerättyjen tietojen perusteella voidaan myös tehdä päätelmiä koulutuksen ja neuvonnan hyödyistä (ks. laatikko 10).
Jordbruksverket: Analys av kompetensutvecklingen inom landsbygdsprogrammet — Fördjupning av rapport 2010:30. 
Jordbruksverket: Analys av kompetensutvecklingen inom landsbygdsprogrammet - Fördjupning av rapport 2010:30.
33 Mandl, C. and Kuttner, T., ‘Bildungsevaluierung Ländliche Entwicklung LE 07-13 — Endbericht’, Vienna, 2013. 
33 Mandl, C. ja Kuttner, T., Bildungsevaluierung Ländliche Entwicklung LE 07-13 – Endbericht, Wien, 2013.
Observations 38 Examples of studies on the impact of RD-financed knowledge-transfer and advice United Kingdom (England) In 2013, the Countryside and Community Research Institute (University of Gloucestershire) completed a report34 in which it attempted to assess the social return on investment (SROI) of axes 1 and 3 of the RDP for England by using four case study areas. 
Huomautukset 38 Esimerkkejä maaseudun kehittämisvaroista rahoitetun tietämyksen siirron ja neuvonnan vaikutuksia koskevista tutkimuksista Yhdistynyt kuningaskunta (Englanti) Gloucestershiren yliopiston maaseutua ja yhteisöjä tutkiva tutkimusinstituutti (Countryside and Community Research Institute) laati vuonna 2013 raportin34, jossa se pyrki arvioimaan Englannin maaseudun kehittämisohjelman toimintalinjojen 1 ja 3 investointien yhteiskunnallista tuottoa neljän tapaustutkimuksen kohteena olleen alan avulla.
The report concluded, inter alia, that to a large extent the benefits observed (e.g. improved on-farm sustainability, engagement of the livestock industry in relation to animal health and skills, improvements to soil and land management practices, development of local capacity in value added in Axis 1) reflect the levels of investment in training and advice. 
Raportissa pääteltiin muun muassa, että havaitut hyödyt (kuten tilojen kohentunut kestävyys, karjankasvatusalan sitoutuminen eläinten terveyteen ja siihen liittyviin taitoihin, maaperän ja maan hoidon käytäntöjen parannukset sekä paikallisten lisäarvoa tuottavien valmiuksien kehittyminen toimintalinjassa 1) kuvastavat pitkälti koulutukseen ja neuvontaan tehtyjen investointien tasoa.
Sweden A pesticide monitoring study in a small agricultural catchment in Southern Sweden (Vemmenhög river), started in 1990, shows that the occurrence of pesticide residues in watercourses decreased by 90 %, despite almost no changes being made to the amounts of crop protection chemicals used. 
Ruotsi Pienellä Etelä-Ruotsissa sijaitsevalla maatalousalueen valuma-alueella (Vemmenhög-joki) vuonna 1990 aloitettu torjunta-aineiden seurantatutkimus osoittaa, että torjunta-ainejäämien esiintyminen vesistöissä väheni 90 prosenttia, vaikka käytettyjen kasvinsuojelukemikaalien määriä ei muutettu lähes lainkaan.
Analysis shows that this is largely the result of increased awareness amongst the farmers of safe handling of pesticides following the start of advisory services in that domain in 1994. 
Analyysi osoittaa, että tämä johtuu pitkälti siitä, että viljelijöiden tietoisuus torjunta-aineiden turvallisesta käsittelystä on lisääntynyt sen jälkeen, kun alaa koskevat neuvontapalvelut käynnistettiin vuonna 1994.
34 An assessment of the social return on investment of axes 1 and 3 of the rural development programme for England, Final report, by the Countryside and Community Research Institute on behalf of the Department for Environment Food and Rural Affairs, 1 November 2013. 
34 An assessment of the Social Return on Investment of Axes 1 and 3 of the Rural Development Programme for England, loppuraportti, Countryside and Community Research Institute ympäristö-, elintarvike-ja maaseutuministeriön toimeksiannosta, 1. marraskuuta 2013.
78 In Sweden, since 2001, an initiative called Greppa Näringen (Focus on Nutrients)35 has been providing free environmental advice to farms of more than 50 hectares and/or more than 25 animal units. 
78 Ruotsissa on vuodesta 2001 lähtien tarjottu aloitteella ”Greppa Näringen” (”Ravinteet talteen”’)35 ilmaista ympä-ristöneuvontaa tiloille, joiden viljelyala on yli 50 hehtaaria ja/tai joilla on yli 25 eläinyksikköä.
Funding is obtained through the EAFRD and re-invested environmental taxes. 
Aloitetta rahoitetaan maaseuturahastosta ja uudelleen investoiduista ympäristöveroista.
The initiative offers, inter alia, courses for farmers and for advisors and provides tools for calculating nutrient balances. 
Aloitteessa tarjotaan muun muassa viljelijöille ja neuvojille tarkoitettuja kursseja sekä välineitä ravinnetasa-painoa koskevien laskelmien tekemiseen.
Evaluation of the farm advice is integrated through follow-up visits and quarterly surveys. 
Tiloille annettavan neuvonnan arviointi tapahtuu seurantakäyntien ja neljännesvuosittain tehtävien kyselytutkimusten avulla.
The farmers’ satisfaction with the advisory visits is quite high and, an even more important indication of success; the nitrogen and phosphorus surpluses and ammonia emissions per farm have been reduced. 
Viljelijöiden tyytyväisyys neuvontakäynteihin on varsin suuri, ja vielä merkittävämpi onnistumisen indikaattori on se, että tilakohtaiset typen ja fosforin ylijäämät ja ammoniakkipäästöt ovat vähentyneet.
35 http://www.greppa.nu Box 10 
35 http://www.greppa.nu Laatikko 10
Observations 39 The data collected to show the aggregated results of knowledge-transfer and advisory services at EU level are not reliable 79 The previous sections refer to monitoring and evaluation mainly as a tool to improve the specifications and implementation of knowledge-transfer and advisory services at Member State level. 
Huomautukset 39 Kerätyt tiedot, joilla on tarkoitus osoittaa tietämyksen siirron ja neuvontapalvelujen kokonaistulokset EU:n tasolla, eivät ole luotettavia 79 Aiemmissa osioissa seurantaan ja arviointiin viitataan lähinnä välineenä, jolla voidaan parantaa tietämyksen siirron ja neuvontapalvelujen eritelmiä ja täytäntöönpanoa jäsenvaltioiden tasolla.
At EU level, the rural-development regulation established a Common Monitoring and Evaluation Framework (CMEF) for the 2007–2013 period36. 
EU:n tasolla maaseudun kehittämisestä annetulla asetuksella perustettiin ”yhteiset seuranta-ja arviointisäännöt” ohjelmakaudelle 2007–201336.
This was a new system, introduced in 2007, with common indicators intended to capture the progress towards rural-development objectives in a way that allows each of the RDPs to be compared and the data to be aggregated. 
Tämä oli uusi järjestelmä, joka otettiin käyttöön vuonna 2007 ja joka sisälsi yhteisiä indikaattoreita, joilla oli tarkoitus seurata maaseudun kehittämistavoitteiden saavuttamisessa tapahtunutta edistystä siten, että kutakin maaseudun kehittämisohjelmaa oli mahdollista vertailla ja tietoja voitiin yhdistää.
A Commission regulation37 sets more specific requirements and lists common baseline, output, result and impact indicators. 
Komission antamassa asetuksessa37 asetetaan tarkempia vaatimuksia ja luetellaan yhteiset perus-, tuotos-, tulos-ja vaikutusindikaattorit.
As common indicators cannot fully capture all the effects of individual RDPs, Member States could also set a limited number of additional indicators. 
Koska yhteisillä indikaattoreilla ei voida täysin kuvata kaikkia yksittäisten maaseudun kehittämisohjelmien vaikutuksia, jäsenvaltiot voivat myös asettaa rajallisen määrän lisäindikaattoreita.
However, none of the Member States audited defined additional indicators for knowledge-transfer and advisory measures. 
Mikään tarkastetuista jäsenvaltioista ei kuitenkaan määritellyt tietämyksen siirtoa ja neuvontatoimia koskevia lisäindikaattoreita.
80 The Court’s audit confirmed the serious weaknesses in the availability and quality of the monitoring and evaluation information relating to spending on rural development, as highlighted in Special Report No 12/201338. 
80 Tilintarkastustuomioistuimen tarkastus vahvisti, että maatalouden kehittämismenoja koskevien seuranta-ja arviointitietojen saatavuudessa ja laadussa on vakavia puutteita, kuten erityiskertomuksessa nro 12/201338 korostettiin.
81 In the course of this audit, the Court found the following weaknesses. ο In Poland, the calculation method used was not in line with the CMEF guidelines, which resulted in huge differences for the number of actual training days39. ο The United Kingdom (England) and Spain (Galicia) could not provide the requested data in full and Austria allocated projects to the wrong CMEF types (resulting in an unreliable number of participants and training days for different types of activities). 
81 Tässä tarkastuksessa tilintarkastustuomioistuin havaitsi seuraavat puutteet: ο Puolassa käytetty laskentamenetelmä ei vastannut yhteisten seuranta-ja arviointisääntöjen suuntaviivoja, mikä johti valtaviin eroihin tosiasiallisten koulutuspäivien määrässä39. ο Yhdistynyt kuningaskunta (Englanti) ja Espanja (Galicia) eivät pystyneet toimittamaan kaikkia pyydettyjä tietoja, ja Itävalta osoitti hankkeita vääriin yhteisten seuranta- ja arviointisääntöjen tyyppeihin (mikä teki erityyppisiin toimiin osallistuneita ja koulutuspäiviä koskeneista määrällisistä tiedoista epäluotettavia).
82 On a positive note, in Sweden, providers and authorities are required to register the participants of each individual training or advisory activity online in a common database. 
82 Myönteistä on, että Ruotsissa palveluntarjoajien ja viranomaisten on kirjattava jokaisen yksittäisen koulutus-tai neuvontatoimen osallistujat verkossa yhteiseen tietokantaan.
Financial data and information on administrative project checks are recorded in another database. 
Rahoitustiedot ja hallinnollisia hanketarkastuksia koskevat tiedot kirjataan toiseen tietokantaan.
For the purpose of reporting monitoring data to the Commission, both databases must be linked through the project number. 
Komissiolle ilmoitettavia seurantatietoja varten molemmat tietokannat on yhdistettävä hankkeen numeron avulla.
However, the separation into two databases means no financial information at the level of individual training or advisory activities can be provided, e.g. costs per participant and/or training day. 
Eriyttäminen kahteen tietokantaan merkitsee kuitenkin sitä, ettei yksittäisiä koulutus-tai neuvontatoimia koskevia rahoitustietoja, esimerkiksi kuluja osallistujaa ja/tai koulutuspäivää kohti, voida ilmoittaa.
Moreover, the links between the databases are problematic and the Court observed problems concerning data reliability. 
Tietokantojen väliset yhteydet ovat myös ongelmallisia, ja tilintarkastustuomioistuin havaitsi ongelmia tietojen luotettavuudessa.
36 Article 80 of Regulation (EC) No 1698/2005. 
36 Asetus (EY) N:o 1698/2005, 80 artikla.
37 Regulation (EC) No 1974/2006. 
37 Asetus (EY) N:o 1974/2006.
The complete list of common indicators is given in Annex VIII. 
Luettelo kaikista yhteisistä indikaattoreista on liitteessä VIII.
38 Special Report No 12/2013 ‘Can the Commission and the Member States show that the EU budget allocated to rural development is well spent?’ (http://www.eca.europa.eu). 
38 Erityiskertomus nro 12/2013 ”Pystyvätkö komissio ja jäsenvaltiot osoittamaan, että maaseudun kehittämispolitiikkaan osoitetut EU:n määrärahat on käytetty tarkoituksenmukaisesti?” (http://www.eca.europa.eu).