Source: http://docplayer.fi/1388789-Lapin-eu-projektien-arviointikaytannot.html
Timestamp: 2016-10-21 09:06:53+00:00
Document Index: 14286603

Matched Legal Cases: ['kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ']

⭐Lapin EU-projektien arviointikäytännöt
Lapin EU-projektien arviointikäytännöt
Download "Lapin EU-projektien arviointikäytännöt"
1 Juha Koskela Lapin EU-projektien arviointikäytännöt Esiselvitysraportti Lapin yliopiston yhteiskuntatieteiden tiedekunnan julkaisuja C. Tutkimusraportteja ja selvityksiä 54 Rovaniemi 2013 ISSN ISBN2 Sisällys Esipuhe Johdanto Selvityksen tavoite ja raportin rakenne Arvioinnista Selvityksen toteutus Tiedonkeruu Menetelmät ja aineisto EU-projektien arviointi ja arviointiin käytetyt resurssit Arviointi Arviointiin käytetyt resurssit Kaikissa projekteissa ei tehdä arviointia Luvun yhteenveto Itsearviointi ja ulkoinen arviointi Itsearviointi Ulkoinen arviointi Luvun yhteenveto Arviointien hyödyntäminen Arviointien kehittäminen Yhteenveto ja pohdinta Yhteenvetotaulukko Pohdinta Kirjallisuus LIITTEET... 373 Esipuhe Lapin EU-hankkeiden arviointikäytännöt ja arviointien kehittäminen -esiselvityshanke toteutettiin Lapin yliopiston Lappea-instituutissa Lapin liiton myöntämällä EAKR-rahoituksella Esiselvityshanke syntyi kiinnostuksesta hankkia tietoa siitä, miten EUrahoitteisia projekteja arvioidaan ja miten arviointitietoa hyödynnetään. Toisaalta hankkeen taustalla oli myös halu kehittää ja tukea projektiarviointeja. Niinpä hankkeessa on tuotettu selvityksen lisäksi myös käytännönläheinen arvioinnin opaskirja Opas projektiarviointiin. Opaskirjan on kirjoittanut projektipäällikkö, yliopistonlehtori Leena Suopajärvi. Selvityksen raportoinnista on vastannut tutkija Juha Koskela. Selvitystä varten tehtiin Webropol-verkkokysely ja 12 puhelinhaastattelua ohjelmakaudella toimineiden lappilaisten EU-projektien toteuttajille. Kysely lähetettiin 256 projektipäällikölle ja projektin hakemusvaiheen yhteyshenkilölle. Osa projektipäälliköistä on toiminut projektipäällikkönä useammassa projektissa, joten kyselyn kohteena oli yhteensä 314 oman rahoituspäätöksen saanutta projektia. Henkilöistä, joille kysely lähetettiin, tavoitettiin noin 20 prosenttia. Kaikista 314 projektista, joiden vastuuhenkilöinä vastaanottajat olivat olleet, kysely kattaa noin 16 prosenttia. Kyselyn ja puhelinhaastatteluiden pohjalta laadittu raportti tuottaa tietoa lappilaistan EU-projektien arviointien toteuttamistavoista ja kehittämistarpeista. Projektitoiminnan luonteen mukaisesti tätäkään selvitystä ei tehty ilman yhteistyötä osaavien ja asiantuntevien ihmisten kanssa. Selvityksen onnistumista edistivät kokenut ohjausryhmä sekä Lapin yliopistolta koottu asiantuntijaryhmä. Kiitämme ohjausryhmän jäseniä kehittämispäällikkö Raimo Jänkälää, ylitarkastaja Marja Kivekästä, kehitysjohtaja Veli-Pekka Laukkasta ja tarkastuspäällikkö Tarja Saarelaista sekä projektin valvojaa Satu Kantolaa projektimme kanssa tehdystä yhteistyöstä. Kiitämme myös asiantuntijaryhmän jäseniä professori Asko Suikkasta, apulaisprofessori Jarno Valkosta, yliopisto-opettaja Marianne Siléniä, lehtori Pekka Vasaria ja sekä ohjausryhmässä että asiantuntijaryhmässä ollutta kehittämispäällikkö Raimo Jänkälää rakentavasta yhteistyöstä projektimme kanssa. 24 1 Johdanto 1.1 Selvityksen tavoite ja raportin rakenne Raportissa on selvitetty Lapin EAKR- ja ESR-rahoitteisten projektien arviointikäytäntöjä. Tavoitteena on ollut selvittää, kuinka paljon projekteissa tehdään arviointeja, miten ja millä resursseilla arviointeja toteutetaan sekä miten arviointitietoa hyödynnetään. Toisaalta tarkastellaan myös sitä, miksi joissakin projekteissa ei tehdä arviointeja. Tämän lisäksi tavoitteena on tuoda esiin kehittämistarpeita projektiarviointien suhteen sekä nostaa näkyville projektien toteuttajien näkemykset projektiarvioinnista. Selvityksessä tuotettu tieto on suunnattu sekä rahoittajille että projekteille. Rahoittajat voivat käyttää raporttia hyväkseen esimerkiksi arviointien ohjeistamisessa. Projektit puolestaan saavat tietoa siitä, miten muut tekevät arviointeja ja voivat suhteuttaa omaa toimintaansa muihin nähden. Selvityksen keskeisimmät kysymykset ovat: 1. Arvioivatko projektit toimintaansa ja kuinka paljon resursseja arviointeihin käytetään? 2. Miten arviointeja tehdään: mihin arvioinnit kohdistetaan, minkälaisilla menetelmillä arviointeja tehdään ja miten arviointeja hyödynnetään projektien toiminnassa? 3. Miten arviointikulttuuria voitaisiin kehittää ja minkälaista tukea projektit tarvitsevat arviointien toteuttamiseen? Arviointitietoa tuotetaan käytännön tarpeita varten. Michael Quinn Patton (1997) erittelee kolme pääasiallista käyttötarkoitusta arviointitiedolle. Ensimmäinen on projektin ansioiden ja arvon määrittely jollekin projektin ulkopuoliselle taholle, kuten rahoittajalle. Toinen käyttötarkoitus on projektin kehittäminen sekä vahvuuksien ja heikkouksien tunnistaminen. Tässä arviointitiedon käyttötavassa tietoa tuotetaan enimmäkseen projektin sisäisiin tarpeisiin. Kolmas käyttötarkoitus on yleistettävän tiedon tuottaminen esimerkiksi yleisten periaatteiden päättelemistä varten tai toimintamallien yhdistämistä varten toisten projektien kanssa. (Patton 1997, 76.) Tämän selvityksen taustalla on näkemys siitä, että arviointitietoa voidaan käyttää monenlaisiin käytännön tarpeisiin, monilla eri tavoilla. Arviointi on keino projektien, rakennerahastotoiminnan ja aluekehitystyön vaikuttavuuden varmistamiseen ja kehittämiseen. 35 Raportissa ei syvennytä arvioinnin teoreettiseen taustaan, vaan pääpaino on aineistossa. Kyselylomake, jolla aineisto on kerätty, on kuitenkin laadittu arviointikirjallisuuden pohjalta. Arviointikirjallisuudessa luokitellaan arviointeja ulkoiseen arviointiin ja itsearviointiin, arvioinnin kohdistamisen perusteella (esim. toimeenpanon, toimintaprosessien tai vaikuttavuuden arviointi) sekä arvioinnin ajoittamisen perusteella (esim. alkuarviointi, jatkuva kehittämisarviointi tai loppuarviointi). Arviointeja voidaan lisäksi luokitella sen perusteella, kenelle arviointitietoa tuotetaan. (Virtanen 2007, 22 24; Patton 1997, ) Kaikki mainitut näkökulmat arviointiin olivat mukana projektipäälliköille lähetetyssä kyselylomakkeessa. Pattonin (1997, 236) mukaan arviointien arviointia, eli niin sanottua meta-arviointia, voidaan toteuttaa seitsemän askelman avulla, joita tässä selvityksessä on käytetty soveltaen. Pattonin mallissa arviointia tarkastellaan ensin käytettyjen resurssien ja arvioinnin käytännön toteutuksen kautta. Seuraavissa vaiheissa selvitetään, ketkä osallistuivat arviointiin ja mitä he olivat siitä mieltä. Viimeiset kolme vaihetta käsittelevät arvioinnin vaikutuksia asianosaisiin ja itse arvioitavaan toimintaan sekä laajemmin projektin tai ohjelman muutoksia esimerkiksi päätöksenteon tasolla. Mallia ei ole selvityksessä seurattu tarkasti, koska kyseessä ei ole metaarviointi, vaan selvitys arviointikäytännöistä. Näin ollen arviointeja tarkastellaan käytettyjen resurssien, arviointitoimintojen, arviointiin osallistumisen sekä arvioinnin vaikutusten ja hyödyntämisen näkökulmasta. Nämä tarkastelun tasot on esitetty kuviossa 1. Näiden näkökulmien avulla on mahdollista tuottaa tietoa lappilaisten EU-projektien arviointikäytännöistä. Arviointiin käytetyt resurssit Kuinka paljon arviointiin on käytetty resursseja? Onko panostus ollut riittävää? Arviointitoiminnot Mitä aineistoa arvioinnissa on käytetty ja miten se on analysoitu? Mihin arviointi on kohdistettu? Arvioinnin toteuttajat Ketkä arviointiin ovat osallistuneet? Keneltä tietoa on kerätty? Arvioinnin vaikutukset Mitä hyötyä arvioinnista on ollut? Mihin sen tuloksia on käytetty? Kuvio 1. Selvityksessä käytetyt arvioinnin tarkastelun tasot Michael Quinn Pattonia (1997, 236) soveltaen. 46 Selvitys muodostuu seitsemästä luvusta. Johdantoa seuraavassa toisessa luvussa käydään läpi selvityksen aineisto sekä menetelmät. Kolmannen luvun aiheena ovat EU-projektien arvioinnit ja niihin käytetyt resurssit sekä toisaalta, miksi osassa projekteista arviointi jätetään tekemättä. Neljännessä luvussa tarkastellaan sitä, miten arviointeja tehdään. Luvussa käsitellään erikseen itsearviointi ja ulkoinen arviointi. Viides luku on omistettu arviointien hyödyntämiselle. Luvussa käydään läpi arviointien hyödyntämisen tapoja ja arviointien koettua hyödyllisyyttä. Kuudennessa luvussa nostetaan esiin arviointien kehittämistarpeita sekä vastaajien kehittämisehdotuksia. Seitsemännessä luvussa tehdään yhteenveto selvityksestä. 1.2 Arvioinnista Usein arviointia käsittelevässä kirjallisuudessa todetaan, ettei arvioinnille ole yhtä yksiselitteistä määritelmää tai yhtä oikeaa menetelmää. Arviointia tehdään hyvin erilaisista lähtökohdista ja moniin eri tarkoituksiin. (esim. Rajavaara 2006, ) Julkisessa hallinnossa arviointi on jo vakiintunut toimintatapa. Esimerkiksi kunnissa arvioidaan säännöllisesti valtuuston asettamien tavoitteiden toteutumista kunnanhallituksen ja -valtuuston tasolta yksittäisten yksiköiden tasolle. (Niiranen 2011, ; Suositus arvioinnista kuntien valtuustoille 2006, 16 18; Virtanen 2007, ) Myös EU:n rakennerahastotoimintaa arvioidaan säännöllisesti. Rakennerahastotoimintaa arvioidaan ohjelmatasolla etukäteisarviointina, väliarviointeina sekä loppuarviointeina. Ohjelmatasolla arviointeja tehdään sekä ohjelmia hallinnoivien virkamiesten toimesta että ulkopuolisen arvioitsijan toimesta. Ohjelmatasoisella arvioinnilla tarkastellaan strategioiden toteutumista sekä rakennerahasto-ohjelmien tavoitteiden toteutumista makrotasolla. (Rakennerahasto-ohjelmien arviointi 2011.) Hallinnollisen arvioinnin ja ohjelmatasoisen arvioinnin lisäksi myös yksittäisten projektien arviointi on osa rakennerahastotoimintaa. Yksittäisiä projekteja arvioidaan niin ikään hyvin erilaisista lähtökohdista ja näkökulmista. Esimerkiksi laajojen vuosia kestävien projektien arvioinnissa voi olla tärkeää arvioida pidempiaikaisen vaikuttavuuden toteutumista, kun lyhyemmissä ja kapeampialaisissa projekteissa toimintaa ohjaava keskusteleva itsearviointi voi olla projektin tarpeisiin riittävä. Empiirisissä tutkimuksissa on todettu, että myös suhtautuminen ja asennoituminen arviointia kohtaan vaihtelevat projektitoimijoiden välillä. Osalle projektitoimijoista arviointi on luonteva kehittämisen väline, kun osalle arviointi on ahdistavaa byrokraattista mittaamista. Joidenkin mielestä projektiarviointi on erottamaton osa projektitoimintaa, kun toisten mielestä se on taas täysin tarpeetonta. (ks. Suopajärvi 2007, Koskela 2012, Seppänen-Järvelä 2004.) 57 Arvioinnin tavoitteet suuntautuvat eri tavoin, kun vertaillaan arvioinnin koulukuntien ja suuntausten painotuksia. Realistiseen metodologiaan perustuva suuntaus painottaa tieteellisen tiedon kumuloitumista ja teorioiden kehittämistä (esim. Pawson & Tilley 1997), pragmatistiseen metodologiaan perustuva suuntaus arviointitiedon hyödyllisyyttä päätöksenteossa (esim. Patton 1997) ja konstruktivistiseen metodologiaan perustuva suuntaus toimijoiden välisen yhteisymmärryksen saavuttamista ja osallisten voimaannuttamista (esim. Guba & Lincoln 1989). Eleanor Chelimski jakaa arvioinnin tavoitteet tilivelvollisuuden täyttämiseen, arvioinnin kehittävään tehtävään ja tiedontuotantoon (Chelimski 1997, ) Kaikkien arvioinnin suuntausten taustalla on kuitenkin ajatus yhteiskunnallisesti merkittävien toimintojen kuten poliittisten päätösten, yhteiskunnallisten hankkeiden, strategioiden sekä ohjelmien, tehokas ja tietoon perustuva kehittäminen. Arvioinnin ideana on tukea tavoitteiden saavuttamista, toimintojen läpinäkyvyyttä sekä yhteiskunnan resurssien mahdollisimman tehokasta ja järkevää käyttöä. Selvityksessä esiintyvät arvioinnin kentältä tutut käsitteet, joiden käyttötavat esitellään seuraavaksi lyhyesti. Arviointia ei käsitteenä määritelty kyselyssä erikseen, vaan vastaajat saivat vastata kysymyksiin oman käsityksensä perusteella. Samoin toimittiin myös puhelinhaastatteluiden kohdalla. Tällä oli myös seurauksensa, sillä vastaajat käsittävät arvioinnin hyvin eri tavoilla. Esimerkiksi itsearvioinniksi saatettiin mieltää ohjausryhmän kanssa käydyt keskustelut, joiden perusteella projektin toimintaa on seurattu ja ohjattu. Toisaalta joissakin vastauksissa itsearviointia ei mielletty arvioinniksi lainkaan. Tässä raportissa itsearvioinnilla tarkoitetaan projektihenkilöstön tai muiden asianosaisten itse tekemää arviointia ja ulkoisella arvioinnilla projektin henkilöstöön kuulumattoman tahon toteuttamaa arviointia. Itsearviointikäytännöille ja ulkoisen arvioinnin käytännöille on omat alalukunsa luvussa 4. Kyselyssä kysyttiin myös arvioinnin kohdistamisesta ja arvioinnin hyödyntämisestä. Arvioinnin kohdistamisessa on kyse siitä, onko projektissa arvioitu projektin toimintaa, yksittäisiä toimenpiteitä, riskejä, taloudellisuutta, tavoitteiden toteutumista, tuloksia, välittömiä vaikutuksia tai pidemmän aikavälin vaikuttavuutta. (esim. Robson 2001, ; Rajavaara 2006, ) Arvioinnin hyödyntäminen on keskeisin seikka, mitä Michael Quinn Patton arviointia käsittelevissä teoksissaan korostaa. Tässä selvityksessä arviointien hyödyntämistä tarkastellaan Pattonia mukaillen sekä arviointien konkreettisen käytön että arviointien koetun hyödyllisyyden näkökulmasta. Arviointien hyödyntäminen on raportissa määritelty projektin kehittämisen ja summatiivisen arvon tai ansioiden toteamisen näkökulmasta. (Patton 1997, 76.) 68 2 Selvityksen toteutus Tässä luvussa käydään läpi selvityksen tiedonkeruumenetelmät eli Webropol-kysely ja puhelinhaastattelut sekä aineiston analyysimenetelmät. Lisäksi esitellään selvityksen aineisto ja verrataan sitä perusjoukkoon. 2.1 Tiedonkeruu Kysely Selvitystä varten toteutettiin Webropol-verkkokysely. Kyselylomakkeen suunnittelusta vastasi projektin tutkija, mutta ennen lähettämistä kyselylomaketta kommentoivat sekä projektin asiantuntijaryhmä että ohjausryhmä. Kyselyn ensimmäisen kierroksen jälkeen tehtiin muistutuskierros niille, jotka eivät olleet vastanneet kyselyyn ensimmäisellä kerralla. Muistutuskierros lähes kaksinkertaisti vastaajien määrän. Kummallakin kierroksella vastausaikaa annettiin noin viikko. Kysely toteutettiin ajalla Kysely lähetettiin 256 EU-projektin projektipäällikölle tai Eura järjestelmään ilmoitetulle hakemusvaiheen yhteyshenkilölle. Hakemusvaiheen yhteyshenkilölle kysely lähetettiin, jos projektipäällikön tietoja ei löytynyt järjestelmästä. Kyselyn saatteessa vastaanottajaa kehotettiin välittämään tieto kyselystä sellaiselle henkilölle, joka olisi vastaanottajan mielestä parempi henkilö vastaamaan kyselyyn. Tällaisia tilanteita varten oli julkinen linkki internetissä projektimme kotisivulla Lapin yliopiston kotisivujen alaisuudessa. Vastausprosentti on noin 20 prosenttia henkilöistä, joille kysely lähetettiin. Kaikista 314 projektista, joiden vastuuhenkilöinä vastaanottajat olivat olleet, kysely kattaa noin 16 prosenttia. Kyselyn kohteena olivat kaikki Lapin liiton hallinnoimat EAKR-projektit, lukuun ottamatta toimintalinjaan 4 eli Tekninen tuki -toimintalinjaan kuuluneet projektit. Lapin ELY-keskuksen hallinnoimista projekteista olivat mukana kaikki ESR-rahoituksella toimineet projektit. ELYkeskuksen EAKR-hankkeet eivät olleet mukana kyselyssä. Alhaista vastausprosenttia selittänee ainakin kaksi seikkaa. Yhtäältä monet sähköpostiosoitteet, joihin kysely lähetettiin, olivat vanhoja. Moni projektipäälliköistä ei ollut tavoitettavissa myöskään puhelimitse Eura 2007-järjestelmän tiedoilla. Kuten muun muassa Riitta Seppänen- Järvelä (2007, 257) ja Tom Erik Arnkil (2007, 74) toteavat, ovat projektit tilapäisiä organisaatioita, joiden päätyttyä projektin rakenteet hajoavat. Tällöin projektin toteuttamisesta vastanneet henkilöt eivät ole enää välttämättä tavoitettavissa kyseistä projektia koskien. Arnkil 79 toteaa hieman kärjistäen suomalaisista hyvinvointipalveluiden kehittämisprojekteista, että niistä ei jää jäljelle kuin arkistoarkeologisia jälkiä, joiden haalistuvasta tekstistä voidaan vaivoin ja vaivaantuneena lukea intoa henkivistä suunnitelmista ja aikaa sitten puretuista projektikohtaisista ohjausryhmistä (Arnkil 2007, 77). Toinen alhaista vastausprosenttia mahdollisesti selittävä seikka on vaihtelevat käsitykset arvioinnista. Kuten aiemmin on jo mainittu, arviointi ymmärrettiin vastaajien joukossa eri tavoilla. Puhelinhaastatteluista tuli vaikutelma, että jotkut kyselyn saaneet ovat jättäneet vastaamatta, koska ovat ajatelleet, että arviointi ei aiheena koske heitä. Puhelinhaastattelut Kyselyn vastausprosentin jäätyä odotettua alhaisemmaksi toteutettiin 12 puhelinhaastattelua projektipäälliköille, jotka jättivät vastaamatta kyselyyn. Yhteensä kyselyllä ja puhelinhaastatteluilla tavoitettiin 20 prosenttia kohteena olleista projekteista. Puhelinhaastattelut olivat kestoltaan noin viidestä minuutista 25 minuuttiin. Haastattelussa kysyttiin, onko projektissa toteutettu arviointia, miten se on toteutettu ja miten arviointitietoa on hyödynnetty. Määrällistä tietoa haastatteluissa kerättiin vain siitä, onko arviointi toteutettu ja onko arviointi toteutettu itsearviointina vai ulkoisena arviointina. 2.2 Menetelmät ja aineisto Aineistoa kuvaillaan frekvenssien, suhteellisten frekvenssien, keskilukujen (keskiarvo, mediaani, moodi) sekä ristiintaulukointien avulla. Kyselyaineiston analyysi on suoritettu SPSS-ohjelmalla. Kyselyaineiston avovastaukset on koottu yhteen tekstitiedostoon ja niistä on etsitty toistuvia teemoja. Puhelinhaastatteluista tehtiin puhelun aikana muistiinpanot tekstitiedostoon, joista niin ikään etsittiin toistuvia teemoja. Selvityksessä kyselyaineisto on pääosassa ja sitä täydennetään puhelinhaastatteluista saaduilla tiedoilla. Kyselyyn vastattiin 51 projektista. Kyselyyn vastanneista projekteista 34 (67 %) oli vielä toiminnassa, 16 (31 %) oli päättynyt ja 1 (2 %) keskeytynyt. Perusjoukosta, eli kyselyn kohteena olleista 314 projektista, 48 prosenttia oli kyselyn aikana toiminnassa ja 51 prosenttia päättyneitä, joten kyselyaineistossa korostuvat toiminnassa olevat projektit. Päättyneistä projekteista lähes kaikki olivat päättyneet vuosina , joten ohjelmakauden alkupäässä toteutettuja projekteja ei kyselyllä tavoitettu. 810 Vastanneista projekteista hieman yli puolet (52 %) oli toteutettu EAKR-rahoituksella ja lähes puolet ESR-rahoituksella, mikä vastaa kutakuinkin perusjoukkoa. Taulukosta 1 näkyvät EAKRprojektien ja ESR-projektien jakaumien vertailu toimintalinjoittain. Toimintalinjojen nimet ovat liitteenä lopussa (Liite 1.). Taulukossa verrataan kyselyyn vastanneita projekteja (aineisto) perusjoukkoon. EAKR-projektien jakauma toimintalinjoittain vastaa perusjoukkoa. Vastanneissa ESR-projekteissa korostuu toimintalinja 2 verrattuna perusjoukkoon. Toimintalinja 4:ään kuuluneista ESR-projekteista ei tullut yhtään vastausta. EAKR toimintalinja 4 ei ollut mukana kyselyssä. Taulukko 1. Aineiston ja perusjoukon vertailu rahaston ja toimintalinjan mukaan. Aineisto Perusjoukko EAKR ESR EAKR ESR 52 % 48 % 55 % 46 % Toimintalinja 1 8 % 21 % 9 % 20 % Toimintalinja 2 62 % 46 % 62 % 26 % Toimintalinja 3 31 % 33 % 28 % 48 % Toimintalinja 4 Ei mukana kyselyssä 0 % (ei yhtään vastausta) Ei mukana kyselyssä 6 % Projekteista suurin osa (31 projektia) on toiminut Lapin kaupunkialueilla, eli Kemi-Tornion ja Rovaniemen seutukunnassa. Pohjois-Lapin ja Tunturi-Lapin seutukunnan ilmoitti toteutusalueekseen 25 projektia, Itä-Lapin seutukunnan 24 ja Tornionlaakson seutukunnan 20 projektia. Kokonaisrahoitukseltaan kyselyyn vastanneita projekteja oli alle euron projekteista yli miljoonan euron projekteihin. Suurin osa vastanneista projekteista oli kuitenkin kokonaisrahoitukseltaan euroa. Vastanneista projekteista 55 prosentissa päätoteuttaja oli ammattikorkeakoulu, yliopisto tai ammatillinen oppilaitos (kuvio 2). 911 ammattikorkeakoulu yliopisto ammatillinen oppilaitos kuntayhtymä kunta säätiö järjestö tai yhdistys muu oppilaitos ely-keskus maakuntaliitto valtion liikelaitos muu Kuvio2. Kyselyyn vastanneiden projektien päätoteuttajat (projektien lukumäärä). Kuten jo päätoteuttajista voisi päätellä, koulutuksen ensisijaiseksi toimialakseen ilmoittaneita oli vastanneissa projekteissa eniten (kuvio 3). Ammattikorkeakoulujen, yliopiston ja ammatillisten oppilaitosten projekteista suurin osa liittyy koulutukseen. Kuviosta 3 voi nähdä vastanneiden projektien ensisijaiset toimialat. Verrattuna perusjoukkoon ammattikorkeakoulujen, yliopiston ja ammatillisten oppilaitosten projekteja on vastaajien joukossa suhteellisesti enemmän. Perusjoukossa niitä on 31 prosenttia ja kyselyyn vastanneissa 56 prosenttia. 1012 koulutus matkailu muut sosiaali- ja terveysala hallinto, tutkimus ja kehittäminen teollisuus, rakentaminen, ympäristö- ja luonnonvara-ala Kuvio 3. Kyselyyn vastanneet projektit toimialoittain (% vastanneista projekteista). 0% 5% 10% 15% 20% 25% 30% 35% Kyselylomakkeessa kysyttiin myös, miten projektipäälliköt näkivät projektinsa onnistuneen. Enimmäkseen projektien toteuttajat arvioivat projektiensa onnistuneen hyvin (taulukko 2). Vaikutusten ja vaikuttavuuden toteutumisen kohdalla arvioitiin projektien onnistuneen melko hyvin. Avointen vastausten perusteella tämä johtuu siitä, että monet projektit ovat olleet vielä käynnissä, jolloin vaikutusten tai varsinkin vaikuttavuuden toteutumista on vaikea arvioida. Näyttää siltä, että kyselyyn ovat vastanneet hyvin onnistuneiden projektien toteuttajat. Taulukossa 1 on vastaajien näkemykset projektinsa onnistumisesta aihealueittain. Taulukko 2. Vastaajien näkemykset projektiensa onnistumisesta. melko melko vastaajien huonosti hyvin huonosti hyvin lkm toteutus onnistunut 0 % 0 % 46 % 54 % 50 aiottuun tarpeeseen vastattu 0 % 0 % 34 % 66 % 50 tavoitteet saavutettu 0 % 2 % 43 % 55 % 49 vaikutukset kohderyhmään tai kohteeseen toteutuneet 0 % 6 % 52 % 42 % 48 vaikuttavuus toteutunut 0 % 10 % 54 % 35 % 48 yhteistyö emo-organisaation sisällä onnistunut 0 % 6 % 43 % 51 % 49 yhteistyö kumppaneiden kanssa onnistunut 2 % 2 % 45 % 51 % 47 verkostoituminen onnistunut 2 % 2 % 42 % 54 % 48 ohjausryhmän työ onnistunut 2 % 8 % 37 % 53 % 49 yhteistyö rahoittajan kanssa onnistunut 2 % 2 % 16 % 80 % 49 1113 Selvityksen aineisto on pieni, se kattaa noin 20 prosenttia kyselyn kohteena olleista projekteista. Aineiston perusteella ei voida tehdä yleistyksiä kaikkia Lapin EU-projekteja koskien. Aineistossa on lisäksi enemmän oppilaitosten, eli yliopiston, ammattikorkeakoulujen ja ammatillisten oppilaitosten, toteuttamia projekteja kuin perusjoukossa. ESR-projektien kohdalla toimintalinja 2 eli työllistymisen ja työmarkkinoilla pysymisen edistäminen sekä syrjäytymisen ehkäisy korostuu aineistossa verrattuna perusjoukkoon. Kolmas seikka, jonka kohdalla aineistossa voi olla vinoumaa, on projektien onnistuminen. Taulukossa 1 on nähtävissä kyselyyn vastanneiden projektien hyvä onnistuminen kaikilla osaalueilla. Voidaan kuitenkin olettaa, että kaikki EU-rahoitteiset projektit eivät aina onnistu toteuttajien mielestä hyvin. Näin ollen heikommin onnistuneiden projektien kokemukset ja näkemykset eivät tässä aineistossa juurikaan näy. Hyvien arvioiden projektien onnistumisesta voidaan ajatella johtuvan myös siitä, että suurin osa vastanneista projekteista oli vielä käynnissä. Kriittisyys kesken olevaa projektia kohtaan voi olla itse toimijoilla hankalaa. Vaikka aineistosta ei voida tehdä koko perusjoukkoa koskevia yleistyksiä, sen avulla voidaan luoda viitteellinen kuva Lapin EU-projektien arviointikäytännöistä esiselvityksen tarpeisiin. 1214 3 EU-projektien arviointi ja arviointiin käytetyt resurssit Tässä luvussa vastataan kysymykseen: arvioivatko projektit toimintaansa ja kuinka paljon resursseja arviointeihin käytetään? Luvussa tarkastellaan sitä, millaiset projektit ovat tehneet arviointeja ja missä määrin arvioinnit ovat itsearviointeja tai ulkoisia arviointeja. Luvussa käydään läpi myös vastaajien perusteluja sille, miksi arviointia ei ole tehty. Tarkastelut perustuvat sekä kyselyaineistoon että puhelinhaastatteluihin. 3.1 Arviointi Selvityksen perusteella EU-projektien toteuttajilla ei ole yhtenäistä käsitystä siitä, mitä projektiarviointi on. Kyselyn ja puhelinhaastatteluiden vastaajat määrittelivät arvioinnin neljällä eri tavalla. Yhtäältä arviointi määriteltiin hyvin samalla tavoin kuin arvioinnin oppikirjoissa; arviointiin kerätään aineisto, jota analysoimalla tuotetaan arviointitietoa, ja josta raportoidaan tietoa tarvitseville. Aineistonkeruun ja analyysin voi toteuttaa joko itse projekti tai joku ulkopuolinen taho. Toisaalta arviointi on ajateltu reflektoivaksi ei-systemaattiseksi keskusteluksi projektin sisällä ja ohjausryhmän kanssa. Näiden pohjalta projekteja on ohjattu ja kehitetty toiminnan aikana. Riitta Seppänen-Järvelän (2004, 433) tutkimuksessa sosiaali- ja terveysalan projektitoimijat mielsivät arvioinnin hyvin samalla tavalla, eli enimmäkseen perinteiseksi tutkimukseksi, mutta myös reflektiiviset ja keskustelevat menetelmät miellettiin arvioinniksi. Kolmanneksi arviointi on ajateltu Eura järjestelmän raportoinnin ja seurannan kautta. Joissakin projekteissa rahoittajan vaatimat seurantalomakkeet ja raportit ovat toimineet arvioinnin työkaluina. Neljänneksi arviointia ajateltiin olevan vain ulkopuolisen toteuttama erillinen arviointi. Osa vastaajista vastasi jopa, että ei ollut toteuttanut arviointia, vaikka itsearviointia oli tehty. Nämä vastaajat mieltävät arvioinnin vain erilliseksi ulkoiseksi arvioinniksi. Kaikkiaan 63:sta kyselyllä ja puhelinhaastatteluilla tavoitetusta projektista 64 prosentissa on tehty tai suunniteltu tehtävän jonkinlaista arviointia. Arvioinneista suurin osa on itsearviointia. Noin 50 prosenttia projekteista on käyttänyt itsearviointia, noin 13 prosenttia ulkoista arviointia ja noin 38 prosenttia ulkoisen arvioinnin ja itsearvioinnin yhdistelmää. Itsearvioinnin ja ulkoisen arvioinnin toteutustavat ja toteuttajat käydään tarkemmin läpi seuraavassa luvussa. Kyselyaineiston perusteella eniten arviointeja on toteutettu sosiaali- ja terveysalan projekteissa. 1315 Kuviosta 4 on nähtävissä, että lähes kaikilla toimialoilla yli puolet vastanneista projekteista toteuttaa jonkinlaista arviointia. Vähiten arviointeja on tehty teollisuuden, rakentamisen, ympäristö- ja luonnonvara-alan sekä matkailun projekteissa, joista alle puolessa on tehty arviointia. arviointia tehty tai suunniteltu tehtävän arviointia ei ole tehty sosiaali- ja terveysala hallinto, tutkimus ja kehittäminen koulutus muut teollisuus, rakentaminen, ympäristö- ja luonnonvara-ala matkailu 0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 % Kuvio 4. Projekteissa toteutetut arvioinnit toimialoittain (n=51). Projektin rahoituksen koko ei kyselyaineistossa näyttäisi liittyvän arvioinnin toteuttamiseen. Eniten arviointia tehneiden toimialojen projekteihin kuuluu kaikkien kokoluokkien projekteja. Myös ristiintaulukoinnin perusteella näyttäisi siltä, että projektin rahoituksen kokoluokan ja arvioinnin tekemisen välillä ei ole tilastollisesti merkitsevää yhteyttä 1. Arviointien tekeminen riippuu enemmän projektin toimialasta kuin rahoituksen koosta. EAKR- ja ESR-projektien ja tehtyjen arviointien ristiintaulukoinnin perusteella näyttäisi arvioinnin tekemisellä ja rahastolla olevan kyselyaineistossa kohtalainen yhteys 2. ESR-projekteissa tehdään enemmän arviointeja kuin EAKR-projekteissa, mikä liittyy myös toimialoihin. ESR-projekteissa on enemmän sosiaalija terveysalan projekteja sekä koulutusprojekteja. EAKR-projekteissa on puolestaan enemmän teollisuuden, rakentamisen, ympäristö- ja luonnonvara-alan sekä matkailun projekteja. Ristiintaulukoitaessa EAKR- ja ESR-ohjelmien toimintalinjoja ja tehtyjä arviointeja merkittävää eroa ei ole toimintalinjojen välillä arviointien tekemisessä. Tosin yleistyksiä toimintalinjojen 1 χ²=2,056, p=0,358, kontingenssikerroin C=0,197 2 χ²=9,727, p=0,002, kontingenssikerroin C=0,366 1416 suhteen ei voida tehdä, koska vertailu toimintalinjojen välillä ei ole täysin luotettava aineiston pienuuden vuoksi. 3.2 Arviointiin käytetyt resurssit Arviointiin panostetaan projektin työajasta ja kokonaisrahoituksesta hyvin eri tavoin. Vastaajilta kysyttiin, kuinka monta prosenttia rahoituksesta ja työajasta on käytetty arvioinnin tekemiseen. Vastaukset vaihtelivat käytetyn työajan suhteen välillä 0 30 prosenttia ja rahoituksen suhteen 0 25 prosenttia projektin kokonaisrahoituksesta. Puolet arviointia tehneistä projekteista on kuitenkin käyttänyt viisi prosenttia tai vähemmän (mediaani) työajasta projektin arviointiin ja 2,5 prosenttia tai vähemmän (mediaani) kokonaisrahoituksesta arvioinnin toteuttamiseen. Keskiarvot ovat työajasta noin 8 prosenttia ja rahoituksesta noin 4 prosenttia. Siis kokonaisrahoitukseltaan euron projektissa, joka kestää noin kaksi vuotta, työaikaa käytetään projektin arviointiin noin kahdeksan viikkoa tai rahassa mitattuna 6250 euroa. Panostus arviointiin näyttäisi toimijoiden mielestä riittävän. Noin puolet vastaajista ilmoitti käytettyjen resurssien olleen riittävät ja 22 prosenttia lähes riittävät arvioinnin tekemiseen. 30 prosenttia vastasi, että projektin arviointiin käyttämät resurssit eivät olleet lainkaan riittävät. Ristiintaulukoinneissa ei näy selkeää riippuvuutta resurssien riittävyyden ja sen välillä, onko projektissa budjetoitu arviointi jo projektin alkuvaiheessa. Myöskään itsearviointia, ulkoista arviointia tai sekä ulkoista että itsearviointia käyttäneiden välillä ei ole resurssien riittävyyden suhteen selkeitä eroja. Tämän kyselyaineiston perusteella voidaan todeta, että suurin osa arviointia tehneistä projekteista katsoi käytetyn työajan ja rahan olleen riittäviä tai lähes riittäviä arvioinnin tekemiseen. Noin kolmasosa projekteista käyttää omasta mielestään liian vähän työaikaa ja rahaa arviointien tekemiseen. 3.3 Kaikissa projekteissa ei tehdä arviointia Kuten on aiemmin todettu, arviointi on vastaajien keskuudessa ymmärretty eri tavoin. Projekteja, jotka vastasivat, että eivät olleet tehneet arviointia, oli yhteensä 23, eli noin 37 prosenttia sekä kyselyyn että puhelinhaastatteluun vastanneista. Kuitenkin viidessä näistä projekteista oli tehty jonkinlaista itsearviointia. Itsearviointia on tehty palautelomakkeiden avulla, yksittäisten toimenpiteiden arviointina sekä ohjausryhmäkeskusteluissa. Verrattuna niihin projekteihin, jotka vastasivat tehneensä arviointia, näiden viiden itsearvioinnin lyhyet kuvaukset eivät eroa millään 15 Näytä lisää
Ulkoasu: Dynamo. Suomen Graafiset Palvelut Oy Kuopio 2012 ISBN 952-5504-20-4
AVUSTUSTOIMINNAN RAPORTTEJA 28 Tuomas Koskela Kehittämishankkeiden arvioinnin tila Motiivit ja arviointitiedon hyödyntäminen sosiaali- ja terveysalojen järjestöissä 2 0 1 2 Ulkoasu: Dynamo Suomen Graafiset Lisätiedot Maa- ja metsätalousministeriön rahoittamien tutkimus- ja kehittämishankkeiden yhteiskunnalliset
Maa- ja metsätalousministeriön rahoittamien tutkimus- ja kehittämishankkeiden yhteiskunnalliset vaikutukset Arja Haapakorpi, Aija Kortesmaa ja Anu Väinölä Helsingin yliopiston Koulutus- ja kehittämiskeskus Lisätiedot Ei vain tätä päivää varten. OK-opintokeskuksen ja sen jäsenjärjestöjen vuosien 2007-2009 koulutushankkeiden jälkikäteisarviointi
Ei vain tätä päivää varten OK-opintokeskuksen ja sen jäsenjärjestöjen vuosien 2007-2009 koulutushankkeiden jälkikäteisarviointi Sisällysluettelo 1. Tiivistelmä 3 2. Johdanto, tausta ja asetelma 4 3. Toteutus, Lisätiedot RAY:n arviointikoulutus
RAY:n arviointikoulutus Tuomas Koskela & Henna Harju Arviointi- ja koulutusyksikkö 1 Sisältö 1. Taustaa 1.1. RAY: Arvioinnin tilaa kartoittava selvitys 2011 2. Miksi arviointia tarvitaan? 2.1. Yleistä Lisätiedot Julkisen hallinnon toimenpiteiden vaikutukset luoviin aloihin
Hannu Uotila, Jari Handelberg, Mikko Valtakari, Toni Riipinen & Petteri Huvio Selvitysraportti: Julkisen hallinnon toimenpiteiden vaikutukset luoviin aloihin Luovan Suomen julkaisuja 5. Luova Suomi / Cupore Lisätiedot Koulutustieto menee parhaiten perille kasvokkain keskustelemalla ja kasvokkain opiskelijan motivointi onnistuu parhaiten
Koulutustieto menee parhaiten perille kasvokkain keskustelemalla ja kasvokkain opiskelijan motivointi onnistuu parhaiten Hakeva toiminta Noste-hankkeissa vuonna 2005 Anne Luukkainen Joensuun yliopisto Lisätiedot Hyvä johtaja Hankekoulutusten. vaikuttavuusselvitys 2008-2010. Tomi Heimonen KAUPPA + TALOUS. Pienyrityskeskus
Pienyrityskeskus Hyvä johtaja Hankekoulutusten vaikuttavuusselvitys 2008-2010 Tomi Heimonen KAUPPA + TALOUS TUTKIMUSRAPORTTI Aalto-yliopiston julkaisusarja KAUPPA + TALOUS 4/2011 Hyvä Johtaja - Hankekoulutusten Lisätiedot Liikuntatieteellisen Seuran arviointi VALTION LIIKUNTANEUVOSTON JULKAISUJA 2014:7. Jari Stenvall
Liikuntatieteellisen Seuran arviointi VALTION LIIKUNTANEUVOSTON JULKAISUJA 2014:7 Jari Stenvall Liikuntatieteellisen Seuran arviointi VALTION LIIKUNTANEUVOSTON JULKAISUJA 2014:7 Jari Stenvall Opetus- ja Lisätiedot Työmieli-hankkeen arviointiraportti
Työmieli-hankkeen arviointiraportti ajanjaksolta: huhtikuu 2010 - toukokuu 2011 Hanna Hannukainen Sisällys 1. Aluksi... 2 2. Työmieli-hanke lyhyesti... 3 3. Arvioinnin lähtökohdat ja arvioinnin kokonaisuus... Lisätiedot ARVIOINTI JA ITSEARVIOINTI PROJEKTIN TYÖVÄLINEINÄ
EUROOPAN YHTEISÖ Rakennerahastot ARVIOINTI JA ITSEARVIOINTI PROJEKTIN TYÖVÄLINEINÄ Itä-Suomen lääninhallituksen julkaisu nro 82 ISSN 1455-7428 ISBN 951-562-009-0 Joensuun yliopistopaino 2003 Ja jotain Lisätiedot Kimmo Riusala SPIRIT-HANKKEEN ARVIOINTIRAPORTTI
Kimmo Riusala SPIRIT-HANKKEEN ARVIOINTIRAPORTTI PALVELUTUTKIMUS No 1/2008 SPIRIT-HANKKEEN ARVIOINTIRAPORTTI JOHDANTO...2 Arvioinnin taustat ja tavoitteet...2 Arviointiprosessi ja aineisto...2 Raportin Lisätiedot YKKÖSAKSELI RY:N HANKE- JA YRITYSTUKIEN ULKOINEN ARVIOINTI. Ohjelmakausi 2007 2013. Eija Eloranta
YKKÖSAKSELI RY:N HANKE- JA YRITYSTUKIEN ULKOINEN ARVIOINTI Ohjelmakausi 2007 2013 Eija Eloranta Turun yliopiston Brahea-keskuksen julkaisuja 4 Julkaisija: Turun yliopiston Brahea-keskus Ulkoasu ja taitto: Lisätiedot HAKEVA TOIMINTA NOSTE-HANKKEISSA VUONNA 2006
HAKEVA TOIMINTA NOSTE-HANKKEISSA VUONNA 2006 Arja Huusko Joensuun yliopisto, sosiologian oppiaine Koulutuksen yhteiskunnallis-kulttuurisen tutkimuksen yksikkö 29.6.2007 SISÄLLYS 1 Johdanto... 3 1.1 Tutkimuksen Lisätiedot Innovaatiot liikkeelle lisäarvoa valmistelurahoituksesta
Innovaatiot liikkeelle lisäarvoa valmistelurahoituksesta Pekka Stenholm, Ulla Hytti Teknologiaohjelmaraportti 12/2006 Arviointiraportti Innovaatiot liikkeelle lisäarvoa valmistelurahoituksesta Arviointiraportti Lisätiedot Ei ylhäältä annettuna, vaan yhdessä tavoitteellisesti toimien. ESR-välityömarkkinahankkeiden toimintamallien siirrettävyyttä koskeva tutkimus
Ei ylhäältä annettuna, vaan yhdessä tavoitteellisesti toimien ESR-välityömarkkinahankkeiden toimintamallien siirrettävyyttä koskeva tutkimus Työ- ja elinkeinoministeriön julkaisuja Työ ja yrittäjyys 17/2012 Lisätiedot Hakeva toiminta Noste-hankkeissa vuonna 2004
Hakeva toiminta Noste-hankkeissa vuonna 2004 Hanne Laukkanen Joensuun yliopisto Sosiologian laitos Koulutuksen yhteiskunnalliskulttuurisen tutkimuksen yksikkö 28.5.2005 1 Sisällys 1 Johdanto 3 2 Noste-hankkeiden Lisätiedot EAKR-TOIMENPIDEOHJELMIEN JA KAN- SALLISEN RAKENNERAHASTOSTRATEGI- AN 2007 2013 ARVIOINTI
Vastaanottaja Aila Ryynänen Asiakirjatyyppi Loppuraportti Päivämäärä 7.3.2012 TEEMA 1. EAKR-TOIMENPIDEOHJELMIEN HALLINTOJÄRJESTELMÄN TOIMIVUUS EAKR-TOIMENPIDEOHJELMIEN JA KAN- SALLISEN RAKENNERAHASTOSTRATEGI- Lisätiedot ARVIOIVA AJATTELU PROJEKTITOIMINNASSA
ARVIOIVA AJATTELU PROJEKTITOIMINNASSA oppaan on RAY:n tilaamana laatinut Evalue Praxis Oy Espoo 2004 Sisällysluettelo: 1. Johdanto...3 2. Lähtökohtia arvioivaan ajatteluun...6 2.1. Arvioiva ajattelu on Lisätiedot KAKS:N RAHOITTAMIEN VÄITÖSTUTKIMUSTEN YHTEISKUNNALLINEN VAIKUTTAVUUS. VTK Liisa Kauppila kevät 2011 TUTKIMUSHANKKEIDEN ONNISTUMINEN JA VAIKUTTAVUUS
KAKS:N RAHOITTAMIEN VÄITÖSTUTKIMUSTEN YHTEISKUNNALLINEN VAIKUTTAVUUS VTK Liisa Kauppila kevät 2011 KAKS:N RAHOITTAMIEN TUTKIMUSHANKKEIDEN ONNISTUMINEN JA VAIKUTTAVUUS VTK Anna Laiho syksy 2011 VTK Liisa Lisätiedot Martti Majuri ja Tuomas Eerola
Martti Majuri ja Tuomas Eerola EIVÄT HE MUUTA TEKISIKÄÄN Tarkastelussa työpaikkaohjaajien koulutus, opettajien työelämäjaksot ja työssäoppiminen Opetushallitus ja tekijät Tmi Eija Högman ISBN 978-952-13-3191-6 Lisätiedot Mobiiliapu-hanke, loppuraportti
Mobiiliapu-hanke, loppuraportti Mobiiliapu-hanke, loppuraportti Osa 1 Ulkoinen arviointi Kuntoutussäätiön arviointi- ja koulutusyksikkö, s. 4 Osa 2 Hankeryhmän raportti, s. 24 Osa 3 Kumppaneiden näkemykset, Lisätiedot Kansalaisjärjestötoiminnan ytimessä
AVUSTUSTOIMINNAN RAPORTTEJA 23 Anne Birgitta Pessi, Tomi Oravasaari Kansalaisjärjestötoiminnan ytimessä Tutkimus RAY:n avustamien sosiaali- ja terveysjärjestöjen vapaaehtoistoiminnasta AVUSTUSTOIMINNAN Lisätiedot Sosiaalinen raportointi tiedon rakentajana
Sosiaalinen raportointi tiedon rakentajana menetelmäkuvaus ja käytännön kokemukset Taina Hussi Yhteystiedot: SOCCA fax 310 423 44 Heikki Waris -instituutti puh. 09 310 617 22, fax 09 310 617 25 Tilaukset: Lisätiedot ESR-strategian arviointi
Kari Hietala Oy Kari Hietala Oy Kari Hietala Marraskuu 2009 ESR-strategian arviointi Sisällysluettelo 1. ESR-strategia ja Lissabonin strategia 1 2. ESR-strategian relevanssi 2 3. ESR-ohjelman sisältö 4 Lisätiedot raportteja 77 Työorganisaation kehittämisen vaikutuksia tuloksellisuuteen ja työelämän laatuun sekä työllisyyteen HELSINKI 2012
raportteja 77 HELSINKI 2012 Työorganisaation kehittämisen vaikutuksia tuloksellisuuteen ja työelämän laatuun sekä työllisyyteen Työelämän kehittämisohjelman (1996-2010) kehittämisprojektien itsearviointitulokset Lisätiedot TYÖELÄMÄÄ KEHITTÄMÄSSÄ
OPPIMATERIAALEJA 67 PUHEENVUOROJA RAPORTTEJA TUTKIMUKSIA Tiina Hautala, Mira Ojalehto & Johanna Saarinen (toim.) TYÖELÄMÄÄ KEHITTÄMÄSSÄ Ammattikorkeakoulu projektimaisen kehittämisen kumppanina Turun ammattikorkeakoulun Lisätiedot Selvitys RAY:n avustamista verkkopalveluista
AVUSTUSTOIMINNAN RAPORTTEJA 24 Pirjo Kupila Selvitys RAY:n avustamista verkkopalveluista Tietoa ja tukea Internetissä kansalaisten terveydellisiin ja sosiaalisiin ongelmiin AVUSTUSTOIMINNAN RAPORTTEJA Lisätiedot AMMATILLISEN KOULUTUKSEN LÄPÄISYN TEHOSTAMISOHJELMA
Raportit ja selvitykset 2014:7 Jukka Vehviläinen AMMATILLISEN KOULUTUKSEN LÄPÄISYN TEHOSTAMISOHJELMA Seurantatutkimuksen raportti 2013 Jukka Vehviläinen AMMATILLISEN KOULUTUKSEN LÄPÄISYN TEHOSTAMISOHJELMA Lisätiedot Projektit hallinnassa? Kartoitus projektinhallinnan opetuksesta Tampereen yliopistossa
Projektit hallinnassa? Kartoitus projektinhallinnan opetuksesta Tampereen yliopistossa Tampereen yliopisto YHTIS-projekti Toimittanut Hanna Järvinen Syksy 2004 1 Sisällys 1 Johdanto...2 2 Projektinhallinnan Lisätiedot Muutosjohtaminen, osaamisen johtaminen ja esimiestyö yhteys- ja palvelukeskusalalla
Pilvi Purmonen & Riitta Makkonen (toim.) Muutosjohtaminen, osaamisen johtaminen ja esimiestyö yhteys- ja palvelukeskusalalla Osaamisen kehittäminen sähköisessä liiketoiminnassa -hanke 1 Pohjois-Karjalan Lisätiedot 2016 © DocPlayer.fi Yksityisyyskäytäntö | Palveluehdot | Palaute