EUROOPAN KOMISSIO Bryssel 6.6.2016 COM(2016) 364 final KOMISSION KERTOMUS EUROOPAN PARLAMENTILLE, NEUVOSTOLLE, EUROOPAN TALOUS- JA SOSIAALIKOMITEALLE JA ALUEIDEN KOMITEALLE Internetiä ja muuta viestintäteknologiaa käyttävien lasten suojelua koskevan monivuotisen EU:n ohjelman (Safer Internet) loppuarviointi



1.Yleiskatsaus Tässä kertomuksessa esitetään Safer Internet -ohjelman (2009–2013), jäljempänä ’ohjelma’, arvioinnin tulokset. Komissio katsoo tämän arvioinnin perusteella, että ohjelma on saavuttanut keskeiset tavoitteensa. Ohjelma oli erittäin merkityksellinen siinä käsiteltyjen ongelmien ja siihen osallistuneiden sidosryhmien kannalta, ja se vastasi hyvin teknologioiden ja ongelmien muutoksiin. Arviointi osoitti, että EU:n toimet ovat olleet tarpeellisia ja että niillä on saavutettu tuloksia tehokkaasti. Keskeisiä ohjelman onnistumiseen vaikuttaneita tekijöitä olivat muun massa toimien yleiseurooppalainen ulottuvuus, Safer Internet -keskuksen perustaminen kaikkiin jäsenvaltioihin ja tiivis yhteistyö eri sidosryhmien välillä. Arviointi perustuu ulkopuoliseen selvitykseen, jossa on käytetty hankkeiden osanottajille ja laajemmille sidosryhmille osoitetuilla kyselyillä ja haastatteluilla koottuja tietoja. Ulkopuolisen selvityksen päätelmät ovat perusteltuja ja niitä tukevat hankearviointien tulokset sekä havainnot, joita on tehty rinnakkain suoritetussa jäsenvaltioiden internetin käyttöturvallisuuden parantamista koskevien politiikkojen vertailussa. Havaintojen perusteella komission pitäisi harkita seuraavia toimia: jatketaan tuloksellisimpia toimia, joita ovat Safer Internet -keskukset, kohdennettu tutkimus ja toimien eurooppalainen koordinointi; parannetaan hankkeissa toteutettujen toimien seurantaa; jatketaan tiedonvaihtoa ja yhteistyötä kaikilla tasoilla; ja varmistetaan jäsenvaltioiden ja toimialan laajempi osallistuminen. Arvioinnissa todettiin lisäksi, että Safer Internet -keskukset ovat keskeisessä asemassa toimien ja aloitteiden koordinoinnissa. Useimmissa jäsenvaltioissa Safer Internet -keskus tunnustetaan keskeiseksi foorumiksi toimien ja aloitteiden toteuttamiselle ja koordinoinnille; lasten verkkoturvallisuuteen liittyvät kysymykset ovat korkealla sijalla poliittisella asialistalla kaikissa jäsenvaltioissa, mutta parantamisen varaa on edelleen politiikan suunnittelussa, etenkin koordinoinnin, näytön keräämisen ja politiikan arvioinnin osalta. 2.Tausta Tämä kertomus koskee Safer Internet -ohjelman (2009–2013) loppuarviointia. Sen tavoitteena on arvioida ohjelman merkityksellisyyttä, vaikuttavuutta ja tehokkuutta sekä sen laajempia vaikutuksia ja jatkuvuutta. Ohjelmasta tehdyn päätöksen 5 artiklassa säädetään, että komissio arvioi hankkeiden toteutustapaa ja vaikutuksia selvittääkseen, onko tavoitteet saavutettu, ja että komissio toimittaa lopullisen arviointiraportin ohjelman päätyttyä. Arvioinnin pohjalta annetaan myös suosituksia, joita hyödynnetään internetin käyttöturvallisuuden parantamista koskevan tulevan politiikan muotoilussa sekä ohjelman jatkotoimissa, jotka toteutetaan Verkkojen Eurooppa -välineen puitteissa toteutettavan Safer Internet -digitaalipalveluinfrastruktuurin kautta. Ohjelman budjetti oli 55 miljoonaa euroa, ja siitä annettiin osarahoitusta jäsenvaltioissa, Islannissa, Norjassa ja Serbiassa (yhteisymmärryspöytäkirjan kautta) toteutetuille hankkeille sekä rajallista rahoitusta Venäjän osallistumiselle eurooppalaisiin verkostoitumistoimiin. Sen päätavoitteet liittyivät seuraaviin toimintalinjoihin: 1.Lisätään yleisön ja erityisesti lasten, vanhempien ja opettajien tietoisuutta verkkoteknologian käyttöön liittyvistä mahdollisuuksista ja riskeistä sekä keinoista varmistaa niiden turvallinen käyttö. 2.Torjutaan laitonta sisältöä ja haitallista verkkokäyttäytymistä vähentämällä verkossa jaeltavan laittoman sisällön määrää ja puuttumalla asianmukaisesti haitallisiin yhteydenotto- ja käyttäytymismuotoihin, keskittyen erityisesti lasten seksuaaliseen hyväksikäyttöön liittyvän aineiston jakeluun verkossa, verkkohoukutteluun ja verkkokiusaamiseen. 3.Edistetään turvallisemman ympäristön luomista tuomalla yhteen sidosryhmiä, myös lapsia, ja edistämällä itsesääntelyaloitteita. 4.Luodaan tietopohja, jonka avulla voidaan riittävän hyvin ratkaista nykyisiin ja tuleviin verkon käyttötapoihin, riskeihin ja seurauksiin liittyviä kysymyksiä, jotta voitaisiin suunnitella tarvittavia toimia verkon turvallisen käytön varmistamiseksi kaikille käyttäjille.

Budjetista käytettiin 92 prosenttia toimintalinjoihin 1 ja 2 liittyvien hankkeiden osarahoitukseen (Euroopan Safer Internet -keskusten verkko ja sen koordinointi), 5 prosenttia käytettiin tietopohjan luomiseen liittyvien hankkeiden rahoitukseen ja 2 prosenttia osoitettiin kolmanteen toimintalinjaan. Keskimääräinen rahoitusosuus oli 73 prosenttia ja rahoituksen keskimääräinen kesto oli 26,5 kuukautta. Ohjelmaa oli aikaisempiin Safer Internet -ohjelmiin verrattuna laajennettu siten, että se kattoi uudet esiin nousevat verkkoteknologiat ja haitalliset yhteydenotto- ja käyttäytymismuodot sekä alaa koskevan tietopohjan lujittamisen. Ohjelman pääasiallinen toteutusväline olivat vuotuiset työohjelmat, joissa esitettiin painopisteet, toimet ja rahoitusvälineet kullekin vuodelle. Ehdotuspyyntöjen perusteella valittujen hankkeiden osarahoituksen tuloksena toteutettiin laaja valikoima hankkeita, joiden tavoitteena oli turvallisemman verkkoympäristön luominen lapsille. Hankkeita täydennettiin toimilla, joille ei annettu rahoitusta. Näihin lukeutuivat Safer Internet -päivän tukeminen, Safer Internet -foorumin organisointi, toimialan itsesääntelyn tukeminen ja kansainvälinen yhteistyö. Ohjelman jatkuvassa täytäntöönpanossa otettiin huomioon vuonna 2011 tehdyssä ohjelman väliarvioinnissa esitetyt suositukset, jotka koskivat muun muassa nuorten osallistamista säännöllisillä toimilla ja ohjelman laajentamista tukipalveluihin ja itsesääntelyä tukeviin aloitteisiin. Viimeksi mainituista voidaan mainita toimitusjohtajien yhteenliittymä (CEO Coalition), joka pyrkii parantamaan lasten turvallisuutta internetissä. Ohjelmasta osarahoitettiin Safer Internet -keskuksia kaikissa EU:n jäsenvaltioissa sekä Islannissa, Norjassa, Serbiassa ja Venäjällä. Keskukset toteuttivat toimia yleisen tietoisuuden lisäämiseksi ja tarjosivat tukipalveluita, joista lapset ja vanhemmat voivat saada tukea ja neuvoja verkkoon liittyvissä kysymyksissä. Tiedotuskeskukset ja tukipalvelut kuuluvat INSAFE-verkostoon. Useimmissa maissa Safer Internet keskuksissa toimii myös vihjepalvelu, jonka päätehtävänä on ottaa vastaan ilmiantoja lasten seksuaaliseen hyväksikäyttöön liittyvästä aineistosta, ja jos se arvioidaan laittomaksi, ilmoittaa siitä lainvalvontaviranomaisille ja pyytää internetpalveluntarjoajaa poistamaan sisältö. Vihjepalveluja koordinoi INHOPE-järjestö. Laittoman sisällön vastaisen toiminnan yhteydessä ohjelmassa osarahoitettiin myös hankkeita, joissa tuettiin lainvalvontaviranomaisia lasten seksuaaliseen hyväksikäyttöön liittyvän aineiston torjunnassa. Nämä toimet ovat puolestaan auttaneet jäsenvaltioita noudattamaan lasten seksuaalisen hyväksikäytön torjuntaa koskevan direktiivin mukaisia velvoitteitaan, jotka koskevat lasten seksuaalisen hyväksikäytön ehkäisemistä ja lasten seksuaaliseen hyväksikäyttöön liittyvän aineiston poistamista, samoin kuin verkossa tapahtuvan lasten hyväksikäytön vastaisen maailmanlaajuisen liiton asettamia velvoitteita. Ohjelman jatkon valmistelemiseksi siitä rahoitettiin pilottihanketta, jossa kehitetään foorumi Safer Internet -keskuksiin liittyvien resurssien, palvelujen ja hyvien käytäntöjen jakamista varten ja luodaan tietokanta, joka lisää vihjepalvelujen mahdollisuuksia tunnistaa ja analysoida lasten seksuaaliseen hyväksikäyttöön liittyvää aineistoa koskevia ilmoituksia. Tämän hankkeen arvioinnissa todettiin, että INSAFE/INHOPE-verkostot ovat entistä enemmän vakiinnuttaneet asemaansa kaikkialla Euroopassa ja että niiden vaikutus on kiistaton. Hankkeella katsottiin olleen keskeinen asema internetin käyttöturvallisuuden parantamiseen tähtäävässä toiminnassa Euroopassa ja sen ulkopuolella. Tämä johtuu osittain sen tulosten tehokkaasta levittämisestä, mikä on tehnyt hankkeesta vertailukohdan tällä alalla. Ohjelman kolmannesta toimintalinjasta ’turvallisemman verkkoympäristön edistäminen’ on tuettu itsesääntelysopimuksia ja tätä kautta ajettu turvallisuuskäytäntöjen laajempaa käyttöä lasten käyttämillä verkkosivuilla ja laitteissa. Verkkoteknologia kehittyy nopeasti, ja toimialan itsesääntelyä pidetään tehokkaimpana lähestymistapana, jotta lasten internetinkäyttöä ja siihen liittyviä riskejä koskeviin muutoksiin voidaan reagoida nopeasti. Internet-ala on suhtautunut myönteisesti komission aloitteisiin ja muihin yhteisiin toimiin. Tuorein esimerkki on lasten turvallisuutta verkossa ajava CEO Coalition, jossa 31 maailmanlaajuista yritystä arvoketjun kaikista osista kutsuttiin allekirjoittamaan varapuheenjohtaja Kroesin yhteistyöaloite. Tämä rakentuu aiemmalle tuelle, jota ohjelmasta on annettu toimialan Euroopan tasolla toteuttamille itsesääntelyaloitteille. Kansalaisyhteiskunnan osallistuminen toteutettiin muun muassa nuorisopaneelien avulla sekä rahoittamalla lasten hyvinvoinnin parissa työskentelevien kansalaisjärjestöjen eNACSO-verkostoa. Verkoston tavoitteena on kehittää yhteinen lähestymistapa jakamalla kokemuksia ja laatimalla yhteisiä strategioita, jotta voidaan varmistaa lasten tarpeiden parempi huomioon ottaminen verkkoturvallisuutta koskevissa kansallisissa, eurooppalaisissa ja kansainvälisissä keskusteluissa. Tietopohjan lujittaminen on olennaisen tärkeää vankkojen poliittisten toimintalinjojen kehittämiseksi, etenkin tällä nopeasti kehittyvällä alalla, ja tietämyksen lisääminen uuden median ja teknologian käytöstä nuorten parissa oli yksi ohjelmassa toteutettujen toimien keskeisistä tavoitteista. Ohjelmasta tuettiin EUKidsOnline-verkostoa, jonka toimet ovat osoittautuneet olennaisen tärkeiksi tarkkojen trendianalyysien lähteenä sekä panoksena tulevien tutkimuksen ja politiikan painopisteiden määrittelyssä. Ohjelmasta on lisäksi tuettu lukuisia erilaisia tutkimushankkeita eri aloilta. Ohjelmassa tuotiin esiin internetin käyttöturvallisuuteen liittyvää tutkimusta, minkä lisäksi luotua tietämystä hyödynnettiin ohjelman kaikessa muussa toiminnassa. Ohjelmasta rahoitettiin myös useita tutkimuksia näytön keräämiseksi. Näistä voidaan mainita SIP-Bench-tutkimus sekä selvitys jäsenvaltioiden internetin käyttöturvallisuuden parantamista koskevista politiikoista ja indikaattoreista. Viimeksi mainitun yleisenä tavoitteena oli parantaa tietämystä nykyisistä kansallisista politiikoista ja toimista. Lisäksi pyrittiin suunnittelemaan kestävä väline, joka mahdollistaa parhaiden käytäntöjen tunnistamisen ja jakamisen. Eurooppalainen strategia internetin parantamiseksi lasten näkökulmasta on ollut vuonna 2012 tapahtuneesta julkaisemisestaan lähtien keskeinen viiteasiakirja ohjelmassa toteutetuille toimille. Strategiassa esitetään kattava lähestymistapa, joka rakentuu neljälle pilarille: nuorille suunnatun laadukkaan verkkosisällön edistäminen, tietoisuuden ja valtaistumisen lisääminen, lapsille turvallisen verkkoympäristön luominen sekä lasten seksuaalisen hyväksikäytön ja riiston torjunta. Ohjelmassa tuettiin kunkin pilarin toimia edistämällä myönteistä sisältöä kansallisten ja eurooppalaisten kilpailujen avulla, kehittämällä ja jakamalla tietolähteitä ja edistämällä parhaita käytäntöjä sekä järjestämällä vihjepalveluja ja lasten seksuaaliseen hyväksikäyttöön liittyvän aineiston käsittelyyn liittyvää koulutusta. 3.ARVIOINNIN TAVOITTEET JA ARVIOINTIMENETELMÄ Loppuarvioinnissa tarkasteltiin ohjelman täytäntöönpanoa sen merkityksellisyyden, tehokkuuden ja vaikuttavuuden kannalta. Lisäksi arvioitiin sen laajempia vaikutuksia ja jatkuvuutta sekä sen EU:n lisäarvoa ja johdonmukaisuutta, joita arvioitiin osana edellä mainittuja kriteereitä. Arviointi on luonteeltaan kvalitatiivinen, ja siihen sisältyy rajallista kvantitatiivista näyttöä. Lisätietoja on saatavilla ulkoisessa arviointiraportissa. Komissio ottaa arvioinnin tulokset huomioon tulevassa politiikan ja toimien kehittämisessä. Ohjelman merkityksellisyyden arvioimiseksi arvioinnin kysymyksissä keskityttiin ohjelmassa käsiteltyjen ongelmien kehitykseen ja siihen, kuinka ohjelma vastasi näihin muutoksiin, sekä toimien merkityksellisyyteen ja niiden tuomaan lisäarvoon keskeisten kohderyhmien kannalta. Ohjelman tehokkuutta arvioitiin kysymyksillä, jotka koskivat yleistä tyytyväisyyttä sen täytäntöönpanoon, toimien tehokkuutta sekä rahoituksen riittävyyttä ja sen vipuvaikutusta. Vaikuttavuuden osalta tarkasteltiin ohjelman vaikutusta lasten suojelemiseen internetissä ja laajemmassa digitaalisessa ympäristössä sekä sitä, olisiko samat tulokset tai toimet voitu saavuttaa muilla vaikuttavimmilla keinoilla tai ilman ohjelmaa, ja mitä parannuksia voitaisiin tehdä mahdollisissa jatkotoimissa. Vaikutuksen ja jatkuvuuden osalta etsittiin näyttöä vaikutusten jatkuvuudesta ja arvioitiin, olisiko muutoksia tapahtunut ilman EU:n rahoitusta ja mitä vaihtoehtoisia rahoituslähteitä olisi voitu käyttää. Lisäksi tarkasteltiin täydentävyyttä tai päällekkäisyyttä suhteessa muihin kansallisiin tai EU:n ohjelmiin. Ulkopuolisessa arvioinnissa käytettiin useita tiedonkeräysvälineitä näytön saamiseksi tässä raportissa käsitellyistä kysymyksistä. Tiedonkeruuvaiheeseen sisältyi ohjelman hankkeiden osanottajille suunnattu kysely sekä laajemmille sidosryhmille suunnattu kysely, joka oli avoin kaikille tahoille, joita asia koskee – toimialalle, viranomaisille, koulutuslaitoksille ja kansalaisjärjestöille. Näitä täydennettiin osittain jäsennellyillä haastatteluilla sidosryhmien edustajien kanssa. Haastatellut vaihtelivat komission virkamiehistä ja ohjelman edunsaajista ulkopuolisiin toimijoihin, kuten toimialan edustajiin, tutkijoihin sekä jäsenvaltioiden ja lainvalvontaviranomaisten edustajiin. Lisäksi tehtiin tapaustutkimuksia, jotka havainnollistavat internetin käyttöturvallisuuden parantamista koskevan yhteistyön eri muotoja neljässä jäsenvaltiossa. Myös hankkeiden lopullisista tarkastusraporteista tehtiin analyysi, jossa keskityttiin siihen, missä määrin tavoitteet oli saavutettu ja mitkä olivat niiden vaikutukset.

3.1.Rajoitukset – tulosten luotettavuus Suoritettuun tiedonkeruuseen ja analyysiin sisältyy seuraavanlaisia luontaisia rajoituksia, joiden vaikutusta pyrittiin lieventämään niin pitkälle kuin mahdollista: Hankkeiden vaikutusten mittaaminen ei ollut mahdollista puutteellisten seurantavälineiden vuoksi. Tästä syystä vaikutusten ja jatkuvuuden arviointi perustui pääasiassa hankkeiden osanottajien näkemyksiin, jotka eivät useinkaan ole objektiivisia. Arvioinnissa otettiin huomioon kyselyjen tuloksiin liittyvät luontaiset rajoitukset: saadut vastaukset edustavat asianomaisten sidosryhmien edustajien otoksen näkemyksiä eivätkä koko sen populaation näkemyksiä, joita tämä ala koskee. Lisäksi sidosryhmien näkemykset edustavat pikemminkin henkilökohtaista kuin kokonaisvaltaista näkökulmaa. Edellä kuvatun mukaisesti tämä arviointi on tehty parhaiden saatavilla olevien tietojen pohjalta. Jos luotettavat kvantitatiiviset tiedot puuttuvat, tämä ilmoitetaan asianmukaisesti ja puutetta korvataan kvalitatiivisilla tiedoilla ja näkökohdilla. 4.LOPPUARVIOINNIN TULOKSET Arvioinnin tulokset osoittavat, että ohjelmalla on onnistuttu saavuttamaan sen päätavoitteet. Ohjelman onnistuminen perustui erityisesti sen yleiseurooppalaiseen luonteeseen ja yhdenmukaisuuteen sekä eri sidosryhmien tiiviiseen yhteistyöhön. Rahoitetuilla aloitteilla on ollut myönteinen vaikutus lasten oikeuksiin. Euroopan unionin perusoikeuskirjan 24 artiklassa tunnustetaan, että lapset ovat riippumattomia ja itsenäisiä oikeudenhaltijoita, ja määrätään, että lapsilla on oikeus heidän hyvinvoinnilleen välttämättömään suojeluun ja huolenpitoon. Nämä oikeudet on otettu huomioon internetin käyttöturvallisuuden parantamista koskevien toimintalinjojen edistämisessä. Jäljempänä kustakin arviointikriteeristä esitetyt havainnot edustavat komission tekemän työn ja ulkopuolisessa selvityksessä tehtyjen kyselyjen ja haastattelujen koottuja tuloksia. 4.1.Merkityksellisyys Arvioinnin tulokset vahvistavat, että ohjelman täytäntöönpanossa otettiin huomioon uudet teknologiat ja uusi verkkokäyttäytyminen, kuten se, että lapset käyttävät internetiä entistä nuorempina monien erilaisten verkkoon liitettyjen laitteiden avulla. Alan nopean kehityksen vuoksi strategiaa oli päivitettävä jatkuvasti. Tämän mahdollistivat vuotuisten työohjelmien ja ehdotuspyyntöjen tarjoama joustavuus. Sidosryhmät tunnustivat, että ohjelmasta on tullut merkittävä edelläkävijä kansainvälisesti ja että se on tarjonnut johtajuutta sekä taloudellista tukea jäsenvaltioille. Arviointi vahvistaa myös, että ohjelman toimet olivat kattavia ja että niihin on osallistunut ja niiden kohteena on ollut laaja kirjo erilaisia sidosryhmiä. Merkittävimpinä tavoitteina pidettiin yleisen tietoisuuden lisäämistä ja laittoman verkkosisällön torjumista, kun taas turvallisemman verkkoympäristön edistämisen ja tietopohjan luomisen osalta sidosryhmien mielipiteet ovat enemmän jakautuneita. Kaikkien neljän toimintalinjan katsottiin kuitenkin vastaavan internetiä käyttävien lasten tarpeita. Ohjelma on tuottanut lisäarvoa sen kohderyhmille, sillä useimmat kuulluista sidosryhmistä eivät olleet tietoisia omaa hankettaan vastaavista toimista, joita muut organisaatiot olisivat toteuttaneet kansallisella tasolla. Oli myös vahvoja merkkejä siitä, että ilman EU:n rahoitusta suurinta osaa hankkeista ei oltaisi toteutettu tai ei ainakaan samassa laajuudessa, koska nimenomaan verkkoteknologian käyttöturvallisuuden parantamiseen lasten keskuudessa ei oltu osoitettu taloudellisia voimavaroja. Arvioinnin tulokset korostivat koulutuksen ja myönteisen sisällön merkitystä. Lapsilla on oltava mahdollisuus saada laadukasta koulutusta, johon sisältyy digitaalinen osio, joka auttaa heitä suojautumaan erilaisilta riskeiltä heidän joutuessaan tekemisiin tällaisten nopeasti muuttuvien teknologioiden kanssa. Arviointi korosti lasten osallistumisen hyötyjä sekä sitä, että lasten olisi oltava tietoisia digitaaliteknologioiden tarjoamista mahdollisuuksista samalla kun vanhempien olisi oltava riittävällä tavalla mukana heidän lastensa toimiessa verkossa. Jotta lapset voisivat olla aktiivisia ja vaikuttavia osallistujia ja jotta heillä olisi keinot tunnistaa haitallinen sisältö ja hallita omaa turvallisuuttaan verkossa, he tarvitsevat digitaalisia taitoja, jotka olisi mieluiten sisällytettävä koulujen opetussuunnitelmiin. Ohjelman osanottajat sekä muut politiikan ja alan toimijat pitivät suuressa arvossa tehtyä tutkimustyötä ja korostivat, kuinka tärkeää on levittää sen tuloksia koko ohjelman laajuisesti. Kyselyssä korostettiin tarvetta tehdä lisää perinpohjaista kansainvälistä tutkimusta lasten verkkokäyttäytymisestä ja tehokkaista koulutusmenetelmistä. Ohjelman edunsaajat ja toimiala halusivat jatkaa yhteistyötään, muun muassa toteuttamalla erityistoimia, jotka on kohdistettu haavoittuvassa asemassa oleville lapsille, vammaisille lapsille sekä lapsille, joiden kotitilanne on vaikea. 4.2.Tehokkuus Suuri osa hankkeiden osanottajista ilmoitti olevansa tyytyväinen ohjelman hallinnointiin, josta vastasi viestintäverkkojen, sisältöjen ja teknologian pääosasto (PO CNECT). Myönteiseen arvioon saattaa kuitenkin vaikuttaa jonkin verran se, että ohjelman tukeminen on vastaajien oman edun mukaista. Eräät tuensaajat yksilöivät kuitenkin aloja, joilla tätä aihetta koskevien tulevien EU:n avustusten hakuprosessia voidaan parantaa. Näitä olivat muun muassa yksinkertaisemmat menettelyt ja raportointivaatimukset, joustavammat vaatimukset maiden erityispiirteiden huomioon ottamiseksi, töiden ja rahoituksen suunnittelu pidemmällä aikavälillä sekä lisätietojen antaminen muiden aiheeseen liittyvien alojen rahoitusohjelmista.

Sidosryhmät tunnustivat yleisesti, että komissio varmisti ohjelman tehokkaan hallinnoinnin. Sopimuksen tekemiseen kulunut aika oli keskimäärin 292 päivää niissä 77 hankkeessa, joista neuvoteltiin ohjelman keston aikana. Ohjelman toimien, ja erityisesti keskittymisen verkostoitumistoimiin, katsottiin suurelta osin tarjonneen hyvän vastineen rahoille, mutta toimien yhdenmukaisuutta ja yhteistyötä voidaan edelleen parantaa EU:n tasolla sekä eri palvelujen ja ohjelman edunsaajien välillä. Rahoituksen riittävyyttä koskevat tulokset jakautuivat tasan niiden kesken, jotka pitivät sitä riittävänä, ja niiden kesken, jotka pitivät sitä riittämättömänä. Lähes kaikki niistä, jotka pitivät rahoitusta riittämättömänä, olivat saaneet rahoitusta muista lähteistä. Näihin tuloksiin voi kuitenkin vaikuttaa se, oliko edunsaajalla mahdollisuus saada muuta rahoitusta vai ei. Rahoitetut hankkeet hyötyivät usein synergioista muiden aloitteiden kanssa. Sidosryhmät pitivät ohjelman suurimpana lisäarvona sitä, että 27 jäsenvaltiossa on nyt Safer Internet -keskus, koska ne mahdollistavat tietämyksen ja hyvien käytäntöjen jakamisen. Tätä tukee internetin käyttöturvallisuuden parantamista koskevien politiikkojen vertailu, jossa todettiin, että useimmissa EU-maissa Safer Internet -keskus tunnustetaan keskeiseksi foorumiksi toimien ja aloitteiden toteuttamiselle ja koordinoinnille. Arviointi vahvisti, että ohjelmasta rahoitetut hankkeet ovat edistäneet ohjelman tavoitteiden saavuttamista. Tämä on tapahtunut parantamalla yleistä tietoisuutta verkkoteknologian turvallisesta käytöstä, tehostamalla sidosryhmien välistä yhteistyötä, torjumalla haitallista verkkokäyttäytymistä sekä ottamalla lapset mukaan ja antamalla heille tietoa verkkoturvallisuudesta. Epäilyjä esitettiin kuitenkin siitä, että jatkuvan EU:n rahoituksen puuttuminen ja toimialan ja kansallisten hallitusten haluttomuus ottaa vastuu rahoituksesta voi vaarantaa ohjelman ja sen toimien vaikuttavuuden tulevaisuudessa. Tulevia parannuksia ajatellen mainittiin aloja, joihin olisi voitu kiinnittää enemmän huomiota, kuten sosiaalityö sekä lasten digitaalisten taitojen parantamiseen tähtäävä lisätutkimus ja hankkeet. Sidosryhmät katsoivat lisäksi, että toimialalla pitäisi olla suurempi rooli ohjelmassa käynnistettyjen toimien vaikuttavuuden parantamisessa. 4.3.Vaikutus ja jatkuvuus Hankkeiden osanottajille ja sidosryhmille suunnattujen kyselyjen ja haastattelujen tulokset, kun otetaan huomioon niiden mahdolliset painotukset, osoittavat, että ohjelman vaikutus on vaihdellut keskisuuresta suureen pääasiassa tietoisuuden lisäämisen, laittoman sisällön torjunnan, digitaalisten taitojen parantamisen sekä yhteistyön tiivistämisen ja synergioiden luomisen aloilla. Tietoisuuden lisääminen sekä koulutuksen tarjoaminen ja siihen liittyvien välineiden ja materiaalien antaminen lasten käyttöön mainittiin useimmiten keskeisenä toiminta-alana. Insafe-verkoston kautta tarjotun koordinoinnin katsotaan maksimoivan synergioita ja vaikutuksia; esimerkiksi vuonna 2014 verkoston yhteiset toimet tavoittivat yli 22,5 miljoonaa henkilöä Euroopassa ja sen ulkopuolella. Toinen vahva vaikutusalue oli laittoman sisällön torjunta ja erityisesti vihjepalveluihin liittyvä työ. Järjestelmän luominen lasten seksuaaliseen hyväksikäyttöön liittyvästä aineistosta ilmoittamista ja sen poistamista varten sekä vihjepalvelujen ja lainvalvontaviranomaisten tiiviimpi yhteistyö on johtanut tällaisen sisällön nopeampaan poistamiseen. Vuonna 2011 ilmoitetusta sisällöstä 60 prosenttia poistettiin 1–3 vuorokauden kuluessa, kun vuonna 2014 tämä osuus oli yli 90 prosenttia. Ohjelman toteutusaikana vihjepalveluihin tuli myös kaiken aikaa enemmän ilmoituksia, mikä johti INHOPE-verkoston poistamien sivustojen määrän kasvuun. Tulokset osoittavat myös, että ohjelmalla on ollut vaikutusta muihin kansallisiin ja kansainvälisiin toimiin. Tästä ovat osoituksena viittaukset ohjelmassa tehtyyn tutkimukseen ja sen tuloksiin. Internetin käyttöturvallisuuteen liittyviä eurooppalaisia toimia pidetään usein hyvänä käytäntönä kansainvälisellä tasolla, ja ne on omaksuttu Latinalaisessa Amerikassa, Yhdysvalloissa ja Aasian ja Tyynenmeren alueella. Esimerkiksi ohjelman johdosta perustettu Safer Internet -päivä on vuotuinen kansainvälinen tapahtuma, jolla lisätään tietoisuutta lasten verkkoturvallisuudesta. Se järjestetään vuosittain yli 100 maassa, ja se tunnetaan Euroopassa, Pohjois-Amerikassa, Etelä-Amerikassa ja Aasian ja Tyynenmeren alueella. Suurin osa sidosryhmistä katsoi, ettei hankkeiden toimia olisi toteutettu ilman EU:n rahoitusta, ja ne ilmaisivat huolensa siitä, onko rahoitusta saatavilla kansallisilta hallituksilta tai toimialalta. Tässä suhteessa monet pitivät komission antaman rahoituksen jatkamista välttämättömänä. Hankkeiden tuensaajat totesivat, että niiden toteuttamien hankkeiden vaikutus jatkuisi keskipitkällä tai pidemmällä aikavälillä, ja että viranomaisilla ja toimialalla olisi ratkaiseva rooli tulevien toimien rahoituksessa. 5.ARVIOINNIN PÄÄTELMÄT JA SUOSITUKSET Ulkopuolisen arvioinnin ja sen rinnalla toteutetun työn perusteella komissio esittää seuraavat päätelmät, joita voidaan käyttää yhtenä panoksena internetin käyttöturvallisuuden parantamista koskevasta tulevasta politiikasta käytävässä keskustelussa. –Arviointi osoittaa, että ohjelmalla on onnistuttu saavuttamaan sen päätavoitteet. Ohjelma oli erittäin merkityksellinen siinä käsiteltyjen ongelmien ja siihen osallistuneiden sidosryhmien kannalta, ja se vastasi hyvin teknologioiden ja ongelmien muutoksiin. –Arviointi osoitti, että EU:n toimet ovat olleet tarpeellisia ja että niillä on saavutettu tuloksia tehokkaasti. Toimien yleiseurooppalainen ulottuvuus ja yhdenmukaisuus, Safer Internet -keskuksen perustaminen kaikkiin jäsenvaltioihin ja tiivis yhteistyö eri sidosryhmien välillä ovat edistäneet ohjelman onnistunutta toteuttamista ja vakiinnuttamista ja yhteistyötä EU:n tasolla sekä eri palvelujen ja ohjelman edunsaajien välillä. –Ohjelman tunnustettiin olleen tehokkaasti toteutettu, vaikka joitakin menettelyjä voitaisiinkin yksinkertaistaa. –Ohjelman vaikutus on vaihdellut keskisuuresta suureen pääasiassa tietoisuuden lisäämisen alalla, mikä johtuu keskittymisestä verkostoitumiseen ja synergioiden luomiseen, sekä laittoman sisällön torjunnan alalla. Hyvin toimivan järjestelmän luominen lasten seksuaaliseen hyväksikäyttöön liittyvästä aineistosta ilmoittamista ja sen poistamista varten, täydennettynä toimialan vapaaehtoisilla toimilla tällaisen aineiston jakelun estämiseksi niiden infrastruktuurissa, on merkittävästi lyhentänyt sisällön poistamiseen kuluvaa aikaa. –Komissiolla on ollut tunnustettu johtoasema sekä suhteessa jäsenvaltioihin että kansainvälisesti. Internetin käyttöturvallisuuteen liittyviä eurooppalaisia toimia pidetään usein hyvänä käytäntönä kansainvälisellä tasolla, ja ne on omaksuttu maailmalaajuisesti, mistä hyvänä esimerkkinä on Safer Internet -päivän järjestäminen. 5.1.Vaikuttavimpien toimien jatkaminen Saavutettujen tulosten säilyttämiseksi ja parantamiseksi voitaisiin jatkaa seuraavantyyppisiä toimia, joilla on tähän mennessä osoittautunut olevan suurin vaikutus: