Sammanfattning

I. Leonardo da Vinci-programmet syftar till att genomföra Europeiska unionens yrkesutbildningspolitik. Rörlighetsprojekt, som utgör den största delen av programmet, gör det möjligt för organisationer som är verksamma på yrkesutbildningsområdet att skicka deltagare till ett annat europeiskt land och på det viset ge dem möjlighet att förbättra sina kvalifikationer, kunskaper och färdigheter.

II. Europeiska kommissionen har det övergripande ansvaret för programmet och kontrollerar och övervakar hur det genomförs i samarbete med nationella myndigheter – vanligtvis utbildningsministeriet – i varje deltagande land. Det operativa ansvaret för förvaltningen av rörlighetsprojekt har decentraliserats fullt ut till de nationella programkontor som utses av medlemsstaterna.

III. Revisionsrätten behandlade frågan om huruvida det är sannolikt att utformningen och förvaltningen av systemet för rörlighet inom Leonardo da Vinci i programmet för livslångt lärande (2007–2013) leder till ändamålsenliga resultat.

IV. Revisionsrättens iakttagelser är resultatet av en revision som utfördes vid kommissionen och i sex deltagande länder som valts ut för revisionen. Eftersom Leonardo är ett av fyra utbildningsprogram i kommissionens program för livslångt lärande, gäller många granskningsresultat också de övriga delprogrammen. Revisionsrätten konstaterade följande:

- När kommissionen utformade det aktuella Leonardo da Vinci-programmet (2007–2013), beaktade den sina egna obligatoriska utvärderingar av det föregående programmet men den beaktade inte andra viktiga studier och rapporter systematiskt.

- Kommissionen inrättade ett lämpligt system för förvaltningen under projektens löptid när det gällde Leonardo, men IT-stödsystemet hade vissa betydande brister.

- De operativa delarna av programmet, till exempel offentlighetsåtgärder och marknadsföring av programmet samt den årliga programplaneringscykeln, sköttes i allmänhet väl, men kommissionen försökte inte lösa de sökandes problem med att hitta partner och garanterade inte kvaliteten på de nationella programkontorens bedömningar av bidragsansökningar.

- Ett system för rapportering har införts men det gör det ännu inte möjligt för kommissionen att mäta programmets resultat och verkan. Det finns brister i systemet för rapportering av Leonardoprogrammets resultat och verkan. Kommissionen hade under Leonardos tredje år påbörjat men ännu inte avslutat införandet av ett övergripande system för att mäta effekten av programmet.

- De nationella programkontorens kontroller följde kommissionens riktlinjer.

- Det finns brister i hur de nationella myndigheterna genomför sina sekundära kontroller av de nationella programkontoren.

- Den övergripande slutsatsen är att utformningen och förvaltningen av systemet för rörlighet inom Leonardo da Vinci-programmet skulle kunna leda till ändamålsenliga resultat. Kommissionen hade påbörjat men ännu inte avslutat införandet av ett övergripande system för att mäta effekten av Leonardo. Därför kan kommissionen ännu inte bedöma hur målen uppfylls efter tre års genomförande, det vill säga efter omkring halva löptiden för programmet.

V. På grundval av dessa iakttagelser rekommenderar revisionsrätten kommissionen att förbättra IT-stödsystemet, lämna kvalitativ feedback om den årliga planeringen av arbetet, ge mer stöd när det gäller att hitta mottagande partner, vidareutveckla och övervaka förfarandena för att bedöma projektansökningar, utan dröjsmål slutgiltigt fastställa SMART-mål och resultatindikatorer, förbättra bedömningen av resultat, rikta in sig mer på programmets effekter och i framtiden se till att det inom varje efterföljande program från början införs ett system för att mäta effekter.

Inledning

1. Vid Europeiska rådets möte i Lissabon i mars 2000 fastställdes det strategiska målet att Europeiska unionen skulle bli den mest dynamiska kunskapsbaserade ekonomin i världen till 2010. Europeiska rådet insåg utbildningens viktiga roll som en integrerad del av den ekonomiska politiken och socialpolitiken. Grunden för det europeiska samarbetet på yrkesutbildningsområdet lades därefter i den efterföljande "Köpenhamnsprocessen" [1], som syftade till att öka det frivilliga samarbetet för att främja ömsesidigt förtroende, öppenhet och erkännande av meriter och kvalifikationer och därigenom skapa förutsättningar för ökad rörlighet och underlätta tillgången till livslångt lärande.

2. Europeiska kommissionen har samlat sina olika utbildningsinitiativ under ett tak, programmet för livslångt lärande [2], för att främja utbyte, samarbete och rörlighet mellan utbildningssystemen i unionen. Det nya programmet för livslångt lärande ersätter tidigare utbildningsprogram, yrkesutbildningsprogram och program för e-lärande som upphörde 2006.

3. Den preliminära finansieringsramen [3]för genomförandet av detta beslut under en sjuårsperiod från och med den 1 januari 2007 fastställdes till 6970 miljoner euro. De minsta belopp som ska tilldelas delprogrammen i förhållande till den finansiella ramen ska utgöra

- Comenius 13 %,

- Erasmus 40 %,

- Leonardo da Vinci 25 %,

- Grundtvig 4 %.

4. Leonardo da Vinci är namnet på det delprogram som syftar till att genomföra Europeiska unionens yrkesutbildningspolitik och stödja och komplettera den verksamhet som företas av medlemsstaterna. Den nuvarande etappen av Leonardo da Vinci-programmet 2007–2013 är en fortsättning på tidigare program, Leonardo I (1995–1999) och Leonardo II (2000–2006). De allmänna, särskilda och operativa målen för programmet för livslångt lärande och för Leonardo da Vinci [4]anges i punkt 44 och i bilagan.

5. En rad insatser kan få bidrag ur programmet Leonardo da Vinci:

- Rörlighet – deltagarna tillbringar en tid i ett annat europeiskt land.

- Partnerskap med inriktning på ämnen av gemensamt intresse.

- Multilaterala projekt, särskilt de som syftar till att förbättra yrkesutbildningssystem.

6. Rörlighetsprojekt fortsätter att vara en av huvudverksamheterna inom Leonardo på samma sätt som de var för föregångarna. Såsom framgår av diagram 1 var den andel bidrag från Leonardo som beviljades rörlighetsprojekt 64 % år 2007 och 59 % år 2008.

Diagram 1

Leonardo da Vinci, beviljade bidrag per verksamhetstyp 2007–2008 (miljoner euro)

+++++ TIFF +++++

Källa: Europeiska kommissionen.

7. Rörlighetsprojekt som får bidrag från Leonardo syftar till att ge individer, däribland praktikanter som deltar i grundläggande yrkesutbildning och personer som redan befinner sig på arbetsmarknaden samt utbildare inom yrkesinriktad utbildning, en möjlighet att förbättra sina kunskaper och färdigheter genom praktik i ett annat europeiskt land. Bidragen går till projektförvaltning, resekostnader och levnadsomkostnader. Fördelningen av deltagare i rörlighetsprojekt 2008 per utbildningsområde visas i diagram 2.

Diagram 2

Deltagare i rörlighetsprojekt 2008 per utbildningsområde

+++++ TIFF +++++

Källa: Europeiska kommissionen.

Kommissionens roll

8. Europeiska kommissionen har det övergripande ansvaret för att programmet för livslångt lärande genomförs på ett ändamålsenligt och effektivt sätt [5]. Kommittén för programmet för livslångt lärande, som består av företrädare för medlemsstaterna, ska biträda kommissionen med genomförandet av programmet. Kommissionens roll är att

- i samarbete med medlemsstaterna regelbundet övervaka och utvärdera programmet för livslångt lärande i förhållande till dess mål [6],

- införa lämpliga övervakande kontroller, genom att övervaka och samordna hela systemet, och se över systemet med nationella kontroller [7].

Den nationella myndighetens roll

9. I programmet deltar 31 länder: de 27 EU-medlemsstaterna plus Island, Liechtenstein, Norge och Turkiet. Den nationella myndigheten, vanligtvis utbildningsministeriet i det deltagande landet, övervakar i samarbete med kommissionen det arbete som det nationella programkontoret utför. Den nationella myndigheten ska upprätta ett system med sekundära kontroller, som syftar till att ge rimliga garantier för att systemen och de primära kontroller som utförs av de nationella programkontoren fungerar effektivt.

Det nationella programkontorets roll

10. Det operativa ansvaret för rörlighetsprojekt inom Leonardo har decentraliserats fullt ut till nationella programkontor som inrättas i varje deltagande land. De nationella programkontoren är ansvariga för förvaltningen under rörlighetsprojektens löptid. Vid behov ska de också bidra till kommissionens övervakning och utvärdering av programmet. De uppgifter som de förväntas fullgöra anges i den rättsliga grunden för programmet, bland annat i kommissionens beslut om medlemsstaternas, kommissionens och de nationella programkontorens respektive ansvarsområden vid genomförandet av programmet för livslångt lärande (K(2007) 1807); de operativa anvisningarna specificeras i handledningen för nationella programkontor, som är en del av den årliga finansieringsöverenskommelse som kommissionen och de nationella programkontoren ingår.

Revisionens inriktning och omfattning samt revisionsmetod

11. Revisionen inriktades på rörlighetsåtgärder som finansierades genom Leonardoprogrammet. Det övergripande målet var att bedöma huruvida utformningen och förvaltningen av Leonardo da Vinci-systemet för rörlighet inom programmet för livslångt lärande (2007–2013) sannolikt leder till ändamålsenliga resultat.

12. Revisionens mål var att bedöma huruvida

a) utformningen av programmet tog hänsyn till relevanta utvärderingar och studier och inbegrep ett lämpligt system för förvaltning under projektens löptid,

b) de operativa delarna av programmet sköttes väl, till exempel utarbetandet av årliga arbetsprogram och processen för offentlighetsåtgärder, marknadsföring och informationsspridning samt urvalet av projekt som skulle finansieras,

c) det hade införts ett rapporteringssystem som gjorde att kommissionen kunde mäta resultaten och effekterna av programmet,

d) kontrollsystemet var tillfredsställande.

13. Revisionen omfattade utarbetandet av programmet för livslångt lärande, som började 2004, och själva genomförandet av det 2007–2008. Relevant utveckling 2009 har också beaktats. Förutom att en revision utfördes vid kommissionen, besöktes sex medlemstater [8]. Av de totala Leonardomedel som har avsatts till rörlighet fördelades 45 % till dessa sex medlemsstater 2007 och 44 % 2008 (se diagram 3).

14. Eftersom Leonardo är en del av ett integrerat program för livslångt lärande med olika utbildningsinitiativ samlade under ett tak, gäller många resultat, slutsatser och rekommendationer programmet i dess helhet.

15. I revisionsarbetet ingick insamling och analys av uppgifter, genomgång av planerings-, utvärderings- och genomförandedokument, en granskning av rörlighetsprojekthandlingar och intervjuer med tjänstemän vid kommissionen, nationella myndigheter och nationella programkontor samt med företrädare för mottagarorganisationer i de utvalda medlemsstaterna.

Diagram 3

Värdet av de Leonardobidrag till rörlighet som tilldelades respektive land 2007–2008 (miljoner euro)

+++++ TIFF +++++

Källa: Europeiska kommissionen.

Iakttagelser

Utformning

16. Revisionsrätten granskade huruvida kommissionen när den inrättade Leonardoprogrammet tog hänsyn till den uppsjö av information som fanns tillgänglig om de föregående programmen, det vill säga alla utvärderingar, studier och nationella rapporter, och huruvida nationella myndigheter hade använt de nationella rapporterna. Revisionsrätten undersökte huruvida kommissionen för att genomföra Leonardo hade inrättat ett lämpligt system för förvaltning under projektens löptid vid kommissionen och i de deltagande länderna, inbegripet IT-stödsystemet. På kommissionsnivå bedömde revisionsrätten huruvida det fanns en tydlig arbetsfördelning mellan olika enheter. I de deltagande länderna undersöktes det administrativa genomförandet av de nationella myndigheterna och programkontoren med uppdrag att förvalta programmet, vilkas funktioner och ansvarsområden anges i de riktlinjer som utfärdats av kommissionen.

Kommissionen beaktade sina egna obligatoriska utvärderingar av det föregående programmet men den beaktade inte andra viktiga studier och rapporter systematiskt

17. Alla program som finansieras via Europeiska gemenskapernas allmänna budget omfattas av obligatorisk utvärdering i tre etapper [9]:

- Utvärdering i förväg: en rapport åtföljer lagstiftningsförslaget till ett nytt eller förlängt EU-program eller till nya eller förlängda EU-åtgärder.

- Utvärdering efter halva tiden: görs halvvägs genom programmet, ger direkt feedback under ett programs löptid och kan följaktligen bidra till att kvaliteten på pågående insatser förbättras. Eftersom det dessutom tar lång tid att inrätta nya program, är utvärderingar efter halva tiden också mycket viktiga källor till information när det gäller utformningen av nästa generation av ett program.

- Slutlig utvärdering: i slutet av ett program.

18. När kommissionen utformade det nya Leonardoprogrammet beaktade den resultaten av halvtidsutvärderingen och den slutliga utvärderingen av det föregående programmet. Resultaten av halvtidsutvärderingen beaktades när förhandsutvärderingen gjordes. För både halvtidsutvärderingen och den slutliga utvärderingen utarbetade kommissionen interna handlingsplaner som fastställde hur rekommendationerna i var och en av dem skulle beaktas under den inledande utformningsfasen och i efterföljande justeringar av utformningen. De interna handlingsplanerna för att fastställa IT- och SMART-mål och resultatindikatorer har dock ännu inte lett till förväntade resultat (se punkterna 27–29 och 48–52).

19. Varje deltagande land ska upprätta sina egna nationella halvtids- och slutrapporter om genomförandet av och ändamålsenligheten hos programmet och dess effekter på yrkesutbildningssystemen i medlemsstaterna samt överlämna dem till kommissionen. Dessa rapporter måste överlämnas till kommissionen inom ramen för övervakningen och utvärderingen av programmet, och det är inom den ramen som de ska analyseras och följas upp.

20. Analysen av de nationella slutrapporterna uppdrogs åt en extern uppdragstagare som anlitats av kommissionen för att genomföra den slutliga utvärderingen [10]. Uppdragstagaren kunde emellertid inte analysera alla nationella utvärderingsrapporter, eftersom endast 19 av de 31 deltagande länderna hade skickat dem till kommissionen inom den fastställda tidsfristen. Kommissionen för sin del gjorde ingen separat analys av de nationella rapporter som lämnades efter tidsfristen och följde inte heller upp dem på annat sätt.

21. Vissa nationella myndigheter utnyttjade dessutom dessa nationella rapporter endast i begränsad utsträckning. I tre av de medlemsstater som besöktes gick man igenom och följde upp rekommendationerna, men endast en av dem inkluderade rekommendationerna i sina förvaltningsarrangemang för det nya Leonardoprogrammet. I de övriga tre besökta länderna fanns det inget som tydde på att de nationella myndigheterna hade gått igenom rapporterna.

22. Kommissionen har genomfört två stora studier om aspekter av rörlighetsåtgärder inom Leonardo [11]. Kommissionen uppger att dessa studier är ett stöd för beslutsfattarna i deras arbete, men det är oklart hur kommissionen själv utnyttjade den värdefulla information som de innehöll för att utveckla och förbättra programmets ändamålsenlighet.

Kommissionen inrättade ett lämpligt system för förvaltning under projektens löptid, men IT-stödsystemet hade vissa betydande brister

23. Revisionsrätten granskade det system för förvaltning under projektens löptid som kommissionen har inrättat och bedömde huruvida det är lämpligt. Revisionsrätten anser att så är fallet om förvaltningen under projektens löptid är klart och tydligt fördelad mellan de berörda parterna, uppgifterna beskrivs tydligt och övervakningsåtgärder har vidtagits.

Ruta 1

Exempel på rekommendationer till åtgärder i Impact Analysis of Leonardo da Vinci Mobility Measures on Young Trainees and Employees, and the Influence of Socio-economic Factors (Konsekvensbedömning av rörlighetsåtgärder inom Leonardo da Vinci för unga praktikanter och anställda samt socioekonomiska faktorers inverkan) (2007)

Det finns fortfarande vissa brister i genomförandet av åtgärderna i värdländerna, och även i utarbetandet av dem. Bättre utformning av projekt, bland annat genom involvering av deltagarna, ett noggrannare urval av mottagande organisationer och mer och bättre handledning i samband med rörlighetsåtgärderna från den utsändande och framför allt den mottagande organisationens sida krävs.

Programmet bör konsekvensbedömas i större utsträckning och fortlöpande. Vid den kontinuerliga utvärderingen av processerna bör man titta på utarbetande, genomförande, uppföljning och framför allt processen för färdighetsutveckling (effekter), samtidigt som deltagarnas behov uppmärksammas.

24. Efter det att det nya programmet för livslångt lärande hade inletts 2007, omorganiserade sig kommissionens generaldirektorat för utbildning och kultur för att återspegla behoven inom det nyligen integrerade programmet.

25. Tidigare hanterade olika nationella programkontor olika utbildningsprogram. Efter det att det nya programmet för livslångt lärande hade inletts 2007, uppmanade kommissionen de deltagande staterna att utse ett enda nationellt programkontor för alla delprogram i programmet för livslångt lärande, och detta har skett i merparten av länderna. Rörlighetsprojekt inom Leonardo administreras direkt av de nationella programkontoren, som ansvarar för alla aspekter av förvaltningen och ska

- göra pr för programmet,

- organisera förfarandet för bidragsbeviljande, däribland bedömningen av ansökningar,

- upprätta bidragsöverenskommelser och betala ut bidrag till godkända sökande,

- övervaka och stödja programdeltagarna,

- organisera spridningen av resultat,

- lämna feedback om hur programmet fungerar och vilka effekter det har i det aktuella landet.

26. De nationella programkontoren övervakas av utsedda nationella myndigheter, som är ansvariga för att de EU-medel som förs över till det nationella programkontoret förvaltas korrekt och för att i samarbete med kommissionen övervaka det arbete som utförs av det nationella programkontoret.

27. Generellt sett är därför strukturen för förvaltningen under projektens löptid lämplig. Det fanns dock betydande brister i IT-systemet för projektförvaltning och projektrapportering. De nationella programkontoren är skyldiga att använda de IT-system som kommissionen tillhandahåller [12]. Det senaste IT-system som kommissionen har utvecklat är LLPLink. Det är ett verktyg för programmet för livslångt lärande för elektronisk förvaltning under projektens löptid, från ansökan till slutbetalning. Parallellt med LLPLink tog kommissionen också fram webbaserade elektroniska formulär, så att ansökningar skulle kunna lämnas in online och så att de nationella programkontoren skulle kunna bedöma, välja ut och rapportera om projekt online. De nationella programkontoren var skyldiga att använda LLPLink för alla nya projekt från och med 2008.

28. Det nya IT-stödsystemet hade vissa betydande brister. Vid tidpunkten för revisionen kunde LLPLink endast tillgodose de mest angelägna behoven inom programmet för livslångt lärande, men projektet var försenat och hade inte avslutats. De nationella programkontor som ville hantera ansökningarna, bedömningsprocessen och rapporteringen online måste fortsätta använda det gamla systemet eller sina lokala system parallellt med LLPLink under hela 2009. I de fall då det inte fanns några gränssnitt mellan LLPLink och de system som de nationella programkontoren använde måste uppgifter matas in två gånger, vilket var tidskrävande och innebar en extra börda för personalen.

29. Förseningar i genomförandet av LLPLink påverkar förvaltningen av Leonardo och övriga delar av programmet för livslångt lärande, eftersom systemet inte från början av programmet kan tillhandahålla de fullständiga och konsekventa genomförandeuppgifter från de deltagande länderna som är nödvändiga för att framsteg mot målen ska kunna mätas.

Förvaltning

30. Vid revisionen togs aspekter av den dagliga verksamheten inom programmet upp. Revisionsrätten bedömde huruvida förfarandena för att nå enighet om ett årligt arbetsprogram kunde ge kommissionen preliminära garantier för att programmet skulle genomföras i enlighet med bestämmelserna i de tillämpliga ramdokumenten. Vid revisionen bedömdes också huruvida kommissionen och de nationella programkontoren hade gjort pr för programmet, huruvida programkontoren hade gett offentlighet åt programmet i enlighet med vägledningen från kommissionen och huruvida man hade försökt komma till rätta med den största svårigheten som programkontoren upplevde vid genomförandet av programmet. Slutligen undersökte revisionsrätten huruvida programkontorens bedömning av projektansökningar var öppen för insyn, välorganiserad och följde kommissionens anvisningar samt huruvida de identifierade bristerna följdes upp.

Arrangemangen för att godkänna de nationella programkontorens arbetsprogram är lämpliga, men kommissionen ger inte systematiskt de nationella programkontoren någon kvalitativ feedback på dem

31. På grundval av standardiserade specifikationer och mallar som tillhandahålls av kommissionen utarbetar varje nationellt programkontor ett årligt arbetsprogram som kommissionen därefter godkänner. Kommissionens främsta syfte med att godkänna arbetsprogram är att få preliminära garantier för att det nationella programkontoret kommer att genomföra programmet i enlighet med de bestämmelser som fastställts i de tillämpliga ramdokumenten. De nationella myndigheterna beslutar också om det årliga arbetsprogrammet och åtar sig därmed att tillhandahålla det nationella programkontoret de nödvändiga nationella, motsvarande resurserna. Detta system fungerar utan större problem, så att årliga arbetsprogram godkänns inom de fastställda tidsfristerna, vilket gör att programmet kan genomföras fortlöpande i enlighet med vad som har överenskommits. Kommissionen har visserligen bemyndigat varje nationellt programkontor att presentera konsoliderade arbetsprogram, men den har inte utnyttjat detta tillfälle att ge de nationella programkontoren och de nationella myndigheterna systematisk feedback om kvaliteten på arbetsprogrammet. Detta skulle ge en kortfattad översikt över det planerade nationella genomförandet, något som vore värdefullt både för kommissionen och för de deltagande länderna, eftersom problem skulle kunna identifieras och korrigeras i god tid.

Kommissionen och de deltagande länderna ger offentlighet åt och marknadsför programmet på ett tillfredsställande sätt

32. Kommissionen och de nationella programkontoren har fullgjort sina skyldigheter när det gäller pr-insatser genom att göra programmet synligt och främja spridning och utnyttjande av god praxis genom en rad åtgärder. De nationella programkontoren har offentliggjort "inbjudningar att lämna projektförslag" i de deltagande länderna i enlighet med kommissionens riktlinjer och har presenterat relevant information om Leonardoprogrammet.

Kommissionen har inte försökt lösa de sökandes problem med att hitta mottagande partner i andra länder

33. De sökande hade svårt att hitta mottagande partner i andra länder. Skälen till detta var bland annat bristande språkkunskaper och kulturella skillnader. Inom Leonardo är de nationella programkontoren på samma sätt som i andra system för rörlighet inom programmet för livslångt lärande endast ansvariga för att skaffa praktik i andra länder för sökande från det egna landet. Det innebär att de inte hjälper sökande från andra länder att hitta lämpliga mottagande partner.

34. Kommissionen ger information, råd och hjälp till potentiella sökande som letar efter mottagande partner. Men 2007 stängde kommissionen sin europeiska partnersökdatabas, som syftade till att göra det enklare att söka efter partner, eftersom kommissionen inte kunde garantera att uppgifterna om potentiella partner i databasen höll den kvalitet som användarna i de deltagande länderna förväntade. Denna databas har ännu inte ersatts med ett lämpligt alternativ.

35. Nationella partnersökdatabaser finns redan i vissa deltagande länder men de kan inte ersätta en europeisk databas. Om de olika nationella databaserna används som partnersökverktyg, leder det till en situation där de som söker partner tvingas registrera sig i flera databaser, så att de kan logga in och göra en sökning.

Brister i bedömningarna av ansökningar

36. Förfarandena för att bedöma ansökningar och välja ut projekt i de deltagande länderna är öppna för insyn, välorganiserade och i linje med kommissionens anvisningar. Bedömningarna av ansökningar uppvisade dock exempel på följande brister, som ökar risken för att de utvalda projekten inte uppnår de fastställda målen:

- Ansökningar godkändes, trots att beskrivningen av utbildningens innehåll, mål och förväntade resultat var otillräcklig för att motivera utfallet av bedömningarna.

- Ansökningar godkändes, trots att den information om kostnader som de innehöll inte var tillräcklig för att motivera de belopp som begärdes.

- De kommentarer som bedömarna lämnade för att motivera poängtilldelningen i varje avsnitt av bedömningsformuläret, särskilt när det gällde kvalitativa frågor, var otillräckliga.

37. Kommissionen gör inga kvalitetssäkringskontroller av bedömningen av projektansökningar, eftersom den anser att detta är den nationella myndighetens uppgift. Kommissionen hade emellertid inte utfärdat särskilda riktlinjer för hur de nationella myndigheterna ska kontrollera bedömningen av ansökningar. Utan tydliga riktlinjer finns det en risk för att de nationella myndigheternas kontroller är mindre rigorösa i vissa deltagande länder jämfört med andra.

Rapportering

38. Kommissionen ska i samarbete med de deltagande länderna ansvara för den insamling, analys och behandling av tillgängliga data som krävs för att mäta programmets resultat och verkan [13]. Denna verksamhet läggs till de ingående konsekvensbedömningar som görs som ett led i halvtidsutvärderingen och den slutliga utvärderingen av Leonardoprogrammet. Revisionsrätten bedömde huruvida man hade infört ett rapporteringssystem baserat på SMART-mål som gjorde att kommissionen kunde mäta programmets faktiska resultat och effekter i förhållande till det planerade resultatet [14].

Brister i systemet för rapportering av Leonardoprogrammets resultat och verkan

39. De nationella programkontoren utarbetar en årlig verksamhetsrapport till kommissionen [15]med uppgifter om genomförandet av programmet. Innehållet i rapporten föreskrivs av kommissionen och behandlar frågor som hur många och vilken typ av projekt som har fått bidrag och vilka resultat de har uppnått.

40. Revisionsrätten granskade 2007 års verksamhetsrapporter i de sex länder som besöktes och fann ett antal brister som beskrivs i punkterna 41–44. För kommissionen och andra användare minskar dessa brister rapporternas värde som källa till information om Leonardoprogrammets resultat och verkan.

41. Eftersom det årliga arbetsprogrammet har en annan struktur än den årliga verksamhetsrapporten, går det inte att på ett meningsfullt sätt jämföra faktiska och planerade resultat. Kommissionen planerar att anpassa den årliga verksamhetsrapportens struktur till det årliga arbetsprogrammets nya struktur med verkan från och med 2011 års arbetsprogram.

42. Den information om resultat som lämnades av de nationella programkontoren begränsades till faktauppgifter, vilket gör att man inte kan bedöma Leonardos effekter i förhållande till målen, till exempel förbättringar av undervisningen, förvärv av färdigheter och ekonomiska effekter. Exempelvis innehåller den årliga verksamhetsrapporten information om antalet projekt, men informationen om resultat och utfall för deltagare och institutioner av den verksamhet som fick stöd var begränsad.

43. De nationella programkontoren använder inte ett enhetligt tillvägagångssätt för den årliga verksamhetsrapporteringen. Det resulterar i att de slutrapporter som lämnas till kommissionen innehåller olika analyser av resultat som presenteras på olika sätt.

44. Kommissionens genomgång av de årliga verksamhetsrapporter som lämnats in av de nationella programkontoren har varit mer inriktad på fullständighet och konsekvens än på att se till att nödvändiga uppgifter rapporterades (se punkt 38). Kommissionen rapporterade dock att den hade skickat feedback till de deltagande länderna efter bedömningen av 2008 års årliga rapporter, för att på det sättet från och med 2009 skapa en koppling mellan förhandskontrollen av arbetsprogrammet och bedömningen i efterhand av den årliga rapporten.

Ruta 2

Exempel på brister i hur de nationella programkontoren presenterade resultaten av genomförandet av 2007 års arbetsprogram

Projektresultaten bedömdes inte kvantitativt.

Analysen av hur målen behandlades var otillräcklig.

Allmänna potentiella effekter beskrevs utan hänvisning till konkreta bevis för effekter.

Exempel på effekter hämtades från en studie om det föregående Leonardo II-programmet.

45. De nationella programkontoren gör också övervakningsbesök vid projekt för att hjälpa stödmottagarna, samla och sprida exempel på bästa praxis och skapa eller upprätthålla goda förbindelser med stödmottagarna.

46. Kommissionen har fastställt villkor [16]när det gäller valet av vilka stödmottagare som ska besökas, bland annat för deras storlek och typ, deras geografiska spridning i landet och storleken på det EU-bidrag som har beviljats. Men till skillnad från när det gäller primära kontroller har kommissionen inte angett ett minimiantal övervakningsbesök som de nationella programkontoren ska göra.

47. År 2008 införde kommissionen besök för övervakning av kvalitet och effekter. Syftet var att få ökade kunskaper om kvaliteten på programverksamheterna i de deltagande länderna. Besöken inbegriper möten med de nationella myndigheterna, de nationella programkontoren och stödmottagare. Dessa besök är visserligen ett framsteg, men deras omfattning är ännu inte tillräcklig. De rapporter som kommissionen offentliggjorde 2008 om resultaten av dessa besök innehöll fakta och uppgifter om utvecklingen i fråga om rörlighetsåtgärder men ingen analys av de faktiska effekter på utbildningssystem, deltagande institutioner eller individer som rörlighetsprojekten inom Leonardo hade. Rapporter eller annan feedback hade inte skickats systematiskt till de deltagande länderna för bekräftelse eller kommentarer under de första två åren.

Kommissionen hade under Leonardos tredje år påbörjat men ännu inte avslutat införandet av ett övergripande system för att mäta effekten av programmet

48. Programmål ska uppfylla SMART-kriterierna (specifika mål som kan mätas och förverkligas och som är relevanta och daterade) [17]. Detta är dock inte fallet med målen för Leonardoprogrammet som är relativt allmänna, vilket gör det svårt att mäta hur rörlighetsprojekten kan bidra till att de uppnås (se ruta 3).

Ruta 3

Leonardo da Vincis särskilda mål

Att stödja personer som deltar i utbildning och främja utbildningsverksamhet när det gäller förvärv och användning av kunskap, färdigheter och kvalifikationer för att underlätta personlig utveckling, anställbarhet och deltagande på den europeiska arbetsmarknaden.

Att stödja förbättringar i fråga om kvalitet och innovationer av yrkesutbildningssystem, institutioner och praxis på området.

Att göra yrkesutbildning och rörlighet mer attraktivt för arbetsgivare och enskilda och underlätta rörligheten för praktikanter.

Leonardo da Vincis operativa mål

Att förbättra kvaliteten på och utöka utbytet i hela Europa av personer som deltar i grundläggande yrkesutbildning och i vidareutbildning, så att antalet praktikanter vid företag stiger till minst 80000 per år vid slutet av programmet för livslångt lärande.

Att förbättra kvaliteten på och utöka samarbetet mellan institutioner eller organisationer som tillhandahåller utbildningsmöjligheter, företag, arbetsmarknadens parter och övriga relevanta organ i hela Europa.

Att underlätta utvecklingen av innovativa lösningar inom yrkesutbildning, med undantag för eftergymnasial yrkesutbildning, samt överföringen av dessa, däribland från ett deltagande land till andra länder.

Att förbättra tydligheten i och erkännandet av kvalifikationer och meriter, däribland sådana som förvärvats via icke-formellt och informellt lärande.

Att främja inlärning av moderna främmande språk.

Att stödja utvecklingen av innovativt innehåll, tjänster, pedagogik och praktik för livslångt lärande, grundat på informations- och kommunikationsteknik.

49. De nationella programkontoren rapporterar om programmets resultat i sina årliga verksamhetsrapporter. Vid tidpunkten för revisionsrättens granskning hade kommissionen inte utfärdat detaljerade riktlinjer för hur de nationella programkontoren ska utvärdera resultaten av programmet eller bedöma rörlighetsprojekten.

50. I december 2006 beslutade kommittén för programmet för livslångt lärande [18]att tillsätta en arbetsgrupp med uppgift att bedöma effekterna av hela programmet för livslångt lärande, även Leonardo da Vinci. Arbetsgruppen fick i uppdrag att identifiera ett antal gemensamma effektindikatorer med vilkas hjälp man skulle kunna mäta hur väl programmet för livslångt lärande hade uppfyllt sina mål. I november 2009 överlämnade arbetsgruppen ett förslag med effektindikatorer och med ett system för insamling och rapportering av data till kommittén för livslångt lärande, genom vilket man skulle komma till rätta med en del av de nuvarande bristerna. I januari 2010 hade förslaget dock inte godkänts.

51. När kommissionen har beslutat vilka indikatorer den vill mäta, kommer andra förändringar att krävas, till exempel måste frågorna i de befintliga årliga verksamhetsrapporterna ändras, så att de kan användas till att samla in den statistiska information som krävs för en effektiv förvaltning av programmet. Rapporteringsmodulen i IT-systemet LLPLink kommer att behöva anpassas för att tillgodose nya datainsamlingsbehov.

52. Inrättandet av en arbetsgrupp för konsekvensbedömning var ett positivt steg för att skapa de nödvändiga förutsättningarna för övervakningen och mätningen av resultat och effekter. Efter tre års genomförande av det nuvarande Leonardoprogrammet har kommissionen emellertid varken kunnat bedöma i vilken utsträckning programmet uppfyller målen eller infört ett system med vars hjälp den skulle kunna göra det i framtiden. Även om kommittén för programmet för livslångt lärande godkände effektindikatorerna 2010, skulle de uppgifter som behövs för att bedöma effekterna av programmet endast samlas in för den återstående etappen av programmet, och det kommer att vara mycket svårt att få fram jämförbara uppgifter för de tre första åren av programmet (2007–2009), det vill säga den period som halvtidsutvärderingen av programmet för livslångt lärande ska omfatta och beträffande vilken en rapport ska presenteras i mars 2011.

Kontroller

53. Revisionsrätten granskade huruvida de kontroller av Leonardo som utförs på alla nivåer, det vill säga av nationella programkontor, nationella myndigheter och kommissionen, inom ramen för programmet för livslångt lärande var tillfredsställande [19]. Kontrollerna ansågs vara tillfredsställande om de utfördes i enlighet med kommissionens riktlinjer och under dess överinseende.

I de flesta fall följde de nationella programkontorens kontroll av Leonardo kommissionens riktlinjer

54. De nationella programkontoren gör "primära kontroller" på stödmottagarnivå. De görs för att man ska få garantier för att den verksamhet som har fått EU-bidrag faktiskt förekommer och är stödberättigande samt för att de underliggande transaktionerna är lagliga och korrekta.

55. Standarderna och minimikraven för primära kontroller fastställs i kommissionens handledning för nationella programkontor [20]. Kontrollerna består av en rad verksamheter: analys av slutrapporter, skrivbordsgranskning av verifierande underlag som lämnats in av stödmottagare tillsammans med slutrapporten, en kontroll på plats under genomförandet av en verksamhet som fått bidrag, efterhandsrevision och systemrevision av vanliga stödmottagare.

56. Primära kontroller är per definition kontroller av regelefterlevnad som inte är inriktade på rörlighetsåtgärdernas resultat. När det gäller genomförandet av de primära kontrollerna konstaterades exempel på brister, även om de nationella programkontoren i regel utför kontrollerna i enlighet med kommissionens handledning för nationella programkontor:

- Vid ett nationellt programkontor iakttog man vid bedömningen och godkännandet av slutrapporterna inte tidsfristen på 45 dagar räknat från mottagandet av rapporten.

- Vid ett annat nationellt programkontor gjordes slutbetalningar till stödmottagare utan att man hade fått den erforderliga feedbacken från alla deltagare i rörlighetsåtgärderna.

De nationella myndigheternas sekundära kontroller ger i regel rimliga garantier för att de primära kontrollerna är effektiva, men ett antal brister konstaterades

57. Den nationella myndigheten är ansvarig för nationella kontroller av Leonardo. För det ändamålet kräver kommissionen att den inrättar ett system med sekundära kontroller som är avsedda att ge rimliga garantier för att det system med primära kontroller som de nationella programkontoren driver är effektivt [21]. De sekundära kontroller som de nationella myndigheterna gjorde gav i de flesta fall rimliga garantier för att systemet med primära kontroller är effektivt. Men revisionen visade också på brister i hur de sekundära kontrollerna genomfördes: dokumenteringen av övervakningsrutiner var inte tillfredsställande, övervakningen av det nationella programkontoret var otillräcklig och brister förekom i uppföljningen av de rekommendationer som hade föreslagits av nationella kontrollorgan eller kommissionens kontrollorgan.

Kommissionen gav först nyligen kompletterande vägledning om de specifika förfaranden som de sekundära kontrollerna omfattar

58. Kommissionen gör besök för "systemövervakning" i de deltagande länderna. Besöken är inriktade på övervakning av hur de nationella programkontorens system och rutiner följer reglerna i programmet för livslångt lärande. De nationella myndigheterna har tolkat innebörden av "sekundära kontroller" på olika sätt. Såsom revisionsrätten påpekade i sin årsrapport för 2008 [22]saknade kommissionens riktlinjer om de nationella myndigheternas ansvar tydlighet när det gällde specifika förfaranden. Revisionsrättens revision av Leonardo bekräftar den slutsatsen, eftersom brister konstaterades i de sekundära kontrollerna. Kommissionen har senare vidtagit korrigerande åtgärder genom att utfärda anvisningar till myndigheterna med ytterligare riktlinjer om förfaranden som ingår i de sekundära kontrollerna.

Slutsatser och rekommendationer

59. Kommissionen beaktade sina egna obligatoriska utvärderingar när den utformade Leonardoprogrammet men den upprättade inga handlingsplaner för andra viktiga studier och rapporter. Kommissionen inrättade ett lämpligt system för förvaltning under projektens löptid. Det viktigaste IT-systemet, LLPLink, var dock fortfarande ofullständigt vid utgången av 2009, vilket hindrar en korrekt rapportering och innebär att man måste använda de gamla systemen samtidigt. I mitten av 2010 hade ett gemensamt rapporteringsverktyg för konsekvensbedömning ännu inte färdigställts för programmet för livslångt lärande.

60. De operativa delarna av programmet, till exempel utarbetandet av det årliga arbetsprogrammet, offentlighetsåtgärder, pr-verksamhet och informationsspridning, sköttes i allmänhet väl. Icke desto mindre fanns det brister på vissa områden, till exempel när det gällde att hjälpa sökande att hitta mottagande partner i andra länder och att garantera kvaliteten på de nationella programkontorens bedömningar av bidragsansökningar.

Rekommendation 1

a) Efter sin analys av det årliga arbetsprogrammet bör kommissionen ge de nationella myndigheterna kvalitativ feedback. Denna feedback bör ge en kortfattad översikt över det nationella genomförandet och uppmärksamma starka och svaga punkter, vilket vore värdefullt för såväl kommissionen som de nationella myndigheterna.

b) Kommissionen bör utforska alternativ för att garantera ett användarvänligt och ändamålsenligt partnersökverktyg, antingen på EU-nivå eller på nationell nivå.

c) Kommissionen bör överväga om de nationella programkontoren ska underlätta utländska deltagares praktik genom att ge andra nationella programkontor information om mottagande och förmedlande organisationer i det egna landet.

d) Bedömningen av ansökningar skulle kunna förbättras om kommissionen ytterligare utvecklade bedömningshandboken för utvärderare och för varje avsnitt i bedömningsformuläret i detalj angav syftet med utvärderingen och metoderna för att uppnå det.

e) För att garantera en konsekvent tolkning av kommissionens regler, bör kommissionen överväga att även kontrollera bedömningarna av ansökningar vid sina besök för övervakning av kvalitet och effekter i de deltagande länderna.

f) Kommissionen bör utan dröjsmål färdigställa LLPLink-applikationen för rapportering av konsekvensbedömning, så att fullständiga och enhetliga genomförandeuppgifter kan samlas in från alla deltagande länder.

61. Trots att kontrollsystemen vid kommissionen och i medlemsstaterna var tillfredsställande i de flesta fall, var deras rapporteringssystem inte tillräckligt inriktade på programmets resultat och än mindre på dess ändamålsenlighet och effekter. Kommissionen hade under Leonardos tredje år påbörjat men ännu inte avslutat införandet av ett övergripande system för att mäta effekten av programmet. Därför har kommissionen ännu inte kunnat mäta effekterna av Leonardos första tre år, det vill säga omkring halva löptiden för programmet.

Rekommendation 2

a) Kommissionen bör förbättra sitt system för övervakning av kvalitet och effekter och samordna det med den årliga verksamhetsrapportering som för närvarande utförs av de nationella programkontoren.

b) Kommissionen bör anpassa strukturen i arbetsprogrammet och den årliga rapporten till varandra, så att faktiska och planerade resultat kan jämföras.

c) Kommissionen bör utan dröjsmål avsluta arbetet med att fastställa SMART-mål och resultatindikatorer.

d) När det gäller efterföljande program bör kommissionen i framtiden se till att från början inrätta ett system för att mäta effekter.

62. Den övergripande slutsatsen är att utformningen och förvaltningen av systemet för rörlighet inom Leonardo da Vinci-programmet skulle kunna leda till ändamålsenliga resultat. Kommissionen hade påbörjat men ännu inte avslutat införandet av ett övergripande system för att mäta effekten av Leonardo. Därför kan kommissionen ännu inte bedöma hur målen uppfylls efter tre års genomförande, det vill säga efter omkring halva löptiden för programmet.

Denna rapport har antagits av revisionsrättens avdelning IV, med ledamoten Morten LEVYSOHN som ordförande, vid dess sammanträde i Luxemburg den 29 juni 2010.

För revisionsrätten

+++++ TIFF +++++

Vítor Manuel da Silva Caldeira

Ordförande

[1] Köpenhamnsprocessen inleddes i november 2002 av utbildningsministrarna i Europeiska unionen och i de länder som är medlemmar i Europeiska ekonomiska samarbetsområdet (EES) och Europeiska frihandelssammanslutningen (Efta) samt av arbetsmarknadens parter på europeisk nivå och Europeiska kommissionen.

[2] Europaparlamentets och rådets beslut nr 1720/2006/EG av den 15 november 2006 om inrättande av ett handlingsprogram för livslångt lärande (EUT L 327, 24.11.2006, s. 45).

[3] Artikel 14 och punkt B.11 i bilagan till beslut nr 1720/2006/EG.

[4] I denna rapport syftar "Leonardo" på den nuvarande etappen av programmet.

[5] Artikel 6 i beslut nr 1720/2006/EG.

[6] Artikel 15 i beslut nr 1720/2006/EG.

[7] Artikel 8 i kommissionens beslut av den 26/IV/2007 om medlemsstaternas, kommissionens och de nationella programkontorens respektive ansvarsområden vid genomförandet av programmet för livslångt lärande (2007–2013).

[8] Frankrike, Tyskland, Malta, Polen, Rumänien och Storbritannien.

[9] Grundläggande krav i fråga om omfattning, syfte, tidssamordning och användning för utvärderingarna fastställs i budgetförordningen (artiklarna 27.4, 28, 33, 56.3 och 166) och i genomförandebestämmelserna för den (artikel 21).

[10] Gemensam rapport om den slutliga utvärderingen av Sokrates II, Leonardo da Vinci II och e-lärande, 2008.

[11] Study on the obstacles to transnational mobility facing apprentices and other young people in initial vocational training and on ways of overcoming them (Studie om de hinder för gränsöverskridande rörlighet som lärlingar och andra unga personer i grundläggande yrkesutbildning ställs inför samt hur de kan övervinnas), även kallad MoVE-iT-studien (2007). Impact Analysis of Leonardo da Vinci Mobility Measures on Young Trainees and Employees, and the Influence of Socio-economic Factors (Konsekvensbedömning av rörlighetsåtgärder inom Leonardo da Vinci för unga praktikanter och anställda samt socioekonomiska faktorers inverkan) (2007).

[12] 2008 års handledning för nationella programkontor som genomför programmet för livslångt lärande (punkterna 28.1.och 9.1.1.).

[13] Artikel 6.3 d i beslut 1720/2006/EG.

[14] Artikel 27 i rådets förordning (EG, Euratom) nr 1605/2002 av den 25 juni 2002 med budgetförordning för Europeiska gemenskapernas allmänna budget (EGT L 248, 16.9.2002, s. 1).

[15] Del 1 i det nationella programkontorets årliga rapport.

[16] Punkt 3.1.1.3 i 2008 års handledning för nationella programkontor som genomför programmet för livslångt lärande.

[17] Artikel 27 i rådets förordning (EG, Euratom) nr 1605/2002 av den 25 juni 2002 med budgetförordning för Europeiska gemenskapernas allmänna budget (EGT L 248, 16.9.2002, s. 1).

[18] Kommittén för programmet för livslångt lärande biträder kommissionen i genomförandet av programmet. Den består av företrädare för medlemsstaterna och avger yttranden eller hörs om åtgärder som syftar till att genomföra programmet för livslångt lärande.

[19] Revisionsrätten har tidigare rapporterat om granskningen av kontroller avseende programmet för livslångt lärande. Se revisionsrättens årsrapport om budgetåret 2008 (EUT C 269, 10.11.2009, s. 181–185).

[20] Punkt 3.8.1. i 2008 års handledning för nationella programkontor som genomför programmet för livslångt lärande.

[21] Artikel 8 i kommissionens beslut av den 26/IV/2007.

[22] Punkterna 9.21 och 9.33 i kapitel 9 i revisionsrättens årsrapport för budgetåret 2008.

--------------------------------------------------

BILAGA

Mål (baserade på den rättsliga grunden för programmet för livslångt lärande)

Europaparlamentets och Rådets Beslut nr 1720/2006/EG av den 15 november 2006 om inrättande av ett handlingsprogram för livslångt lärande

Allmänna mål för programmet för livslångt lärande

Bidra till gemenskapens utveckling mot ett avancerat kunskapsbaserat samhälle med hållbar ekonomisk utveckling, fler och bättre arbetstillfällen och bättre social sammanhållning, samtidigt som ett gott miljöskydd för kommande generationer säkerställs.

I synnerhet syftar det till att främja utbyte, samarbete och rörlighet mellan utbildningssystemen i gemenskapen, så att de görs till en kvalitetsreferens för hela världen.

Särskilda mål för programmet för livslångt lärande

Att bidra till utvecklingen av livslångt lärande av hög kvalitet och främja hög prestanda, innovation och en europeisk dimension i system och praxis på området.

Att stödja inrättandet av ett europeiskt område för livslångt lärande.

Att bidra till att göra de möjligheter till livslångt lärande som finns i medlemsstaterna bättre, mer attraktiva och mer tillgängliga.

Att öka det livslånga lärandets bidrag till social sammanhållning, aktivt medborgarskap, interkulturell dialog, jämställdhet och självförverkligande.

Att bidra till att främja kreativitet, konkurrenskraft, anställbarhet och växande företagaranda.

Att bidra till att personer i alla åldrar i större utsträckning deltar i livslångt lärande, även personer med särskilda behov och mindre gynnade grupper, oavsett deras socioekonomiska bakgrund.

Att främja språkinlärning och språklig mångfald.

Att stödja utvecklingen av innovativt innehåll, tjänster, pedagogik och praktik för livslångt lärande, grundat på informations- och kommunikationsteknik.

Att stärka det livslånga lärandets bidrag till skapandet av en känsla av europeiskt medborgarskap grundat på förståelse och respekt för mänskliga rättigheter och demokrati, och till uppmuntran av tolerans och respekt för andra folk och kulturer.

Att främja samarbete inom kvalitetssäkring i alla utbildningssektorer i Europa.

Att uppmuntra till ett optimalt utnyttjande av resultat, innovativa produkter och processer och utbyta god praxis inom de områden som täcks av programmet för livslångt lärande i syfte att förbättra utbildningens kvalitet.

Särskilda mål för Leonardo da Vinci

Att stödja personer som deltar i utbildning och främja utbildningsverksamhet när det gäller förvärv och användning av kunskap, färdigheter och kvalifikationer för att underlätta personlig utveckling, anställbarhet och deltagande på den europeiska arbetsmarknaden.

Att stödja förbättringar i fråga om kvalitet och innovationer av yrkesutbildningssystem, institutioner och praxis på området.

Att göra yrkesutbildning och rörlighet attraktivare för arbetsgivare och enskilda och underlätta rörligheten för praktikanter.

Operativa mål för Leonardo da Vinci

Att förbättra kvaliteten på och utöka utbytet i hela Europa av personer som deltar i grundläggande yrkesutbildning och i vidareutbildning, så att antalet praktikanter vid företag stiger till minst 80000 per år vid slutet av programmet för livslångt lärande.

Att förbättra kvaliteten på och utöka samarbetet mellan institutioner eller organisationer som tillhandahåller utbildningsmöjligheter, företag, arbetsmarknadens parter och övriga relevanta organ i hela Europa.

Att underlätta utvecklingen av innovativa lösningar inom yrkesutbildning, med undantag för eftergymnasial yrkesutbildning, samt överföringen av dessa, däribland från ett deltagande land till andra länder.

Att förbättra tydligheten i och erkännandet av kvalifikationer och meriter, däribland sådana som förvärvats via icke-formellt och informellt lärande.

Att främja inlärning av moderna främmande språk.

Att stödja utvecklingen av innovativt innehåll, tjänster, pedagogik och praktik för livslångt lärande, grundat på informations- och kommunikationsteknik.

--------------------------------------------------