sou · GNB3107 · 2000-01-01 00:00:00 — I den sammanfattande rapporten från utvärderarna för mål 3 och mål 4 menar man att "styrningen av nya mål 3 behöver förbättras genom att tydliga mål och delmål fastställs. Själva genomförandet av programmet måste således kopplas till operationella mål, delmål och indikatorer. Därmed blir resultaten möjliga att återanvända, följa upp och effekterna möjliga att återanvända". Utvärderingarna har också pekat på problemet att projekten dokumenterats så dåligt att det för utvärderarna inte går att utläsa varken målsättning eller effekter med projektet. Övergripande synpunkter på uppföljning och utvärdering för det framtida mål 3 Ökad tonvikt vid uppföljning och utvärdering Uppföljning och utvärdering bör redan från programstart ges en tydligare roll för programmet än under tidigare period. och de regionala partnerskapen bör kunna avsätta tid och resurser för att genomföra utvärderingar som kan bidra till programmets effektivitet och måluppfyllelse. Utvärderingens funktion bör främst vara att ge underlag för bedömningar av förändringar och justeringar i programmet och som ett resultat av insatserna. Det innebär att de omfattande oberoende utvärderingar som föreslås genomföras i halvtid och som slututvärdering bör kompletteras med mindre omfattande utvärderingsansatser med syfte att identifiera och sprida erfarenheter - goda och dåliga. Man bör dock – om möjligt - undvika att i alltför hög utsträckning belasta företag och arbetsplatser med omfattande enkäter. bör ägna stor uppmärksamhet åt att organisera uppföljning och utvärdering En större del av TA medlen bör kunna tas i anspråk för utvärderingar. Uppföljning och utvärdering har flera syften Utgångspunkt vid uppbyggnaden av system för uppföljning och utvärdering ska vara att verksamheten både ska ge underlag för bedömning av a)om medlen används för avsett ändamål och på ett effektivt sätt . Om så inte sker ska förändringar kunna vidtas b)ge underlag för omprioriteringar inom programmet c)att ge information om värdefulla erfarenheter som kan omsättas i den reguljära politiken på lokal, regional, nationell och EU-nivå. Ett elektroniskt informationssystem med flera funktioner Uppgifter som är nödvändiga för den löpande uppföljningen av programmet bör utformas så att de kan samlas in av de regionala kontoren och grunda sig på uppgifter, som inhämtas och registreras i samband med beslut om stöd. Uppgifterna ska redovisas på åtgärds- och insatsområdesnivå. Syftet med den löpande uppföljningen är inte bara att ge förvaltnings- myndigheten och övervakningskommittén information om programmets fortskridande utan också att ge de regionala partnerskapen och sam- ordningskontoren underlag för att bedöma det egna arbetet i förhållande till målen. Detta är särskilt viktigt att beakta när man utvecklar det integrerade besluts- och ekonomiredovisningssystem, som föreslås utarbetas av Programkontoret och AMS och kräver ett nära samarbete med de regionala programkontoren under utvecklingsarbetet. Systemet bör vidare konstrueras så att de uppgifter som registreras i detta kan utgöra grund för den årliga rapporteringen till kommissionen. Viktigt att klargöra vem som ska ha vilken information och med vilken avsikt. Frågan om uppföljning och utvärdering ska kopplas ihop med frågan om spridning av information och utbyte av erfarenheter. En viktig utgångspunkt för utformningen av uppföljnings- och utvärderingssystemet är därför en analys av vem som är den tänkta mottagaren av informationen och detta lämpligen bör ske. I bifogad tabell ges en översiktlig uppställning av olika intressenter och aktiviteter i uppföljnings- och utvärderingssystemet (efter det att program- dokumenten fastställts av medlemsstaten och kommissionen). I tabellen beskrivs dels vem som förutsätts vara mottagare av information , dels vilken typ av information som kan vara aktuell dels hur informationen förmedlas Inte fler uppgifter än nödvändigt Sådana uppgifter som ska registreras av de regionala kontoren i det elektroniska informationssystem som ska ligga till grund för den löpande uppföljningen bör vara så få och så enkla som möjligt. Företag och pro- jektanordnare bör belastas med ett minimum av uppgiftslämnande. Enkla och tydliga mallar för rapportering från projektanordnare och stödmottagare bör utarbetas och finnas till hands redan från programstart. Noggrann dokumentation från projekten bör göras redan från början Grunden för möjligheterna att följa upp och utvärdera resultaten i pro- grammet ligger i att den dokumentation som sker av de olika besluten sker på ett systematiskt och genomtänkt sätt. Mallar bör utarbetas som kan handhas av den regionala beslutsorganisationen och som lätt kan matas in i det elektroniska beslutsstödssystemet. Sådana formulär bör innehålla samtliga uppgifter som är nödvändiga för senare granskningar och ut- värderingar. I samband med utarbetandet av beslutsstödssystemet bör också utarbetas mallar och formulär som kan fyllas i av beslutande instans. Olika analysansatser krävs för anställda och arbetslösa Programmet vänder sig till både arbetslösa och anställda; detta kräver flera analysansatser. För arbetslösa kan arbetsförmedlingarnas registrerings- system förmodligen utnyttjas medan för anställda uppgifter måste tas fram genom ett urval av deltagande företag. För jämförelser med andra sk spegelgrupper bör andra statistikkällor kunna användas. Flera oberoende forsknings- och utvecklingsinstitut torde ha kompetens för att genomföra undersökningar som kan bidra till analyser av vilka resultat som uppnåtts i programmets olika insatsområden. Förslagsvis kan någon eller några av dessa från förvaltningsmyndigheten fristående utrednings- och forsk- ningsinstitutioner ges i uppdrag att utforma lämpliga modeller för jäm- förande resultatuppföljning. Regionala partnerskap och kontor är viktiga mottagare av upp- följnings- och utvärderingsdata. Utvärderingen bör inte begränsas till ett par omfattande utvärderingar utan bör kompletteras med ett antal mindre utvärderingar med syfte att under arbetets gång stötta partnerskapen på regional nivå med goda exempel som kan omsättas i den pågående praktiken. bör genom att initiera utvärderingar på projektnivå tillgodose behovet av att lyfta fram goda exempel som kan spridas mellan regionerna. Gemensamma möten mellan regionala partnerskap bör anordnas med syfte att lyfta fram goda exempel och vunna erfarenheter under hela programperioden. Viktigt med bra rutiner och omsorgsfull dokumentation av ansökningar och projekt. Den tidigare programperiodens betoning på finansiella mått bör komplet- teras med resultat och effektrelaterade indikatorer och mätningar . Be- tydelsen av effektiva rutiner för beslut, utbetalning samt redovisning av utnyttjade medel ökar dock ytterligare under den nya programperioden emedan medel som inte redovisats (beslutats, utnyttjats och redovisats) efter det att årets medelsram överlämnats till återgår till kommissionen. Långsiktiga effekter mäts främst på systemnivå De långsiktiga effekterna av programmet som helhet handlar om föränd- ringar i förhållningssätt och attityder hos såväl individer som en stor mängd aktörer på den svenska arbetsmarknaden. Av detta följer att det handlar om effekter som inte enbart kan mätas med enkla volymtal utan också om att genomföra mätningar med sk. soft indicators, attitydmätningar, mätningar av värderingsförskjutningar etc. Sådana mätningar bör kunna göras både på deltagande individer men inte minst bland de parter och intressenter som finns på arbetsmarknaden. Här bör man söka svar på frågor som t.ex. har arbetsmarknadens parter i större utsträckning engagerat sig för individer som står längre från arbets- marknaden genom programmet? Har i större utsträckning än tidigare individer som annars inte skulle fått del av kompetensutveckling fått det. Har nya strukturer och modeller för kompetensutveckling utvecklats på lokal, regional, nationell, nivå? Nya samarbetsformer mellan skolor och arbetsplatser, nya samverkansformer mellan arbetsmarknadens parter och arbetsförmedlingar, nya introduktionsrutiner för nyanställda, nya praktik- former, nya yrkesutbildningsmodeller, nya samverkansformer mellan högskola och arbetslivet etc. Nödvändigt att tidigarelägga halvtidsutvärderingen Regeringens förslag till medfinansiering av det framtida mål 3 avser perioden fram t o m . Programmet omfattar perioden fram t o m . En utvärdering av programmet och fördelning av resultatreserven kommer att göras av i samråd med medlemsstaten . Detta beslut ska grundas på den halvtidsutvärdering som ska vara slutförd . För del innebär det att en omfattande utvärdering (eventuellt identisk med den sk halvtidsutvärderingen bör göras under första hälften av för att kunna utgöra underlag för regeringens beslut om vidare satsningar på kompetensutveckling. 2002 måste fattas före den bedömning, som ska ligga till grund för kommissionens beslut om resultatreserven och fortsatt programperiod. Preliminära förslag till olika typer av indikatorer och metoder för att följa upp dem. och förvaltningsmyndigheten har det övergripande ansvaret för att organisera uppföljning och utvärdering av programmet. Det innebär dels ansvar för att ett system för kontinuerlig uppföljning etableras som tillåter att man kontinuerligt följer utvecklingen inom de olika insatsområdena och för programmet som helhet samt för att ta initiativ till oberoende utvärderingar. (se också särskild skrivelse av till om elektroniskt informationssystem samt kapitel 8 om uppgifter). och övervakningskommittén föreslås vidare ta initiativ till ett antal mindre omfattande utvärderingar med syfte att identi- fiera goda exempel under programmets gång för spridning och erfaren- hetsåterföring till de regionala partnerskapen. föreslås också uppdra åt en fristående utrednings- och forskningsinstitution inom arbetsmarknadsområdet att genomföra jämförande resultatuppföljningar med hjälp av tillgängliga nationell statistik. Relation till den nationella handlingsplanen I den nationella handlingsplanen för som bygger på de europeiska sysselsättningsriktlinjerna hänvisar regeringen till mål 3 som ett viktigt instrument för den nationella sysselsättningspolitiken. Det föreslagna programmet har tyngdpunkten i de europeiska sysselsätt- ningsriktlinjernas pelare 1 - att förbättra anställbarheten och pelare 3 - att uppmuntra företagens och de anställdas anpassningsförmåga. Förhållandet mellan inriktningen av mål 3 och den nationella handlingsplanen utvecklas närmare i kapitel 12. Uppföljning och utvärdering av samtliga insats- områden inom programmet för mål 3 bör därför vara viktiga underlag för arbetet med den nationella handlingsplanen under hela programperioden. De årliga rapporterna liksom halvtidsutvärderingen och övriga uppfölj- nings- och utvärderingsstudier som görs inom ramen för förvaltnings- myndighetens uppföljnings- och utvärderingsansvar bör sålunda diskuteras med ansvariga för utformandet av den nationella handlingsplanen. Kommissionen pekar på vikten av att i möjligaste mån ställa upp kvanti- tativa indikatorer mot vilka programmets måluppfyllelse på övergripande strateginivå kan mätas. I det svenska programmet utgör finansieringsplanen och fördelningen på insatsområden den explicita kvantifieringen av målet för programmet. Ett uttalat syfte med programmet är efterfrågestyrning. Det innebär att den årliga fördelning av resurser på regioner kommer att vara ett uttryck för den önskvärda ambitionsnivån. Den bästa indikatorn på måluppfyllelse i detta avseende utgörs följaktligen av graden av överensstämmelse mellan finansieringsplanen och resursförbrukningen. En noggrann och löpande analys av utfallet i förhållande till finansieringsplanen blir därigenom det instrument genom vilket uppföljningen sker. Eftersom en av grundpelarna i programmet är det starka inflytandet från regionala partnerskap kommer det att finnas möjligheter till regionala variationer. Det innebär att den regionala fördelningen av resurser kan resultera i att de regionala finan- sieringsplanerna kan skilja sig åt från en region till en annan. Förutom den kontinuerliga uppföljningen mot finansieringsplanen bör utvärderingar göras av programmet i sig, helst på ett sådant stadium i processen att förändringar kan vidtas om så bedöms nödvändigt. En sådan analys bör t.ex. ta fasta på i vilken mån de olika delarna av programmet kunna samspela med varandra. Enligt intentionerna i den övergripande målsättningen intar insatsområde 1 kompetens- och verksamhetsanalyser som grund för arbetsplatsernas långsiktiga kompetensförsörjning något av en särställning i och med att den ska utgöra en grund för både insatsområde 2, 3 och 4. är åtgärder inom insatsområde 5 (ökad anställbarhet) relaterad till insatsområde 3 (jobbrotation) och 4 (integration och mångfald). Till grund för de senare insatserna ska ligga individuella handlingsplaner. I samband med de uppgifter som tas in i samband med den kontinuerliga uppföljningen bör man därför inkludera uppgifter på företagsnivå om huruvida företaget fått stöd från insatsområde 1 liksom man på individnivå där annan än företag är slutlig stödmottagare bör ange om individuell handlingsplan finns. I utvärderingen av programmets interna effektivitet bör också en indikator på programmets jämställdhetsdimension finnas med t.ex. i form av fördelningen på kön i partnerskapen, antal utbildningsdagar i jämställd- hetsrelaterade frågor, antalet beslut som syftar till att bryta traditionella könsrollsmönster. Förslag på kvantitativa finansiella och fysiska indikatorer, kärnindikatorer Nedanstående kan tjäna som utgångspunkt för diskussioner om vilka uppgifter som kan insamlas av de regionala samordningskanslierna och registreras löpande i beslutsstödssystemet/databasen. De uppgifterna, man slutligen beslutar om , ska således ständigt vara uppdaterade och utgöra de kärnindikatorer, som ska redovisas i den årliga rapporteringen till kom- missionen. Syftet med de finansiella indikatorerna är främst att övervaka att resurs- förbrukningen följer den finansieringsplan, som angetts för de olika insatsområdena samt att ge underlag för kvantitativa analyser av om programmet i sin helhet och dess olika delområden kunnat fungera i enlighet med de intentioner som finns i SPDn. Genom analyser av de finansiella indikatorerna kan de regionala partnerskapen och förvaltningsmyndigheten t.ex. uppmärksamma om det finns bristande efterfrågan .på något insatsområde och vidta åtgärder i form av ökade informationsinsatser eller uppsökande verksamhet. De finansiella indikatorerna ger också underlag för bedömningar av behovet av omprioriteringar mellan insatsområden. Samtliga uppgifter redovisas åtgärds - respektive insatsområdesvis: ·I förekommande fall omfattningen av privat medfinansiering Om slutlig stödmottagare är företag: ·antal anställda i företaget uppdelat på män och kvinnor ·antal individer som berörs av projektet uppdelat på män och kvinnor Om slutlig stödmottagare är annat än företag: ·projektanordnare t.ex. offentlig myndighet, utbildningsanordnare, privat projektanordnare, företrädare för den sociala ekonomin ·antal individer som ingår i projektet ·individernas ställning på arbetsmarknaden dvs. anställd, projektanställd, deltidsanställd, arbetslös (hur lång arbetslöshetsperiod), förekomsten av individuell handlingsplan (ansvarig utfärdare) ·insatsens omfattning t.ex. antal kompetensutvecklingstimmar ·insatsens art t.ex. formell utbildning på högskolenivå, formell utbildning på annan nivå, praktik, lärlingsskap, arbetsplatsintroduktion, mentorstöd ·i förekommande fall kan anges om insatsen syftar till att bryta tradi- könsrollsmönster. Specifikt för insatsområde 1, åtgärden kompetensanalys ·har företaget tidigare erhållit stöd inom mål 4 ·antalet timmar som använts för kompetensanalysen ·anlitande av extern konsulthjälp. Specifikt för insatsområde 1, åtgärden nätverk ·antalet deltagande företag (branschtillhörighet på ingående företag) ·antal deltagare i nätverket (män/kvinnor). Specifikt för insatsområde 2 ·kompetensanalys eller lokal överenskommelse som grund för ansökan ·bruttolönekostnader för deltagare i kompetensutveckling. Specifikt för insatsområde 3 ·antal anställda som berörs av projektet (M/Kv, utb.nivå) ·antal arbetslösa som berörs av projektet(M/Kv, utb.nivå) ·förekomsten av särskild introduktionsutbildning ·kompetensanalys eller lokal överenskommelse som grund för ansökan ·antal deltagande företag (bransch, storlek). Specifikt för insatsområde 5 · involverade parter. Specifikt för insatsområde 6 Alla uppgifter inom övriga insatsområden ska redovisas uppdelat på kön, där så är möjligt. Specifikt för insatsområde 7 ·deltagande av både anställda och arbetslösa i projektet Förslag på kvantitativa resultatindikatorer Eftersom programmet är inriktat på stöd till individer blir det naturligt att i utvärderingen av programmet söka svar på huruvida de individer som deltagit i programmet erhållit en kompetenshöjning som bidragit till ökad anställbarhet och anpassningsbarhet. En indikator på om så skett är om individernas situation på arbetsmarknaden förändrats i och med deltagandet i mål 3 aktiviteten. En annan viktig indikator, som dock inte ger utslag förrän , är statistiska förändringar när det gäller antalet individer som deltar i per- sonalutbildning och deras utbildningsnivå. En förutsättning för jämförande mätningar på aggregerad individnivå är att information om deltagarnas status på arbetsmarknaden, och deras kom- petens finns tillgänglig. Viss sådan information kommer att finnas via det uppföljningssystem som föreslås byggas upp inom förvaltningsmyndigheten för att följa genomförandet av programmet. Därutöver krävs omfattande bearbetningar av befintliga register och databaser inom SCB och AMS dels särskilda stickprovsundersökningar på företagsnivå. Förvalt- ningsmyndigheten föreslås därför ge ett särskilt uppdrag åt något eller några av de arbetsmarknadsinriktade forskningsinstitut som finns på nationell nivå att ge förslag på hur studier av resultat på individnivå kan mätas med hjälp av befintliga register och stickprovsundersökningar i företag. Även andra typer av indikatorer som individernas egen uppfattning om den egna kompetensen förbättrats är viktiga att fånga upp. Förutom ovan föreslagna kärnindikatorer kan således analys av registerdata i kombination med stickprovsanalyser på företag göras gentemot följande indikatorer, som avser att belysa de direkta resultaten av programmet: fördelning av utbildningsnivå, yrkeslivserfarenhet, ålder, position på arbetsmarknaden före och efter mål 3-insatser hos de deltagande individerna jämfört med motsvarande grupper som inte erhållit mål 3-stöd. Förändringar i deltagande företags personalsammansättning före och efter mål 3-stödet (kvinnor och män, invandrarbakgrund; tidigare arbetslösa). Ovanstående analysarbete kan påbörjas 1 och rapporteras av programperioden. Uppgifterna ska där så är möjligt jämföras med den statistiska totalpopulationen. För kvalitativa resultatindikatorer se under respektive insatsområde. Det förhållandet att programmet löper bör ge goda möjligheter till uppföljning av långsiktiga effekter på både individ- och systemnivå. Förslag på indikatorer för utvärdering av effekter Utvärderingen omfattar både analys av volymmål, resultat- och effektmål, men ska också inkludera en analys av processerna och av hur hela imple- mentationsprocessen gått till. Analysen ska vara både kvantitativ och kvalitativ och belysa effekter som berör individer som drar nytta av insatsen, strukturella effekter som berör hur systemen fungerar, effekterna på jobbskapande. För mål 3-insatser inom mål 1 måste man ta med ytterligare en dimension nämligen relationen mellan utvecklingen av mänskliga resurser och åtgärder som syftar till att främja den ekonomiska och sociala utvecklingen; till exempel bör man värdera hur åtgärder som syftar till ökad konkurrenskraft har kunnat förenas med åtgärder som syftar till att stärka de mest utsatta på arbetsmarknaden. Ett av syftena med utvärderingen är att identifiera mervärdet "the added value" av ESF-stödet. I detta avseende ska utvärderingen baseras på fyra principer: ·Stödets relevans t.ex. om man har koncentrerat sig på de viktigaste områdena ·Stödets konsistens dvs. hur socialfondens stödinsatser fungerat i förhållande till den nationella och europeiska sysselsättningsstrategin. Här går det ut på att identifiera EU insatsens specifika karaktär i för- hållande till den nationella politiken. ·Stödets effekter dvs. hur väl man uppnått målen. Här utgör imple- mentationsmetoderna, dvs. hur man omsätter erfarenheterna från pro- grammet i reguljär verksamhet, ett viktigt element. Det handlar både om programmet i sin helhet, strategier, val av stödprojekt, regler, in- formationsinsatser, system för uppföljning och utvärdering m.m. · Stödets effektivitet dvs. en slags cost - benefit analys. Utöver uppgifter på individnivå bör programmet således utvärderas utifrån system och strukturnivå. Här är det framförallt fråga om rörande parternas aktiva medverkan och engagemang i kompetensutveckling, förändrade attityder och handlingsmönster från företag och arbetsplatser samt till- komsten av nya initiativ i riktning mot en sammanhållen kunskapsbaserad tillväxtpolitik. Exempel på indikatorer kan vara ökning av den andel av företagens omsättning som avsätts för kompetensutveckling av med- arbetarna – i mål 3 företag jämfört med andra företag, förändringar av antalet individer i en region som deltar i externa fort- och vidareutbild- ningsaktiviteter; ökning av antalet nya arbetsplatsrelaterade utbildningar Viktiga indikatorer för programmets effekter är i vilken utsträckning individerna uppnått ökad anställbarhet och flexibilitet på arbetsmarknaden efter mål 3-aktiviteten. Här bör inte endast fast anställning utan också projektanställning, eget företagande och arbetsbyte registreras. Ett annat utvärderingsområde handlar om huruvida företagen genom att delta i programmet kommit att agera annorlunda gentemot de anställda och arbetslösa samt om inställningen till kompetensutveckling ändrats i och med genomförd mål 3 projekt. Bearbetningar av registerdata måste kompletteras med kvalitativa under- sökningsmetoder, där enkäter och attitydmätningar till såväl deltagande individer som till involverade parter, är nödvändiga instrument. Idealt bör man i inledningen av programmet genomföra en attitydmätning bland parter som deltar i partnerskapen på regional och nationell nivå för att kunna mäta ändrade attityder under programmets gång. Följande frågor bör också kunna vara vägledande för utvärderingsinsatser: har programmets ambition att engagera många parter i kompetensutveckling lyckats? Har nya uppslag till system och strukturer för kompetensutveckling identifierats? Finns idéer och uppslag som bör tillvaratas i det reguljära systemet? Hur kan detta i så fall ske? Hur har de olika delarna i programmet samspelet med varandra? Den kanske främsta indikatorn på långsiktiga effekter är om programmet lyckats ge några bidrag till att skapa nya, fungerande former och strukturer för arbetsrelaterad kompetensutveckling. Ett av de viktigaste syftena med utvärderingen av effekter bör därför vara att identifiera lärorika exempel på om man lyckats finna nya metoder för att genom kompetensutveck- lingsinsatser bidra till utveckling av individer och arbetsplatser. Kommentarer till de olika insatsområdena Utredningen föreslår ett system för kompetens- och verksamhetsanalyser som bygger vidare på erfarenheterna av Steg 1 inom mål 4. Målet är att stimulera en ökad förändringsbenägenhet, satsningar på kompetens- utveckling och utveckling av strategier för kompetensförsörjning. Eftersom kompetensanalyser nu prövas i ytterligare en programperiod är det angeläget att i utvärderingssammanhang gå vidare från erfarenheterna från tidigare utvärderingar.