sou · GQB319d2 · 2003-01-01 00:00:00 — När dessa olika förändringar skall genomföras förutsätter utred- ningen att Arvsfondsdelegationen söker möjligheter att utveckla arbetssätt i både delegationen och kansliet. Det gäller dels det arbete med kvalitet och kompetensutveckling som redan inletts, dels de ytterligare insatser som kan behövas vid bildandet av ett eget sammanhållet kansli för Arvsfondsdelegationen. 7Uppföljning och utvärdering av stöd ur Allmänna arvsfonden Till Arvsfondsdelegationens uppgifter hör enligt förordningen (1994:952) om Allmänna arvsfonden bl.a. att följa upp projekt som beviljats stöd. Utredaren skall överväga och föreslå metoder som kan påvisa långsiktiga effekter av projekt som genomförs med stöd ur All- männa arvsfonden. Utredningen noterar att ett viktigt inslag i arvsfonds- verksamheten enligt prop. 1993/94:124 Ny lag om Allmänna arvs- fonden är att följa upp och utvärdera projekt som har utförts med stöd ur fonden. Det bör enligt propositionen också ankomma på Arvsfondsdelegationen att utveckla metoder för utvärdering och effektmätning utifrån övergripande mål och syften. Utredningen har valt att inte avgränsa sitt uppdrag till att endast avse metoder att påvisa långsiktiga effekter av stöd ur Allmänna arvsfonden. Utredningen har istället valt att betrakta arbetet med uppföljning och utvärdering av stöd från arvsfonden som en helhet och att överväga dels vilken inriktning arbetet bör ha, dels när, var och hur utvärderingar av effekter, inte minst långsiktiga effekter, kan passa in i denna inriktning. Utredningens ställningstagande har vuxit fram i kontakter med expertmyndigheter, Arvsfondsdele- gationen, myndigheter som arbetar med uppföljning och utvärde- ring av stöd till utvecklingsarbete och arvsfondens målgrupper. 7.2Frågans behandling i revisorers granskning revisorer föreslår att uppföljningen och utvärderingen av projekten och stödverksamheten utvecklas och att externa per- soner i större omfattning anlitas för ändamålet. Uppföljning och utvärdering av stöd ur Allmänna arvsfonden revisorer hade i sin granskningsrapport understrukit behovet av extern uppföljning och utvärdering. Revisorerna ansåg där i sina sammanfattande synpunkter: N att det är betydelsefullt att de personer eller organisationer som genomför uppföljningen inte är direkt engagerade i sakfrågan. N att det vid den centrala uppföljningen och utvärderingen särskilt bör analyseras om de eftersträvade effekterna med verksam- heten har uppnåtts. Revisorerna uttryckte också bl.a. att de centralt genomförda uppföljningarna gällt särskilda satsningar; även separata arvsfonds- projekt bör dock kunna följas upp och utvärderas centralt. Delade meningar uttrycktes sedan av remissinstanserna. Kammarkollegiet ansåg att det är viktigt att en ökad användning av fristående utvärderare skall stå i rimlig proportion till vad man kan väntas få ut av utvärderingen. Det är väl så viktigt att kontrol- len av projektansökningarna och kompetensen hos de organi- sationer som söker, görs på ett bra sätt, så att stödet inte efteråt måste krävas tillbaka, därför att det inte använts för avsett ändamål. ESV och tillstyrkte revisorernas förslag och betonade att de höjda kraven på återrapportering främst bör gälla stöd på högre belopp. Remissinstanserna instämmer i revisorernas syn på behovet av extern uppföljning och utvärdering. Ungdoms- styrelsens uppfattning är att det är av stor vikt att betrakta utvärde- ring och forskning kring projektsatsningar som en del av utveck- lingsarbetet. Det blir då också naturligt att se kostnaderna för detta som en del av projektutvecklingen och inte som administration. pekar också på den svårighet som ofta finns att mäta och fastslå effekterna av enskilda stödinsatser som görs i ett samhälle som står under ständig förändring. ställde sig tveksamt till kravet på objektiv utvärdering av projekten. Objektivitet förutsätter goda kunskaper inom det område där projektet bedrivs för att utvärde- ringen skall bli adekvat. Det är viktigt att projekten utvärderas, men kostnaderna för en utomstående utvärdering måste vara rim- liga i förhållande till projektets verksamhet och budget, enligt riks- förbundet. revisorer konstaterade mot denna bakgrund att N en utvecklad uppföljning och utvärdering är positivt och av intresse för hela verksamhetens utveckling. Uppföljning och utvärdering av stöd ur Allmänna arvsfonden bara en förbättrad kontroll, utan även en bättre kunskap om betydelsen av arvsfondsmedel och effekterna av verksamheten. N utvärdering och forskning kring projektsatsningar bör betraktas som en del av ett utvecklingsarbete och kostnaderna kan därmed betraktas som en del av projektutvecklingen. N goda möjligheter finns att finna kvalificerade utvärderare som inte är engagerade i föreningarna eller projekten. N det är särskilt betydelsefullt att den centrala uppföljningen och utvärderingen, dvs. den som Arvsfondsdelegationen initierar, genomförs av externa personer. 7.3Det nuvarande arbetet med uppföljning och utvärdering av stödet från arvsfonden 7.3.1Aktuella uppföljningsrutiner inom Arvsfondsdelegationen Uppföljningen fyller enligt Arvsfondsdelegationen en funktion internt för delegationen genom att utgöra en kontrollstation för projektets löpande process. Utvärderingar av projekten är viktiga för att göra det möjligt att dra slutsatser från projekten avseende projektmetoder och projektresultat. Dessa slutsatser utgör grunden för såväl bedömningar av framtida projektansökningar som sprid- ning av erfarenheter utåt till organisationslivet och allmänheten. I detta avsnitt lämnas en beskrivning av hur Arvsfondsdele- gationens kansli arbetar med uppföljningsfrågor i sin hantering av projektansökningar och projektredovisningar. Beskrivningen bygger på besök hos och samtal med på och på . N löpande ansökningar, dvs. ansökningar utan koppling till någon särskild satsning beslutad av regeringen. Dessa ansökningar svarade för , eller , av de som för- delades av regeringen och Arvsfondsdelegationen ur fonden , N ansökningar inom särskilda satsningar beslutade av regeringen, som svarar för , eller , av de som fördelades av Arvsfondsdelegationen ur fonden N den återkommande utvärderingen av långsiktiga effekter av stödet till lokaler och anläggningar Uppföljning och utvärdering av stöd ur Allmänna arvsfonden N kansliets insatser för egen kompetensutveckling. Arbetet med löpande ansökningar initieras ofta genom kontakter med kansliet innan någon ansökan skickas in. Kansliet arbetar alltid intensivt med projektutveckling inför en ansökan. Vid dessa kon- takter uppmärksammas sökande på kraven på både projektbeskriv- ning och redovisning. Vid denna dialog läggs vikt vid en försöks- verksamhets möjligheter att leva kvar när stödet upphör och vid möjligheter till spridningseffekter. När en ansökan kommer in utan föregående kontakter med kansliet måste den ofta kompletteras. Arvsfondsdelegationen lämnar på sin webbplats följande infor- mation om uppföljning av verksamheten: En redogörelse för verksamheten skall lämnas in tillsammans med den ekonomiska redovisningen. Den skall utgå från projektansökan och bland annat beskriva i vilken mån mål eller delmål uppnåtts, om projektplanen kunnat följas, och hur det fortsatta arbetet skall se ut. Det är viktigt att både negativa och positiva erfarenheter kommer fram i redogörelsen. Ansökningsblankettens baksida ger anvisningar om hur en projekt- beskrivning och en projektredovisning bör utformas. Anvis- ningarna för projektbeskrivning handlar uteslutande om verksam- heten; anvisningarna för projektredovisning betonar och ger störst utrymme till verksamheten. En bakgrundsbeskrivning skall finnas, och den kan ge underlag för att bedöma förändringar efter pro- jektets genomförande. Varje ansökan registreras i kansliets databas. Både regeringsbesluten och meddelanden om Arvsfondsdele- gationens beslut anger när en redovisning skall lämnas för hur medlen har använts. För projekt som endast beviljas stöd är det till ett visst datum. Vid fleråriga projekt är det i samband med ansökan om stöd . I dessa fall skall en redovisning av läget lämnas innan den aktuella delen av projektet skall avslutas. Redovisningen fungerar då som underlag för beslutet om fortsatt stöd. Besluten hänvisar till en bilaga med villkor för beviljat stöd ur Allmänna arvsfonden till projekt. Bilagan tar upp hur den skriftliga redogörelsen för projektet eller försöksverksamheten bör se ut. För stöd till lokaler och inventarier finns en särskild bilaga. Den tar inte särskilt upp verksamhetsredo- visningen. Dessa projekt följs dock upp i särskilda former av delegationen, se nedan. Uppföljning och utvärdering av stöd ur Allmänna arvsfonden Efter regeringsbeslutet eller delegationens beslut införs en projektbeskrivning och uppgifter om projekttid, kostnader och stöd från arvsfonden i databasen. Tidpunkten för redovisningen noteras också. Kansliet kan av olika skäl bevilja anstånd med redovisningen av stödet. Det kan t.ex. gälla en försenad start eller ett personalbyte under projektets gång. Mottagare av stöd får ingen mall för sin verksamhetsredovisning. Kansliet för ungdomsärenden har arbetat med en särskild blankett för redovisning av verksamheten i projekt. Utfallet var inte bra. Problemet handlade inte om brister i utformning av just den aktuella blanketten utan var bredare. används ingen blankett. Rutiner inför redovisningen skiljer sig mellan kansliets olika delar. För ungdomsstödet skickas ett brev ut inför redovisningen med bl.a. en beskrivning av hur projektredogörelsen skall se ut. Två påminnelsebrev finns vid utebliven redogörelse; det första upprepar vad en projektredogörelse bör innehålla. Mottagarna av stöd till barn och personer med funktionshinder får inte någon påminnelse inför den tidpunkt då redovisningen skall lämnas till kansliet. Kansliet följer dock aktivt upp uteblivna redovisningar. Inlämnade redovisningar granskas noggrant mot projektbeskriv- ningen. Granskningen görs av en annan person än den som handlade den ursprungliga ansökan. Den avser både ekonomin och planerade aktiviteter. Kompletteringar kan krävas. Om verksam- heten inte bedrivits enligt plan eller den ekonomiska planen inte följts kan återbetalning av en del av stödet krävas. granskades och godkändes drygt 450 redovisningar totalt på Social- och . Omfattningen av redogörelsen varierar stort. Särskilt vid större projekt förekommer det att delegationen i bidragsbeslutet öronmärker en summa för utvärdering. Kansliet har inte definierat och samlar inte in några s.k. nyckeltal för en generell uppföljning av verksamheten i projekt som fått stöd från arvsfonden. Kansliet har genom sina omvärldskontakter en ganska god bild av spridningseffekter från åtminstone vissa grupper av arvsfonds- projekt. Externa utvärderingar av avgränsade större satsningar beslutade av regeringen genomförs ofta på Arvsfondsdelegationens initiativ. I dessa utvärderingar är ambitionen att uppnå en hög kvalitet på granskning och utvärdering för att det skall gå att utläsa bestående Uppföljning och utvärdering av stöd ur Allmänna arvsfonden effekter av satsningarna. För att göra det möjligt att uppnå kvalitetskraven anlitas därför företrädesvis utvärderare från de vetenskapliga institutionerna i nära samarbete med representanter för de berörda målgrupperna (brukarorganisationerna). Det är inte alltid så att former för utvärdering läggs fast innan stödet fördelas. Det är inte heller så att utvärderare i regel får möjlighet att följa projekt från starten. beviljas medel till särskilda projekt som syftar till att utvärdera en hel satsning. I en aktuell satsning, om rasism, har dock projektansökningar för ungdom strukturerats på ett sätt som kan underlätta uppfölj- ning. Utgångspunkten kan sägas ha varit den s.k. FIDO-modellen som tagit fram, se avsnitt 7.4.2. Det har krävt onormalt stora insatser från kansliet. Satsningar inom ungdomsområdet läggs på när behovet av uppföljning, utvärdering och erfarenhetsåterföring bedöms som särskilt stort. I regel får använda av medlen till administration, information, uppföljning, utvärdering och erfarenhetsåterföring. I ett fall, sam- verkansprojektet, har av medlen avsatts till dessa ända- mål. I syfte att utvärdera långsiktiga effekter av stöd till anläggningar, lokaler och utrustning genomför Arvsfondsdelegationen uppfölj- ningar av de organisationer som beviljats stöd för detta ändamål. gjordes en uppföljning av de organisationer som beviljats stöd . En motsvarande uppföljning gjordes . riktades en förfrågan till de organisationer som fått stöd . Ett tiotal föreningar fick en förfrågan om hur stödet från Allmänna arvsfonden påverkat föreningens möjligheter att bedriva verksamhet och hur verksamheten fungerar . Samtliga organisationer var eniga om att stödet varit positivt och att verksamheten utvecklats både i innehåll, omfattning och i antal deltagare. Vad gäller insatser för egen kompetensutveckling ordnas semi- narier om metoder för uppföljning och utvärdering. Syftet är att öka kunskaperna kring utvärderingsmetodik bland delegationens handläggare för att stå bättre rustade såväl inför den löpande hand- läggningen av ansökningar och uppföljningen av projekt som inför rådgivning och vägledning till enskilda organisationer. Kansliet deltar i nätverket för centrala bidragsgivare till ungdomsorganisationer. Det är ett forum för informationsutbyte, samordning och kompetensutveckling. Någon form av kvalitets- Uppföljning och utvärdering av stöd ur Allmänna arvsfonden säkring av arbetssätt inom kansliet förbereds f.n. Önskemål finns att utöka den aktiva handläggningen av ansökningar. Det kan underlätta uppföljningen, inte minst mot bakgrund av de goda erfarenheterna av handläggningen inom rasismsatsningen. Medel från arvsfonden har aldrig avsatts till ett projekt om utformningen och bedömningen av metoder för uppföljning och utvärdering. Det skulle dock vara principiellt acceptabelt att ha ett sådant projekt. 7.3.2Ungdomsstyrelsens arbete med uppföljning och utvärdering av stödet från arvsfonden arbete med uppföljning och utvärdering av stödet från arvsfonden skiljer sig inte från annan uppföljning och utvärdering som myndigheten bedriver. Som grund för samlade arbete med uppfölj- ning och utvärdering har styrelsen kontinuerlig kontakt med verksamheten ute i landet. Vid satsningar genomför Ungdoms- styrelsen oftast extern utvärdering av ett antal projekt. Denna utvärdering genomförs i kontakt med projekten. Syftet är t.ex. att få ökad kunskap om vilka metoder som fungerar och var fallgropar finns. Det är en utpräglat kvalitativ ansats. redovisade en slutrapport från en satsning som finansierats med arvsfondsmedel: Ungas Visioner inför 2000-talet. har tagit fram en projekthandbok med tips och inspiration för ungdomsföreningar som genomför projekt. I handboken behandlas frågor om hur man kan planera, starta, genomföra, avsluta och utvärdera projekt. Syftet med handboken är att bidra till att höja kvaliteten på projektens egna utvärderingar och på så sätt få ut kunskap ur ett projekt. Det är viktigt att se vad som hänt med t.ex. individer och informellt lärande inom ett pro- jekt. Det är också viktigt att synliggöra vad som gjorts i projektet. Utvärdering ses som ett sätt att förädla de kunskaper som blir tillgängiga genom projekten. Långsiktiga effekter av det stöd ur Allmänna arvsfonden som fördelar till olika verksamheter kan enligt styrelsen avläsas genom att myndigheten följer verksamheterna . Målsättningen är att myndighetens aktiva handläggning av projektansökningarna skall leda till att det projektstöd som ges i ett initialskede gör att de verksamheter som beviljas stöd skall kunna Uppföljning och utvärdering av stöd ur Allmänna arvsfonden utvecklas vidare av egen kraft och med lokalt fortsatt stöd. En annan långsiktig effekt som kan avläsa är den spridningseffekt som sker genom att goda exempel på verksam- heter kan inspirera andra, genom olika former av erfarenhetsutbyte och informationsinsatser. 7.3.3Regeringens redovisning av arbetet med uppföljning och utvärdering I det följande sammanfattas de uppgifter som lämnades i rege- ringens senaste redovisning till om fördelningen av arvs- fondsmedlen (skr. 2000/01:125) om arbetet med större uppfölj- ningar och med effektutvärderingar. publicerade undersök- ningen Eventuella långtidseffekter som finansierats med arvs- fondsmedel. I rapporten studerades de långsiktiga effekterna av de som fördelades ur Allmänna arvsfonden för utveckling av verksamheter för barn och ungdomar inom idrottsrörelsen. Studien genomfördes i form av enkäter till 56 idrottsförbund och 300 föreningar som tagit del av arvsfondsstöd . Enkäterna kompletterades med intervjuer. redovisar följande slutsatser om effekterna av satsningen: I mer än hälften av förbunden är den tidigare projekt- verksamheten numera integrerad i ordinarie verksamhet. Nästan hälften av förbunden angav att de arvsfondsfinansierade projekten haft stor eller mycket stor betydelse för fortsatta verksamheten inom idrottsgrenen. Endast var tionde förbund tror att projektet kunde ha genom- förts utan stöd från arvsfonden. Mer än hälften av föreningarna uppvisar fortfarande positiva effekter av projekten. Effekterna består bland annat av bättre ledarutbildningar, högre jämställdhet, större etnisk mångfald bland deltagare och bättre ungdomsverksamhet. Nästan var femte förening har upphört eller ingått i annan organisationsstruktur efter 1989. Som viktigaste framgångsfaktorer bakom långsiktiga effekter angav föreningarna rätt projektidé som passade i föreningens verksamhet Uppföljning och utvärdering av stöd ur Allmänna arvsfonden och traditioner samt eldsjälar som stannat i föreningen även efter projektet. () presenterade en utvärdering av en treårig satsning för att stimu- lera och underlätta för personer med funktionshinder att delta i idrottsverksamhet. Satsningen genomfördes –1995 och sammanlagt avsattes ur Allmänna arvs- fonden. I satsningen beviljades 45 olika projekt medel för att genomföra försöksverksamhet riktad till personer med olika funktionshinder som rörelsehinder, syn/hörselskador och utveck- lingsstörning. SHIF redovisar följande slutsatser om effekterna av satsningen: Försöksverksamheten har gjort det möjligt för personer med funktionshinder att delta i idrottslig verksamhet på ett tidigare icke åstadkommet sätt. Resultatet visar att det är viktigt att erbjuda en mångfald i idrottsutbudet för att kunna säkerställa att personer med någon form av funktionshinder skall kunna hitta en aktivitet som passar. Mer än en tredjedel av projekten har inneburit fortsatt verksamhet. Många projektdeltagare är således kvar i idrotten. Nya idrotter har startats, blivit bestående och spritt sig såväl nationellt som internationellt. Andra idrotter har tagits hem till och etablerats för gott samt lett till internationella framgångar. Här åsyftas kälkhockeyprojekten, vattenskidåk- ningen, sittande konståkning, rullstolsrugby och skidskola för rörelsehindrade. Den satsning på information kring FN:s konvention om barnets rättigheter () som pågått 1996–2000 har utvärde- rats. har varit samordnande för frivilligorgani- sationerna. Utvärderingsrapporten beskriver, analyserar och utvär- derar hela satsningen där 19 ideella organisationer varit engagerade i närmare 60 olika projekt i omkring 170 kommuner. En utvärderingsrapport presenterades av en satsning –1999 för att i samarbete med ideella organisationer skulle kunna utveckla och pröva olika typer av verksamheter för barn som av olika skäl står utanför den reguljära barnomsorgen. Projekten skulle syfta till att öka barnens integrationsmöjligheter i samhället. Uppföljning och utvärdering av stöd ur Allmänna arvsfonden SOU 2002:19 fördelade –1999 sammanlagt till 130 barn- och ungdomsprojekt i ideella organisationer som ligger i linje med den nationella handlings- planen för alkohol- och drogförebyggande arbete. En projektledar- utbildning har anordnats med betoning på dokumentation, uppfölj- ning, förankring av erfarenheter och utvärdering. 7.4Omvärldens synpunkter på metoder för effektutvärderingar av projekt som fått stöd ur Allmänna arvsfonden Ett centralt inslag i utredningens arbete med detta uppdrag har varit ett seminarium om metoder för uppföljning och utvärdering av stöd till nyskapande och utvecklande verksamhet som ordnades . I seminariet deltog företrädare för , , , och . Från utredningens sida deltog utredningsmannen, sekreteraren och fler- talet sakkunniga. Syftet med seminariet var att diskutera och komma fram till en gemensam syn på följande frågor, som utredningen uppfattat som centrala för sitt uppdrag i denna del: 1.vilka metoder som kan användas för uppföljning och utvärde- ring av stöd från arvsfonden 2.vilka krav och förutsättningar som gäller för dessa metoder. Frågan om uppföljning och utvärdering har också tagits upp i kontakter med RRV och företrädare för arvsfondens målgrupper och vid ett möte med nätverket för centrala bidragsgivare till ungdomsorganisationer. 7.4.1Slutsatser från utredningens seminarium om uppföljning och utvärdering Vid allt arbete med uppföljning och utvärdering är det viktigt att avdramatisera begreppen och närma sig uppgifterna med ett klart tänkande. Det gäller bl.a. vad som skall utvärderas, hur det skall göras och vad det får kosta. Utredningens uppdrag enligt direktiven handlar om metoder för att påvisa långsiktiga effekter. Här finns två aspekter. Uppföljning och utvärdering av stöd ur Allmänna arvsfonden Generellt är det ganska svårt att påvisa effekter. En utvärdering som talar om vad som varit bra och dåligt med projekt eller satsningar är också värdefull. Dels metodval, där det princi- piellt inte finns några skillnader mellan arvsfondsprojekt och andra områden. Det är en fråga för varje myndighet att ta till sig dessa metoder och tillämpa dem på sin egen situation. Det kräver eftertanke och kompetens. Begreppen uppföljning och utvärdering Följande begreppsbestämningar har etablerats bland myndig- heterna i samband med arbete med resultatstyrning: N Uppföljning är en beskrivande aktivitet som handlar om att samla data som beskriver ett tillstånd. Det svarar på frågan: Vad har hänt? Uppföljning ger data som kan vara värdefulla vid en utvärdering. N Utvärdering är en analytisk och förklarande aktivitet som bygger bl.a. på data som samlas in genom uppföljning. Den innebär en bedömning. Utvärdering sker i efterhand, ex post, men underlag för utvärderingen kan med fördel samlas in från början. Det svarar på frågan: Varför har det hänt? N Konsekvensanalys är en bedömning på förhand, ex ante, av vilka effekter en viss åtgärd kommer att få. Tidsaxeln är viktig för skillnaden mellan aktiviteterna. Det finns också en föreställning att utvärderingar förutsätter kvantitativa metoder. Så är det inte alls. Frågan om kvalitativa eller kvantitativa metoder har inget med skillnaden mellan utvärdering och någon annan ansats att göra. Uppföljning och utvärdering skall inte ses som en revisions- verksamhet, även om det finns inslag av kontroll. Det finns en växande tendens att låta begreppet utvärdering stå för all verksamhet med konsekvensanalys, uppföljning och utvärde- ring. Uppföljning och utvärdering av stöd ur Allmänna arvsfonden Måste utvärderingar förberedas? Idealet är att förbereda en utvärdering. Det innebär att vara med från början och löpande samla in de data som kan behövs. Så är det långt ifrån alltid. Med bra stöd till projekt är det möjligt att samla in kunskap av värde för utvärdering. Ansatsen vid effektutvärdering är kontrafaktiskt; vad skulle annars ha hänt. Det innebär att idealet är att det finnas någon form av kontroll, vilket naturligtvis medför etiska problem. Exempel finns dock på sådana experiment, t.ex. lördagsöppet på Systemet, där olika regler gällde i olika delar av landet och effekterna på inköpen kunde följas och jämföras. Statistiska metoder kan användas för att försöka kontrollera variabler.