sou · GQB319d2 · 2003-01-01 00:00:00 — Just arvsfonden med sitt syfte att främja nyskapande och utvecklande verksamhet kan lämpa sig för att etablera kontrollgrupper. Dessa bör dock följas med de grupper som får stöd. Vad kan man få veta? Det är viktigt att ha en strategi för utvärdering och att problema- tisera utvärderingsuppdraget. Utvärderingar kan inriktas på att svara på olika frågor, t.ex. vilka effekter som uppnåddes, genomfördes åtgärderna på bästa sätt, hur ser resultatet ut jämfört med målen, var åtgärderna ett effektivt sätt att nå resultatet? Vid utvärdering är det nödvändigt att veta vad som var målet, dvs. vad som skulle uppnås. Målen är dock inte alltid preciserade, och när mål angetts kan de vara motstridiga. Ofta får myndigheter utgå från opreciserade, ibland outtalade mål och ange egna mål som utgångspunkt för uppföljning och utvärdering. Ett resonemang med effektkedjor, där försök görs att precisera och mäta resultat av olika steg på väg mot den slutliga effekten, kan vara ett sätt att visa att man kommit en bit på väg mot ett långsiktigt mål. Det kan också vara ett sätt att bestämma vilka led som bör undersökas närmare, t.ex. led där svårigheter väntas uppstå. Enkla nyckeltal för uppföljning kan räcka för en del arvsfondsprojekt. Projekt med förväntade spridningseffekter bör kanske utvärderas. Stickprovs- utvärdering, bl.a. gruppvis, kan vara ett sätt att följa övriga projekt. Det är viktigt att uppmärksamma oavsedda/oväntade effekter. Uppföljning och utvärdering av stöd ur Allmänna arvsfonden I viss utsträckning är det enligt arvsfondslagen målgrupperna själva som äger målen för arvsfonden, eftersom det som är nyskap- ande och utvecklande får definieras utifrån de ideella organi- sationernas villkor och verklighet. Vid satsningar anger regeringen inriktningsmål. Det är också viktigt att komma ihåg att staten inte har något monopol på utvärdering: även målgrupperna skall vara med och värdera resultaten och hur de uppnåtts. Projektens redo- visning och självutvärdering är ett underlag för utvärdering men de måste kompletteras med annat underlag och andra perspektiv, ofta genom en extern granskning. Det finns olika nivåer att se på i arvsfondsverksamheten: dels projekten, som kan vara mycket små, dels effekter för en hel mål- grupp. Vilken kunskap kan man få ut? T.ex. att olika metoder är bra eller dåliga eller fungerar bäst i olika sammanhang. Det är också bra att ha en ordentlig kontroll på om projektet gjort det som skulle göras, och där är projektets egen redovisning viktig. Stödet ur arvsfonden går till en bred och disparat verksamhet. Kanske utvärderingar kan utgå från effektkedjor för olika grupper av likartade projekt. Spridningseffekter är något som kännetecknat arvsfondsverk- samheten. I flera fall har stöd från arvsfonden medverkat till att lansera saker som finns i nästan hela landet. Ett aktuellt exempel är datatek. Datatek är en form av datalek där barn med omfattande funktionshinder kan med datorns hjälp och genom anpassade program och styrverktyg få leka, agera och reagera och därmed också få möjlighet att visa vad man förstår. Man kan välja och bli mer oberoende och självständig i förhållande till sina föräldrar och olika personalgrupper . Även om det inte kan sägas att en viss metod kom till använd- ning eller spreds till följd av stöd från arvsfonden kan det ofta sägas att arvsfonden sett till att det finns en samlad kunskap om metoden. Vad får uppföljning och utvärdering kosta? Kunskapsuppbyggnad som är ett resultat av uppföljning och utvärdering är ingen administrativ överbyggnad utan en förädling av projektverksamheten. Det ger möjlighet till nytänkande i fram- tiden. Uppföljning och utvärdering av stöd ur Allmänna arvsfonden Det är inte meningsfullt att tala om typiska siffror för vad en utvärdering generellt får eller bör kosta. Det finns både fördelar och nackdelar med att öronmärka en bestämd andel av ett stöd till utvärdering. Det är viktigt att inse när projekt inte bör utvärderas, dvs. när utvärdering blir en kostnad och inte en intäkt för pro- jektet, som att ta ställning till en lämplig insats för ett projekt som bör utvärderas. I dessa frågor är ett klart tänkande det viktiga. Kopplingen mellan arbetssätt med stödgivning och uppfölj- ning/utvärdering Det är tveksamt om hänsyn till uppföljning och utvärdering behövs få just organisatoriska följder. Det är däremot viktigt att det får påverka arbetssätten. Det är viktigt att handläggningen präglas av ett utvecklingsper- spektiv. En aktiv handläggning som försöker stödja utvecklingen av intressanta projekt ger mervärde på olika sätt, t.ex. genom starkare lokal förankring med större överlevnadsmöjligheter som följd. Det kan också ge projektet ökad tydlighet och bättre fokus, vilket underlättar en senare utvärdering. En följd kan vara att satsa mer på ett mindre antal projekt; det är ju ändå omöjligt och inte heller avsikten att stödja alla projekt inom ett område. Som nämnts tidigare är dock projektets självutvärdering ett otillräckligt underlag för en utvärdering; andra perspektiv och kun- skaper måste komma till. Referensgrupper kan vara viktiga för att se till att olika synsätt kommer till tals vid utvärderingar. Erfarenheten av mallar för projektredovisning är att de kan vara mer av ett hinder än ett stöd om en enhetlig mall skall användas för olika projekttyper. 7.4.2Myndighetsexempel av uppföljning och utvärdering av stöd till nyskapande och utvecklande verksamhet fördelar mycket bidrag inom kulturområdet. De arbetar enligt de principer som redovisats i föregående avsnitt. Data samlas genom uppföljning, sedan görs en avstämning mot målen Uppföljning och utvärdering av stöd ur Allmänna arvsfonden för att få en utvärdering. Som en del i detta mäts speciella effekter. Ofta får analysera antagna mål för att få fram utgångs- punkter för sina uppföljningar och utvärderingar. Det handlar t.ex. om att bryta ner de nationella målen för kulturpolitiken. Det handlar också. om att precisera vad att utveckla betyder i ett visst sammanhang, vilket blir ett stöd för bidragsbesluten. Uppföljning visar sedan om de antagna effekterna uppstått och slutsatserna av utvärderingen påverkar hur målen kommer att formuleras. I regel granskas klumpar av bidrag genom extern utvärdering med stöd av enkäter, intervjuer, statistik och även projektdokumentation. har utvecklat en handbok, , som är en lathund för självutvärdering och rapportering av i första hand genomförda integrationsprojekt. beskriver vad som menas med en utvärdering och går steg för steg igenom hur man gör från början av projektet. Den innehåller checklistor för bl.a. de planerande, genomförande och sammanfattande faserna i ett projekt. har kompletterats med en lathund för rapportering och redovisning av integrationsprojekt för att under- lätta för dem som fåt projektstöd att redovisa sina projekt. Lat- hunden innehåller en resonerande mall för projektets självutvärde- ring och information om reglerna för projektets ekonomiska redo- visning. En ambition bakom dessa insatser är att öka erfarenhets- återföringen från projekten. De två skrifterna är också avsedda att leda till bättre planering av projekt som får stöd från Integrations- verket. En hel del litteratur om uppföljning och utvärdering har tagits fram för myndigheter i samband med utvecklingen av resultat- styrningen. Exempel är Utvärdera för bättre beslut (Statskontoret), Resultatanalys, Att mäta effekter och Resultatstyrning i myndig- heten – en situationsanpassad ansats (RRV) samt Utvärdering i offentliga sektorn – problem och lösningar (, Ds 1994:117). RRV har i sina kontakter med utredningen framhållit vikten av uppföljning och utvärdering men ansett att det kan bli proble- matiskt om kostnader för administration av stödet från arvsfonden blir för stora. Uppföljning och utvärdering av stöd ur Allmänna arvsfonden Följande har framkommit om metoder för uppföljning och utvärdering i utredningens kontakter med företrädare för arvs- fondens målgrupper. Organisationerna anser att de själva är bättre på process- än effektutvärderingar, dock eftersträvar de alltid bestående verksam- heter och spridningseffekter, sådana effekter kan ofta påvisas. Organisationerna sätter stor vikt vid att den egna kunskapen respekteras vid utvärderingar. Särskilt handikapporganisationerna känner därför oro inför externa utvärderingar. De målgrupps- företrädare som försökt ställa samman centrala utvärderingar har framhållit att uppföljning kan underlättas av en tydlig mall, dvs. en särskild blankett eller uppställning frågor, för en grupp uppfölj- ningar. Däremot är generella mallar av mycket begränsat värde. Bedömning och förslag: Den samlade bilden av uppföljning och utvärdering av stödet från arvsfonden är positiv. Arbetet med uppföljning och utvärdering har också utvecklats . En samlad strategi för uppföljning, utvärdering och erfarenhets- återföring behöver dock tas fram av Arvsfondsdelegationen. Strate- gin bör bygga på en systematisk uppföljning av projekt som får stöd från arvsfonden och på generella metoder för utvärdering. Ändamålsbestämmelsen i arvsfondslagen ger målgrupperna en sär- skild betydelse vid utvärdering av stödets effekter. Extern veten- skaplig expertis bör anlitas vid alla större utvärderingar. Ett syfte bör vara att identifiera vilka metoder som fungerar och under vilka betingelser och att peka ut områden och frågor där stödet från arvsfonden kan väntas ge begränsat resultat och som därför inte bör prioriteras. Arvsfondsdelegationen fick från starten ett stort och svårt uppdrag att utveckla metoder för utvärdering och effektmätning utifrån övergripande mål och syften. Utredningen anser att en grundläggande slutsats av redovis- ningen i detta kapitel är att den samlade bilden av uppföljning och utvärdering av stödet från arvsfonden är positiv. Uppföljning och utvärdering av stöd ur Allmänna arvsfonden alltså gjort en hel del för att leva upp till förväntningarna. Insatserna kan – med hänsyn till Arvsfondsdelegationens förut- sättningar – mycket väl mäta sig med det arbete som görs av olika myndigheter med ansvar för nyskapande och utvecklande verk- samhet. Arbetet med uppföljning och utvärdering har också utvecklats . Det framgår tydligt bl.a. av en genom- gång av de årliga skrivelserna som regeringen lämnar till . Uppdraget att utvärdera stödet från arvsfonden kan sägas skilja sig från sedvanliga utvärderingsuppdrag på ett väsentligt sätt. Det är visserligen så att en utvärdering måste ta vara på alla intressenters värderingar, kunskaper och erfarenheter. Men ändamålsbestäm- melsen i arvsfondslagen ger målgrupperna en särskild betydelse för utvärdering av stödets effekter. Deras upplevelse av vad som är nyskapande och utvecklande är en nödvändig del av utvärderingen Utredningens uppdrag har avsett att bl.a. utveckla metoder för mätning av långsiktiga effekter. De metoder som behövs för uppföljning och utvärdering av stödet från arvsfonden finns redan; det framgår inte minst av slutsatserna från utredningens semi- narium om uppföljning och utvärdering. Det är samma metoder som används för annan uppföljning och utvärdering av utvecklings- arbete. Ett visst arbete kan återstå med att anpassa metoderna till arvsfondens särskilda karaktär. Det arbetet bör ske som ett led i insatserna för att utveckla delegationens och kansliets arbetssätt. Utredningen bedömer dock att mer kan göras för att styra upp insatserna för uppföljning och utvärdering och för att systematisera erfarenheter. En samlad strategi för uppföljning och utvärdering av stödet från arvsfonden bör tas fram av Arvsfondsdelegationen i samråd med de myndigheter som fördelar stöd ur arvsfonden. I strategin bör ingå erfarenhetsåterföring. Strategin bör bygga på en systematisk uppföljning av projekt som får stöd från arvsfonden. Målgrupperna bör spela en central roll i utvärderingsarbetet. Inom ramen för en sådan strategi bör ambitionen inte vara att utvärdera effekterna av alla projekt som fått stöd från arvsfonden. Utvärderingsinsatserna bör inriktas på N områden där effekter kan identifieras till rimlig kostnad N områden där insatserna kan ge mest nytta i form av ökade kun- skaper om hur arvsfondsstödet kan användas för att främja nyskapande och utvecklande verksamhet N utvärderingsfrågor som målgrupperna upplever som särskilt angelägna och Uppföljning och utvärdering av stöd ur Allmänna arvsfonden N erfarenhetsåterföring som sprider kunskap om uppnådda effekter och som visar hur processerna inom utvecklingsarbetet går till. Som ett led i strategin bör dock alla satsningar som beslutas av regeringen utvärderas med hjälp av extern vetenskaplig expertis. Temautvärderingar bör göras av grupper av likartade projekt. Projekt som väntas ge viktigare spridningseffekter bör följas sär- skilt. Viktiga syften med utvärderingsprogrammet bör vara N att identifiera vilka metoder som fungerar och under vilka betingelser de gör det och N att peka ut områden och frågor där stödet från arvsfonden kan väntas ge begränsat resultat och som därför inte bör prioriteras. 8Redovisning till och avsättning av medel för områden som är angelägna att utveckla Utredaren skall, bl.a. med utgångspunkt i de senaste fem årens regeringsskrivelser till , överväga om regeringen bör avsätta medel, och i så fall hur stor del av de utdelningsbara medlen, för områden som är angelägna att utveckla. Gällande regler för redovisningen till Regeringen skall enligt 31 § lagen om Allmänna arvsfonden till redovisa hur arvsfondsmedlen föregående budgetår fördelats samt ange den kommande inriktningen av stödet. Enligt vad socialutskottet uttalat (bet. 1991/92:SoU13) bör redovisningen innehålla både en analytisk redogörelse för medels- tilldelningen och en detaljerad sammanställning över beviljade ansökningar. Vidare bör den kommande inriktningen av stödet redovisas. Utredningens syn på vikten av redovisningen till Utredningen har i kapitel 4 (avsnitt 4.4.4 och 4.5.3) föreslagit att den årliga skrivelsen om fördelningen av arvsfondsmedel som rege- ringen lämnar till även i fortsättningen bör vara grunden för styrningen av verksamheten med arvsfonden. Redovisningen bör utvecklas till att ge en samlad bild av all verksamhet med Allmänna arvsfonden. Som underlag för skrivelsen bör Arvsfonds- delegationen lämna en årlig verksamhetsberättelse för alla myndig- heters stödgivning från Allmänna arvsfonden. Redovisning till och avsättning av medel för områden 8.2Frågans behandling i revisorers granskning N att regeringens rapportering till ses över. Möjlig- heterna att följa verksamhetens utveckling under budgetåren bör förbättras. Det bör dessutom redovisas mer information om effekterna av verksamheten och mindre av projektbeskrivningar. N ·att regeringen på ett tydligare sätt redovisar hur stor andel av de utdelningsbara medlen som fördelats via s.k. särskilda satsningar samt att regeringen redovisar hur mycket som kan komma att fördelas på detta sätt under det kommande budget- året. revisorer anger i sin granskningsrapport att regeringens årliga skrivelse till i flera avseenden är informativ och belysande. revisorer har dock funnit vissa motstridiga uppgifter i skrivelserna. Skrivelserna är dessutom svåra att följa , vilket bl.a. beror på att begreppen inte definieras. revisorer anger att de även kunnat konstatera att det i skrivelserna är svårt att se tydliga samband mellan regeringens riktlinjer för den framtida inriktningen och den faktiska medels- fördelningen. revisorer anser att rapporteringen till måste ses över. Bland remissinstanserna framför Kammarkollegiet att den infor- mation som lämnas i skrivelsen till angående projektbeskrivningar fyller en stor funktion som förmedlare av kunskap om vad arvsfonden används till. Kollegiet anser att om denna information inte lämnas i skrivelsen till bör den lämnas på annat sätt. ESV tillstyrker vad revisorerna anfört om rapporteringen till . Av Arvsfondsdelegationens yttrande framgår att delegationen kommer att ta fasta på de påpekanden revisorerna gjort avseende rapporteringen till . Frågan om revisionen av det bokslut som upprättas hos Kammarkollegiet är dock något som dele- gationen inte disponerar över. Redovisning till och avsättning av medel för områden 8.3Användningen av medel ur allmänna arvsfonden /96 – 2000 8.3.1Utvecklingen av tillgängliga, fördelade och beslutade medel Av de medel som tillfallit Allmänna arvsfonden skall en tiondel läggas till fonden. Återstoden skall, tillsammans med årets avkastning, vara tillgänglig för utdelning från och med nästföljande år. Regeringen får dessutom, om omständigheterna föranleder det, till fonden lägga medel som är tillgängliga för utdelning. Medel får också stå kvar för förräntning för att delas ut . Medel att fördela är förutom det utdelningsbara beloppet även föregående års ej beslutade och utdelade medel samt återbetalda eller ej rekvirerade medel. I tabell 8.1 redovisas samtliga medel tillgängliga vid slutet av budgetåret, 1994/95–2000, inkl. medel som fördelats men inte slut- ligt beslutats. Tabell 8.1 Tillgängliga medel vid slutet av budgetåret, 1994/95-2000 1995/96 * Årets utdelningsbara medel (från influtna medel och direktavkastning) Fördelade, ej slutligt beslutade medel från tidigare budgetår Tillgängliga medel, totalt Källa: Bokslut för arvsfonden i regeringens årliga skrivelser till * Budgetåret var 18 månader långt. Beloppet motsvarar ca omräknat . Tabellen uppvisar en kraftig ökning i nya medel som blir tillgängliga för utdelning varje är genom influtna arvsfondsmedel och direktavkastning. –2000 har det varit mycket god utdelning på Kammarkollegiets förvaltning av arvsfondens medel. Dessutom märks en stark och bestående ökning i överföring av medel mellan budgetår. Ökningen torde ha sin förklaring i de betydande medel som blev tillgängliga efter /96, som var 18 månader långt. förefaller en betydande andel av medel som förs över till Redovisning till och avsättning av medel för områden kommande budgetår egentligen ha avsatts till särskilda satsningar beslutade av regeringen. hade vanligtvis hela det utdelningsbara beloppet fördelats under budgetåret, liksom de återförda och återbetalda medlen. 8.3.2Stöd till enskilda målgrupper – exemplet stöd till projekt för barn Stödet från arvsfonden fördelas till projekt till förmån för mål- grupperna. Redovisningen av stödet i skrivelsen till exemplifieras här med stöd till projekt för barn . En genomgång av stöd till ungdomar och till funktionshindrade ger en likartad bild. Vilka områden som stödet till barn inriktas på under varje budgetår /96–2000 framgår av tabell 8.2. Områdena delas in i särskilda satsningar beslutade av regeringen och stöd till organisationernas egna initiativ. Regeringens sats- ningar redovisas mer utförligt i avsnitt 8.4. Av tabellen framgår också vilka områden som getts stöd med under olika år. Sammantaget tar de senaste årens redovisningar upp ett stort antal områden för stödgivning. Några utöver regeringens satsningar har fått betydande belopp under alla eller nästa alla år. Exempel är lokaler, familjestöd, utsatta barn och ungdomar, fritid/idrott och datateknik. Andra områden för stöd till organisa- tionernas egna initiativ förekommer bara någon enstaka gång och svarar inte heller för större belopp. Exempel är media, miljö, mobb- ning, idrottens sociala ansvar och våldsförebyggande. I tabell 8.3 sammanfattas regeringens angivna prioriteringar i den årliga skrivelsen för stödet till barn . Prioriteringarna enligt tabell 8.3 är av två slag. För det första utgörs vissa priorite- ringar av pågående eller aviserade särskilda satsningar; har några av dessa satsningar omfattat alla målgrupper. För det andra anges en rad prioriteringar som inte kommer till uttryck i avgränsade och beloppsbestämda satsningar. Prioriteringen av dessa områden får antas ha en inverkan dels på bedömningen av vilka ansökningar som är nyskapande eller utvecklande, dels på priorite- ringen mellan sådana ansökningar vid medelsbrist. Redovisning till och avsättning av medel för områden Prioriteringar som avser särskilda satsningar är givetvis stabila under . Även övriga prioriteringar är påfallande stabila, tillsammans är de dessutom relativt vidsträckta. Stödgivningen till områden som prioriterats i särskilda satsningar har fullföljts, dock ibland med viss fördröjning. Det går nämligen att läsa ur redovisningarna att det inte alltid gått att snabbt få fram tillräckligt många bra projekt som klarar kriterierna för satsningar. Det går däremot inte – med utgångspunkt i det material som sammanfattats i tabellerna 8.2 och 8.3 – att dra någon slutsats om hur övriga angivna prioriteringar kommit till uttryck i stödgiv- ningen. Det finns inte heller i någon av regeringens skrivelser till någon redovisning av hur dessa prioriteringar påverkat stödgivningen till organisationernas egna initiativ. Företrädare för har sagt dels att stöd till dessa prioriteringar redovisas inom breda kategorier som familjestöd och utsatta barn och ungdomar, dels att prioriteringarna anger angelägna områden där delegationen fått få projektansökningar. Redovisning till och avsättning av medel för områden Tabell 8.2 Redovisade områden för stödgivningen till barn, budgetår 1995/96–2000 under . x = området har tilldelats stöd med minst x = området har tilldelats stöd med mindre än Barn i vissa storstadsområden Utveckling och förnyelse av idrott på Rasism, främlingsfientlighet, (Nya) rehabiliteringsmetoder Utsatta barn och ungdomar sexuell exploatering av barn * Stöd till ungdomar 12–har getts inom flera satsningar för barn. Några angivna satsningar avser alla målgrupper. Redovisning till och avsättning av medel för områden Tabell 8.3 Regeringens prioriteringar för stödgivningen till barn enligt den årliga skrivelsen, budgetår 1995/96–2000 Barn i vissa storstadsområden Utveckling och förnyelse av idrott på Barn i vissa storstadsområden Relationer mellan unga människor Bevakning av samhällsfrågor i ett Ungdomars inflytande och delaktighet i kultur- och samhällslivet samt i den Utvecklingsarbete av olika slags stöd i Utökat ansvar för vuxenvärlden för barn till psykiskt eller alvarligt sjuka föräldrar som missbrukar alkohol eller annat Barn med enbart en förälder Barn till psykiskt sjuka Barn som utsatts för sexuella övergrepp, misshandlats eller varit vittne till våld Barn som växer upp i familjehem Barn med neuropsykiatriska problem Vissa ytterligare insatser för barn med Sommarlovsaktivitet/ koloniverksamhet i Redovisning till och avsättning av medel för områden 8.3.3Prioriteringar som avser alla målgrupper har ett antal satsningar beslutats som avser alla målgrupper och inte är avgränsade till bara en målgrupp, se tabell 8.4. Dessa satsningar har anmälts bland regeringens prioriteringar för den framtida stödgivningen, innan de beslutats. Tabell 8.4 Prioriterade områden som avser alla målgrupper Brukarinflytande genom utvecklingen av kooperativa lösningar i Idrottsrörelsens utveckling av verksamhet för fondens målgrupper, främst på lokal nivå. Brukarinflytande genom utvecklingen av kooperativa lösningar i Förnyelse och utveckling av idrottsverksamhet, främst på lokal Förnyelse och utveckling av idrottsverksamhet, främst på lokal Projekt som långsiktigt förebygger och motverkar rasism, främlingsfientlighet, intolerans och diskriminering Förnyelse och utveckling av idrottsverksamhet, främst på lokal Projekt som långsiktigt förebygger och motverkar rasism, främlingsfientlighet, intolerans och diskriminering Regeringens särskilda satsningar kan ses som det mest påtagliga uttrycket för regeringens roll att bestämma inriktningen av stödet från arvsfonden. I detta avsnitt redovisas hur många särskilda satsningar som beslutats av regeringen, vilka områden och perioder som varje satsning avser och hur satsningarna har administrerats. Som framgår av tabell 8.5 har regeringen avsatt eller aviserat avsättningen av ca till 38 prioriterade områden. Det motsvarar uppskattningsvis av till- gängliga medel .