rir · GZB512 · 2011-03-23 09:00:00 — Det totala deltagarantalet, åldersgrupper, deltagare med utländsk bakgrund, deltagare med funktionshinder och antalet arbetslösa deltagare ska redovisas. Vidare ska antalet kulturprogram och antalet deltagare i dessa program samt antal arrangemang, studietimmar och deltagare i kategorin annan gruppverksamhet redovisas.79 Därtill ska verksamhetens kvalitet följas upp och utvärderas. Enligt innebär regelsystemet att regeringen gett i uppdrag att följa upp och utvärdera både verksamhetens kvantitet och dess kvalitet. Några närmare anvisningar eller uppdrag som tydligare anger inriktningen eller var tyngdpunkten i uppföljningen och utvärderingen bör ligga har regeringen inte givit. Enligt propositionen ska statens utvärdering utformas som tätare återkommande studier av mer begränsad omfattning.80 Regeringen har trots detta inte gett eller någon annan aktör något uppdrag att utvärdera något specifikt område inom studieförbundens verksamhet . Sedan propositionen antogs har regeringen beskrivit studieförbundens verksamhet i budgetpropositionen. De uppgifter som lämnas till är framför allt inriktade på kvantitativa data om verksamhetens omfattning såsom antal cirklar, antal kulturprogram och antal deltagare. 77Riktlinjer för avseende användningen av sjuttonde utgiftsområdets anslag 25:1 Bidrag till folkbildningen. U2007/7804//SV. 78Riktlinjer för avseende användningen av sjuttonde utgiftsområdets anslag 14:1 Bidrag till folkbildningen. U2010/7658//SV. U2010/7768/SV. 79Riktlinjer för avseende användningen av sjuttonde utgiftsområdets anslag 14:1 Bidrag till folkbildningen. U2010/7658//SV. U2010/7768/SV. 2005/06:192, s. 56. Statens stöd till studieförbunden rapporterar även hur många invandrade och hur många funktionshindrade som deltagit i verksamheten. Förutom de rent kvantitativt inriktade uppgifterna uppgav regeringen i budgetpropositionerna till 2011 att deltagarna i stor utsträckning var nöjda med sin cirkel. I budgetpropositionen redovisas även bedömning av studieförbundens kvalitetsarbete. Regeringen hänvisar även till studieförbundens och uppföljningar och utvärderingar, som enligt regeringen visar att folkbildningens verksamhet i allt väsentligt håller en hög kvalitet och att folkbildningens aktörer når viktiga målgrupper och upprätthåller en god geografisk täckning.81 I budgetpropositionen anger regeringen i likhet med budgetpropositionen att det mot bakgrund av det omfattande statliga stödet till folkbildningen finns behov av att förstärka och utveckla den statliga granskningen av folkbildningen.82 3.2Folkbildningsrådets uppföljning och utvärdering uppföljningsinformation redovisas i dess Årsredovisning med verksamhetsberättelse.83 samlar inte enbart in information om de indikatorer som uttryckligen efterfrågas av regeringen, utan även om annat som till exempel deltagarnas utbildningsbakgrund.84 En sådan information är av betydelse för att bedöma om folkbildningen lyckas med att nå personer med kort utbildning, vilket är någonting som efterfrågas i proposition 2005/06:192 och ansluter till det tredje syftet för folkbildningen.85 I sin årsredovisning redovisar den statsbidragsberättigade verksamhet som studieförbunden rapporterar in som underlag för utbetalningen av statsbidrag, bland annat uppdelat på ämneskategorier 2010/11:1 utgiftsområde 16, s. 117. 2010/11:1 utgiftsområde 16, s. 64. 83Statistik om folkbildningen finns även tillgänglig hos och . All statistik bygger på uppgifter från studieförbundens verksamhetsregister som ägs av och administreras av . är statistikansvarig myndighet. 84Tidigare har information om deltagarnas utbildningsbakgrund samlats in i deltagarundersökningarna. I och med att deltagare registrerades med personnummer 2008 gavs möjligheten att även koppla deltagaruppgifterna till SCB:s register och hämta uppgifter om högsta fullföljda utbildning. Användandet av personnummer gör det även möjligt att mäta unika deltagare. har endast siffror om antalet deltagare presenterats där samma person räknas om han eller hon har deltagit i flera olika studiecirklar eller arrangemang. 85Bidra till att utjämna utbildningsklyftorna och höja bildnings- och utbildningsnivån i samhället. Statens stöd till studieförbunden (se även 2.3). redovisar även hur stort statsbidrag som går till de olika olika typerna av statsbidrag.86 har i allt högre grad sammanfattat utvärderings- och uppföljningsresultat med koppling till statens syften för folkbildningen i sin årsredovisning med verksamhetsberättelse. Detta sker under rubriken samlad bedömning. För den samlade bedömningen använder egna utvärderingsresultat och uppföljningsdata samt forskning och studier som utförs av andra aktörer. Det framgår inte av redovisning hur studieförbunden använder statsbidraget. följer inte heller upp hur studieförbundens lokalavdelningar använder statsbidraget. Därmed är det inte möjligt att ange hur mycket statsbidrag som använts för en specifik verksamhet (till exempel en specifik studiecirkel eller ett ämnesområde).87 I proposition 2005/06:192 framgår att folkbildningens egna utvärderingar bör utnyttjas i större utsträckning än tidigare för att bedöma om statens syften uppnåtts.88 har tolkat propositionen på så sätt att en del av den statliga utvärderingen skulle kunna ersättas av mindre omfattande utvärderingar utförda i regi,89 och de anser sig ha fått ett utökat utvärderingsuppdrag, bland annat vad gäller nationella utvärderingar. gav i uppdrag till att göra en metautvärdering. I metautvärderingen undersöktes 48 utvärderingar på folkbildningsområdet från perioden 19942008.90 27 av dessa var utvärderingar utförda i regi och 21 var rapporter som ingått i de statliga utvärderingarna av folkbildningen. Ett viktigt syfte med metautvärderingen var att bedöma huruvida utvärderingarna ger insikter om effekter av folkbildningen. Trots att många av utvärderingarna inte i strikt bemärkelse är generaliserbara är det enligt metautvärderingen möjligt att analysera gemensamma mönster som framträder i utvärderingarna och på så vis säga någonting om folkbildningens effekter. Exempel på effekter av studieförbundens verksamhet, som framträder ur utvärderingarna91, är ökade kunskaper hos individen, att människor med 86Grundbidrag, kultur, förstärkningsbidrag och verksamhetsbidrag. 87Intervju och , . 2005/07:192, s. 56. 90Lena , Effekter och evidens: En metautvärdering inom folkbildningsområdet, 2009. 91Förekommer i fler än tre rapporter. Statens stöd till studieförbunden olika bakgrund möts och att människor får mod att göra sin röst hörd.92 I vissa fall, till exempel där enkätundersökningar har gjorts, är det möjligt att göra uttalanden om effekternas omfattning. Det går däremot inte att bedöma hur effekterna förhåller sig till . För att göra det skulle det krävas att man följer upp ett antal kvalitativa indikatorer . Det konstateras att de flesta utvärderingar som är inriktade på effekter använder sig av kvalitativa fallstudier. Ofta rör det sig om intervjuer med ett fåtal individer.93 Efter metautvärderingen har fyra utvärderingar utförts i regi. Tre av dessa är inriktade på specifika ämnen, nämligen folkbildningens roll för lokalt utvecklingsarbete, förändrade relationer mellan studieförbunden och deras grundar-, medlems- och samverkansorganisationer samt folkbildning och mångkultur.94 De två förstnämnda utvärderingarna är enligt Folkbildningsrådet95 knutna till folkbildningens andra syfte.96 Syftet med utvärderingen om lokalt utvecklingsarbete är att undersöka, beskriva och förstå mer om relationerna mellan folkbildning och lokal utveckling. Utvärderarna framhåller att det inte är en utvärderingsstudie. Den övergripande frågeställningen i utvärderingen om förändrade relationer mellan studieförbunden och grundar-, medlems- och samverkansorganisationer är: Hur ser relationerna mellan studieförbund och medlems-/samverkansorganisationer ut och hur uppfattar aktörerna dessa relationer? I utvärderingen konstateras att studieförbunden omges av en trängre krets som är delar av samma folkrörelse och av samverkansorganisationer med en mer marknadsmässig relation till studieförbunden. I utvärderingen framhålls att det är en utmaning för studieförbunden att balansera sina behov att expandera (knyta till sig nya organisationer) och att bibehålla sin legitimitet (koppling till Ingen av de två utvärderingarna går specifikt in på i vilken utsträckning folkbildningens andra syfte har uppfyllts. 92Lindgren (2009). 93Det finns några undantag, nämligen två deltagarundersökningar som utfört i samarbete med SCB, två studier i SOU 1996:159 som använder registerdata och några utvärderingar som kombinerar kvalitativa intervjuer med enkätundersökningar. 94Anette och , Folkbildning och lokal utveckling på landsbygden: En studie av folkbildningens villkor och vardag i , utvärderar No 1 2009, ; och , Folkrörelseanknytningar och marknadsrelationer: Studieförbunden och dess grundarorganisationer, medlemsorganisationer och samverkansorganisationer, utvärderar No 3 2009, . Utvärderingen om folkbildning och mångkultur var inte publicerad när denna granskning avslutades. 95Folkbildningsrådet, Årsredovisning med verksamhetsberättelse, 2009. 96Bidra till att göra det möjligt för människor att påverka sin livssituation och skapa engagemang att delta i samhällsutvecklingen. Statens stöd till studieförbunden Den fjärde utvärderingen, Studiecirkeldeltagare 2008, utgörs av en enkät till deltagare i studiecirklar.97 Enkäten innehåller frågor som relaterar till folkbildningens effekter på individnivå. Det handlar till exempel om förbättrade kunskaper och färdigheter, betydelse för personlig utveckling och betydelse för gemenskap och kontakter med andra. De frågor angående effekter som ställs i Studiecirkeldeltagare har även i princip ställts i den tidigare utvärderingen Studiecirkeldeltagare 2004,98 men då med annorlunda formulerade frågor och andra svarsalternativ. Studiecirkeldeltagare 2008 innehåller betydligt fler frågor som relaterar till folkbildningens effekter än tidigare deltagarundersökningar. Undersökningen visar att så gott som alla som gått en cirkel upplevde att de fått bättre kunskaper, upplevde ökad trivsel och välmående och uppgav att de kände sig säkrare som person efter att ha gått cirkeln. I detta sammanhang bör nämnas att det stora bortfallet i undersökningen99 medför att dessa resultat ska tolkas med försiktighet. nya strategi för utvärderingar antog en strategi för nationella utvärderingar, som löper från 2010 till 2014.100 För att garantera utvärderingarnas oberoende använder sig av en särskild modell. En utvärdering inleds med att enheten för nationell utvärdering på tillsammans med en expertgrupp, bestående av tre företrädare för medlemsorganisationerna, tre forskare och en riksdagsledamot, formulerar en utvärderingsplan. Sedan rekryteras en utvärderingsgrupp med skräddarsydd kompetens, som arbetar oberoende. Expertgruppens inflytande över utvärderingen och dess resultat upphör i det skedet. Enligt strategin ska utföra tre typer av utvärderingar, nämligen syftesinriktade utvärderingar, utvärderingar som behandlar de allmänna förutsättningarna för folkbildningen samt metautvärderingar. Sedan strategi för nationella utvärderingar började löpa har en utvärdering som behandlar de allmänna förutsättningarna för folkbildningen 97Eva , och , Studiecirkeldeltagare 2008: En studie om deltagare i studieförbundens cirkelverksamhet, utvärderar No 2 2009, . 98Jan och , Studiecirkeldeltagare 2004: Två rapporter om deltagare i studieförbundens cirkelverksamhet, utvärderar No 1 2005, . 99Deltagarundersökningarna har haft ett relativt stort bortfall. I Studiecirkeldeltagare 2008 besvarade endast av de tillfrågade enkäten i undersökningen. I Studiecirkeldeltagare 2004 var svarsfrekvensen och dessutom svarade att de inte deltagit i cirkel eller inte ville besvara enkäten. Det gör att resultaten bör tolkas med viss försiktighet. Forskarna har i sina analyser arbetat med så kallade viktade tal som räknats upp för att motsvara alla studiecirkeldeltagare, det vill säga inte enbart de som svarat på enkäten. 100Folkbildningsrådet, Bakgrund och strategi för nationella utvärderingar 20102014, Dnr 189, 2009, 052, . Statens stöd till studieförbunden Utvärderingen är inriktad på systemet för fördelning av statsbidrag, och kommer att redovisas i två delrapporter (en inriktad på studieförbunden och en på folkhögskolorna). Fem utvärderingar som kommer att starta berör studieförbundens verksamhet. Tre av dessa kommer att handla om studieförbundens kulturprogram, en om folkbildningens internationella verksamhet och en om valstudier. Tyngdpunkten i utvärdering av studieförbunden kommer alltså att ligga på fördelningssystemet och kulturprogrammen. 3.3Riksrevisionens slutsatser om uppföljningen och utvärderingen har angivit syften och prioriterade områden för folkbildningen och också exempel på vad som kan anses vara kvalitet i folkbildningsarbetet. Det är utifrån dessa uttalanden som granskning har gjorts och det är också önskemålet om att statsbidraget ska bidra till verksamhet som motsvarar vissa syften som bör avgöra hur uppföljningssystemet bör byggas upp. Regeringen har i den förordning som reglerar hantering av statsbidraget begärt en uppföljning som avser både verksamhetens kvantitet och dess kvalitet. Regeringen har också fått en specifik återrapportering som gäller olika kvantitativa mått på verksamheten. och återrapportering som gäller verksamhetens kvalitet varit betydligt mer sparsam. Enligt kan en bidragande orsak till det vara att varken regeringen eller i tillräcklig grad genomfört och redovisat sin uppföljning utifrån syften och prioriterade områden med folkbildningen. Om det hade gjorts hade det varit lättare för både regeringen och att läsa av om statens syften uppfyllts. Genom att uppföljningen och återrapporteringen inte har utgått från sådana utgångspunkter har uppföljningen och återrapporteringen förlorat en del av sitt verkliga syfte att vara underlag för styrningen av statsbidraget av folkbildningen. I propositionen framhålls också att det är angeläget att drar operativa slutsatser av den information som samlas in.101 Det förutsätter att samlar in relevanta uppgifter samt analyserar och värderar dessa. Även i fall där det framgår tydligt i propositionen vad som ska prioriteras och relevanta indikatorer därför borde vara lätta att ta fram samlas 2005/06:192, s. 49. Statens stöd till studieförbunden relevanta data inte in. Ett exempel på detta gäller förändringar i geografisk spridning. redogör i sin årsredovisning i stora drag för folkbildningsverksamhetens omfattning och spridning över landet. Däremot framgår det, enligt , inte av statistiken hur en minskning av studieförbundens lokalavdelningar /10 till nästan hälften (från 642 till 363) fördelar sig över landet.102 Om sådana uppgifter hade varit tillgängliga skulle eventuella samband mellan minskningen av antalet lokalavdelningar och verksamhetens inriktning och omfattning kunna analyseras. Det skulle vara relevant eftersom behovet av att ha folkbildningsverksamhet i hela landet framhävs i propositionen.103 värderar endast i liten utsträckning den information som samlas in. Ett exempel är rapportering om folkbildningen som mötesplats för människor med olika etnisk, religiös och kulturell bakgrund.104 konstaterar i sin samlade bedömning i sin verksamhetsberättelse att det fanns både deltagare med svensk bakgrund och deltagare med utländsk bakgrund i av cirklarna, men uttalar sig inte om huruvida detta kan anses tillräckligt eller om strävan borde vara att utöka andelen.105 Värderande uttalanden skulle underlättas om jämförelser eller gentemot andra områden presenterades. Sådana jämförelser saknas dock i årsredovisning. I årsredovisning 2009 framgår till exempel att cirkeldeltagarnas utbildningsnivå är högre än för befolkningen som helhet. tar inte ställning till om detta är i enlighet med att folkbildningens uppdrag att särskilt nå utsatta grupper och bidra till att utjämna utbildningsklyftor eller om man borde inrikta verksamheten mot andra grupper.106 övergripande slutsats blir att regeringen har gett i uppdrag att följa upp verksamhetens kvantitet och kvalitet men accepterat att uppföljningen och återrapporteringen haft en klar tyngdpunkt på kvantitativa mått. Varken regeringen eller har ägnat tillräcklig kraft åt att hitta ett uppföljningssystem som kan ge den bild av hela verksamheten med såväl kvantitativa som kvalitativa aspekter som behövs för att utveckla styrningen av användningen av statsbidraget. 102Folkbildningsrådet, Årsredovisning med verksamhetsberättelse, 2009, s. 41. 2005/06:192, s. 20, 49. 2005/06:192, s. 2728. 105Folkbildningsrådet, Årsredovisning med verksamhetsberättelse, 2009, s. 43. Uppgiften återfinns även i skriften Folkbildning 2010 om folkbildningen i samhället (). 2005/06:192, sid 2325; , Årsredovisning med verksamhetsberättelse 2009, s. 47. Statens stöd till studieförbunden Sedan proposition 2005/06:192 antogs har alla utvärderingar av studieförbundens folkbildningsverksamhet skett i regi. Dessa utvärderingar belyser endast i liten utsträckning i vilken mån statens syften har uppfyllts. I utvärdering Studiecirkeldeltagare 2008 mäts vissa effekter på individnivå, som i förlängningen kan leda till samhällseffekter. En förutsättning för att följa upp den här typen av variabler är att samma frågor med samma svarsalternativ ställs varje gång. Det skulle göra det möjligt att följa trender och därigenom bedöma om utvecklingen går åt önskat håll. har sådana jämförelser inte varit möjliga. har ett allmänt utvärderings- och uppföljningsuppdrag. Regeringen har dock inte tillsett att utvärderingar som belyser i vilken utsträckning statens syften uppnås genomförs av eller någon annan aktör. I budgetpropositionerna redovisar regeringen volym och huvudsaklig inriktning på studieförbundens verksamhet. Regeringen anger även ett antal exempel på indikatorer som kan beskriva i vilken utsträckning statens syften uppnås, nämligen tillgång, tillgänglighet, antalet deltagare och deltagarnas upplevelser av måluppfyllelse. Regeringens rapportering till om dessa indikatorer är mycket allmänt hållen och omfattar inte information om alla indikatorerna. Till exempel redovisas ingen information om tillgängligheten. I samtliga budgetpropositioner anger regeringen att folkbildningen har genomfört ett stort antal kurser, studiecirklar och kulturevenemang och att deltagarna i stor utsträckning var nöjda. Enligt har inte fått den information som skulle behövas för att kunna bedöma kvaliteten i systemet för fördelningen och i vilken utsträckning statens syften för statsbidraget till folkbildningen har uppnåtts. Det innebär enligt bedömning att inte har fått den information den efterfrågat. 3.4Folkbildningsrådets krav på kontroll fick rätt att besluta att helt eller delvis återkalla statsbidraget om villkoren i beslut om statsbidrag inte har följts.107 För att 2005/06:192, bet. 2005/06:KrU15, s. 32. Se § 9a förordningen (1991:977) om statsbidrag till folkbildningen, § 9a. Statens stöd till studieförbunden kunna använda sig av sitt utökade mandat är det viktigt för att kontrollen av statsbidraget till studieförbunden sker på ett transparent och effektivt sätt. I proposition 2005/06:192 betonas vidare att det finns anledning att pröva om olika typer av fristående granskning kan introduceras inom folkbildningen. Varken i förordningen eller i regeringens riktlinjer till specificeras hur kontrollen av folkbildningsverksamheten ska utformas. I riktlinjerna för anger regeringen dock att bör kommentera hur den interna kontrollen av bidragshanteringen utförs, resultatet av kontrollen samt vilka delar som behöver utvecklas.108 har delegerat ansvaret för kontrollen av den verksamhet som rapporteras in för att få statsbidrag till studieförbundens förbundsstyrelser. Det framgår av Kriterier och fördelningsprinciper för statsbidraget.109 roll är enligt samma dokument att i uppföljningsarbetet följa att studieförbunden uppfyller villkoren för statsbidrag. Till exempel gör i vissa fall förfrågningar till studieförbunden om större verksamhetsökningar ägt rum, och om så är fallet efterfrågar förklaringar till detta. Studieförbunden ska också lämna en särskild redovisning om planerad och genomförd internkontroll till , som det sedan beslutar om.110 utfärdade anvisningar för studieförbundens internkontrollarbete.111 Där anges bland annat att studieförbunden själva ska granska av verksamheten räknat i studietimmar. Några principer för hur urvalet av de ska ske ingår inte i dessa anvisningar. I anvisningarna anges inte att oberoende kontroll ska ske. bedriver ett utvecklingsarbete gällande anvisningarna men ett införande av någon form av oberoende granskning har, utifrån det material som tagit del av, inte behandlats inom ramen för utvecklingsarbetet. 108Riktlinjer för , s. 4. 109Folkbildningsrådet, Statsbidrag till studieförbund: 2010 Kriterier och fördelningsprinciper, , s. 15. 110Folkbildningsrådet, Statsbidrag till studieförbund: 2010 Kriterier och fördelningsprinciper, . 111Folkbildningsrådet Förtydligande av internkontrollen 2005, dnr 78u,04,acb. Statens stöd till studieförbunden 3.5Riksrevisionens slutsatser om kontroll Omfattande internkontroll men riskanalyser saknas genomför inte någon egen kontroll av studieförbundens folkbildningsverksamhet. Det är studieförbunden själva som kontrollerar sin egen verksamhet, och många studieförbund kontrollerar mer än de som kräver. De flesta studieförbund är nöjda med omfattningen av kontrollerna. Ett studieförbund har i en intervju med angett att det skulle vara mer givande att granska en smalare del av verksamheten djupare. För att se till att kontrollen sker effektivt bör, enligt COSO- modellen, ledningen tillse att kontrollens omfattning och utformning anpassas efter bedömda risker.112 Studieförbunden skiljer sig åt när det gäller urvalet av vilka delar av den egna verksamheten som ska granskas. I vissa fall sker urvalet slumpmässigt och i andra fall är urvalet mer riskbaserat, till exempel delar av verksamheten där större ökningar ägt rum. har inte givit studieförbunden några anvisningar angående risk- och väsentlighetsanalyser. har inte genomfört någon egen eller oberoende kontroll som bygger på riskanalyser. Ett exempel på en möjlig utgångspunkt för sådana analyser skulle kunna vara att lägga större tyngdpunkt vid att granska verksamhet som arrangeras tillsammans med andra aktörer inom såväl cirkelverksamhet som kulturarrangemang. Riskerna för att statsbidraget inte används i enlighet med statens intentioner kan ses som större när arrangemangen inte äger rum i studieförbundens egna lokaler och när det är andra föreningar som står för cirkelledaren. någon egen eller oberoende kontroll av förbunden som bygger på en riskanalys anser att inte får tillräckligt underlag för att bedöma de kontrollåtgärder som studieförbunden genomför. Det innebär i sin tur att inte heller får tillräcklig information för att kunna använda sig av möjligheten att återkalla utbetalt statsbidrag på ett effektivt och systematiskt sätt. 112Committee of of the Treadway Commission (COSO), Internal Control Integrated Framework, . Statens stöd till studieförbunden 3.6Folkbildningsrådets arbete med kvalitet Proposition 2005/06:192 ställer krav på att ett systematiskt kvalitetsarbete med inriktning på såväl administration som verksamhetsformer och innehåll ska utföras på alla nivåer inom folkbildningen.113 Det är nödvändigt, enligt propositionen, att en statligt finansierad verksamhet av den omfattning som folkbildningen har genomsyras av kvalitetstänkande och fortlöpande kvalitetsgranskning. Regeringen menar att även om ansvaret för att definiera begreppet kvalitet och kvalitetskriterier måste tas av folkbildningen själv finns det anledning för regeringen att beröra vad som skulle kunna konstituera kvalitet i folkbildningen. I propositionen anges att det är grundläggande