sou · GZB309 · 2012-01-01 00:00:00 — 4.2Utvärdering av offentlig verksamhet Utvärdering av offentlig verksamhet sker på flera olika sätt, och varierar mellan olika samhällssektorer. Till att börja med finns inom vissa politikområden myndigheter med ett specifikt utvärderingsansvar inom respektive politikområde. Exempel på sådana myndigheter är , och . Vidare finns två fristående centrala utvärderingsmyndigheter, närmare bestämt Statskontoret, som är underställt regeringen, och , som är underställd . Vissa departement, däribland , har egna analysenheter. Därutöver har regeringen möjlighet att inom ramen för kommitté- väsendet upprätta utredningar samt andra former av tillfälliga utvärderingsorgan. Utvärdering som verksamhet har också kommit att renodlas i specifika myndigheter. har sju nya fristående utvärderingsmyndigheter inrättats inom olika samhällssektorer. Förekomsten av utvärderingsmyndigheter inom olika politikområden har blivit så vanlig att detta i sig kommit att utgöra argument för att upprätta nya myndigheter.10 Regeringen kan även använda kommittéformen för att inrätta långsiktiga forskningsfinansierande organ som kan beställa utvärderingar och analyser. Ett exempel på ett sådant organ är Expertgruppen för studier i offentlig ekonomi (). Slutligen kan även privata konsulter samt forskare vid landets högskolor och universitet anlitas för utvärderingsuppdrag inom offentlig förvaltning. De aktörer som utvärderar verksamheten bör idealt sett vara oberoende i förhållande till den verksamhet som de utvärderar, något som dock kan vara svårt att efterleva i praktiken.11 Avväg- 9Förordning (2000:605) om årsredovisning och budgetunderlag, 3 kap. Resultatredovisning, 10Såtillvida framhöll att snart sagt alla större politikområden hade egna utvärderingsmyndigheter, och att man därför även borde inrätta en utvärderings- och analysmyndighet inom kulturområdet, vilket föranledde inrättandet av Myndigheten för kulturanalys. Se Statskontoret (2011): Fristående utvärderingsmyndigheter – en förvaltningspolitisk trend?, . 11Statskontoret 2011: Fristående utvärderingsmyndigheter – en förvaltningspolitisk trend?, s. 25–26, . ningen mellan sakkunskap om den aktuella verksamheten och strikt opartiskhet kan också vara svår att göra. En myndighet som utvärderar sina egna åtgärder kännetecknas i allmänhet av en hög sakkunskap, men kan å andra sidan riskera att brista i opartiskhet. Utvärderingar som genomförs med en större distans till utvärderade verksamheten har lättare att förhålla sig opartiska, om än med en lägre sakkunskap.12 Denna avvägning, mellan oberoende och sakkunskap, måste göras vid val av aktör för utvärdering av en viss verksamhet. Syftet med utvärderingen bör vara av avgörande betydelse för om den huvudsakliga tonvikten ska läggas på sakkunskap eller opartiskhet. Exempelvis kan det vara av betydelse om utvärderingen har ett främjande eller kontrollerande syfte. Utvärdering av folkbildningen genomförs på tre olika nivåer; dels bland folkbildningens egna aktörer (folkhögskolor och studieförbund), dels genom utvärderingar, och dels genom statens utvärdering. har den statliga utvärderingen av folkbildningen skett i form av offentliga utredningar inom kommittéväsendet. Medan de utvärderingar som genomförs av folkbildningen själv, och delvis även av , bär en relativt intern prägel, har den statliga utvärderingen inriktats på att vara oberoende i förhållande till den utvärderade verksamheten. Inför omorganiseringen av folkbildningen 1991 framhöll regeringen att övergången till målstyrning inom folkbildningen förutsatte en förbättrad uppföljning och utvärdering på alla nivåer, både för statsmakterna och folkbildningen själv.13 Utöver och folkbildningens egna utvärderingar bedömde regeringen det som betydelsefullt att bedriva ett utvärderingsarbete som var frikopplat från folkbildningen: Ett sådant arbete kan ske genom att regeringen lägger ut tidsbegränsade uppdrag t.ex. till en särskild utredare eller till en forskningsinstitution. Statens fördjupade utvärdering av folkbildningsverksamheten bör göras . Genom ett sådant förfarande tillgodoses 12Ibid s. 27. 1990/91:82, Om folkbildning, s. 40–41. även önskemål om att utvärderingen bör göras åtskild från dem som är ansvariga för verksamhetens genomförande.14 Två statliga utvärderingar av folkbildningen har genomförts , vilka beskrivs närmare i det följande. 4.3.1Statens utvärdering av folkbildningen 1996 Den första statliga utvärderingen av folkbildningen tillsattes 1994, då en särskild utredare tillkallades med uppgift att planera och genomföra en utvärdering av folkbildningen.15 Av direktivet för utredningen framgår att regeringen önskade en helhetsbild av folkbildningens verksamhet.16 Utredningen antog namnet Statens utvärdering av folkbildningen 1996 (SUFO 96), och engagerade ett antal forskare i sitt arbete. Utredningen resulterade i sex delbetänkanden och ett slutbetänkande; Folkbildningen – en utvärdering (SOU 1996:159).17 De som utredningen arbetade får betecknas som en lång arbetstid för en statlig utredning. Detta var också något som konstaterades i utredningens slutbetänkande, som man framhöll att tidsbegränsningen varit ett av utredningens problem. Man argumenterade därför för att framtida statliga utvärderingar borde pröva andra former än kommittén vid genomförandet: Vad som enligt SUFOs mening bör eftersträvas är en fastare organisation som har möjligheter att arbeta mera långsiktigt än den av tid och direktiv låsta kommittén. Det skulle då bli större möjligheter till successiva beslut om forskningsprojekt med bättre tid för planering av projekten tillsammans med institutioner och enskilda forskare. Inte minst viktigt är att en sådan organisation förmodligen skulle stimulera till ökad folkbildningsforskning inom våra vetenskapliga institutioner och därmed både få till stånd en utveckling av den kritiska analysen av folkbildningen och, , vidgade möjligheter att rekrytera goda unga forskare till kommande utvärderingar.18 1990/91:82, Om folkbildning, s. 41. 17Delbetänkandena utgjordes av rapporterna Folkbildning och vuxenstudier (SOU 1995:141), Cirkelsamhället (SOU 1996:47), Värden i folkhögskolevärlden (SOU 1996:75), Kunskapssyn och samhällsnytta i hantverkscirklar och hantverksutövande (SOU 1996:122), Folkbildningens institutioner (SOU 1996:127) samt Tre rapporter om studiecirklar (SOU 1996:154). 18SOU 1996:159, s. 165–166. Som framgår av citatet ovan hade SUFO 96 en tydlig forskningsinriktning, vilket bidrog till att utredningen blev mer tidkrävande än en vanlig utredning. Forskningsinriktningen och den långsträckta arbetstiden var dock inte något som i sig problematiserades av utredningen, utan präglade istället förslaget om kommande utvärderingar, i form av bättre forskningsförutsättningar. Det kan noteras att någon komplett utvärdering av folkbildningen inte gjordes av SUFO 96. Istället koncentrerade man sig på studieförbundens verksamhet, utifrån motivet att studieförbunden engagerar betydligt fler människor än folkhögskolornas kurser, och också är mindre kartlagd än folkhögskolornas verksamhet. Regeringen framhöll emellertid i sin efterföljande folkbildningsproposition att det skulle ha varit värdefullt om särskilt kulturprogramverksamheten och verksamheten med funktionshinder med mera hade behandlats i samband med den statliga utvärderingen.19 Trots att man alltså inte genomfört någon heltäckande analys bedömde SUFO 96 att landets studieförbund och folkhögskolor bedrev en folkbildande verksamhet som stod i god överensstämmelse med de statliga målen för statsbidragen, och att det därmed fanns skäl för staten att även fortsättningsvis anslå medel till folkbildningen.20 menar att det får betecknas som anmärkningsvärt att SUFO 96 uteslöt folkhögskolornas verksamhet från sin analys. Möjligheten att på detta sätt avgränsa bort utvärdering av verksamhet som bekostas av halva statsanslaget till folkbildningen framstår som svårmotiverad, och bör inte kvarstå inför kommande statliga utvärderingar. 4.3.2Statens utvärdering av folkbildningen 2004 I budgetpropositionen föreslog regeringen att en ny statlig utvärdering av folkbildningen borde inledas. Regeringen redovisade även i propositionen om Vuxnas lärande och utvecklingen av vuxenutbildningen ett antal områden som borde ingå i en statlig utvärdering av folkbildningen.21 Därmed påbörjades den andra stat- 1997/98:115, Folkbildning, s. 15–16. 20SOU 1996:159, s. 169. 2000/01:72, bet. 2000/01:UbU15, rskr, 2000/01:229. liga utvärderingen av folkbildningen , med uppdraget att bedöma i vilken utsträckning statens syften med statsbidraget till folkbildningen uppfyllts. I direktivet för utredningen framgår att utredarens uppdrag är att göra en samlad bedömning av i vilken mån statens syften med statsbidraget till folkbildningen infriats, avseende de områden som studerats. Där anges också att utvärderingen i allt väsentligt ska genomföras i form av delstudier vid forskningsinstitutioner och andra lämpliga uppdragstagare på utredarens uppdrag.22 För att genomföra uppdraget anlitades, i likhet med den föregående utvärderingen, forskare vid universitet och högskolor, men även andra uppdragstagare, för olika typer av undersökningar och kartläggningar. Sammanlagt resulterade utredningen i fem delbetänkanden, som publicerades –2004, samt ett slutbetänkande 2004.23 Utredningen valde att fokusera områden som inte behandlats av den föregående statliga utvärderingen. Denna inriktning valdes dels av resursskäl, dels eftersom man bedömde att de områden som täckts in av SUFO 96 fortfarande kunde anses belysa frågeställningarna för SUFO 2 på ett tillfredsställande sätt.24 Den sammanfattande bedömningen av utredningen var att statens intentioner med statsbidraget till folkbildningen uppfylls: Utvärderingen visar att statsbidragen har stor betydelse för att verksamheten kommer till stånd. Det finns starka skäl för ett fortsatt statligt stöd till folkbildningen.25 Regeringen konstaterade i den folkbildningsproposition som följde på utredningen att arbetet med de statliga utvärderingarna kommer att få en allt större betydelse framöver. Därför fanns, enligt regeringen, ett behov av att utveckla de nuvarande formerna för att utvärdera folkbildningen, och att analysera hur väl verksamheten uppfyller de krav som ställts upp för statsbidraget till folkbildningen.26 2001:74, Utvärdering av folkbildningen. (SOU 2003:94), Folkbildning och integration (SOU 2003:108), Deltagares upplevelse av folkbildning (SOU 2003:112), Fyra rapporter om folkbildning (SOU 2003:125) samt Folkbildning och lärande med IKT-stöd (SOU 2004:8). 24SOU 2004:30, s. 25. 25Ibid s. 334. 2005/06:192, s. 55. Av förordningen om statsbidrag till folkbildningen framgår att kontinuerligt ska följa upp och utvärdera folkbildningen i förhållande till de syften som angivits för statens stöd till folkbildningen och de villkor som föreskrivits för att statsbidrag ska utgå.27 I samband med att folkbildningen omorganiserades framhöll regeringen att den nya målstyrning som man avsåg att införa förutsatte en förbättrad uppföljning och utvärdering på alla nivåer.28 Som exempel på frågor som staten önskade få utvärderade av (det ännu inte formellt upprättade) återfanns bland annat vilka ämnesområden och aktiviteter som i första hand varit föremål för statligt stöd, och vilka gränser man satt upp mot oönskad verksamhet.29 Fram fanns det ingen separat utvärderingsenhet vid , utan utvärderingen av folkbildningen genomfördes inom ramen för den övriga verksamheten. Det lades ut forskningsuppdrag, men man ansåg från rådets sida att man inte hade tillräcklig möjlighet till inflytande över de utvärderingar som genomfördes.30 Därför upprättades en separat enhet för utvärderingar vid . Utöver utvärderingsenheten tillsattes även en rådgivande expertgrupp, bestående av externa forskare från universitet och högskolor, representanter för de tre medlemsorganisationerna , och samt en ledamot från kulturutskott. Expertgruppen ska fungera som rådgivare till utvärderingar, bland annat genom att fastställa en flerårig utvärderingsstrategi.31 Utvärderingsenheten vid tilldelas i verksamhetsmedel av rådets styrelse, och rekryterar externa forskare för att genomföra utvärderingsuppdragen.32 I folkbildningspropositionen 2006 förordar regeringen att egna utvärderingar i större utsträckning än vad som varit fallet bör utnyttjas för bedömningen av om statens syften med statsbidraget uppnåtts.33 Inom ramen för sin årsredovis- 27Förordning (1991:977) om statsbidrag till folkbildningen, 3 § 3 st. 1990/91:82, Om folkbildning, s. 40. 29Ibid, s. 41. 31 Bakgrund och strategi för nationella utvärderingar –2014, Dnr 189, 2009, 052. 2005/06:192, s. 56. ning gör en samlad bedömning av effekterna av folkbildningens insatser. Bedömningen utgår från den statistik och de utvärderingar av folkbildningen som rådet genomför. har den samlade bedömningen utökats och publiceras som ett särtryck av Folkbildningsrådet.34 I regeringens riktlinjer till 2012 anges att rådet ska redovisa resultatet av de uppföljnings- och utvärderingsinsatser som man genomfört, och att man särskilt ska kommentera de uppföljnings- och utvärderingsinsatser som görs när det gäller folkbildningsverksamhetens kvalitet.35 En bärande tanke med de utvärderingar som initierat sägs vara att de forskare som genomför utvärderingarna ska ha insikt om och respekt för vad folkbildningen är, och att det primära syftet med rådets utvärderingar inte är att försöka styra upp och kontrollera folkbildningen.36 Av strategi för utvärderingar, framgår att varje utvärdering ska förses med en utvärderargrupp av lämpliga experter som företräder relevanta forskningsinriktningar och berörda samhällssektorer, liksom personer förtrogna med folkbildningen.37 En fördel med utvärderingar som initieras av en aktör som är delaktig i, eller på annat sätt står nära den verksamhet som utvärderas, är förvisso att det finns en stor sakkunskap kring den utvärderade verksamheten. finns en risk att dessa utvärderingar kan komma att brista i opartiskhet, också genom sin närhet till beställaren, i detta fall . utvärderingar har härigenom kommit att få en visserligen initierad, men ändå något av en intern karaktär, då de i första hand inriktas på att följa upp den verksamhet som bedrivs inom folkbildningen, snarare än att kritiskt granska om den lever upp till de syften som fastslagit för verksamheten. Uppföljningsansvaret utgör dock en del av uppdrag, och fyller en viktig funktion genom att ge 34Folkbildningsrådet (2012) Samlad bedömning av folkbildningens samhällseffekter 2011. 35Riktlinjer för i fråga om användningen av anslaget 14:1 Bidrag till folkbildningen inom utgiftsområde 17, Regeringsbeslut II:12, , U2011/7057/(delvis), U2011/7079/UC, s. 3–4. 37 Bakgrund och strategi för nationella utvärderingar –2014, Dnr 189, 2009, 052. en kontinuerlig bild av folkbildningens verksamhet till regering och riksdag. Statsvetaren genomförde 2009 på uppdrag en metautvärdering av de utvärderingsrapporter som finansierats av rådet. Utvärderingen innefattade totalt 48 rapporter, varav 27 rapporter publicerats av och 21 rapporter hämtats från SUFO:s betänkanden. Den tidsperiod som analyserades var åren 1994–2008. Av metautvärderingen framgår att utvärderingar haft en hög grad av likriktning. Utvärderingarna har använt sig av likartade metoder och även kommit fram till likartade resultat. Ett närliggande skäl till detta kan vara att de forskare som anlitats för utvärderingsuppdragen till övervägande delen har liknande ämnesmässig bakgrund; av 33 författare till de totalt 48 utvärderingsrapporterna hade 28 tillhörighet inom samma ämnesområde, nämligen pedagogik.38 Även om ämnesområdet är underordnat i sammanhanget skulle en större ämnesmässig spridning bland uppdragstagarna för utvärderingarna kunna ge en bredare bild av folkbildningens verksamhet och effekter. Det bör framhållas att metautvärderingen genomfördes och att de rapporter som låg till grund för utvärderingen genomfördes . Eftersom metaanalysen även innefattade SUFO:s delrapporter kan slutsatsen dras att kommande utvärderingar av folkbildningen bör eftersträva en större mångfald i metodval och infallsvinklar än vad som varit fallet. har renodlat sin verksamhet inom utvärderingar, vilket medfört ett kvalitativt lyft av verksamheten. I sin nya utvärderingsstrategi har också ambitionen att i större utsträckning än tidigare belysa folkbildningens samhällseffekter.39 I kraft av sin roll har en mycket ingående kunskap om folkbildningen. är det ett ofrånkomligt dilemma när det gäller utvärderingar att rådet utgör en del av folkbildningen. Resultatet av metautvärderingen understryker därför behovet av utvärderingar som präglas av både sakkunskap och oberoende. 38 , (2009), Effekter och evidens. En metautvärdering inom folkbildningsområdet. 39 Bakgrund och strategi för nationella utvärderingar –2014, Dnr 189, 2009, 052. 4.5Synpunkter som framkommit på statens utvärdering av folkbildningen Som nämnts var båda de statliga utvärderingar som genomförts av folkbildningen forskningsorienterade, och bestod i båda fallen av ett flertal delbetänkanden som engagerade forskare och utredare . I kölvattnet av den första utvärderingen, SUFO 96, framhöll regeringen att den statliga utvärderingen byggt på obundna bedömningar då den genomförts av fristående forskare. Genom den statliga utvärderingen hade folkbildningen, enligt regeringen, blivit granskad, prövad och belyst i en omfattning som kanske . Inför kommande statliga utvärderingar ansåg dock regeringen att utvärderingen borde förnyas och breddas så att den dels får ett tydligt parlamentariskt inflytande, dels bidrar till en mångsidig genomlysning av folkbildningens betydelse för samhället.40 Även om fristående forskning tillförsäkrar den statliga utvärderingen en hög grad av oberoende är det en tidkrävande uppgift att besvara frågor för en statlig utvärdering genom forskning. Som framgått ovan har förväntningarna på utvärderingarna också skilt sig åt mellan regeringen å ena sidan och de forskare som utfört utvärderingen å den andra. Medan regeringen uttryckt önskemål om en utvärdering som ger en helhetsbild av folkbildningen har den forskning som genomförts för att besvara de statliga utvärderingarna haft andra drivkrafter, där det framgår att vare sig en helhetsbild eller en utvärdering av folkbildningen varit primära. Båda de statliga utredningarna ansåg sig ha haft på sig för att genomföra de planerade forskningsprojekten inom ramen för utvärderingarna. I SUFO 96 framhölls även att det fanns en risk för att statliga utvärderingar kunde uppleva sig fastlåsta av kommittédirektiv.41 Man framhöll värdet av att använda forskningsresultat som utgångspunkt för den statliga utvärderingen av folkbildningen, men pekade även på dess brister, främst utifrån en forskningssynvinkel: En svaghet är dock att den begränsade utredningstiden dels ger små möjligheter att identifiera forskningsbehov, dels leder till att forskningsprojekten måste genomföras . Vi bedömer att en kommande utvärdering behöver ha tidsutrymme för att skaffa sig överblick över forskningsläget och bedöma behovet av ny forskning i rela- 1997/98:115 Folkbildning, s. 23. 41SOU 1996:159, s. 165–166. tion till utvärderingens huvudfrågor. Det bör också vara möjligt att genomföra något eller några forskningsprojekt av större omfattning än de vi kunnat göra.42 Utredningen påbörjades och avslutades , vilket får betecknas som en lång arbetstid för en statlig utredning.43 Trots fördelarna med att använda sig av kommittéformen för statliga utvärderingar konstaterade även regeringen i folkbildningspropositionen 2006 att modell för utvärdering hade vissa brister: Även om SUFO 96 och SUFO 2 disponerat betydande resurser och tagit att genomföra, har endast ett urval frågor kunnat belysas varje gång. Återrapportering till har inte kunnat ske varje mandatperiod. [] Mot denna bakgrund föreslår regeringen, att det 1991 beslutade systemet med återkommande statliga utvärderingar av folkbildningen modifieras. Statens utvärdering bör fortsättningsvis utformas som tätare återkommande studier av mer begränsad omfattning, som vid behov kan kompletteras av mer sammanfattande analyser. På så sätt kan regeringen regelbundet återkomma till i budgetpropositionen med redovisning av hur olika delar av statens syften uppnåtts. Mer heltäckande analyser kan redovisas när förutsättningar för och behov av detta finns.44 Citaten ovan kan sägas illustrera de motstridiga förväntningar som man haft på utvärderingen av folkbildningen från respektive håll. Syftet med statliga utvärderingar från regeringens sida inte främst varit att finansiera forskning, utan istället att få svar på huruvida de syften som beslutat för folkbildningsanslaget uppfylls. För de forskare som deltagit i de statliga utvärderingarna har istället andra drivkrafter varit primära, och man har i vissa fall värjt sig emot att ens definiera sina delstudier som utvärderingar. Utvärdering uppfattas sålunda inte alltid som en legitim eller meriterande forskaruppgift. Det likartade urvalet av forskare till de statliga utvärderingarna kan också ha bidragit till att en viss uppsättning frågor belysts tydligare än andra, genom likartade metodval. En nackdel med en sådan likartad inriktning har blivit att metod och tillvägagångssätt för att analysera folkbildningen inte varieras eller ifrågasätts i tillräcklig utsträckning, och att utvärderingarna därmed får en 42SOU 2004:30, s. 326. 43Amnå, E. (2010): Speaking Truth to '?. Statsvetarna och kommittéväsendet. Statsvetenskaplig 112 (5), sid. 552–567. 2005/06:192 s. 55–56. ensartad och likriktad karaktär.45 Detta kan förefalla anmärkningsvärt, eftersom statens syften med statsbidraget till folkbildningen kan förväntas påkalla en mångfald ämnesteoretiska och metodologiska perspektiv för att belysas. I följande avsnitt sammanfattas de synpunkter och önskemål som framkommit inom offentligt tryck inför kommande statliga utvärderingar av folkbildningen. 4.6Regelbundenhet och fördjupning – önskemål inför kommande statliga utvärderingar Den statliga utvärderingen av folkbildningen ska genomföras regelbundet. Enligt riksdagsbeslut i samband med omorganiseringen av folkbildningen 1991 skulle statliga utvärderingar av folkbildningen genomföras . Skälet till detta tidsintervall var att statsbidraget till folkbildningen omfattas av den normala treårscykeln för statliga anslag. förväntades inkomma med en fördjupad anslagsframställan : Utan att det uttryckligen sägs i det statliga beslutet har det varit underförstått att de i beslutet fastlagda målen för statsbidragen till folkbildningen också skulle gälla i princip , dvs. Senast skall regering och riksdag på nytt ta ställning till storleken på bidragen och målen för dem inför en ny treårsperiod. Ställningstagandet skall bl.a. grunda sig på en utvärdering av verksamheten under den pågående treårsperioden.46 folkbildningsproposition föreslog dock regeringen att de statliga utvärderingarna fortsättningsvis skulle genomföras , vilket även beslutades av riksdagen.47 Även den följande utvärderingen, SUFO 2, argumenterade för ett tidsintervall för de statliga utvärderingarna: Statliga utvärderingar bör genomföras med viss kontinuitet. Vårt arbete inleddes efter det att den förra utvärderingen lämnade sitt slutbetänkande. Vi bedömer detta vara en rimlig tidsperiod.48 45Ibid, s. 37. 46SOU 1993:64, Frågor för folkbildningen, s. 7. 1997/98:115, s. 23, bet. 1997/98:KrU17, rskr. 1997/98:258. 48SOU 2004:30, s. 326. Motivet till det nya tidsintervallet för utvärderingar preciserades inte närmare än så, vare sig i propositionen eller i utredningen. konstaterar i ett betänkande 2005 att det ursprungliga principbeslutet om statliga utvärderingar avsåg att dessa skulle genomföras , men så har av främst praktiska skäl inte blivit fallet.49