sou · GVB375 · 2008-01-01 00:00:00 — Den första strategin avspeglas i att det inom vissa sektorer finns organ i form av myndigheter som i olika omfattning gör analyser, utvärderingar och bedriver forskning. Dessa myndigheter fram- ställs naturligen som mycket centrala producenter av den informa- tion som används. Sådana lösningar har gjort att den analytiska kompetensen ansetts ganska bra inom vissa sektorer.73 Exempel på myndigheter som har till uppgift att forska och göra analyser inom ett område är Brå, IFAU och Ds 1998:57, SOU 1997:57, I medborgarnas tjänst, Empiriskt stödde sig dessa rapporter på bl.a. en avhandling om kommittéväsendets förändringar år 1955-1989: , 1992, Det statliga kommittéväsendet. 73 Tarschys, Huru skall statsvercket granskas?, Ds 2002: 58, s. 79. (ITPS). Inom vissa områden har denna verksamhet organiserats inom universitet och högskolor. Inom andra sektorer är det den genomförande myndigheten själv som har i uppdrag att ta fram analyser och utvärderingar om verksamheten. Enligt Statskontorets bedömning finns en stor del av utvärderingsresurserna knutna till stora myndigheter med genomförandeansvar eller tillsynsuppgifter.74 Vår studie av utvärde- ringsresurser visar att myndigheterna har betydande resurser för utvärdering. I våra intervjuer markerar en intervjuad att andra aktörer kan användas, om det är den genomförande myndigheten som skall utvärderas. Utöver dessa huvudstrategier finns också lösningar som bygger på att försöka öka inflödet av kunskap och analys genom att bygga upp organ med både svenska och utländska forskare, t.ex. olika råd såsom eller . En annan lösning är den som finns inom högskoleområdet där Högskole- verket anlitar externa bedömargrupper från relevanta områden som granskar de självutvärderingar som görs på institutioner eller motsvarande.75 Det finns också enskilda enheter inom som förefaller uppleva det viktigt att själva direkt följa forsknings- fronten inom sitt ansvarsområde. Det förekommer funktioner, vilket dock är mindre vanligt, som bl.a. gör egna sammanställningar av forskningen och på olika sätt fångar in forskningsläget genom att delta i olika konferenser och seminarier. Några områden uppges av dem som vi intervjuat som särskilt väl bevakade. De förefaller att sammanfalla med de områden som beskrivs som politiskt särskilt viktiga. Huvuddelen av informationen från myndigheterna är beställd Intervjuerna klarlägger att huvuddelen av informationen anses komma från myndigheterna och väsentligen är beställd. Många myndigheter har ett generellt uppdrag att ta fram olika rapporter och statistik till . Regeringen beställer också information från myndigheterna i regleringsbrev och genom särskilda regeringsbeslut. Huruvida myndigheten ges uppdrag i 74Statskontoret 2000:17, Utvärdering och politik, Statskontoret 2002:20, Utvärderingar – Av vem och till vad?, Statskontoret 2002:21, Utvärderingar och politik II. 75Detta system har utvecklats vidare se , Rapport 2006: 57 R, Nytt kvalitets- säkringssystem för perioden 2012. regleringsbrev eller i särskilda regeringsbeslut, beror enligt en av de intervjuade på tidpunkten och om myndigheten behöver ingående anvisningar eller inte. I stor omfattning beställs och lämnas information i informella processer (se även avsnitt 4.5). Det bör också nämnas, vilket kommit fram i våra intervjuer, att genom infor- mella kontakter kan påverka vilka enskilda rapporter som produ- ceras av myndigheter som har ett generellt uppdrag att följa och analysera utvecklingen på ett visst område. En mindre del av inflödet från myndigheterna är initierat av myndigheterna själva på så sätt att det enskilda projektet eller analysen inte har startat efter vare sig någon formell eller informell styrsignal. Huruvida detta har förändrats har vi inte fått någon bild av. Statskontoret visade dock i en studie att allt fler utvärderingar som nämns i budgetpropositionen har kommit till på initiativ från myndigheterna utan någon explicit beställning.76 I vilken omfattning myndigheterna också producerar mer än de ombeds att göra har vi ingen vetskap om. Frågan är omöjlig att besvara eftersom myndigheterna har ett generellt uppdrag att förse regeringen med den information som regeringen behöver. Det kan även handla om att ett uppdrag tolkas vidare än vad har avsett. En enhetschef vi intervjuat uttrycker kritik mot en myndighet som passar på att hänga på egna frågor när uppdrag ges. Samma enhetschef uttrycker också att Vi försöker minska det egeninitierade. 4.8.2Vanligen ett myndighetsinternt perspektiv Det finns flera olika iakttagelser som tyder på att allt mer information har vad man kan kalla ett inre produktionsperspektiv. Det betyder att informationen rör myndigheters inre förhållanden och prestationer till skillnad från effekter i samhället. En studie från ESV visar att årsredovisningarna har fokus på information om inre förhållanden och prestationer.77 Vår genomgång av tjugofem myndigheters årsredovisningar avseende visar att dessa i hög grad har detta inre produk- tionsperspektiv. Beskrivningar om produktionen processen och prestationerna dominerar. Information om variabler som säger 76Statskontoret 2002:21, Utvärderingar och politik II, s. 57. 77ESV 2002:14, Effektiv resultatredovisning. något om utvecklingen mot målen eller effekter är mindre vanliga. Vi kan konstatera att denna iakttagelse inte är ny; den gjordes även kring de första årsredovisningarna.78 Årsredovisningarna är en växande del av den totala informa- tionsmängden från myndigheterna. Den kvantitativa ökningen av denna information har varit betydande . Det kan illustreras av att det successivt tillkommit generella informationskrav, exempelvis att myndigheterna skall redovisa arbete med kompetensförsörjning, jämställdhetskartläggningar m.m.79 Vi anser att det med säkerhet kan konstateras att den absoluta mängden information med ett inre produktionsperspektiv har ökat. Detta kan ses som en tydlig följd av de förändrade styrformerna där tanken varit att delegeringen till myndigheterna måste mötas med motsvarande krav på information. 4.8.3Liten kunskap om informationens kvalitet Det finns mycket få undersökningar som direkt går in på frågan om kvaliteten i den information som på olika sätt antas kunna fungera som beslutsunderlag. De studier som genomförts om informa- tionens kvalitet är i sin tur av skiftande kvalitet. De har angripit frågan på något av följande sätt: Bedömningar av kvaliteten görs av utredaren eller utrednings- gruppen själv. För läsaren presenteras därmed bedömningar som påståenden om kvaliteten. Ofta är det svårt att få grepp om vilka bedömningskriterier som använts. Olika former av peer-review-system. Det finns exempel på att ett stort antal rapporter gåtts igenom och där varje rapport bedömts av mer än en bedömare. Olika former av bedöm- ningsmallar har funnits. Viss diskussion förs om spridningen och konsistensen i bedömningarna. Det skall också sägas att de studier som gjorts alltid gäller en informationsproducent och ett slag av rapporter. Kvaliteten i års- redovisningarna har bedömts som skiftande och har kritiserats i 78Redan de första årsredovisningarna ansågs i liten utsträckning redovisa effekter, se RRV, , Resultatredovisningar i årsredovisningar. 793 § 3 kap. förordningen (2000:605) om årsredovisning och budgetunderlag. flera rapporter där olika kriterier och måttstockar har legat till grund för bedömningarna.80 Tidigare studier som handlar om kvaliteten i myndigheternas årsredovisningar presenterar sällan empirin, vilket gör det svårt att studera vad olika uttalanden om kvaliteten egentligen betyder. Bristerna i myndigheternas årsredovisningar har ansetts avse resultatredovisningen. Den ekonomiska redovisningen anses ha utvecklats positivt och blivit mer strukturerad och skicklig.81 Allmänt sett hanterar myndigheternas årsredovisningar reg- eringens återrapporteringskrav. Redan de allra första årsredovis- ningarna bedömdes i stor utsträckning ge svar på regeringens beställning.82 Vår studie visar också detta. Myndigheterna redovisar prestationer och enskilda produktivitets- eller styckkostnadsmått.83 I en studie från senare år gjord av ESV konstateras att kvaliteten i de enskilda årsredovisningarna varierar. Men studien ger endast en mycket knapphändig beskrivning av den generella kvaliteten. Kort- fattat anges att myndigheterna i stort sett redovisar mot mål. Årsredovisningarna är också läsbara och anger i vilket sammanhang något skall förstås. Däremot framfördes viss kritik för bl.a. bristande transparens och att inte källor och tillvägagångssätt redo- visades. ESV har i flera senare rapporter hävdat att årsredovis- ningarna kan förbättras särskilt vad gäller måluppfyllelseanalys, dvs. redovisning av om målen har nåtts eller inte.84 Kritiken i övrigt har handlat om både årsredovisningarnas inne- håll och deras form, dvs. struktur och överskådlighet. En tidigare ofta framförd kritik är att årsredovisningarna är för omfångsrika och detaljerade. De första årsredovisningarna bedömdes ha brister så till vida att de var både omfattande och svårgenomträngliga. 80ESV 2002:14, Effektiv resultatredovisning, revisorer 2002/03:15, Myndigheternas årsredovisningar – en anakronism, RRV 1997:11, Produktivitet och kvalitet i resultatstyrningen av myndigheterna. 81ESV 1999:20, Myndigheternas syn på resultatstyrningen, s. 39 f. 82RRV, , Resultatredovisningar i årsredovisningar, s. 8. 83ESV 2002:14, Effektiv resultatredovisning, s. 22, RRV 1997:11, Produktivitet och kvalitet i resultatstyrningen av myndigheterna. 84ESV 2002:14, Effektiv resultatredovisning. Studien ligger till grund för den kritik om brister i årsredovisningarna som framförts i senare studier och förslag till förändringar i regelverk, se ESV 2004:22 Vidareutvecklad årsredovisning, och ESV 2004:25, Konsten att styra och ESV 2007:23, Resultat och styrning i statsförvaltningen. Informationen har ansetts vara dåligt anpassad till mottagaren; den har inte varit på rätt nivå.85 revisorer har uppmärksammat frågan om vem som egentligen är mottagare av årsredovisningen. Årsredovisningen ut- formas så att den anpassas efter både , revisionen och andra mottagare, något som bekräftats också i våra kontakter. Följden blir att årsredovisningen inte är ett ändamålsenligt doku- ment för vare sig eller en intresserad allmänhet. Informationen har av revisorer beskrivits som delvis onödig. Den innehåller mer information än vad som motsvarar mottagarens behov.86 Ett problem som revisorer och även Förvaltnings- politiska kommissionen tog upp är att myndigheterna har ett egenintresse av hur verksamheten beskrivs. Myndigheterna kan, som revisorer gett exempel på, i två olika rapporter – årsredovisningen och budgetunderlaget – beskriva sin verksamhet på olika sätt beroende på syftet med dokumenten.87 har inte uttalat sig om årsredovisningarnas kvalitet samlat men har framfört kritik mot regleringsbreven. har i sina årliga rapporter pekat på problem med att regeringen formulerar otydliga mål och återrapporteringskrav till myndigheterna vilket leder till bl.a. att det blir svårt för regeringen och att bedöma verksamhetens resultat.88 resonerar att Otydliga återrapporteringskrav till myndigheterna försvårar också för regeringen att bedöma verksamhetens resul- tat.89 Riksrevisonen har vidare i enskilda årsredovisningar kunnat iaktta exempelvis bristande analys och bedömningar av målupp- fyllelse. Vi har i en särskild innehållsanalys av 25 årsredovisningar bedömt att årsredovisningarna överlag är strukturerade på ett över- skådligt sätt. Läsbarheten försämras ibland av mycket omfattande redovisningar. 85RRV 1996:50, Förvaltningspolitik i förändring, s. 133, RRV, , Resultatredovis- ningar i årsredovisningar. 86Riksdagens revisorer, 2002/03:15, Myndigheternas årsredovisningar – en ana- kronism. 87Ibid., s. 16, SOU 1997:57, I medborgarnas tjänst, s. 85. 88Riksrevisionen, RiR 2005:13, årliga rapport och , RiR 2006:18, årliga rapport . 89Riksrevisonen, 2005:13, årliga rapport , s. 24. Budgetunderlagen allt mer omfattande Det saknas med ett undantag studier som beskriver kvaliteten på budgetunderlagen, möjligen på grund av att de uppfattats som budgettekniska dokument.90 Avsikten med budgetunderlagen var också att de, i förhållande till de tidigare anslagsframställningarna, skulle ha en budgetteknisk inriktning. Det förefaller till en del ha blivit så, som vi kunnat konstatera även att många budgetunderlag innehåller bl.a. analyser av konsekvenser av änd- rade omvärldskrav och bedömningar av olika anslagsnivåers inverkan på myndigheten och dess verksamhet. Det kan också noteras att många budgetunderlag blivit relativt omfattande dokument och därmed innehåller pläderande analyser och därmed närmat sig tidigare petitor. Det finns mycket få studier av kvaliteten i svenska utvärderingar. De studier som gjorts har varit begränsade i omfattning, och det är inte möjligt att på grundval av dem uttala sig om kvaliteten i svensk utvärderingsverksamhet. I myndigheter utvärdera sig själva? gjord framfördes dock att utvärderingar gjorda av myndigheterna var av så dålig kvalitet att de inte borde användas som beslutsunderlag.91 Statskontoret har bedömt att de utvärderingar som åberopas i en specifik beslutssituation – budgetpropositionerna – är bristfälliga. Enligt det sätt som Statskontoret har definierat kvalitet fanns brister såsom avsaknad av en tydlig måttstock mot vilken den utvärderade verksamheten bedöms och att utvärderingarna inte mäter samhällseffekter eller koppling mellan resultat, prestationer, effekter och kostnader. De utvärderingar som beställts visade sig ha högre kvalitet än de som initierats från myndigheterna själva. Utvärderingar från sektorsanknutna utvärderingsmyndigheter bedömdes ha högre kvalitet än de från andra myndigheter.92 90I ESV 2004:25, Konsten att styra, beskrivs budgetunderlaget som budgettekniskt. 91Barkman & Fölster, Kan myndigheter utvärdera sig själva?, Ds 1996:36, s. 8. 92Statskontoret 2000:17, Utvärdering och politik, Statskontoret 2002:21, Utvärderingar och politik II, Utvärderingarna rörde myndigheternas egna verksamhet. Det finns även studier om kvaliteten hos utvärderingar gjorda inom en samhällssektor, t.ex. bistånd. Även dessa studier har påtalat betydande brister. Brister i kommittéernas arbete och betänkanden Kvaliteten i kommittéerna har studerats av , revisorer, och . Både kom- mittéernas betänkanden och arbetssätt har studerats.93 Riks- revisionen som sammanställt de studier som gjorts pekar på att betänkandena har bedömts ha bristande kvalitet. Det handlar bl.a. om tillförlitligheten i det som redovisas. Kritik har riktats mot bristande klarhet och begriplighet. Förklaringarna till bristerna är flera, bl.a. oklara direktiv.94 I en av de tidigare studierna , Kommittéerna och bofinken, konstaterades omfattande brister vad gäller betänkan- denas kvalitet som hade att göra med data, dokumentation, utredningsmetoder och analys. Mycket av kritiken rörde även utredningarnas direktiv. Av detta drogs slutsatsen att kommitté- formen inte automatiskt leder till att ett beslutsunderlag har hög kvalitet.95 En studie från lyfte fram bl.a. aspekter kring kommittéernas arbetssätt och metoder. Det konstaterades att kommittéerna arbetar under hård tidspress, men studien drog inte någon slutsats om tidspressens inverkan på kvaliteten. revisorer uppmärksammade dock i en rapport svårigheten med att leva upp till kvali- tetskraven inom de korta utredningstiderna. studie lyfte även fram att kommittéerna numera i stort sett saknar anknytning till forskningen, vilket kan innebära att de senaste forskningsrönen inte tas till vara. bedömdes kommittéer- na ha goda kontakter med omvärlden. I denna senare studie bedömdes dock majoriteten av de studerade betänkandena ha tillräckligt hög kvalitet. De största bristerna handlade om metodik, såsom avsaknad av litteratursökningar, metodavsnitt osv. 93Gunnarsson & , Kommittéerna och bofinken, Ds 1998:57, revisorer 1997/98:RR3, Kommittéväsendet, Forss & Uhrwing, 2003, Kvalitet i utredningsväsendet. 94Riksrevisionen, RiR 2004:2, Förändringar inom kommittéväsendet, s. 57, 76 77. 95Gunnarsson & , Kommittéerna och bofinken, Ds 1998:57. handlar om olika aspekter som i sin tur ansetts påverka till- förlitligheten.96 4.8.4Mer information tas fram löpande Den årliga budgetprocessen karakteriseras av att bestämda dokument tas fram med ett bestämt innehåll och vid bestämda tidpunkter.97 Det har också mycket starkt betonats att informa- tionen skall vara jämförbar över tiden för att bygga upp tidsserier. Givet vår tidigare iakttagelse – att allt mer av informationen leve- reras i dessa dokument – har följaktligen allt mer av informationen kommit att tas fram löpande och i samma avseenden . Men det förekommer också ett informationsutbyte ad hoc inom budgetprocessens ram, inte minst i samband med informella kon- takter. Vår uppfattning är dock att den skriftliga informationen i allt högre grad fått en löpande karaktär, vilket också varit avsikten. Information som tas fram löpande har vissa egenskaper. Det är ofta mått, eller nyckeltal, som är förenklingar av verkligheten. Informationen har dessutom till stor del ett inre produktions- perspektiv. Problematiseringar och analyser får därmed ett mindre utrymme än i utvärderingar som inte är underkastade samma begränsningar. Det bör också understrykas att de mått som används som indikatorer oftast bygger på just de föreställningar som ligger till grund för verksamheten. Ett exempel får illustrera resonemanget. Om en viss informationskampanj genomförs i syfte att påverka beteenden hos en viss grupp, så bygger informationsinsatsen på föreställningar om vad som påverkar beteendet hos denna grupp. Det kan t.ex. ha antagits att beteendet påverkas av vissa kunskaper. Om man som indikator använder förändringar i kunskaper och kan konstatera att kunskaperna hos målgruppen har förbättrats, blir slutsatsen att kampanjen varit framgångsrik. Problemet är dock att de underliggande antaganden som ligger bakom verksamheten inte prövas. En sådan prövning skulle kunna leda fram till slutsatsen att beteendet inte alls påverkades av de kunskaper som informations- insatsen – och utvärderingen – byggde på och att kampanjen därmed varit ett misslyckande. 96Forss & Uhrwing, 2003, Kvalitet i utredningsväsendet och revisorer, 1997/98: RR3, Kommittéväsendet. 97ESV 1999:20, Myndigheternas syn på resultatstyrningen, s. 53. Den faktiska användningen av information av olika slag är svår- fångad.98 Vi kan tala om användning i olika tidsperspektiv, olika former av direkt och indirekt användning inom den offentliga beslutsprocessen eller för mer långsiktig kunskapsuppbyggnad. Det är även uppenbart att det inte är något som är lätt till- gängligt empiriskt sett. Det är t.ex. svårt för beslutsfattare att själva bedöma vad som influerat ett visst ställningstagande. Det är inte heller möjligt att se på omfattningen av åberopanden. Sådana kan ofta göras när exempelvis en utvärdering stämmer överens med vad man avsåg att göra. Man hade dock kanske beslutat på samma sätt oberoende av utvärderingen. Utvärderingen har i detta fall inte påverkat själva beslutet men kanske legitimerar det. Ett initialt ifrågasättande av en verksamhet kan ersättas av ett positivt gillande när en beslutsfattare tar del av informationen eller tvärtom. Det är svårt att spåra denna typ av informationsanvändning, eller om informationen lett fram till olika förändringar. Vi kan även tala om en latent användning eller en mera direkt. Myndigheterna har ifrågasatt om den information som begärs används då det politiska intresset upplevs som mer ad hoc betonat och politiskt styrt.99 Det har också framförts att myndigheterna upplever en brist på återkoppling på årsredovisning och annan rapportering. Detta bekräftas även genom våra intervjuer, där flera också poängterar att är bättre på att beställa än på att ta emot information. Kritik har riktats mot Regerings- kansliets förmåga både att beställa och att ta emot information.100 I ESV:s studie om användningen av årsredovisningarna sade sig myndighetshandläggarna ha svårt att hinna med och i vissa fall bristande kompetens för att analysera informationen i årsredo- visningarna.101 98Sedan lång tid finns en omfattande diskussion om vad det innebär att använda t.ex. utvärdering och forskning och hur detta kan mätas. I diskussionen skiljs mellan olika slag av användning. gör t.ex. tidigt distinktionen mellan instrumentell och konceptuell an- vändning i Measuring the Use of Evaluation, 1981. En rad olika synsätt på användning och hur användning kan definieras presenteras i Alkins antologi , 2004. 99ESV 1999:20, Myndigheternas syn på resultatstyrningen, s. 31. 100Carling, 2002, kontroll och styrning av statlig verksamhet, ESV 2003:4, En kartläggning av användningen av myndigheternas årsredovisning i . 101ESV 2003:4, En kartläggning av användningen av myndigheternas årsredovisning i , s. 5. Mot denna bakgrund är det inte förvånande att det genomförts få undersökningar om den faktiska användningen av den informa- tion som produceras. Bland det fåtal studier som gjorts, som försökt fånga användningen av olika informationskällor, kan sär- skilt nämnas ESV:s studie om användningen av myndigheternas årsredovisningar i Regeringskansliet.102 Det behövs olika information i olika beslutssituationer. Vilken information som är relevant beror på hur öppen beslutssituationen är och vilka faktiska restriktioner som finns. Vi har här valt att tala om löpande styrning respektive större omprövningar av olika verksamheter. Med löpande styrning avser vi de beslut som inom vissa ramar fattas om verksamhetens inriktning, organisation och resurser (jämför med engelskans ongoing concern). En större om- prövning kan avse grundläggande mål för en verksamhet, centrala medel, organisation i stort etc. Det är självklart att det inte finns någon given gräns mellan dessa kategorier; handlar det om en skala med två ytterlighetspunkter. För den löpande styrningen av myndigheterna uppges i våra intervjuer att information från myndigheten själv är viktig. Det är naturligt eftersom löpande styrning i hög grad handlar om en verksamhet som bedrivs. Det blir då viktigt att veta hur mycket som görs, vad det kostar, vilka problem som finns i verksamheten etc. Årsredovisning och budgetunderlag ger basfakta om myndig- heten och dess verksamhet. Några av de intervjuade hävdar dock att årsredovisningen inte ger tillräcklig information för att veta vad som händer och hur det är ställt med verksamheten. I en studie konstaterade ESV att myndigheternas årsredovisningar var en av de viktigaste informationskällorna för . De tillfrågande departementstjänstemännen ansåg att årsredovisningarna användes främst för kontroll och upp- följning. Årsredovisningarna ansågs generellt inte påverka anslagen och den framtida inriktningen av politiken.103 Våra intervjuer visar att det finns en avsevärd variation i vilken betydelse de formella årliga dokumenten har i förhållande till mer 103Ibid., s. 3. Många myndigheter lämnar i huvudsak informationen skriftligt. Vad gäller andra myndigheter, större och med ett högre politiskt tryck, utbyts information kontinuerligt, och departementetstjänstemän kan ställa frågor mer eller mindre . Det finns ett starkt samband mellan den skriftliga informationen i dokument och den muntliga eller informellt lämnade. Ofta ställs kompletterande frågor i anslutning till årsredovisning och budgetunderlag. Rapporterna kan kräva eller leda till fördjupningar och kompletteringar i samtal och dialoger. Den löpande styrningen bygger dock, visar våra intervjuer, även på andra källor än årsredovisningar, budgetunderlag och informella kontakter. I vissa fall begärs annan information än den som ges i de årliga dokumenten. Det kan handla om statistik och olika rapporter som myndigheterna tar fram.