sou · GVB375 · 2008-01-01 00:00:00 — Ju mer sammansatt prestation som utvärderingen avser och ju längre bort vi förflyttar i effektkedjan, desto svårare blir det att med tillförlitlighet och precision uttala oss om effekterna av olika statliga insatser. Det som sagts innebär viktiga begränsningar när det gäller våra möjligheter att ange effekterna av en viss insats. Likväl kan utvär- deringar ge betydande kunskap om t.ex. förutsättningarna att nå olika effekter. Genom att se på viktiga antaganden bakom en viss insats eller verksamhet så är det möjligt att diskutera den genom- förda insatsen i ljuset av relevant kunskap, och olika brister i insatsen kan därmed komma upp till ytan och leda till förändringar i kommande verksamhet. 5.7.3Olika information behövs i olika beslutssituationer Vi har tidigare talat om olika beslutssituationer. Den mer löpande styrningen av myndigheterna karakteriseras av att uppdraget till myndigheten i sina huvuddrag ligger fast. Självfallet kan för- ändringar ske men inom ganska tydliga ramar. Den andra ytterlig- heten är mer grundläggande omprövningar av principerna för och existensen av en verksamhet, problemuppfattning och mål, huvud- sakliga medel etc. Mellan dessa två ytterligheter kan vi placera in en rad olika situationer. Dessa är omöjliga att mer exakt definiera. Allmänt sett kan det dock konstateras att det är vanligt med mer intermittenta omprövningar av mer begränsad karaktär då själva grunderna för den statliga verksamheten inte omprövas. Det kan gälla organisa- tion och fördelning av uppgifter mellan myndigheter men också själva verksamheten. Det kan handla om att hantera nya problem som trots att de inte påverkar den mer grundläggande inriktningen av en viss verksamhet kan leda till nya uppgifter för en myndighet eller förändringar av olika bestämmelser. Ju längre vi förflyttar från punkten löpande styrning, desto mer öppen är beslutssituationen. Den information som behövs varierar avsevärt beroende på var vi befinner oss på denna skala. En aspekt som påverkar detta är att värdeinnehållet i de olika besluten kan skifta med var på denna skala man befinner sig. Det förefaller sannolikt att en mer dramatisk omläggning av den politiska kursen Styrning och resultatinformation möjligheter och begränsningar på ett område är mer värdebaserad än en teknisk/administrativ för- ändring. Den senare kan vi lättare föreställa oss baserad på infor- mation som gäller t.ex. själva genomförandet. En annan aspekt gäller på vilket sätt det är möjligt att planera olika former av beslut i förväg. Om vi återvänder till de två ytter- ligheterna, inses det lätt att den löpande styrningen har ett starkt inslag av regularitet och kan planeras i förväg. Den andra ytter- ligheten – mer grundläggande omprövningar av en verksamhets existens eller grundläggande inriktning – tvingas oftare fram av yttre omständigheter, kanske t.o.m. kriser eller mer väsentliga förändringar i synsätt inom den politiska ledningen. Det är därför svårt att tala om uppföljning och utvärdering i allmänna termer. Kraven skiftar vad gäller den information som behövs i olika situationer, bl.a. vad gäller hur precis eller tillförlitlig den behöver vara. Det är rimligt att utgå från att de organ som ansvarar för en viss verksamhet har en viktigare roll som informationsleverantör ju närmare vi är den mer löpande styrningen. Den information som kan komma till användning i den löpande styrningen finns också i regel inom olika system hos myndigheten, t.ex. system för redo- visning och verksamhetsuppföljning. Det är information som ofta gäller de gjorda insatserna, deras karaktär, hur många som nåtts osv. men den kan också vara effektinformation. Utvärderingar som bygger på sådan information kan ofta användas ganska direkt. I de mellanliggande lägena är det rimligt att anta att andra kunskapsproducenter måste användas i en ökande omfattning, och de berörda får mera rollen att lämna underlag. Det är möjligt att tala om vissa stationer för denna form av översyner av verksamhet och organisation. Det kan t.ex. framstå som rimligt att med viss regelbundenhet göra en översyn av instruktionen, och det kan vara rimligt att se över en myndighets verksamhet i samband med byte på chefsposten. När det gäller den information som behövs vid mer grund- läggande omprövningar är det i regel inte möjligt att förutse och planera vilken information som behövs, vilket de intervjuer vi gjort bekräftar. De frågor som ställs i sådana situationer handlar om framtida handlingsalternativ och vilken kunskap som behövs för att bedöma dessa. Alternativen kan endast sällan belysas genom utvär- deringar av mer avgränsade insatser och existerande verksamheter. Den kunskap som beslutsfattare frågar efter syftar till att få dessa handlingsalternativ belysta. Detta kan ske utifrån den kun- Styrning och resultatinformation möjligheter och begränsningar skap som genererats inom forskning som är relevant i samman- hanget. Det är kunskap som till en del får förutsättas ha uppstått genom utvärderingar men som också utvecklats på andra sätt. De utvärderingar som görs blir också i dessa sammanhang prövade och relaterade till annan kunskap som finns om det aktuella området. Det finns en risk för överdrivna förväntningar på vilken betydelse utvärderingar kan ha i sådana situationer. Utvärderingar är ett sätt att bygga upp kunskap om verksamhet. De karakteriseras av att kunskapen tas fram genom att en befintlig verksamhet studeras. Kunskap av relevans för att bedöma ändamålsenligheten i en viss statlig verksamhet kan emellertid skapas också utan denna koppling till en redan pågående verksamhet. Ett exempel kan illustrera resonemanget. Vi kan tänka oss en forskare som försöker förklara vilka faktorer som påverkar föränd- ringar i läsvanor hos en viss grupp barn. Forskaren försöker urskilja vilka faktorer som kan påverka läsvanorna och försöker på något sätt komma åt deras faktiska inverkan. En sådan studie kan förstås göras, oavsett om staten har gjort något särskilt för att påverka läsvanorna. Men om forskaren i stället får i uppdrag att undersöka vilken påverkan en ny pedagogisk metod eller ökade anslag till skolbibliotek har haft, är det på dessa insatser som fokus sätts. Frågan handlar då om i vilken utsträckning förändringar kan för- av just dessa insatser. Utvärdering av bedriven verksamhet måste därför ses som en möjlig kunskapskälla bland flera andra. De bedömningar som kan göras av olika handlingsalternativ på ett visst område baseras också på olika former av t.ex. experimentella undersökningar eller mer grundläggande teori. När beslutsfattaren söker utröna för- och nackdelar med olika handlingsvägar gäller det att ta reda på vad som är den för ögon- blicket bästa möjliga kunskapen, oberoende av hur den tagits fram. Att beslutsfattare i dessa situationer skulle söka kunskap enbart genom att identifiera utvärderingar av befintlig verksamhet är knappast realistiskt och inte heller önskvärt. En del av de utvärderingar som görs kan dock i sin tur bidra till en mer långsiktig kunskapsuppbyggnad. Utvärdering av hur olika informationsinsatser påverkat olika beteenden kan sammanföras med t.ex. forskning om beteendepåverkan. En sådan roll för utvärdering förutsätter dock att utvärderingar inte bara har admi- nistratörer och politiker som mottagare utan också olika forskar- grupper. Detta är en förutsättning för att slutsatserna i enskilda Styrning och resultatinformation möjligheter och begränsningar utvärderingar skall kunna prövas i förhållande till annan kunskap och därmed i sin tur kunna bidra till att bygga upp kunskap som kan användas för att belysa olika handlingsalternativ som det politiska systemet kan ställas inför. Det som här har sagts om vikten av att utvärdering inte i första hand bör föras in direkt i det politiska systemet utan i hög grad ses som ett underlag för mer långsiktig kunskap gäller dock inte all utvärdering. När det gäller utvärdering för att mer löpande kalibre- ra olika verksamheter är situationen annorlunda. Här är det natur- ligt att sådana kan komma till en ganska omedelbar användning. I ett följande avsnitt (5.8) kommer vi att utveckla diskussionen om detta utifrån frågan om vilka krav som kan ställas på den information som myndigheterna skall ta fram. Det finns anledning att ställa helt olika krav på information beroende på hur den skall användas. Det gäller bl.a. hur högt kraven kan ställas på precision och tillförlighet. På vissa slag av resultat- information måste kraven i detta avseende ställas högt och närmast motsvara de krav som ställs i ekonomisk redovisning. Vad gäller andra slag av information måste det accepteras att den är avsevärt mer osäker. Olika kunskapsproducenter bör också ges skilda roller beroende på vilken information det gäller. Det bör också göras tydligt att olika sorters information bör beställas och tas fram på olika sätt och ha olika producenter. Det är ställningstanden som i sin tur får konsekvenser för hur utvärderingsverksamheten skall organiseras. Alla myndigheter har ett grunduppdrag vad gäller utvärdering som följer av kravet i förordningen om årsredovisning och budget- underlag att de skall redovisa och kommentera verksamhetens resultat i förhållande till de mål och i enlighet med de krav regeringen har angett. Härutöver har också många myndigheter andra utvärderingsuppgifter. I vissa fall kan detta beskrivas som en egen operativ verksamhet. Styrning och resultatinformation möjligheter och begränsningar 5.8.1Grundkravet på myndigheternas återrapportering För löpande styrning och kontroll behöver regeringen information av tämligen handfast karaktär som gör att regeringen kan bedöma hur myndigheten fullgör sitt uppdrag. Uppdraget kan vara mer eller mindre öppet och tydligt formulerat. Det bör dock vara formulerat så att myndigheterna kan redovisa hur uppdraget genomförs, även om det efter dialog med regeringen kan vara möjligt att redovisa delar av myndighetens uppdrag mer utförligt med större mellanrum. Krav på kvalificerade effektstudier ligger vanligen utanför detta uppdrag. Den information som myndigheterna tar fram skall således ge en bild av hur de fullföljt sitt uppdrag och levt upp till andra berättigade krav. Informationen skall också belysa i vilken mån det finns brister i dessa avseenden och om det finns faktorer som förklarar eller ursäktar detta. Information är av central betydelse för att regeringen skall kunna bedöma myndigheterna. När informationen kommer till regeringen sammanställs den och analyseras av tjänstemän. Analysen syftar till att ge politikerna en bild av om myndigheten x fungerar eller ej. Under utredningsarbetet har vi ibland mött uppfattningen att det är ett problem att myndigheterna inte vet om kraven på information verkligen ytterst kommer från politikerna själva eller om kraven avspeglar vad tjänstemännen är intresserade av. Denna uppfattning bygger på en felsyn. Det är självklart att tjänste- männens uppfattningar om vad som är viktigt och relevant de facto har stor betydelse när olika informationskrav formuleras. Det är ju i ett första steg tjänstemän som skall bilda sig en uppfattning om de förhållanden som har betydelse vid bedöm- ningen av en myndighet, och presumtionen måste vara att de i denna process tolkar politikernas vilja. Den grundläggande föreställningen om vikten av att ta fram infor- mation om måluppfyllelse bygger på tanken att, när regeringen gett myndigheterna ett mål, regeringen i retur måste få information om måluppfyllelsen. Tanken har en stark demokratisk koppling. Om medborgarna valt sina styresmän för att de skall uppnå något, bör Styrning och resultatinformation möjligheter och begränsningar medborgarna också få veta hur väl de valda lyckats. Och på en annan nivå kan det sägas att, om en myndighet får 100 miljoner för att skapa ett jämnare utnyttjande av en social rättighet mellan män och kvinnor, myndigheten bör kunna tala om ifall satsningen har lett fram till att målen uppfyllts. Trots den ytligt sett tilltalande tanken att målen skall vara starkt styrande för vilken information som tas fram är detta problematiskt. Det är välkänt att ju mer exklusivt målen avgör vilken effekt- information som skall tas fram, desto mer kommer viss annan information att uteslutas.75 En form av uteslutning sker genom att valet av vilken infor- mation som skall tas fram härleds från olika former av resonemang om vad som gör att ett överordnat mål kan förverkligas.76 Samma antaganden som ligger till grund för verksamheten ligger till grund för utvärderingen. Prövningar av om verksamheten faktiskt var ett lämpligt medel att nå målen sker därmed inte. Utvärderingar kan därför tendera att ge information som är ägnad mer att resurs- mässigt förstärka en verksamhet än att ifrågasätta den. Detta ökar också risken för att inte olika bieffekter fångas in i utvärderingen. En annan form av uteslutning handlar om att det enbart är vissa mål som räknas. I verkligheten har politiker ofta många mål för en och samma åtgärd. kan också olika politiker ha olika mål, även om de enas om en viss insats. Och andra aktörer, som kanske 75De politiska målens exklusivitet för att avgöra vilken effektinformation som skall tas fram har problematiserats av flera forskare som poängterat att t.ex. olika intressenter kan ha olika mål och bedömningskriterier för en verksamhet, t.ex. av House & , 1999, Values in evaluation and social research. I diskussionen om ett av 1960-talets stora federala program i , det alltjämnt existerande Head Start, har också påvisats att fokusering på de officiella målen ledde till att man uteslöt information som senare visat sig vara av stor betydelse vid en bedömning av olika insatser (, 2006, Intellectual contexts). Frågan om vilken betydelse politiska och administrativa mål bör spela i utvärderingar är allmänt sett en betydelsefull diskussion i utvärderingslitteraturen. 76Tankegången kan illustreras med ett exempel. Målet är att påverka ett visst beteende med olika informationskampanjer. Beslutet om dessa kampanjer bygger på antaganden om vilka målgrupper som det är viktigast att nå och vilka kunskaper som påverkar beteendet hos målgruppen. Att analysera vilka faktiska beteendeförändringar som inträffat och på vilket sätt dessa orsakats just av den statliga kampanjen är inte möjligt. I stället mäts hur kampanjen uppmärksammats och kunskapsförändringar hos målgruppen. Kampanjen visar sig då ha varit mycket framgångsrik. De som nåtts av kampanjen har fått ökade kunskaper. Problemet är att utvärderingen baserar sig på samma antaganden som låg till grund för beslutet om kampanjen. Vi får veta att kampanjen var framgångsrik, men det var den enbart givet dessa antaganden. Om antagandet om sambandet mellan kunskap och beteende var fel- aktigt så var kampanjen ett misslyckande, även om kunskaperna ökat till följd av kampanjen. Styrning och resultatinformation möjligheter och begränsningar deltar i implementeringen, kan ha andra uppfattningar om målen än de som t.ex. regeringen gett uttryck för. Information om hur det går i förhållande till mer komplexa eller konkurrerande målbilder kan också trängas undan av infor- mation om hur det går i förhållande till mer lättformulerade och lätt mätbara mål. Diskussionen om uteslutning har direkt relevans för synen på myndigheternas grundläggande utvärderingsuppdrag. Det är svårt att tänka sig att enskilda myndigheter kan utvärdera den egna verk- samheten med en annan utgångspunkt än just de mål regeringen har beslutat. Myndigheternas utvärderingar tenderar därför att få ett allt för snävt fokus. Krav på information bygger ofta på, vilket den nuvarande verk- samhetsstrukturen är ett tydligt uttryck för, att information på en viss punkt i en effektkedja, och ibland också information om prestationerna, skall kunna sammanföras för att ge kunskap om i vilken utsträckning längre bort liggande mål har nåtts. Detta kan uttryckas som att målen på varje nivå bör utformas så att det framgår på vilket sätt den underordnade nivån bidrar till den över- ordnade nivån.77 De informationskrav som ställs på myndigheter- na avspeglar således tanken att den information som myndig- heterna tar fram avseende en viss nivå i verksamhetsstrukturen skall kunna användas för att avgöra hur framgångsrik man varit i för- hållande till mål på nästa nivå. I diskussionen om detta är det viktigt att skilja mellan två olika saker. Den ena gäller att varje verksamhet bygger på vissa antagan- den om hur den kan bidra till något mer överordnat eller längre fram liggande. Det är allmänt sett av värde att sådana antaganden formuleras så tydligt som möjligt, inte minst för att möjlig- göra analys och prövning av deras rimlighet. Den andra saken är vilken betydelse dessa antaganden kan ha när det gäller att ta fram resultatinformation. I vilken utsträckning, blir frågan, är det möjligt att på basis av framgång i förhållande till ett lägre mål uttala sig om hur framgångsrik verksamheten varit i förhållande till mera överordnade mål? 77 , En gemensam verksamhetsstruktur för styrning i staten – ett första steg, Cirkulär nr Fi 2000:3. Styrning och resultatinformation möjligheter och begränsningar De resonemang vi tidigare fört om målnedbrytning torde ha illustrerat en rad svårigheter med detta. Även en verksamhet som kan uppfattas som mycket framgångsrik på en viss nivå – det kan t.ex. gälla tullens narkotikabeslag eller uppmärksammandet av information om en viss energieffektiviseringsåtgärd – kan inte användas för att påstå något bestämt om utvecklingen av narkotika- konsumtionen eller energieffektivisering. Som framhållits baseras alla sådana informationskrav på vissa antaganden om hur en viss konkret verksamhet kan påverka olika skeenden i samhället. Dessa antaganden är grunden för den aktuella verksamheten, och varje form av aggregering bygger alltså på att de är riktiga. Även om dessa antaganden i sig är riktiga i den meningen att det finns kausala samband, så kvarstår fortfarande problem som gäller styrkan och tidsfaktorn hos dessa samband. Ett exempel kan illustrera resonemanget.78 Målet för politikområdet Utbildnings- politik är att skall vara en ledande kunskapsnation som präglas av utbildning av hög kvalitet och livslångt lärande för tillväxt och rättvisa. Det nedbrutna målet för Verksamhets- området Förskoleverksamhet och skolbarnomsorg är att Erbjuda alla barn stöd och stimulans för utveckling och lärande samt underlätta för föräldrar att förena förvärvsarbete och studier med vård av och ansvar för barn. skall i förhållande till detta senare mål redovisa en samlad bedömning av hur myndigheten bidragit till måluppfyllelsen. Exemplet kan föranleda flera reflek- tioner. Vi utgår från att på ett rimligt sätt kan redovisa på vilket sätt förskolan erbjuder stöd och stimulans och möjligheter att förena föräldraskap med annan verksamhet. Vi utgår också från att det finns ett kausalt samband mellan detta mål och det mer överordnade om som ledande kunskapsnation. Styrkan i detta samband, och vilka effekter förskolan kommer att på som kunskapsnation på 10, 20 eller , vet vi dock för- modligen mindre om. Problemet stannar emellertid inte vid detta. För att med hjälp av informationen om framgång på verksamhetsområdes- nivå få en bild av framgången på politikområdesnivå måste vi lägga ihop detta med hur framgångsrika andra myndigheter och läro- 78 Det följande exemplet är hämtat från regleringsbrev . Styrning och resultatinformation möjligheter och begränsningar anstalter har varit vad gäller de verksamhetsområden de har och som har samma överordnade utbildningspolitiska mål. Resonemanget kan förefalla teoretiskt. Det har dock stor prak- tisk relevans eftersom dagens återrapporteringskrav bygger på orimliga antaganden om de praktiska möjligheterna att ta fram information om effekter av olika verksamheter. Det finns också en risk för att vissa av de informationskrav som ställs kan leda till att verksamheter snedvrids. Det kan, som vi tidigare berört, leda till olika negativa effekter till följd av att t.ex. lärande, inno- vationsförmåga och samarbete mellan myndigheter motverkas. Kraven på effektinformation från myndigheterna bör vara återhållsamma Vi anser att det finns två konsekvenser av att alltför stora krav ställs på myndigheterna när det gäller att utvärdera effekterna av den egna verksamheten. Den ena konsekvensen är att det ofta, trots mängden infor- mation, saknas information som är relevant för omprövningar eftersom informationen ofta får en bekräftande karaktär: Verksam- heten är i grunden rätt tänkt – någon ifrågasättande information har ju inte tagits fram – men den bör i olika avseenden förbättras. Utvärderingar kan därmed komma att motverka i stället för att medverka till omprövningar. Detta problem förvärras om en ström av information genereras av utvärderingssystem som har byggts av de myndigheter som också har det huvudsakliga genomförande- ansvaret. Den andra konsekvensen är att den information som regeringen lämnar till ofta har blivit så fokuserad på den verksamhet som utförs av enskilda myndigheter och har haft en så stark kopp- ling till budgetregleringen att utvärderingar inte på ett meningsfullt sätt förs in i diskussionen om statens åtaganden eller om den grundläggande inriktningen av olika verksamheter. Även om sådan information tillförs den politiska processen på andra sätt, anser vi att man bör överväga i vilka former regeringen bör ge sådan infor- mation till . Vi anser därför att krav på myndigheterna om att ta fram information om effekterna av den egna verksamheten bör ställas med återhållsamhet. Styrning och resultatinformation möjligheter och begränsningar 5.8.3Kopplingen finansiell information och resultatinformation Något som har varit mycket levande i diskussionen sedan 1980- talet är att kopplingen mellan resultat och finansiella resurser setts som ett centralt problem. Det har beskrivits som kopplingen mellan resultatstyrning och finansiell styrning. Även i våra direktiv tas detta upp som en särskild fråga. Utredaren skall särskilt upp- märksamma vilka möjligheter och begränsningar som finns för att utforma resultatstyrningen i samverkan med den finansiella styr- ningen. Denna samverkan kan inte förutsättas enbart ha att göra med myndigheterna, men oavsett hur diskussionen hanteras, så måste på olika sätt informationen hämtas från myndigheterna. Det framstår som självklart att kraven på en verksamhet förut- sätts ha ett samband med vilka resurser som ges till den som skall bedriva verksamheten. Det innebär att ändrade eller utökade krav på en myndighet skall ställas mot frågan om dessa resurser. Och det är självklart att det på ett visst plan fungerar på detta sätt. En myndighet med stor verksamhet har större finansiella resurser. har t.ex. avsevärt större anslag än Hög- skolan i . Men det är lika uppenbart att uppgifter och resurser inte alltid ställs mot varandra när en myndighet får utökade arbets- uppgifter. Vi befinner oss alltså ganska långt från en situation där resultat – uppnådda eller avsedda – kopplas ihop med frågan om vilka resurser som skall tilldelas en myndighet. Uppenbarligen har också detta setts som ett problem i den inomstatliga styrningen. Det är därför nödvändigt att diskutera vilket det egent- liga problem är som man vill lösa när man talar om vikten av samverkan mellan resultatstyrning och finansiell styrning. På en nivå kan det handla om att det skall gå att tala om vad en prestation kostar i en enskild myndighet. På en andra nivå kan det handla om kostnaderna för en kategori av prestationer. Ett när- liggande exempel skulle kunna vara: Hur mycket pengar läggs ner på utvärdering inom staten? På en tredje nivå handlar det om hur mycket staten satsar på en viss verksamhet i syfte att nå ett visst mål. På en fjärde nivå handlar det om vad staten satsar i förhållande till vad man får ut av verksamheten. I sin brutalaste form kan frågan vara: Vad får vi ut av de fem miljarder som satsats för att uppnå ett visst mål?