urf · H5A5URF2d2 · 2018-02-15 00:00:00 — Teorier som gäller substansfrågorna kan vid en granskning av till exempel arbetsmarknadspolitik gälla hur arbetsmarknaden fungerar, vilka faktorer som påverkar inträdet på arbetsmarknaden etc. eller, om vi granskar en brottsförebyggande åtgärd, vad som motverkar olika typer av brott. De teorier som vi talar om kan hämtas från en rad olika kunskapsområden och traditioner. har diskussionen om teorier varit central inom utvärdering. Detta är inte så självklart som det möjligen kan tyckas. I en mera experimentell tradition, som tidigt påverkade utvärderingsfältet och som delvis fått en renässans i delar av evidensrörelsen, hade förklarande teorier en underordnad roll. kom dock frågan om utvärderingens relation till olika former av teorier att diskuteras. Suchman beskrev vad som senare kom att kallas programteori 1967.69 kom diskussionen om teoriernas roll i utvärdering att intensifieras. Allt fler talade och skrev om vikten av ”theorydriven evaluation” och liknande.70 Och därefter har en ström av böcker och artiklar publicerats kring det som kommit att kallas programteori, och det finns en rad enskilda utvärderingsteoretiker som förknippas med just programteori. Särskild betydelse har här realistic evaluation haft, en strömning som förknippas med Pawsons och Tilleys bok som gavs ut . I denna strömning poängteras att program är ”theories incarnate” och utvärderingen måste därför alltid återvända till ”the core theories about how a programme is supposed to work and then interrogate it - is that basic plan sound, plausible, durable, practical and, above all, valid?” Den centrala frågan för utvärderaren är inte ”What works” utan i stället ”What works for whom in what circumstances and in what respects, and how?”71 Program theory är svåröversatt till europeiska sammanhang. Ordet program uttrycker en annan syn på statlig verksamhet än den vi har i . Flera förslag har också kommit på andra benämningar; Vedung står kanske för den bästa. Han har föreslagit att vi ska tala om interventionsteorier.72 Det är förvisso ett bättre uttryck därför att interventioner inte förknippas med någon särskild nivå och inte heller med någon särskild sändare. 69Suchman 1967, särskilt s. 51 – 56. 70Till exempel 1990. 71Pawson and Tilley, 2004, s. 2 – 3. 72Till exempel i Vedung , s. 138 – 139 samt Vedung och 2013, s. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET En programteori handlar om antaganden om de olika stegen i den kausala process som gör att avsedda syften kan nås genom en specifik intervention. m.fl. definierar det som ”the set of assumptions about the in which a program relates to the social benefits it is expected to produce and the strategy and tactics the program has adopted to achieve its goals and objectives”.73 Diskussionen om programteorier kan, om en viss frihet i uttryckssättet tillåts, krånglas till avsevärt. För att illustrera en programteori har dock en mycket enkel sådan, översatt till effektkedja, hämtats från en skrift från RRV. Exemplet handlar om kontrollverksamhet. Det är självklart att det är möjligt att avgränsa verksamheten ytterligare, till exempel till de hundar som tränats till att upptäcka narkotika och stegen mellan satsningen på dessa hundar och deras yttersta syfte – att påverka konsumtionen av narkotika.74 I exemplet har de kausala stegen kompletterats med inlagda antaganden som knyter an till olika forsknings- eller teoriområden. Det praktiska syftet framgår också av att det blir möjligt att föra in andra påverkande faktorer, inklusive statliga insatser. Det är också uppenbart att redan en enkel bild likt den nedanstående kan vara underlag för en diskussion om vilka effekter det över huvud taget är rimligt att försöka fånga in i en utvärdering. Figur 2: En förenklad program- eller interventionsteori En intervention är naturligtvis i verkligheten oftast mera komplex än vad som framgår av den förenklade bilden ovan. Delar av den kan träffa den slutliga mottagargruppen direkt, men interventionen kan också träffa olika mellanliggande grupper som i sin tur träffar den slutliga gruppen. Själva implementeringsprocessen kan inrymma olika återkopplingsmekanismer och interaktioner. I verkligheten är det förstås också så att en intervention, även en mycket enkel sådan, kan leda till olika kausala förlopp som leder fram till samma effekt. Det går också lätt att ge exempel på att en intervention kan ha olika mål som vart och ett ger upphov till olika kausala processer. Det är dessutom så att 73Rossi m.fl. 2004, s. 432. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET de kausala förloppen inte alltid är sekventiella på det sätt som figuren antyder. Olika kausala förlopp kan även inrymma spänningar.75 Olika steg i den kausala kedjan kan vara mer eller mindre mätbara. Om hastigheten på vägarna har ökat eller minskat är till exempel lättare att få reda på än om föräldrar i ökad grad intresserar sig för sina barns skolarbete. Men oberoende av med vilken lätthet eller hur vi kan observera förändringar i de kausala stegen hjälper oss programteorierna också att blottlägga de antaganden som måste vara helt eller åtminstone delvis korrekta för att det föregående steget ska orsaka en förändring i nästa steg. Med ett annat språkbruk handlar det om huruvida något som setts som en förutsättning verkligen är en förutsättning. De olika antagandena om statlig verksamhet kan delas upp i olika kategorier och vetter åt olika forsknings- och kompetensområden. En grupp av antaganden kan till exempel gälla själva substansfrågan, till exempel sopsortering, start av företag och kalkning av sjöar. Staten vill att företag eller individer ska genomföra vissa handlingar därför att dessa beteenden till exempel påverkar miljön. Antaganden kan gälla till exempel biologiska förhållanden men också sociala eller psykologiska processer. Men statlig verksamhet bygger också på antaganden om vilka mekanismer som leder fram till dessa handlingar. Vad är det som gör att individer kan fås att minska på solandet eller påverkar kommunernas vilja att kalka sjöar? Vad är det som får villaägare att investera i energisparåtgärder? Antagandena handlar oftast om psykologi, organisationsteori, diffusionsteorier etc. Slutligen kan vi tala om antagandena om vad som påverkar förekomsten av faktorer som styr beslut eller beteenden, det vill säga antaganden om utvecklingen av de olika styr- eller påverkansfaktorerna. Hur påverkas till exempel andra finansiärers och informationsgivares agerande av den statliga verksamheten. Många antaganden i denna grupp kan därför också handla om undanträngningseffekter. 4.4.1 Teorianknytning i förhållande till olika syften Med ett kunskapsgenererande syfte är det förstås avgörande att utvärderaren utifrån existerande kunskap identifierar centrala antaganden om verksamheten. Därmed kan också resultaten av utvärderingen bidra till att pröva riktigheten i dessa antaganden och därmed bidra till förbättrad kunskap om statens möjligheter att påverka en viss utveckling också i framtida situationer som väsentligen skiljer sig från dagens. Detsamma torde i hög grad gälla mera policyfrämjande utvärdering. Även här är det viktigt med en teorianknytning som gör att de frågor som ställs verkligen avspeglar vad som kan ses som relevant och aktuell forskning. Om det handlar om att skapa förutsättningar för att bedöma och fördela ansvar är det viktigt att förstå de kausala antagandena bakom de verksamheter som studeras för att kunna fixera vilka frågor som ska ställas och därmed valet av metoder. Detta blir särskilt viktigt om man, vilket inte är 75 Se till exempel diskussionen om causal paths hos 2008. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET ovanligt, inte kan undersöka ”hur det gått” med det som anses vara verksam- hetens överordnade mål utan i stället undersöker hur det gått i avseende på förhållanden som kan ses som förutsättningar för det man egentligen vill Här handlar det alltså om att kunna troliggöra att det man menar är en förutsättning för något annat verkligen är det. Detta kommer också att disku- teras i följande avsnitt. Endast om syftet är verksamhetsutveckling blir detta krav mera problema- Med detta syfte kan det vara naturligt att det genom utvärderingen förs in forskningsbaserad kunskap i verksamheten. Det centrala för utvärderaren är dock att förstå erfarenheterna hos dem som ska genomföra verksamheten. en rektor tillsammans med lärare och föräldrar beslutat om ett antimobbnings- program och vill ha hjälp att förbättra detta, är det centrala inte hur skolans insatser kan bidra till generell kunskap om sociala och psykologiska mekanis- mer utan om hur mobbningen kan motverkas i den aktuella skolan. Transparens översätts ibland med genomsynlighet. I detta sammanhang handlar det om att det ska vara möjligt att förstå de olika stegen i utvärderingsprocessen och varför vissa val träffats framför andra. Det är viktigt i relation till åtminstone tre av de syften som tagits upp här. Vad gäller utvärdering med ett verksamhetsutvecklande syfte framstår kravet som något problematiskt. En utvärdering med detta syfte måste givetvis vara transparent för dem som deltar i den aktuella verksamheten. Det är kanske dock lika viktigt att den är transparent för utomstående. Det kan till och med vara så att själva utvärderingen inte dokumenteras, det viktiga är i stället processen och de diskussioner som förs inom dess ram för att utveckla synsätt och metoder. Vad gäller de tre övriga syftena är det dock mera självklart. En utvärdering med ett kunskapsgenererande syfte måste vara transparent för forskare som ska kunna relatera utvärderingens analys till tidigare kunskap och de förklaringsmodeller som finns inom olika vetenskapsområden. Detsamma gäller utvärderingar som syftar till att ge underlag till mera övergripande beslut om statens verksamhet på olika områden. För en undersökning med ett ansvarssyfte är kravet på transparens minst lika avgörande. Hur utvärderaren resonerat ska inte behöva rekonstrueras och det ska också gå att förstå varför olika vägval gjorts, varför vissa metoder valts och på vilka grunder olika operationaliseringar gjorts. Det ska gå att utläsa från den skriftiga rapporten. I alla dessa tre sammanhang har kravet också en demokratisk betydelse. Bristande genomsynlighet gör det helt enkelt svårt för alla de som vill följa samhällsutvecklingen, inklusive politiker, att på olika sätt förstå och använda utvärderingar. Detta är ett kvalitetskrav som kan te sig självklart, i praktiken är det förstås inte alltid självklart att det uppfylls, något som kommer att beröras senare i denna promemoria (7.5). BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET 4.6 Relationens karaktär – oberoende eller involverad Många av dem som förespråkar att utvärdering kan ha en viktig roll i löpande verksamhetsutveckling framhåller vikten av att den utomstående utvärderaren eller forskaren är starkt involverad i själva verksamheten. Det framhålls också att de som ansvarar och genomför den verksamhet som utvärderas måste vara med och lägga upp utvärderingen, välja frågor, metoder och påverka slutsatser. Det är viktigt att de ”äger” undersökningen. Denna syn på utvärderingens roll är förvisso inte ny, den förknippas i hög grad med Guba och och deras diskussion tillbaka.76 Deras diskussion har starka beröringspunkter med än tidigare diskussioner om forskningens roll i förhållande till det som studeras och diskussionen av det som ibland beskrevs som aktionsforskning. Det som på svenska kommit att kallas löpande utvärdering, eller följeforskning som den också ofta kallats, är ett exempel på en sådan interaktiv syn på utvärderingens och utvärderarens roll. Löpande utvärdering har fått betydelse genom att den kommit att förespråkas av Europeiska kommissionen under benämningen on-going evaluation. Den lärande ansatsen som betonas i löpande utvärdering innebär ett mera interaktivt utförande av utvärderingsinsatserna.77 Ofta framhålls därför att följeforskare/utvärderare behöver träffa och föra en dialog med uppdragsgivare, projektledare, styrgrupper, beslutsfattare med flera för att kunna fullgöra sitt uppdrag. I arbetsuppgifterna ingår att löpande återföra och diskutera upptäckter och slutsatser med involverade aktörer. Program och projektägare ska utifrån nya insikter och kunskaper om sitt program eller projekt kontinuerligt kunna styra om där så behövs, för att bättre kunna uppnå sina mål, alternativt revidera sin målsättning om det krävs. Graden av oberoende för utvärdering med ett verksamhetsutvecklande syfte kan naturligtvis variera, men det som starkt betonas är en deltagande utvärderarroll där utvärderarens förmåga att ”facilitating learning” är en nyckelfaktor för framgång.78 Helt annorlunda ser situationen ut om vi ser på utvärdering med ett ansvarsinriktat syfte. Vi ska mera utförligt diskutera aspekter på detta i det följande kapitlet. Redan här ska dock framhållas att en prövning och fördelning av ansvar i en verksamhet förutsätter att utvärderaren som har detta uppdrag har en särskild grad av oberoende i förhållande till de som haft ansvar för verksamheten. Självfallet finns här en relation mellan utvärderaren och de som beslutar om och genomför verksamheten. De senare grupperna måste lämna information och ha möjlighet att framföra sina bedömningar men det är långt från den relation som finns, om syftet beskrivs som verksamhetsutvecklande. Vad gäller mera policyinriktad utvärdering, och också kunskapsgenererande utvärdering, kan det möjligen framstå som självklart att utvärderaren kan beskrivas i termer av oberoende. Här finns dock olika traditioner bland forskare. Oberoendet kan även avse olika saker. Diskussion om oberoende tar 76Guba och 1981. 77Vedung och , 2013, s. 116–117. 78Patton 2008, s. 140. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET oftast upp frågan om det kan ses som institutionellt oberoende. Det är dock möjligt att diskutera oberoendet också i termer av utvärderarens relation till den verksamhet som utvärderas. Det handlar om på vilket sätt utvärderaren är präglad av samma synsätt och teorier om verksamheten som dominerar bland dem som beslutar om och genomför verksamheten. Inte minst problematiskt kan detta vara på områden där kontakterna är omfattande mellan utvärderare och forskare å ena sidan och myndigheterna och deras personal å den andra. Denna diskussion tas bland annat upp i en skrift publicerad av Group for – en skrift med artiklar av olika forskare inom . diskuterar här att forskarna ofta har ”a close relationship with their object of knowledge”. We often see the same movements in the circles of the object as in the circles of the holders of knowledge […] There was in my view sometimes a fatal symbiosis between the object of knowledge and the scientific study thereof. That was very clearly visible with the advent of the so called ‘new public management’[…] It is surprising to see how much the method and the object of knowledge that was declared applicable to it almost continuously ran into each other.79 Citatet illustrerar att oberoendet har en rad olika aspekter och att varje diskussion om graden av det faktiska oberoendet kan problematiseras. Till en del av detta ska framställningen återkomma. 4.6.1 En sammanfattande bild Det som har diskuterats ska sammanfattas i en enkel bild. Självklart kan styrkan i de krav som följer av olika syften variera och diskuteras. Det viktiga är att kraven på och utformningen av en analys påverkas av analysens syfte. Uppfattningen om effektivitetsrevisionens grundläggande uppdrag, som ska diskuteras i nästa kapitel, påverkar därför också i hög grad kraven på effektivitetsrevisionens produkter. 79 2010, s. 12. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET 2017/18:URF2 Figur 3: Analys av statlig verksamhet – syften och krav BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET 5 Effektivitetsrevisionens roll och syfte Hur vanligt förekommande effektivitetsrevision är i olika länder beror förstås på definitioner och olika avgränsningar. Det förefaller dock vara klart att långt ifrån alla nationella revisionsorgan bedriver effektivitetsrevision.80 Put och Bouckaert framhåller att ”on a wordwide scale performance audits are only conducted by a miniority of SAIs (Supreme Audit Institutions)”.81 Även om vi enbart ser på så kan en genomförd OECD-studie tol- kas som att performance audit inte heller bedrivs i alla dessa.82 Detta förhål- lande, tillsammans med det faktum att det som beskrivs som performance au- dit kan vara något mycket skiftande, kan motivera en mera allmän diskussion om vad effektivitetsrevision är. Även om effektivitetsrevision, som framgått av det föregående kapitlet, kan sorteras in under den övergripande benämningen utvärdering bortfaller inte behovet av att definiera effektivitetsrevisionen. Förhållandet att en mera av- gränsad företeelse ingår i en större kategori gör ju inte att behovet av att defi- niera den specifika företeelsen bortfaller. Och varför, kan det spörjas, måste en särskild organisation ges en speciellt exklusiv konstitutionell position för att bedriva just denna form av utvärdering? Frågan kvarstår därmed: Vad är Alla som pläderat för en statlig effektivitetsrevision menar nog att en sådan bidrar till en bättre statlig verksamhet. skiljer sig därmed inte från till exempel andra former av utvärdering. samt för sådana verksamheter är att de inte i första hand görs för att bygga upp en allmän kunskap om olika företeelser i naturen eller i samhället. syftet med dem snarare är att förbättra något är också gemensamt för dem att användningen står i centrum. Produkterna (rapporter, granskningar, artiklar och så vidare) ska i första hand kunna användas för att beslut om, och genom- förandet av, statlig verksamhet ska bli bättre. Produkterna, som utvärdering levererar, ska bidra, för att hämta en formulering från en lärobok i utvärdering ”to social betterment by providing assisted sense-making to the democratic institutions that are directly charged with defining and seeking that better- ment”.83 Detta utesluter inte att utvärdering kan ge detta stöd till de demokra- tiska institutionerna också på ett indirekt sätt genom att forskare kan använda den kunskap som producerats genom utvärderingar när de ger råd till politiker och andra beslutsfattare. På detta plan är det därför svårt att se att effektivitetsrevision skiljer sig från andra former av utvärdering som har statens verksamhet och statens organi- sationer som objekt. Det är inte heller möjligt att finna ut vad som är speciellt 80 Angleryd 2014, s. 79. 81 Put och Bouckaert 2013, s. 227. 83 m.fl.2000, s.7. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET med effektivitetsrevision genom att se på det som konkret görs under etiketten effektivitetsrevision. Det är alltså föga märkligt att skiljelinjen mellan effektivitetsrevision och annan utvärdering kanske är den fråga som, åtminstone , diskuterats mest i olika inlägg som sökt ringa in vad effektivitetsrevision handlar om. Ett sätt att nalkas frågan är, givet utgångspunkten att olika former av utvärdering syftar till förbättring, ställa frågan om det finns skillnader i uppfattningen om hur denna förbättring kan komma till stånd. Och det är möjligen just i synen på vilka olika mekanismer som kan leda till förbättring vi kan finna effektivitetsrevisionens särart. I litteraturen om utvärdering, och också den som specifikt är inriktad på effektivitetsrevisionen, besvaras frågan om hur sådana verksamheter kan leda till förbättring efter två olika linjer. Den första framhäver kontrollelementet och tanken att de som har fått ett ansvar för att göra något måste kontrolleras. Den andra linjen framhäver kunskapselementet. Den kunskap som tas fram, och som bibringas människor som deltar i olika processer, leder till lärande och som följd av detta fattas klokare beslut och verksamhet genomförs bättre. I forskningen om effektivitetsrevision ses inte sällan kontroll och lärande som motsatspar. Till exempel diskuterar Lonsdale och Bemelmans-Videc hur olika former av utvärdering och effektivitetsrevision i förhållande till hur de står ”with regard to accountability and learning”.84 Förhållandet mellan kontroll och lärande har även tagits upp i flera forskningsbidrag rörande effektivitetsrevisionen. Det finns därför anledning att mera utförligt diskutera grunderna för dessa olika synsätt på effektivitetsrevision och också att ställa frågan om på vilket sätt de är förenliga. Det som diskuteras i det följande är det vi kan tala om som effektivitetsrevisionens raison d’être eller existensmotiv. Diskussionen om detta måste dock skiljas från de faktiska effekterna av effektivitetsrevisionen. Även något som i första hand görs för att öka kunskaperna eller stödja utvecklingen av en verksamhet kan identifiera brister i verksamheten som i sin tur kan leda till konsekvenser för befattningshavare. Även med ett renodlat ansvarsperspektiv måste den enskilda granskningen läggas upp på ett sådant sätt att man blottlägger praktiska svårigheter och alternativa lösningar som kan leda till förbättringar. Behovet av kontroll inom staten finns uttryckt genom dokument skrivna långt innan demokratins framväxt. Accountability blir dock viktig också i diskussionen om demokratins funktionssätt. Tanken att en agent har, för att låna en formulering från Lewins bok en ”duty to account for his actions to his principal, who in turn can punish him if he fails to perform 84 Lonsdale och Bemelmans-Videc 2007, s.12. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET according to expectation”85 får en annan innebörd när det är folket som är prin- I den tidiga diskussionen om styrelseskick framhölls att legisla- turen är ”…at the same time accountable to the society over which they are placed”.86 Året efter att, förmodligen, skrev detta förklaras i den fem- tonde artikeln deklaration om människans och medborgarnas rättig- heter, anslagen på central plats i des Comptes i , vikten av att alla som innehar ett offentligt uppdrag är skyldiga att redovisa för sitt uppdrag87. Resultatet från den aktuella forskningen kring accountability ligger långt från dessa mera högstämda deklarationer. Inte sällan handlar forskningen om de negativa konsekvenserna av olika former av system som byggts upp i syfte att stärka möjligheterna att hålla olika befattningshavare accountable och ge underlag för ansvarsutkrävande. Innan något mera sägs om detta ska dock en fråga som inte sällan väcks behandlas. Det påpekas inte sällan att ansvarsut- krävande och accountability inte alls täcker varandra. Detta är naturligtvis en viktig synpunkt eftersom det påverkar hur den forskning som handlat om till exempel system för accountability kan överföras till vår svenska diskussion Det kan därför finnas anledning att något kort disku- tera vad som skiljer och vad som förenar de två orden. Både accountability och ansvarsutkrävande har ett bakåtriktat ansvarspers- Det handlar om att någon som har ansvar – i en framåtriktad mening – för att ”sköta om” en uppgift också har att bära konsekvenserna för olika till- Orden gör det dock med olika ”ingångar”. börjar med informationsfrågan. Den som är accountable är enligt Dic- tionary: ”Required or expected to justify actions or decisions”.88 påpekar också att de formella språkliga definitionerna inte innehåller någonting om ”punishment”.89 En mera korrekt översättning av ”to be accountable” skulle alltså vara ungefär ”att vara redovisningsskyldig”. Men som framhåller, accountability handlar också om sanktionsmöjligheter90, något också påpekade i citatet ovan. framhåller, efter en genomgång av litteraturen på området, att accountability inte bara handlar om en skyldighet att ge information. Hon konstaterar att ”to sanction is a vital part of that relation” (kursiverat i original).91 När vi använder det svenska ordet ansvarsutkrävande är vår ingång i stället