urf · H5A5URF2d2 · 2018-02-15 00:00:00 — Att utvärdering av statlig verksamhet kan ha detta syfte bygger på tanken att statliga verksamheter som har som mål att påverka skeenden i samhället gör detta utifrån en (implicit eller explicit) föreställning om de sociala, biologiska, ekonomiska eller andra mekanismer som på något sätt kan inverka på dessa skeenden. Det kan illustreras med ett enkelt exempel. När staten har försökt påverka människor att sola mindre för att minska frekvensen av malignt melanom, är det uppenbart att informationsinsatserna bygger på föreställningar inte bara om hur solande påverkar risken att drabbas av malignt melanom, utan också om hur människor väger långsiktiga risker mot kortsiktiga fördelar, till exempel hur attraktiviteten påverkas av att vara solbränd. Denna kunskap kan ha byggts upp på många olika sätt. Studier av befintliga verksamheter, olika utvärderingar, är ett sätt. Genom ansträngningarna att förklara varför vissa interventioner lyckats och andra inte, kan bidrag lämnas till denna mera generella kunskap. Det framhålls också inom forskningen om utvärderingen, till exempel när i en tidig skrift framhåller att under ”appropriate condititions, it [evaluation] can also contribute to the development of basic knowledge […] Finding out how successful these efforts have been, and why, can lead to discoveries about basic concepts of human behavior and social structure – if this research is carried out with care and insight.62 Ett fjärde syfte för utvärdering kan alltså vara kunskapsgenererande och bidra till en slags grundkunskap, för att lite klumpigt, översätta det uttryck använde. Detta innebär dock inte att utvärderingar av tidigare statliga insatser är det enda, eller kanske ens det huvudsakliga sättet, att producera sådan kunskap. De flesta, även utvärderingsforskare, skulle inte beskriva en studie av vilka faktorer som påverkar barns läsförmåga, som görs utan något samband med en statlig insats för att förbättra barns läskunnighet, som en utvärdering. Kunskap om varför människor och organisationer (kriminella, statstjänstemän, mindre företag och så vidare) handlar på ett visst sätt och om vilka faktorer som kan påverka deras handlande kan produceras genom forskning i laboratorier, studier av processer i klassrum och på en rad andra sätt som vi inte skulle beskriva som utvärdering, även med de breda definitioner av utvärdering som här har nämnts. Och detta är också fallet om sådan forskning i efterhand faktiskt skulle kunna användas för att konstruera statlig verksamhet. Detta innebär att bedömningar av huruvida ett visst skeende kan påverkas av statliga insatser 62 1972a, s. Viii. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET och i så fall hur dessa ska konstrueras görs utifrån forskning om biologiska, fysiska, psykologiska och andra mekanismer vars framtagande inte har varit relaterat till en specifik intervention. Resonemanget är viktigt, inte minst i detta sammanhang. Om utvärdering beskrivs som all kunskap som kan vara av nytta vid till exempel beslut och genomförande av statliga verksam- heter – ja, då blir det liktydigt med näst intill all kunskapsproduktion.63 En helt annan sak är att utvärderingar kan använda kunskap från olika vetenskapliga studier och att utvärdering i sin tur kan användas av forskare. Att utvärderingar av statlig verksamhet kan ha olika syften är förvisso inte Mer intressant är att diskutera konsekvenserna av olika syften, det vill säga på vilket sätt olika syften gör att olika undersökningar skiljer sig från varandra, i avseende på vilka frågor som kan ställas, uppläggning och kanske också användningen av undersökningen. Diskussionen om detta har ordnats under fem underrubriker: Tillförlitlighet, generaliserbarhet, teorianknytning, transparens och relationen mellan utvärderaren och det som utvärderas. När vi talar om tillförlitlighet kan vi mena olika saker. Läroböckerna talar om reliabilitet och menar med detta att vi ska få samma resultat om vi repeterar en mätning av någonting. Det är alltså viktigt att förändringar mellan mättillfällena ska bero på att det man vill mäta förändrats och inte förändringar i mätinstrumenten. I praktiken kan redan detta grundläggande krav vara svårbemästrat. Anledningen till att detta avsnitt har tillförlitlighet som rubrik är dock att frågan om tillförlitlighet kan betraktas på ett vidare sätt. Den omfattande diskussion som förts om vad som menas med evidence har gällt just detta. Denna debatt rör teoretiskt svåra frågor. Det är dock möjligt att föra diskussionen utan att, om uttrycket tillåts, trassla in sig i dessa. Vi ska göra detta genom att på ett mycket praktiskt sätt illustrera problemet. Vid beslut om olika reformer har mål använts för att ange den bakomliggande politiska viljan. Ett exempel på detta är den studiesociala utredning som presenterade de grundläggande dragen i det studiemedelssystem som alltfort existerar. Ett av de mål utredningen angav och som här ska användas i resonemanget, var ”att med studiesociala åtgärder underlätta tillträdet till högre studier för ungdomar från hem med svag ekonomi”.64 En utvärdering som skulle granska på vilket sätt det studiesociala systemet bidragit till förverkligandet av detta mål skulle förmodligen inte kunna leverera speciellt tillförlitliga resultat. Utvärderaren skulle snabbt ställas inför en rad klassiska problem som i princip existerar vid alla effektstudier. Hur ska vi kunna urskilja just effekterna av denna reform från alla de andra faktorer som påverkat utvecklingen och som också påverkar i ytterligt 63 En mera utförlig diskussion av detta förs av Furubo och 2011, s. 4. För en mera principiell diskussion se också Mathison 2008:189. 64 Studiesociala utredningen , s. 32. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET Detta problem är, ska det här sägas utan att en rad referenser förs in, centralt i utvärderingslitteraturen och beskrivs i termer av kausalitet, attribution, isolering och på en rad andra sätt. Dessa svårigheter har ytterst att göra med förhållandet att effekter av en viss aktion inte är något som vi kan direkt observera eller mäta. När vi talar om effekter avses orsakssamband. Det handlar alltså inte enbart om utvecklingen på ett visst område. Att till exempel de mål som angett i samband med en viss reform uppnåtts säger ingenting om att det beror på just denna reform. Vi kan föreställa oss att andra saker inträffade ungefär som reformen sjösattes. Utvecklingen kunde helt, eller delvis, blivit densamma. Vi kan till och med tänka oss att det blivit ”ännu mera” som politikerna ville utan att till exempel ett visst styrmedel sattes in.65 Att effekter egentligen handlar om skillnaden mellan det som inträffat efter att en viss påverkande faktor satts in och det som skulle inträffat utan existensen av denna faktor har forskare varit medvetna om . framhöll 1934, i en statlig utredning, att verkningarna av en viss finansiell reglering gäller ”skillnaden mellan det ekonomiska händelseförlopp, som utlöser sig vid denna reglering, och det förlopp som utlöser sig vid en annan reglering. I en annan mening än såsom skillnaden mellan två förlopp vid alternativa finansiella regleringar är allt tal om verkningar utan bestämd innebörd”.66 Svårigheten att skaffa sig en bild av vad som skulle skett utan de statliga insatserna, eller vad som hänt om dessa sett annorlunda ut, påverkas av tiden. En tänkt alternativ utveckling skulle ha lett fram till andra handlingsmöjligheter än de som faktiskt förelegat. Den kontrafaktiska utvecklingen kan alltså inte beskrivas som ett förlopp utan blir snabbt ett vittförgrenat grenverk av alternativa utvecklingsförlopp. Lyckligtvis är dessa problem, som förvisso aldrig är okomplicerade, lättare att praktiskt hantera i vissa situationer än i andra. I vissa situationer är det faktiskt så att vi genom en ingående analys av det aktuella fallet med betydande säkerhet kan säga att några andra faktorer inte kan ha påverkat utvecklingen än just den aktuella statliga insatsen – det är uppenbart att andra faktorer kan beskrivas som konstanta. Om en myndighet genomför, för att ta ett mera administrativt exempel, en teknisk förändring i syfte att påverka handläggningstiderna och andra faktorer som personalens kompetens, personalledning, ärendenas karaktär och så vidare inte förändrats, är det svårt att tänka sig att förändringar i hur det tar att handlägga olika ärenden påverkats av något annat än den tekniska förändringen. Det finns många situationer där vi kan sluta oss till att förändringar i huvudsak beror på just den åtgärd som är utvärderingens objekt. I andra situationer är läget det motsatta. Vi anser oss kunna vara tämligen säkra på att endast en liten del av 65Ett faktiskt exempel på detta möjliga förhållande gavs redan i en utvärdering genomförd första del om de statliga insatserna för en bättre energihushållning, 1984, s. 103. 66Myrdal 1934, s. 8. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET utvecklingen, och förändringar i denna, kan tillskrivas den insats som utvär- De praktiska problem som utvärderaren ställs inför när det gäller att be- döma effekterna av en viss aktion varierar alltså. I nedanstående figur lyfts fram två av de faktorer som påverkar våra svårigheter att praktiskt hantera Den ena faktorn är det som faktiskt gjorts, den statliga verk- samheten eller om man så vill interventionen, det är det som är Y-axeln i figu- Det staten gör kan vara alltifrån en avgränsad, begränsad insats som pla- ceras längst ner på Y-axeln till ett ”helt paket” av åtgärder som vi placerar avsevärt högre upp på Y-axeln. En informationsbroschyr om energisparande riktad till hushållen får ses som exempel på en avgränsad åtgärd. mera sammansatt är en rad olika informations- och rådgivningsinsatser riktade till olika målgrupper. Än mer sammansatt är statens samlade åtgärder för ener- gihushållning, som kan bestå av lagstiftning, ekonomiska stimulanser och så vidare och riktas till aktörer inom olika samhällssektorer. X-axeln i figuren representerar en tänkt effektkedja, alltså nödvändiga steg i ett kausalt skeende för att det staten gör ska kunna leda fram till det som var det långsiktiga målet. I detta fall antar vi att målet handlar om minskad miljö- Om vi vill fullfölja vårt exempel med informationsbroschyren har vi längst till vänster uppmärksammande av information. I exemplet med in- formationsbroschyren får denna antas vara tänkt att leda till vissa kunskaper som i sin tur antas leda till exempelvis beteendeförändringar som leder till minskad energianvändning och bättre miljö. Eftersom X-axeln har samband med tid kan vi säga att ju längre vi förflyttar oss till höger i figuren desto längre tid har gått sedan interventionen gjordes (eller påbörjades). Vad gäller broschyren till hushållen kan vi förmodligen skaffa oss ganska tillförlitlig information om på vilket sätt den kommit fram till hushållen och i vilken omfattning mottagarna ”tagit del” av dess innehåll. Vi kanske till och med kan få reda på hur den påverkat kunskaperna hos olika grupper. reda på hur informationen i broschyren påverkat beteenden är avsevärt svårare, detta påverkas ju av en rad andra faktorer. Än svårare blir det förstås att veta hur denna specifika broschyr påverkat utsläpp och miljön i stort. I de flesta fall skulle en utvärdering av denna informationsbroschyrs effekter förmodligen uppfattas som tillförlitlig enbart så länge utvärderingen håller sig i närheten av a) i figuren. Om vi förflyttar oss uppåt efter Y-axeln handlar det om allt mer samman- satta statliga insatser för att påverka utvecklingen. Högst upp har vi någonstans vad som kan beskrivas som det mera storslagna programmet. rimligen också frågor som kan formuleras ungefär som: ”Gör allt staten gör nytta, leder alla satsade miljarder till de mål som sa sig vilja uppnå?”. Det är alltså därför lätt att förstå att det politiska intresset många gånger här riktas på punkt b). För läsaren torde det vara uppenbart att påståenden om effekterna av kom- plexa interventioner i än mer komplexa sociala processer har en helt annan karaktär än de omedelbara effekterna av en avgränsad insats. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET Figur 1: Olika utvärderingssituationer Det som sagts kan sammanfattas så här: •Ju längre fram i en effektkedja som man försöker utröna effekterna av en intervention – desto svårare och osäkrare. •Ju mer aggregerad insats som man försöker utröna effekterna av – desto svårare och osäkrare. 4.2.1 Tillförlitlighet i förhållande till olika syften Det resonemang som förts här kan nu kopplas med olika syften som utvärdering kan ha. Om syftet är kunskapsgenererande så är det centralt att utvärderingen kan relateras till tidigare kunskap och hypoteser om de mekanismer som påverkar till exempel individers eller företags handlande. Utvärderingen är ett sätt att använda en existerande eller avslutad verksamhet för att bidra till kunskapen om dessa mekanismer. Därmed ska forskare på olika områden bli bättre rustade när det gäller att svara på frågor om huruvida det är möjligt att påverka dessa mekanismer med statliga insatser och hur dessa i så fall kan konstrueras. Konkret innebär detta att om en viss typ av antimobbningsinsatser studeras, eller insatser mot en viss typ av brottslighet, och syftet är att bidra till att öka kunskaperna om olika mekanismer som leder till mobbning eller brottslighet så måste resultaten av studierna kunna återföras till de forskare som sysslar med dessa mekanismer. Även om resultatet är osäkert och öppnar för olika möjligheter (till exempel ”givet antagande si så är det sannolikt att utvecklingen förklaras av faktor X men givet antagande så är det mera sannolikt att faktor Y förklarar utvecklingen”) så kan utvärderingen leda fram till nya hypoteser när den prövas i förhållande till tidigare kunskap. Syftet förutsätter alltså att kunskapen kan föras tillbaks till forskarsamhället och att det som framkommit i utvärderingen kan verifiera eller falsifiera tidigare antaganden och kanske leda fram till nya hypoteser. När vi här talar om tillförlitlighet handlar det därmed i hög grad om själva utvärderings- eller BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET Detta innebär att de tillvägagångssätt som använts i ut- värderingen måste uppfylla vetenskapssamhällets krav. Exakt hur dessa ser ut, och kring detta kan det förstås finnas olika uppfattningar ligger utanför denna Kraven på tillförlitlighet är andra om det handlar om att få underlag för att bedöma huruvida de som haft ett ansvar har ”skött sig”, och pröva hur ansvaret för att det inte ”gått som man ville” ska fördelas. Självfallet ställs även här krav på processen, men det centrala är att en utvärdering som ska användas som ett underlag för att bedöma olika aktörers ansvar och som därmed kunna vara ett underlag för att utkräva ansvar måste vara tillförlitlig också i en mer, det ligger nära till hands att säga, trivial mening. Det handlar om ett mera sub- stantiellt tillförlitlighetskrav, det måste vara möjligt att säga att ett visst förlopp väsentligen förklaras av den ena eller andra faktorn. förstås oavsett om det gäller förhållanden inom det statliga produktionssyste- met eller hur de prestationer som förts ut från detta påverkar samhället, även om exemplen i huvudsak gällt det . De två syften som senast tagits upp kan ses som ytterligheter och det är tämligen lätt att komma fram till en uppfattning om hur synen på tillförlitlighet påverkas av respektive syfte. Vad gäller de andra syftena är det något svårare. Utvärderingar som görs med ett verksamhetsfrämjande syfte behöver många gånger ge utrymme för olika tolkningar av vad som hänt. Här är ju ofta själva tanken att den utomstående utvärderaren ska interagera med den grupp som på olika sätt är involverad i verksamheten och olika tolkningar blir då kanske na- När det gäller förbättring på mera övergripande nivå, det som beskri- vits som policyinriktad eller policyfrämjande utvärdering, ställs krav på till- förlitlighet i en mera substantiell mening men förefaller det ofta också finnas att en stor acceptans för att det som sägs i utvärderingen är osäkert – inte sällan hänvisar utvärderaren själv till att det är ”för tidigt” och ibland kanske ”för sent”. Mottagarna torde dock förutsätta att sådana utvärderingar tagits fram med beaktande av olika vetenskapliga krav. Generaliserbarhet kan förstås på olika sätt. En form av generaliserbarhet är avgörande för många samhällsvetenskapliga, men också till exempel naturvetenskapliga, undersökningar. Det handlar om intern validitet. Intern validitet i en utvärdering innebär att den kan besvara frågan om den insats som utvärderingen handlar om faktiskt ledde till observerade effekter. Mera specifikt handlar intern validitet om de kvalitetskrav som följer av att man hämtar data från någon form av urval. Detta urval förutsätts, med viss angiven sannolikhet, kunna ge en bild av den företeelse som undersöks, alltså generalisera till den grupp från vilket urval gjorts. Att detta kvalitetskrav är uppfyllt gäller i alla sammanhang där undersökningar använder urval. Om en undersökning om den äldre befolkningens resvanor visar att häften av alla individer som är reser till BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET minst en gång bör detta vara korrekt, givet angivna restriktioner, oavsett syfte. En resebyrå som arbetar med att utveckla sin verksamhet skulle förmodligen se det som bekymmersamt om man blev felinformerad. 4.3.1 En andra nivå Med generaliserbarhet kan dock också menas något mera vittgående, vi kan tala om en andra nivå av generaliserbarhet. Det handlar om att det ska vara möjligt att ”generalisera resultaten utöver det specifika fallet”.67 I litteraturen används inte sällan uttrycket extern validitet. Innebörden förklaras av och i en ofta citerad passus: ”To what populations, settings, treatment variables, and measurement variables can this effect be generalized?”68 Vad det innebär kan illustreras med ett exempel. En undersökning har gjorts av ett informativt styrmedel för att påverka alkoholkonsumtionen bland studenter vid en viss högskola. Undersökningen har baserat sig på ett urval av studenter vid högskolan och undersökningen uppfyller sådana kvalitetskrav, på den första nivån, att den kan generaliseras till studenterna vid den . En helt annan fråga gäller dock möjligheterna att på grundval av denna studie säga något om vilka effekter en liknande styrinsats skulle ha på studenter vid andra högskolor, på ungdomar som inte bedriver högskolestudier, på medelålders statsanställda etc. För de flesta torde det vara uppenbart att det inte är möjligt att, utifrån denna enskilda studie, generalisera till andra grupper än undersökningspopulationen. Men, kan vi fortsätta att fråga, om det gjorts 23 studier kring liknande informationsinsatser, är det då möjligt att utifrån dessa 23 undersökningar dra slutsatser av mera generell giltighet? Har vi då möjlighet att ange under vilka betingelser och i vilka grupper informativa styrmedel verkar vara ett bra sätt att påverka alkoholkonsumtionen? Svaret på den frågan är svårare att ge, och mycket av den evidensdebatten, som berörts, har handlat just om detta. Det förefaller rimligt att möjligheterna att dra sådana generella slutsatser är störst då det kan antas att effekterna inte är särskilt beroende av den yttre kontexten. Möjligheterna är mindre om interventionens effekter kan antas vara beroende av den yttre kontexten. Om interventioner sker i dynamiska sociala processer tillförs därmed ytterligare en svårighet. Det som beskrivits är en slags rumslig aspekt. Det är dock möjligt att också föra in en tidsdimension. Många statliga, eller andra, interventioner i samhället kan antas ge upphov till effekter som förändras över tiden. Om vi återvänder till de 23 undersökningarna och tänker oss att vi, faktiskt, lyckats med att dra ett antal specifika slutsatser om under vilka betingelser informationsinsatser kring alkoholkonsumtionen kan ha effekter, så vet vi inte om dessa också gäller . Det finns alltså en begränsning i gene- 67Bryman 2011, s. 169. 68Campbell och , 1963, s. 5. Här citerat efter 2011, s. 8.. BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET raliserbarheten som avser tid. Frågan är hur giltiga resultaten är inför framti- den, det är ju avgörande om man utifrån de gjorda studierna ska lämna förslag till fortsatta insatser. Det torde vara uppenbart att betydelsen av olika beting- elser kan vara tidsspecifika. 4.3.2 Generaliserbarhet i förhållande till olika syften Resonemanget visar på att problemen med att generalisera utöver det enskilda fallets nivå är betydande. Hur viktigt är då denna andra nivå av generaliserbarhet i förhållande till olika syften? Om utvärderingens syfte är kunskapsgenerande, att ge sådan basic knowledge som talade om, är detta syfte av stor betydelse. Utvärderingen ska då bidra med kunskap som kan användas för att bedöma huruvida olika samhällsproblem kan påverkas av statliga verksamheter, och i så fall hur. För att kunna lämna detta bidrag är det av avgörande betydelse att det ska gå att göra generaliseringar på det som här beskrivits som den andra nivån. Om en utvärdering ska kunna användas för att diskutera hur alkoholkonsumtionen kan begränsas måste utvärderingen, som kanske gällt en insats riktad till en speciell grupp, ge kunskap som kan användas i andra situationer än den som specifikt undersökts. Undersökningen måste därför bygga på tidigare kunskap, och dess resultat måste kunna ställas mot denna tidigare kunskap om vad som kan påverka människor till att använda mindre alkohol. För att en utvärdering med ett kunskapsgenererande syfte ska möjliggöra en prövning av tidigare hypoteser, som på något sätt kan relateras till tidigare existerande kunskap om vilka mekanismer som påverkar ett visst skeende, förutsätts att resultaten kan generaliseras till en högre nivå än det enskilda fall som studerats. Detta gäller både om det handlar om vad som ibland beskrivs som yttre effekter, såsom i alkoholexemplet ovan, eller hur den statliga verksamheten ska organiseras, till exempel av samordning eller relationen mellan centrala och lokala nivåer och så vidare. När det gäller verksamhetsutveckling och lärande bland dem som mera operativt genomför en verksamhet är nog grundsvaret det motsatta: denna form av generaliserbarhet är av underordnad betydelse. Hur just den specifika verksamheten ska bli bättre är den avgörande frågan. När det gäller att förbättra statliga verksamheter på mera övergripande nivåer, det som här också beskrivits som policyfrämjande utvärdering, är svaret mindre självklart. Re- kommendationer om till exempel avvägningen mellan olika styrmedel förutsätter oftast att man utgår från mera allmän kunskap och teoribildning. Resultaten i sådana granskningar kan därför i vissa fall återföras till forskning, men detta får uppfattas som något sekundärt. Även här är ju det avgörande att ge de som fattar beslut om olika verksamheter ett underlag för att här och förbättra det som görs. Om syftet handlar om att bedöma hur organisationer och befattningshavare fullföljt sina skyldigheter, att ge underlag för ansvarsutkrävande, kan rimligen inte kravet på generaliserbarhet vara centralt. Det som underlaget kan avse är BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET ju ansvaret och hur det kan fördelas mellan de som på något sätt har till uppgift att genomföra den verksamhet som utvärderingen avser. Detta avsnitt handlar om teorier som gäller den verksamhet som undersöks. Dessa teorier kan vara av många olika slag. rent praktiskt, snarare än principiellt, kan vi skilja mellan å ena sidan teorier som gäller de substansfrågor som den aktuella verksamheten är inriktad på och å andra sidan teorier som gäller organisering, mekanismer i organisationer, alltså teorier som kan användas för att analysera till exempel inomstatlig styrning.