sou · GSB379 · 2005-01-01 00:00:00 — Oavsett hur man definierar vad en utvärdering är, så kan den an- vändas på många sätt och i många syften. Detta antyds exempelvis i den tidigare beskrivna utvecklingen av utvärderingsverksamheten, med aktuella tendenser som en allt snabbare utbredning och inten- sifierad användning av utvärderingar. Genom att vara uppmärksam på och diskutera motiven för och syftet med utvärderingen, liksom vem utvärderingen främst är till för, ökar möjligheten till ökad för- ståelse för och motivation inför genomförandet av utvärdering- arna11. Då är det även lättare att svara på om utvärderingen i första hand ska vara vägledande (formativ) eller betygssättande (summativ) och om inriktningen ska vara processuell (inriktad på organisation och arbetssätt) eller substantiell (inriktad på produkt eller sakom- råden som folkhälsa, integration, inflytande)12. Det är således viktigt att helt enkelt ställa sig frågan varför. Här ska vi dock nöja oss med att besvara frågan genom att an- vända en vanligt förekommande indelning för utvärderingars inrikt- ning eller funktion. Funktionerna förekommer ofta , men någon av aspekterna brukar vara den dominerande. Utvärderingens funktion kan enligt denna indelning beskrivas som Så gott som samtliga utvärderingar har ett inslag av kontrollerande karaktär. Medel och resurser har satsats, nu vill man veta hur de har använts och vad de har lett till. Med varierade och breda kontroll- erande utvärderingar införskaffas underlag för kommande beslut och strategiska överväganden för beslutsfattare och opinions- bildare13. Förutom att se detta som en möjlighet till granskning, bedömning och eventuell revidering av verksamheter, kan man här även finna en demokratisk aspekt; medborgarens möjlighet att få insyn i hur allmänna medel används och vad aktiviteterna eventuellt resulterat i. Vedung (1991) lyfter fram fyra viktiga perspektiv i 11Man kan exempelvis tänka sig skäl som legitimerande, strategiska, symboliska, osv. Se diskussion i exempelvis (1996). 12När det gäller studier av offentliga insatser brukar man i utvärderingskretsar benämna detta som ett led i att vaska fram den s.k. programteorin, dvs. att ta reda på vad det var som man egentligen hade tänkt sig att uppnå med programmetoch hur man hade tänkt sig att åstadkomma detta i olika steg (2003). 13Exempel på utvärderingar: Utfallsredovisning (resultat, bieffekter), Täckningsredovisning (vem har nåtts), Prestationsredovisning (vad har gjorts), Kostnadsredovisning (hur har pengarna använts), Legalitetsredovisning (följs lagar och regler), osv. (Vedung 1991). Vad är utvärdering? förhållande till den kontrollerande funktionen: politikerperspek- tivet, myndighetsperspektivet, medborgarperspektivet och brukar- perspektivet. När en utvärdering har en främjande karaktär, inriktas den i regel på att stödja den personalgrupp som berörs till kritisk granskning och (metod)utveckling av den egna verksamheten. Avsikten kan vara att upptäcka och studera hinder och möjligheter i arbetet med program- met för att kunna utveckla och förbättra verksamheten så att den bättre stämmer överens med såväl interna och externa mål, som be- hov och önskemål från brukarna (Vedung 1991). En tredje inriktning är av kunskapsutvecklande karaktär. Här priori- teras en mer långsiktig utveckling av mer generaliserbar kunskap, bland annat genom en närhet till forskning och teoribildning. "Ut- värderingen bidrar till förståelse av grundläggande händelser och processer. Den testar teorier eller söker ny kunskap om offentliga styrstrategier eller myndigheters sätt att fungera" (Vedung 1991). Alla dessa inriktningar finns företrädda i utvärderingarna kring de lokala utvecklingsavtalen. Men även om alla dessa tre inrikt- ningar till och med kan förekomma vid samma tillfälle, så är ofta någon av dessa inriktningar den mest dominerande. Allt fler be- tonar vikten av främjande och kunskapsbyggande inslag, inte minst mot bakgrund av en ökande fokusering på hållbarhet och lång- siktighet. Genom att ta tillvara, utveckla och stimulera befintliga resurser ökar möjligheten att skapa lärande miljöer i organisationen och därmed behålla och utveckla en bredare kunskapsbas. Ett exempel på det senare beskrivs av i en studie av självvärdering som stöd för personal- och verksamhetsutveckling (vilket även är titeln på bok, 2003)14. menar att det är viktigt att man förhåller sig till självvärdering på ett seriöst sätt genom att strukturera och systematisera gruppens reflektioner och självgranskning. Självvärderingen måste betraktas som en regelrätt arbetsuppgift och bestämda tidpunkter måste avsättas speciellt för denna reflektion. Vidare bör det finnas stöd för reflek- tionen, t.ex i form av bestämda återkommande temarubriker, men också möjlighet till återkommande externt stöd för att stimulera granskningen. Genom att deltagarna dokumenterar reflektions- tillfällena (ofta i dagboksform) kan de själva följa sin utveckling, Vad är utvärdering? som ett värdefullt underlag skapas för kommande forsk- ningsutbyte15. kräver detta tillit mellan grupp och fors- kare. Om en forskare ska få tillgång till ett material så bör det ligga i uppgiften att också reflektera tillsammans med gruppen kring materialet, menar . varnar för självvärderingar som rutiniseras och banali- seras genom att självgranskningen reduceras till ifyllande av blan- ketter som någon annan (ofta en utvärderande forskare eller utvär- derare) ska analysera. Ett annat sätt att missutnyttja självvärdering- ar är att betrakta dem som en typ av självdeklaration eller kontroll- instrument16. Detta är effektiva sätt att strypa den möjlighet till metod- och kunskapsutveckling som annars finns i självvärderingen, menar . Detta exempel illustrerar hur utbytet mellan en självvärderande grupp och en utvärderande forskare i ett idealt fall kan säkerställa en interaktiv process, eller skapa en interaktivitet mellan intern och extern utvärdering. Men hur kan man då betrakta skillnaden mellan en intern och en extern utvärdering? 4.4Intern eller extern utvärdering? En av de frågor som initiativtagare till utvärderingar initialt behöver ta ställning till, är om utvärderingen ska genomföras internt eller externt17. Men vad är internt och externt och hur meningsfull blir denna uppdelning om man studerar den närmare? I fallet med de lokala utvecklingsavtalen skulle man kunna hävda att de lokala utvärderingarna är externa, eftersom de kommuner som ingår i avtalet har anlitat utvärderare vid universitet, högskolor och konsulter. När det gäller och det nationella 15I en utvärdering (2004) av verksamheter som följt struktur fick deltagarna frågan om hur de uppfattade självvärderingen i förhållande till inriktningarna a) främjande, b) kontrollerande, c) gav baskunskaper. Svaret blev att alla delarna fanns med, men att punkt a) upplevdes som starkast. 16Holmer visar på att deltagarna upplever att självvärderingarna bidragit till en ökad sam- verkanskompetens. Detta kan ses som en kontrast till självvärderingar som initierat på högskolor och universitet, där i vissa fall behandlat materialet som självdeklarationer och använt dem som underlag för åtgärder. menar att gjort misstaget att utgå från och endast ställa frågor utifrån sin egen praktik och därmed inte förmått involvera de frågor som varit aktuella i den lokala praktiken. 17Med intern utvärdering avses att utvärderaren är en del av (eller anställd i) den organisation som utvärderas. I en extern utvärdering har utvärderaren ett utvärderingsuppdrag, men är anställd utanför den organisation som utvärderas. Vad är utvärdering? utvärderingsuppdraget blir det genast lite knepigare. Integrations- verket ingår på ett sätt i en statlig linjeorganisation (intern), men har främst fokuserat kommunala aktiviteter (extern). har dock i likhet med kommunerna använt sig av externa konsulter. Vilket stärker en extern profil.18 Låt oss, innan vi krånglar till detta alltför mycket, studera några argument som talar för eller emot den någorlunda enkla och frekvent använda uppdelningen mellan internt och externt: * Kan genomföras snabbt; kända besluts- * Större möjlighet till objektivitet genom gångar och känd miljö att komma utifrån. ingen speciell inläsning krävs * Större möjlighet till kritisk granskning * Lätt att återföra resultat av utvärde- * Större möjlighet till spridning av * En kompetens byggs upp inom den egna resultaten även utanför den utvärderade * Större möjlighet till nytänkande utanför * Större tyngd i en konfliktsituation * Tidsödande inläsning i början av utvär- * Risk för strategisk försiktighet eftersom * Kan vara svårt att få tillgång till mate- man är en del av verksamheten (har lojali- teter, relationer, är beroende) * Risk för sämre spridning av resultaten * Risk för att resultaten inte sprids utan- * Risk att objektiviteten får stryka på foten i jakt på fler utvärderingsuppdrag Tabell inspirerad av egen verksamhet plus litteratur (Vedung, , Tranquist, med flera) Argumenten kan säkerligen mångfaldigas och tål att reflekteras över. Några som har reflekterat över och problematiserat begreppsparet internt/externt är och (2003)19. De menar att traditionella indelningen i internt och externt tenderar att 18Vedung (1991) föreslår en uppdelning av extern och intern utökade med ett antal under- avdelningar (som extern-intern, intern-extern, intern-intern, osv.). Frågan är komplex! 19Danska forskare som studerat den danska biståndsorganisationen , motsvarande svenska SIDA. Vad är utvärdering? lösas upp när man studerar utvärderingsprocessen . Insatser från såväl interna som externa aktörer kan kombineras eller förhand- las mellan parterna bland annat beroende på var i utvärderingen man befinner sig. I princip kan således de olika faserna i utvärderingen i varierande grad organiseras internt, externt eller förhandlas mellan dessa båda sidor. I ett försök att överblicka och illustrera delar av denna komplexa process skapar och en förenklad tabell. I tabellen delas utvärderingsprocessen upp i olika faser. Detta kom- bineras med vem som är aktör i de olika faserna. För att i viss mån begränsa komplexiteten delas aktörerna endast in i tre roller. Tabellen nedan är inspirerad av Dahler-Larsens och tabell, dock med en anpassning av aktörer till svenska förhållanden20: Definiera syftet med utvärderingen Definiera evaluand21 och uppdraget Samla in data för utvärderingen Analysera och sammanfatta data Dra slutsatser och ge rekommenda- Tabell inspirerad av (2003) I tabellen kan rollerna i stort sett definieras som åtskilda, medan de i många fall överlappar varandra i den verkliga situationen. Ett otal kombinationsmöjligheter är möjliga. En arrangör kan exempelvis genom att bestämma utvärderingsdesignen i hög grad specificera 20 Arrangör: Beställer, planerar och fastställer utvärderingsaktivitetens övergripande form (t.ex. i form av utvärderingspolicy). Utförare: de utvärderare som är ansvariga för datainsamling, analys och rapportering. Personal/Medborgare: på målgrupper vars informationsbehov skall uppfyllas av utvärderingsresultat. 21 Evaluand=här: den som ska utvärderas. Vad är utvärdering? Detta kan i sin tur komma att begränsa utvärderarens metodmässiga valfrihet. På liknande sätt kan det exempelvis finnas en överlappning mellan utvärderare och brukare när det gäller vilka slutsatser som kan dras och därmed vilka rekommendationer som kan ges. I vissa utvärderingar har utvärde- raren en omfattande roll vid utfärdandet av rekommendationer, som kanske även sträcker sig till förberedelser av hur rekommen- dationerna ska omsättas. I andra situationer kan en brukare (som kanske är arrangör) förbehålla sig rätten att utfärda slut- satser efter att utvärderingsrapporten presenterats. Ett extern utvärderingsinstitut kan initiera en utvärdering, definiera syftet, evaluanden och uppdraget. Den kan också skapa en utvärde- ringsdesign. Därefter samlar den utvärderade organisationen (evalu- anden) in material som är nödvändigt för att besvara de frågor som det utvärderande institutet har ställt. Evaluanden analyserar kanske även till viss del sina egna data. Det generella huvudansvaret för att dra slutsatser och ge rekommendationer återgår dock till det exter- na utvärderingsinstitutet. I denna situation kan den externa utvärderaren definiera pro- cessen som självutvärdering då organisationen som är i fokus fak- tiskt utför datainsamlingen. Mycket av grunden för utvärderingen definieras dock inte av den organisation som står i fokus. En motsatt situation är lika möjlig. Här definieras processen av den organisation som står i fokus, medan en extern utvärderare inkallas under en begränsad del av insamlingsprocessen. I detta fall kan den externa utvärderarens funktion i vissa fall vara att legitime- ra utvärderingens externa utseende. Ytterligare en variant är att syftet och uppdraget definieras internt men utvärderingsdesignen avgörs av en extern konsult. Det finns således all anledning att ha respekt för den eventuella förvirring som kan inträffa då det gäller att identifiera vad som är vad, internt eller externt. Ett flexibelt tänkande och en fördjupad analys kan leda förbi en förenklande tolkning av begreppsparet internt/externt för att fokusera det och menar finns bakom etiketten, nämligen frågan: Vem påverkar vad i loppet av en komplex utvärderingsprocess? 5Allt ljus på lokala utvecklings- avtal? Underlag till ett nationellt utvärderingsprogram Utredaren skall, med beaktande av relevant kompetens inom de områden som är av betydelse för det lokala utvecklingsarbetet, lämna förslag på ett långsiktigt nationellt utvärderingsprogram för lokala utvecklingsavtal. Utvärderingsprogrammet är ett led i politikområdets kunskaps- uppbyggnad och i att kvalitetssäkra utvecklingsarbetet. Vår ambition i detta delbetänkande är att lyssna till och ta vara på erfarenheter från ett flerårigt arbete med insatser framför allt inom ramen för de lokala utvecklingsavtalen, men också från andra källor med erfarenhet från likartat arbete. Med detta som grund vill vi bidra till att skapa en struktur i form av ett långsiktigt nationellt utvärderingsprogram, där det arbete som gjorts och det arbete som kommer att göras inte bara ska sammanställas som en katalog över enskilda erfarenheter, utan också granskas och analyseras så att erfarenheterna kan utgöra stommen i en mer generaliserbar kun- skapsbank. Utgångspunkten i detta kapitel har således varit en strävan att ta vara på erfarenheter och idéer främst från personer i olika roller och funktioner och som på olika sätt varit involverade i de befintliga lokala utvecklingsavtalen, men också från referenspersoner och annat referensmaterial som kunnat berika med andra perspektiv. Genom att ta fasta på formuleringen "med beaktande av relevant kompe- tens", har vi bedömt det som en viktig del i vårt arbete att föra en direkt dialog med olika aktörer kring vad ett förslag till ett natio- nellt utvärderingsprogram ska innehålla för att uppfattas som ange- läget och användbart för dessa aktörer. Vi har utifrån temat natio- nellt utvärderingsprogram ställt frågor till fokusgrupper, till mötes- deltagare i varierande sammanhang och i enskilda samtal, frågor som: Behövs ett nationellt utvärderingsprogram? Vem är det till för? Allt ljus på lokala utvecklingsavtal ? bör fokus vara för ett sådant program? Vem ska göra det? Hur ska det organiseras? Och framför allt: vad skulle krävas för att du skulle finna det intressant, användbart eller meningsfullt? I det här kapitlet ger vi exempel på synpunkter från det material vi dokumenterat i våra möten med fokusgrupper och andra kontak- ter1, även reflekterat i förhållande till andra källor. Det rika materialet har kommit att utgöra ett viktigt bidrag till vårt underlag vid utformandet av vårt slutliga förslag till ett nationellt utvärde- ringsprogram2. 5.1Ett användbart nationellt utvärderingsprogram När vi i våra kontakter har ställt frågan behövs ett nationellt ut- värderingsprogram? så har det inte rått någon tvekan: det behövs. Samtalen har snarare handlat om vilket syfte och vilka funktioner som bör prägla ett sådant program, vad det ska kunna användas till, hur det ska kunna bli användbart eller hur man ska undvika att det utmynnar i att en anonym forskargrupp sitter nånstans och ägnar sig åt utvärderingar som sedan inte används eller kommer till nytta. Användbarhet återkommer som en röd tråd i samtalen3. Här efter- frågas inga hyllvärmande tjocka böcker, utan snarare dialog, samman- fattningar, konkreta råd och stöd, kritisk granskning, kunskaps- byggande och möjligheter till att göra ett bättre arbete med en större kunskap och bättre redskap i bagaget. Vad är det då som inbegrips när man föreställer sig ett nationellt utvärderingsprogram som man kan ha nytta av? 1En sammanställning över kontakter finns i bilaga, inklusive en förteckning över deltagare i fokusgrupperna. I bilaga återfinns även en närmare presentation av fokusgrupp som metod. 2De grupper vi bjudit in och de kontakter vi tagit har på olika sätt varit engagerade i Stor- stadssatsningen eller intresserade av frågeställningar som berör utvärdering eller forskning kring frågor. Vi är medvetna om att referenterna (främst i fokusgrupperna) domi- neras av professionella aktörer inom den offentliga sektorn, vilket vi i efterhand ser som en viss begränsning med materialet. Vid en fördjupad studie rekommenderas en utvidgning till flera intressentgrupper. 3I det följande hanteras en rad begrepp som skulle kräva en djupgående diskussion kring definition och innebörd. I denna utredning saknas dock tyvärr tidsutrymme för en sådan fördjupning. Allt ljus på lokala utvecklingsavtal? Kontroll och kritisk granskning ses som en av de självklara upp- gifterna för ett nationellt utvärderingsprogram. Att undersöka om målen har uppnåtts och att bevaka om pengarna använts som tänkt, dvs. om de finansierat metodutveckling och experiment, bidragit till utveckling av ordinarie verksamhet eller använts primärt för att täcka hål i ordinarie verksamhetsbudget. Frågorna som beskrivs och som behöver besvaras är många, tidsperspektiven och omfatt- ningen skiftande. Främst efterfrågas dock utvärderingar som ger besked om måluppfyllelse, resultat och effekter (helst utifrån mät- bara välfärdskriterier) och studier av vad som kan ses som fram- gångsrika metoder och strategier respektive mindre framgångsrika: Utvärdera gjorda erfarenheter, titta i backspegeln, klargöra framåt/LU4 Nytta; ifrågasättande och granskande/KS Följa resultat och effekter/LB Bevaka utfall av stora programsatsningar/U Uppföljningsinstrument, upptäckaruppgift/SK Avkräva ansvar på rätt nivå/PL Visa vad konkret som fungerar, t.ex. pluseffekter vid sam- arbete/DT Att se satsningen ur ett samhällsekonomiskt perspektiv Att granska kritiskt utifrån tydliga kriterier och ha modet att ifråga- sätta och framföra tydliga slutsatser ses som ytterst eftersträvans- värt. Här efterlyses dock inte bara en kritisk granskning som in- riktar sig på lokala verksamheter, utan hela processen med alla dess aktörer bör granskas (vilket exempelvis även inkluderar de statliga aktörerna)5. Detta inkluderar även en granskning av själva modellen eller konstruktionen lokala utvecklingsavtal6. 4 Exempel på sammanfattade utsagor från fokusgruppsdiskussioner. Förkortningarna i anslutning till utsagan står för: Lokala utvecklingsansvariga (LU), Kommunsamordnarna (), Storstadskansliet (SK), Lokala boende (LB), Departementstjänstemän (DT), Centrala myndigheter (CM), Lokala projektledare () och Utvärderare (U). Se även bilaga om fokusgrupper. 5Enligt Furubo (2004) används utvärderingar i regel för att studera och påverka aktiviteter på den operativa nivån och på handfast implementering (genomförande). Mycket få utvärde- ringar berör en prövning av själva policyn eller programmet. Furubo förklarar detta bland annat med att värdefaktorn här är avgörande, vilket gör bedömningarna komplexa. Eller med andra ord: Programmen bärs upp eller är djupt präglade av (politiska) värderingar om människa och samhälle. 6Se vidare under avsnittet Allt ljus på lokala utvecklingsavtal? Allt ljus på lokala utvecklingsavtal ? Få överblick och utveckla kunskap Gemensamt för våra kontakter är en upplevelse av bristande över- blick, att det händer så mycket som man inte hinner ta del av, det utvärderas men man hinner inte läsa eller hittar inte fram till mate- rialet och inte minst en känsla av att erfarenheter gjorts som man kunde ha nytta av men som man inte känner till. Med ett nationellt utvärderingsprogram ser man en möjlighet att få hjälp med denna orientering. Den samlande funktionen är så pass viktig att den under våra samtal ständigt återkommit under olika benämningar: rosetten, ett samlande nav, en samlande kropp, ett centrum i ett cykelhjul, en "body", osv. Ett gränsöverskridande helhetsgrepp efterlyses för att öka chan- serna till överblick över ett komplext politik-, verksamhets- och kunskapsfält: Övergripande, för att förstå det lokala i ett större samman- hang/LU Ge jämförbarhet projekt/stadsdel/övergripande för staden och för landet/PL Jämföra storstäder europeiskt/SK Se effekterna av integrationssatsningar genom att studera hela samhället/LB Sammanfatta övergripande, se tendenser/LU Utforma riktlinjer – ge förslag på metoder/U Medvetenhet om verksamheten i förhållande till välfärdspolitiken i stort/LU Överblicken handlar så väl om omvärldsanalys med nationella och internationella utblickar, som "invärldsanalys", dvs. vad händer i den egna eller angränsande organisationen, sektorn, stadsdelen, projektet. Att kunna placera en utvärderingsfråga i ett större sammanhang ses som angeläget för att fördjupa förståelsen, vilket också inbegriper vikten av att på alla nivåer kunna behålla ett "tvär- perspektiv mellan politikområden, sektorer, förvaltningar, osv. Ett starkt uttryckt önskemål är att ett nationellt utvärderingsprogram ska ha förmåga att inte göra halt inför eventuella sektorsindelningar utan i stället kunna utveckla ett holistiskt perspektiv. Allt ljus på lokala utvecklingsavtal? Samla in och tematisera Ett exempel på orienterande material som efterfrågas är bakgrunds- fakta och basinformation på ett generellt plan, tillgång till statistik och analysstöd eller tillgång till lättillgängliga och sammanfattande överblickar över aktuella rapporter och forskning. Ytterligare en viktig funktion är att tillhandahålla temabaserade sammanställ- ningar av tidigare erfarenheter av strategier och metoder och verk- samheter såväl lokalt, som nationellt och internationellt ("what works? Samla erfarenheter, ta tillvara/LU Samordna, sammanställa och analysera utvärderingar och rappor- ter inom respektive tema (samordna temaforskning)/U Överblick över aktuell och kommande forskning. Identifiera vita fläckar/CM Kan hantera stora volymer och komplexitet/KS Samla storstadsrelaterat material/SK Utveckla och sprida kunskap Som en påbyggnad på denna orienterande bas uttrycks vikten av fortsatt kunskapsutveckling och kunskapsspridning. Inte minst efterfrågas stöd när det gäller att koppla arbete i den praktiska verksamheten till teorier och tidigare forskning. Som ett led i detta ingår att tydliggöra befintliga kunskaper för att undvika en kun- skapshämmande "hemmablindhet", dvs. att man inte längre förmår vara uppmärksam på hur man arbetar. Översätta byråkraters och forskares kunskap så att den blir till- gänglig för praktiker och politiker och andra byråkrater/KS Kunskaps- och erfarenhetsspridningscentral/U Reda ut begrepp (som underifrånperspektiv)/LU Klargöra svårigheten att mäta effekter Vikten av att hantera kunskapsluckor när det gäller själva utvärde- ringsinstrumentet för att därmed kunna identifiera vad som är möj- ligt att mäta med utvärdering är ytterligare en aspekt som speciellt uppmärksammas. Allt ljus på lokala utvecklingsavtal ? Ett väl fungerande nationellt utvärderingsprogram bör således även kunna tillhanda varierande stödfunktioner.