sou · GTB329 · 2006-01-01 00:00:00 — Effekterna av gapet mellan politiskt formulerade generella målsätt- ningar och den konkreta verkligheten kan vara desamma för insats- ledarna i det här fallet som i det föregående om målens överdrivna kvantifiering. Frustration, orättvis kritik och jakt på några boende som får agera gisslan i Oktoberrapporter tar bara tid, energi och De lokala utvecklingsavtalen och kommunerna pengar ifrån kärnverksamheten vars mål alla ändå är överens om (ibid., s. 70). Fler utvärderare pekar på att det kompletterade erbjudandet, med uppmaningen att utvecklingsarbetet skulle koncentreras på syssel- sättning och skola, ledde till att projekt inom vissa målområden lades ner. I många fall valde kommunerna dock att behålla projek- ten genom att omdefiniera projektens ursprungliga syften eller nyansera dem för att inkludera projekten i de prioriterade målom- rådena. I exemplet nedan, som vi lånar från (2004), fram- kommer en sådan situation tydligt: De insatser som överförs från målområde 4 till målområde 1 motiveras på följande sätt: All verksamhet som på något sätt bygger på en dialog och en kommunikation mellan människor är att betrakta som språk- utvecklande, vilket innebär att samtliga åtgärder inom målområde Till- gång till kultur och fritid på något sätt är språk- och kunskapsutveck- lande (ibid., s. 40). Bunar (2003) påpekar att Oktoberrapporternas brister och avsak- naden av en kritisk självgranskning försvårar metodutveckling och spridning av goda exempel: Kvaliteten hos framförallt de lokalt producerade dokumenten är vari- erande. Oktoberrapporterna bygger på insatsledarnas redovisningar och dessa är enligt min uppfattning rätt bristfälliga i att anlägga ett kritiskt perspektiv på sin verksamhet. Avsaknad av det kritiska per- spektivet riskerar att urholka en av de viktigaste målsättningarna för Storstadssatsningen, nämligen den som har med metodutvecklingen och spridningen av goda praktiker att göra. En utvärderare, oavsett hur noggrann han/hon är, kan aldrig sätta sig i samtliga aspekter av det ut- värderade projektet lika bra som projektledaren, främst vad gäller den historiska utvecklingen och relationer mellan olika aktörer. Därför är det av yttersta vikt att kvaliteten i självutvärderingarna och/eller redovisningarna blir bättre för att säkra kvalitetsutvecklingen framöver (ibid., s. 12). De exempel vi lyft fram är avsedda att ge en inblick i de svårigheter som utvärderarna, i likhet med denna utredning, stött på när det gäller att nyttja de kommunala dokumenten som underlag. Både Oktoberrapporterna och annan dokumentation omges av en rad frågetecken kring både form och innehåll. Sammanfattningsvis kan man konstatera att det finns en hel del i övrigt att önska när det gäller den kommunala dokumentationen både innehållsmässigt och kvalitetsmässigt. De lokala utvecklingsavtalen och kommunerna som ett strategiskt instrument understryks av beskrivningar om resultatmanipulering och modifiering och förflyttning av insatser mellan målområden. som de kommunala dokumenten återspeglar en komplex verksamhet och verklighet, är det allvarligt om inte dokumenten förmår erbjuda en tillgänglig och överblickbar information, vilket kan ses som en av grundförutsättningarna för möjligheten till insyn och granskning. I detta kapitel beskrivs några av de förutsättningar som råder då en avtalsform ska förverkligas i sju kommuner, men också den för- virring som lätt inträder när en komplex verklighet ska samsas med de lokala utvecklingsavtalen. Ett bestående intryck när man närmar sig frågan om avtalet och kommunerna är att om man vill skapa sig en övergripande uppfattning om de lokala utvecklingsavtalen så blir bilden snabbt kaotisk i mötet med de specifika kommunala profi- lerna. Detta stärks av otydligheter i de ursprungliga intentionerna med avtalen, vilket gör att kommunernas tolknings- och handlings- utrymme är stort. Det är något av denna verklighet som möter den externa granskaren eller utvärderaren som vill försöka få en över- blick över verksamheter och arbetsprocesser. Utvecklingsarbete beskrivs i propositionen som en långsiktig pro- cess. Av denna anledning vill man från statligt håll betona vikten av att de lokala utvecklingsavtalen ses som ett bestående inslag och ett led i en läroprocess. Då man efterlyser en beständig förändring i sam- arbetsformen med kommunerna påpekas även att avtalen kan teck- nas för än den som gäller för det statliga ekono- miska stödet (). som det således finns möjligheter att teckna avtal som är längre än finansieringsperioden, är det inte uttalat vad som händer när finansieringsperioden är slut. Att lokala mål skiftar i termer av både antal, formulering och tid, kan ses som rimligt och inbyggt i själva grundförutsättningarna. De övergripande inriktningsmålen ska enligt propositionens intentio- ner anpassas till och förankras i lokala behov. Variationerna i de lokala målens antal och formuleringar kan således med en välvillig tolkning bero på att målen är framtagna av lokala aktörer som även skulle kunna inkludera bosatta i respektive bostadsområde. Oavsett vem som deltagit i utformningen av kommunala och lokala mål ger det rika utbudet av måluppsättningar och målformuleringar en bild De lokala utvecklingsavtalen och kommunerna av att det är svårt att på ett enkelt sätt jämföra och dra långtgående slutsatser kring utfallet utan att ta dessa skillnader i beaktande. Även om denna variationsrikedom är att vänta när det gäller en stark prägling av ett lokalt perspektiv, utgör den uppen- bara svårigheter för en extern utvärderare, inte minst ur ett jämför- barhetsperspektiv. Att ta hänsyn till mängden faktorer som påver- kar det arbete som utförts är i stort sett en omöjlig uppgift. Kort sagt: bilden av arbetet inom de lokala utvecklingsavtalen kan te sig tämligen svåröverskådlig. Utvärdering är ett av de centrala inslagen i de lokala utvecklings- avtalen. Det finns höga ambitioner kring utvärdering, vilket kan utläsas inte bara i statliga dokument utan också i de utvärderings- planer som presenterats. Utvärderarna har således fått uppdrag som omfattar granskning av insatser och arbetsprocesser, metodstöd för främjande av pågående insatser, tillvaratagande av erfarenheter, säker- ställande av kunskaper för långsiktig utveckling, osv. Sammanfattningsvis finns det anledning att närmare granska den idérikedom alternativt plottrighet som karaktäriserar de lokala utvecklingsavtalen och rapporteringen av dessa. Å ena sidan kan det finnas något positivt i att t.ex. målområdet trygghet ges flera olika innebörder. För tjänstemän och boende i Geneta kanske trygghet innebär något annat än i . Varje kommun och bostadsområde ges möjlighet att själva definiera vad trygghet är och hur denna ska kunna öka. Men om trygghet inte används på ett något sånär enhetligt och systematiskt sätt försvåras å andra sidan kunskapsutvecklingen, vi vet inte vilka metoder som eventuellt kan öka tryggheten i ett bostadsområde. Vidare finns risken att ett allt för spretigt användande av trygghet tömmer ordet på sitt inne- håll, betyder det ingenting. Vilka kan då konsekvenserna ha blivit av att man har låtit tusen blommor blomma såväl när det gäller målområden och verksamheter som begrepp? En annan fråga värd att fundera över gäller utvärderingarna och beställningarna kring dessa. Naturligtvis finns det en styrka om ut- värderingarna genomförs med varierande metoder och olika fokus. Men det innebär också problem, de olika utvärderingarna blir på så sätt inte pusselbitar i ett stort pussel som visar en samlad bild av stor- stadssatsningen. Pusselbitarna passar nämligen inte självklart ihop utan det blir upp till varje intressent att själv fundera över vad tom- rummen skulle kunna fyllas med. Denna problematik är något som utredare, forskare och andra som är aktiva inom storstadspolitiken har att brottas med. Enhetlighet, överblickbarhet och begrepps- De lokala utvecklingsavtalen och kommunerna validitet när det gäller storstadssatsningen i stort är kanske inte det viktigaste för alla dem som i sin vardag varit delaktiga i olika insatser. Men de lokala utvecklingsavtalen är inte enbart till för de boende i de utsatta bostadsområdena här och , den ska också ge kunskaper för framtida verksamheter i syfte att minska segrega- tionen. I detta sammanhang är utvärderingarna ytterst betydelse- fulla. I de följande kapitlen följer därför också en presentation av det utvärderande arbete som bedrivits i de 7 kommunerna och 24 bostadsområdena. Detta kapitel innehåller en genomgång av teoretiska aspekter på be- greppet utvärdering. I vårt uppdrag ingår det att utvärdera utvärde- ringar. För att göra detta krävs att vi ställer upp klara bedömnings- kriterier och referenspunkter1. Därför är det nödvändigt att tydlig- göra hur vi förhåller oss till resonemang och begrepp kopplat till fenomenet utvärdering. Syftet med detta kapitel är att redogöra för den syn på utvärdering som utgör referenspunkt för granskningen av rapporterna. Några resonemang i denna del finns även med i ut- redningens delbetänkande (SOU 2004:79). Där diskuterades bland annat hur utvärdering kan beskrivas och förstås, men här konkre- tiseras dessa tankar. Utvärdering är ett komplext begrepp som används på olika sätt i olika sammanhang. Inte ens bland professionella utvärderare finns det någon vedertagen definition av vad begreppet egentligen betyder, men Vedung har formulerat en av de mest använda definitionerna: utvärdering = noggrann efterhandsbedömning av utfall, slutprestationer eller förvaltning i offentlig verksamhet, vilken avses spela en roll i prak- tiska beslutssituationer (Vedung 1998, s. 20). Centralt enligt detta perspektiv är alltså att utvärderingen används för att noggrant blicka tillbaka och bedöma det som är eller har varit för att ge vägledning framåt. Noggrannhet och bedömning lyfter även (1997) fram och menar att utvärdering består av två kom- ponenter, där den ena är att systematiskt och noggrant samla kunskap och den andra att genomföra en bedömning. Han menar dock att betoning ofta läggs på den första delen – att beskriva och tolka – 1 Se framför allt (1995) för ett utvecklat resonemang om kriterieproblem i utvärde- ring. medan den bedömande delen inte uppmärksammas i samma grad. Därigenom sker en utarmning av utvärderingsbegreppet. För att summera kärnan i utvärderingens otaliga definitioner kan vi konstatera att utvärdering innebär att beskriva, analysera och slut- ligen värdera en verksamhet. Den minsta gemensamma nämnaren för alla definitioner av utvärdering har visat sig vara att utvärde- ringen dels innebär att värdera och uttala ett omdöme, dels att sys- tematiskt arbeta för att skaffa ett så bra underlag som möjligt för denna uppgift (1999, s. 16). 4.2Utvärdering – uppföljning – forskning En betydelsefull aspekt är skillnaden mellan utvärdering och andra närliggande aktiviteter. Man kan till exempel förhålla sig till utvär- dering å ena sidan och verksamheter som revision, utredning, upp- följning och forskning å den andra. Frågan är om inte utvärdering har fått ge namn åt alla dessa aktiviteter. Tendensen är att gränserna mellan de olika aktiviteterna har kommit att grumlas med åren2. Efter- som utvärderingsuppdragen till stor del har förlagts till högskolor och universitet kan det vara aktuellt och befogat att särskilt diskutera förhållandet mellan utvärdering och forskning. Revision handlar i grunden om prövning av lämplighet i förvalt- ning och utfall. Därför är det en regelrelaterad granskning som oftast inskränker sig till ekonomiska aspekter. Utredning syftar istället till beslutsförberedelse och planering. I en utredning ägnar man sig främst åt analys samt inventering av alternativ och konsekvensbedömning. Uppföljning är kanske det fenomen som ligger närmast utvärde- ring, men de två måste likväl hanteras som helt skilda aktiviteter. Uppföljning kan grovt sett ses som en sorts övervakning – ett sätt att se till att skutan håller sig till den fastställda kursen (1998, s. 24). Uppföljningen har ofta ett kontrollsyfte och utförs med ett uppifrånperspektiv, som den alltid håller sig till interna faktorer. På så sätt är uppföljning ett av organisa- tionsstrukturens sätt att övervaka processer och resultat, bedöma avvikelser från uppsatta normer och vidta lämpliga åtgärder så att 2 Detta avsnitt baserar sig på ett antal olika källor. Bland annat skriver (1997) om revision, uppföljning och forskning. Hemström & (2002) och (2003) för ett resonemang om uppföljning kontra utvärdering, liksom (1992). Relationen mellan utvärdering och forskning finns diskuterad i Fitzpatrick et al (2004), & Guba (1986), Gröjer (2004), Rombach & (1995) och Palumbo (1989). För ett översiktligt och sammanfattande resonemang hänvisas dock till (1999) som ställer aktiviteterna mot varandra. mål kan uppfyllas. En uppföljning innebär konkret att ett förlopp dokumenteras och beskrivs. Vad som sker är helt enkelt en beskriv- ning av vad som faktiskt hände, men vi får inte veta någonting om varför det hände eller vad som skulle ha hänt i frånvaro av det stu- derade programmet. Det kan exempelvis handla om att samla in data och producera statistik. Man kan också säga att en uppföljning ryms inom ramen för en utvärdering, då uppföljning i själva verket kan ses som de första stegen i en utvärderingsprocess. Men där uppföljningen slutar fort- sätter utvärderingsarbetet ytterligare ett par steg, nämligen med själva värderingen och sedan vägledningen framåt. Skillnaden mellan be- greppen antyds egentligen av verben uppfölja respektive utvärdera. Sammanfattningsvis kan vi alltså se uppföljning som en regelbun- den insamling och sammanställning av data där det ofta handlar om uppgifter av kvantitativt slag, som till exempel hur många eller hur mycket. Uppföljningar ger emellertid varken förklaringar till ut- fallet eller relaterar till mål. Uppföljningens kärna ligger således i att kunna möjliggöra jämförelse , medan utvärderingen går djupare med uttalanden om värdet av insatsen. När det gäller relationen mellan forskning och utvärdering är detta ett känsligt och ofta infekterat ämne. Även om de två aktivi- teterna överlappar varandra finns gränsdragningen diskuterad i många sammanhang. Det har bland annat hävdats att utvärdering inte är forskning, utan snarare en egen form av discipli- nerad undersökning. Utvärdering har andra funktioner, syften, mot- tagare och avsedda effekter än forskning och därför bör de två före- teelserna ses som åtskilda. Detta slår exempelvis Fitzpartick, och (2004, s. 5f) fast när de i fem punkter sammanfattar skiljelinjen mellan de två aktiviteterna: Syftet med verksamheten. Forskning och utvärdering har olika mål – forskning eftersträvar slutsatser, utvärdering leder till värde- utsagor. Värdering är sine qua non3 för utvärdering och grundläg- gande för åtskillnaden är frågan om undersökningen är misslyckad om den inte producerade några data om nyttan av det som studeras. Forskaren skulle troligtvis säga nej. Vem sätter dagordningen? En utvärderare kan föreslå frågor, men inte avgöra inriktningen på undersökningen utan att rådfråga intres- senterna. Att inte låta beställaren styra skulle faktiskt vara oetiskt 3 Conditio sine qua non är latin och betyder ett ofrånkomligt villkor (1957). för en utvärderare, medan forskarens eget intresse förutsätts styra forskningen. Då utvärdering förhåller sig till en särskild företeelse är en utvärdering relativt specifik i relation till den kontext som företeelsen befinner sig i. Syftet med forskning är däremot att bidra till en allmän kunskap. Därför är metoderna an- passade för att maximera generaliserbarheten till olika sammanhang och rum. Kriterier för att bedöma fullgodheten i studien. Forskning bedöms ofta för sin interna och externa validitet4, medan utvärdering snarare bedöms utifrån sin träffsäkerhet (om den ger en korrekt bild av verk- ligheten), användbarhet (sett ur den tänkte användarens perspektiv), genomförande (om den är realistisk, diplomatisk och måttlig) och an- ständighet (om den är gjord på ett legalt och etiskt korrekt sätt där inblandades rättigheter skyddas). Förberedelser för genomförandet. Forskare bör vara skolade i en sär- skild disciplin för att få djup i sina undersökningar. Utvärderare bör däremot vara tvärdisciplinära, då de ska kunna svara upp mot sina kun- ders varierande behov. För utvärderaren är det viktigt att kunna hämta in många olika typer av information och att kunna arbeta i många olika miljöer. Därför måste utvärderaren också vara bekant med en bred uppsättning metoder och tekniker så att de kan välja de som passar bäst för det specifika uppdraget. När det gäller metoder och tekniker för att få fram data och sättet att dra slutsatser från dessa kan man se att forskning och utvärdering ofta överlappar varandra. Utvärdering utförs ofta under forsknings- liknande former och har det växt fram ett helt nytt fält som kommit att kallas utvärderingsforskning, vilket innebär att forskningen gör studier med hjälp av utvärderingar (Rombach & 1995, s. 22). Ofta ger sig forskare också in i ut- värdering av offentliga politikområden och program, men fortsätter att hävda att de bedriver forskning (Palumbo 1989, s. 16). Vi kan hursomhelst konstatera att utvärderingsforskningen ligger i grå- zonen mellan de två aktiviteterna och vad man egentligen gör är att bedriva utvärdering med vetenskapliga forskningsmetoder. Klart står emellertid att det finns en tydlig koppling mellan utvärdering och forskning. 4 Validitet = giltigheten i forskningens slutsatsers såtillvida att slutsatserna följer logiskt av premisserna (intern validitet). Det talas även om extern validitet i meningen att resultat ska vara generaliserbara (et al ). I tabell 4.1 presenteras ett schematiskt sätt att tydliggöra skilje- linjen mellan utvärdering och dess närliggande verksamheter. Tabel- len är hämtad från (1999) och bygger på en kategorisering utifrån fem centrala faktorer. Det vi framför allt ser i sammanställ- ningen är att det är den systematiska datainsamlingen åtföljd av en bedömning och värdering som är central för utvärderingen. Vem styr vad som tresse och mål? förklara, förstå, ningar för att kon- Tillfälligt, vid be- också i form av /rutiner i verksam- En utvärdering är en aktivitet som genomförs i ett givet samman- hang för att uppnå ett specifikt syfte. Det talas därför om utvärde- ringssyfte, vilket kan förstås som en tänkt användning av utvärdering- en inom det system där den tagits fram. Inom utvärderingsforskning används ofta en uppdelning i tre generella bakomliggande syften: 5 Tabellen är inspirerad av (1999, s. 19). kontrollerande, främjande samt kunskapsutvecklande6. Kortfattat kan man säga följande om dessa tre syften: En utvärdering med ett kontrollerande syfte vill huvudsakligen undersöka om en planerad åtgärd vidtagits och sedermera lett till önskat resultat. Utvärderingen blir därmed ett redskap i besluts- fattandet. Vid kontrollerande utvärdering formuleras syftet ofta på övergripande beslutsfattarnivå. En utvärdering med främjande syfte ska huvudsakligen bidra aktivt till en förbättring av programmet. I den främjande utvärderingen tonas det bedömande inslaget ner och istället läggs tyngdpunkten på för- ståelsen av varför ett program lyckas eller misslyckas. Här formule- ras ofta syftet av berörda professionella aktörer och brukare. En utvärdering med kunskapsutvecklande syfte är tänkt ge kun- skap om effekter av beslut och åtgärder för att i förlängningen för- bättra framtida beslutsfattande. Detta syfte formuleras ofta av samhällsforskare som vill bidra till en ökad teoriram. Har man gjort det man ska enligt mål, beslut, lagar riktlinjer, osv? det är tänkt? Vad kan man lära? gynnas/missgynnas? En automatisk komplikation av utvärderingens olika syften är att de också kräver olika typer av kunskap, information och tillväga- gångssätt (1998, s. 17). En kontrollerande ut- värdering behöver förhålla sig till andra faktorer än den främjande och kunskapsutvecklande, något som utvärderaren måste förhålla sig till i planeringen av sitt uppdrag. Men naturligtvis är det så att de tre syftena kan kombineras. Ofta kan det också vara så att lärande 6I bland annat Vedung (1998), (1982) och (1999) finns resone- mang kring utvärderingens syften. 7Tabellen är inspirerad av (1999, s. 33). uppstår som en oavsiktlig sidoeffekt i förhållande till främjande och kontroll (Vedung 1998, s. 105). Detta framträder kanske tydligast vid meta-utvärderingar – som till exempel denna utredning – där uppgiften är att dra fram det generella ur en mängd enskilda studier genom att inordna dem i ett mer allmängiltigt begreppssystem med ett generellt lärande som följd. Det är dock inte alltid så att det uttalade syftet återspeglar den egentliga avsikten bakom en utvärdering, det kan som i all verk- samhet finnas en dold agenda bakom. Det kan exempelvis finnas en rad strategiska syften med att initiera en utvärdering. Vedung (1998, s. 105) diskuterar ett antal illegitima syften som kan ligga bakom så kallade pseudo-utvärderingar. Detta kan vara att man genom att medvetet utvärdera de aspekter som fungerat väl försöker motivera en fortsättning av ett dåligt program, eller då man genom att tillsätta en utvärdering försöker fördröja ett nödvändigt ingripande. Denna typ av strategiska inslag smyger sig ibland in i utvärderingar och re- ducerar utvärderingens värde som allsidigt och objektivt beslutsunderlag. Frågan om strategiska motiv för utvärdering är något som varje utvärderare av offentliga program måste förhålla sig till. Den kunskap som utvärderingen ger kan komma att användas i både goda och mindre goda syften. Utvärderaren bör därför vara med- veten om att fakta och empiri från arbetet mycket väl kan komma att användas för att stödja argument som olika grupperingar vill hävda. Utvärderingar kan till exempel användas för att peka ut an- svariga, syndabockar och offer8. Utvärdering kan genomföras utifrån en rad olika ansatser och för att klassificera olika typer av utvärdering talas det ofta om modeller. En modellindelning gör det sedan möjligt att kritiskt granska olika utvärderingar, t. ex. med avseende på för vem den sker och med vilket syfte (1999, s. 56). Klassificering kan göras på olika sätt och en indelning som ofta används har värdekriterier som orga- niserande princip. Denna indelning har tagits fram av Vedung (1998, s. 49ff) som identifierar följande modeller: 8 Geschwind (2004) diskuterar mediers användning av utvärderingar. Där kan man till exempel läsa om hur en utvärdering vinklades av olika medier och där en i huvudsak negativ utvärdering kom att användas som marknadsföring av lokal högskoleverk- samhet. Utgår från verksamhetsmål och frågar huvudsak- ligen om resultat stämmer med beslutade mål och om det i så fall beror på insatsen. Utgår också från målöverensstämmelse, men kom- pletteras med en fråga om sidokonsekvenser. Fokuserar på resultat och effekt av verksamheter Omfattar samtliga led i den studerade processen. Bedömer verksamheter med utgångspunkt i bruka- res förväntningar eller behov. Bedömer verksamheter med utgångspunkt i de far- hågor, undringar och behov som finns hos verksam- hetens berörda aktörer. Granskar förhållanden inom en organisation som t.ex. antal boklån / antal arbetade timmar på ett Modellen hanterar ej effekter på omgiv- Ställer kostnad i kronor i jämförelse med effekten av den studerade insatsen. Andra professionsmedlemmar utvärderar en verk- samhet utifrån yrkeskårens egna kriterier. Värdering sker av den egna verksamheten utifrån Detta är inte den enda modellindelning som finns. Den är emeller- tid vanligt förekommande, inte minst i statsvetenskapliga samman- hang. Här har denna modellindelning valts eftersom den tar fasta på bedömningskriteriet i utvärdering. Bedömningen är en central uppgift för en utvärderare.