sou · GTB329 · 2006-01-01 00:00:00 — I propositionen lyfts åtta målområden fram som speciellt angelägna för arbetet inom ramen för de lokala utvecklingsavtalen14. Dessa målområden är del i en övergripande målstyrning inom de lokala utvecklings- avtalen, även om målen enligt propositionen ska anpassas efter de lokala behoven i respektive kommun. Dessa övergripande målom- råden benämns i detta avsnitt nationella målområden. I avtalen efterfrågades dock även åtgärdsplaner med lokalt framtagna mål för varje bostadsområde byggt på dess specifika behov. Dessa lokalt framtagna mål, här benämnda lokala mål, länkades med de nationella målområdena via de mål som kommunen introducerade för det lokala utvecklingsarbetet på central nivå15. Dessa mål benämns här kommunala målområden. Den kompletta målkedjan för det lo- kala utvecklingsarbetet inom ramen för de lokala utvecklingsavta- len består alltså av tre led. Målkedjan kan beskrivas som i figur 3.2. 14Jfr kapitel 2. 15Jfr med beskrivningen av målstyrning i avsnitt 3.1. De lokala utvecklingsavtalen och kommunerna Målkedjan i det lokala utvecklingsarbetet Målen för de olika nivåerna beskrivs således i olika programdoku- ment, vilka framgår av figuren. De nationella mål som anges i stor- stadspropositionen godkänns av , de kommunala målom- råden som återfinns i de respektive kommunernas lokala utveck- lingsavtal godkänns av kommunstyrelsen. De lokala målen som återfinns i de lokala åtgärdsplanerna godkänns däremot på olika beslutsnivåer. Var dessa lokala åtgärdsplaner godkänns är således beroende av hur kommunen är organiserad politiskt. De kommunala målområdena utgör ofta en sammanslagning av två eller flera nationella målområden och varierar från en kommun till en annan. Detta innebär att målområdena kan variera tämligen kraftigt mellan kommunerna när det gäller både antal och innehåll. Nedan presenteras två exempel på den variation som kan förekom- ma dels mellan kommunerna, dels inom respektive kommun. I avtal (2000) introducerades sex kommunala målom- råden för det lokala utvecklingsarbetet i kommunen16: I detta avtal specificerades även det som skulle presteras i varje bo- stadsområde och inom varje kommunalt målområde. 16 Lokalt utvecklingsavtal mellan staten och (2000). De lokala utvecklingsavtalen och kommunerna dock varken konsekvent eller enhetligt. Det specificerades exem- pelvis olika prestationer för de tre bostadsområden i kommunen som berördes av avtalet (, och /) in- om det kommunala målområdet Förvärvsfrekvens. Inom målområde Svenska språkets ställning specificerades däremot prestationen endast för och inom Skolresultat – utbildningsnivåer angavs presta- tionen endast för /. Detta kan jämföras med avtal (2001) som angav tre kom- munala målområden för det lokala utvecklingsarbetet i kommunen17: 1.Sysselsättning, försörjningsstöd, vuxenutbildning 3.Lokalt utvecklingsarbete – demokratisk delaktighet, trygghet, trivsel samt förbättrad folkhälsa Dessa tre kommunala målområden angavs, till skillnad från i Bot- kyrkas avtal, utan någon specifikation av vad som skulle presteras i varje bostadsområde. Exemplen visar inte bara på den variation som kan förekommit när det gäller hanteringen av mål och målområden, utan illustrerar även att benämningarna på målområden skiftat från kommun till kommun. Ett kommunalt målområde kan således avvika helt från de nationella målområdena även i termer av formulering. av- tal (1999) introducerade exempelvis målet Attityd/bild av området. Detta medför att även i de fall de kommunala målområdena delvis kan överensstämma i sin formulering, är det inte alltid givet vilka typer av insatser som hör hemma under dem. När man talar om ett målområde i en kommun kan det vara viktigt att hålla i minnet att det inte nödvändigtvis motsvarar ett av de målområden som be- nämns i propositionen. Det finns ytterligare en variation i formuleringen av de kommu- nala målområdena. Denna har troligtvis sin förklaring i propositio- nens otydlighet. Förutom de åtta målområden som propositionen föreslår för det lokala utvecklingsarbetet (prop. 1997/98:165, s. 30), förekommer i propositionen ytterligare en formulering (ibid., s. 78)18: De lokala målen bör i första hand syfta till att förbättra sysselsättning och arbetskraftsdeltagande inom de utsatta stadsdelarna. 17Lokalt utvecklingsavtal mellan staten och (2001). 18Jfr kapitel 2. De lokala utvecklingsavtalen och kommunerna utgångspunkt för överläggningarna bör i övrigt vara de områden som omfattas av de nationella storstadspolitiska målen, dvs. det svenska språkets ställning trivsel och trygghet i bostadsområdet tillgång till offentlig och kommersiell service tillgång till kultur- och fritidsverksamheter Denna specifikation av de lokala målen har troligtvis lett till att i sitt avtal angav följande kommunala mål- område: Offentlig och kommersiell service, kultur och fritid19. Propo- sitionens formulering, som avser lokala mål, har således påverkat kommunala mål. Men de kommunala målområdena kan även ändras . I flera fall har det skett revideringar som exempelvis påverkat antalet målområden i avtalet. I inledningen till reviderade avtal (2001) infördes en rad förändringar20: Översynen har skett i samarbete med extern utvärderare, . // I förekommande fall har konsekvensändringar gjorts. Vidare redovisas målområde Svenska språkets ställning och målområde Skolresultat – utbildningsnivåer gemensamt under målområde Förbätt- rade skolresultat. Frågor om offentlig och kommersiell service förs från målområde Offentlig och kommersiell service, kultur och fritid till målområde Ökad trygghet och trivsel. Därmed omfattade ursprungliga avtal (1999) sju kom- munala målområden, medan stadens reviderade avtal (2001) endast innefattade sex målområden. Men inte bara de kommunala utan även de lokala målen varierar från en åtgärdsplan (ett bostadsområde) till en annan åtgärdsplan (annat bostadsområde). Detta gäller både i termer av antal och i termer av formulering. Malmös avtal (1999) omfattade exempelvis fyra bostadsområden. I de fyra åtgärdsplanerna som upprättades introducerades olika uppsättningar lokala mål. Hyllie hade sju mål, fem, Fosie fyra och hade tre mål. 19Lokalt utvecklingsavtal mellan staten genom och genom kommunstyrelsen (1999). 20Avtal mellan staten och om revidering av lokalt utvecklingsavtal i Lokalt utvecklingsavtal mellan Svenska staten genom och genom kommunstyrelsen (2001). De lokala utvecklingsavtalen och kommunerna Formuleringen av dessa lokala mål kunde vara allt från Att skapa goda och hälsosamma livsmiljöer () till Delmål avseende träffpunktsverksamhet (Hyllie). Denna variation i antalet och formuleringen av både de kommu- nala målområdena och de lokala målen gäller de flesta kommunerna. avtal (1999) utmärker sig från de andra avtalen genom att det angavs fem kommunala målområden som återkom med samma formulering även i de lokala åtgärdsplanerna för samtliga tre bostads- områden som berördes av avtalet. Den bild som ges av kommunernas skiftande förutsättningar kan ge en föraning om de komplexa organisatoriska sammanhang som de lokala utvecklingsavtalen ska förverkligas i. Komplexiteten är inte unik för det som händer inom de lokala utvecklingsavtalen. Ovan- stående kan snarare betraktas som en tämligen ytlig illustration av variationen i de lokala förutsättningarna som redan från början kommer att påverka vilka insatser som är möjliga att genomföra och därmed att utvärdera. Givetvis finns det oändligt mycket som här inte berörs, men som sagt, detta kan ge en föraning om vad som möter en extern utvärderare. Att de lokala målen skiftar både i termer av antal, formulering och tid, kan ses som rimligt och inbyggt i själva grundförutsättningarna. De övergripande inriktningsmålen ska enligt propositionens inten- tioner anpassas till och förankras i lokala behov. Variationerna i de lokala målens antal och formulering kan således med en välvillig tolkning bero på att målen är framtagna av lokala aktörer som även skulle kunna inkludera bosatta i respektive bostadsområde. Oavsett vem som deltagit i utformningen av kommunala och lokala mål ger det rika utbudet av måluppsättningar och målformuleringar en bild av att det är svårt att på ett enkelt sätt jämföra och dra långtgående slutsatser kring utfallet utan att ta dessa skillnader i beaktande. Även om denna variationsrikedom är att vänta när det gäller en stark prägling av ett lokalt perspektiv, utgör den uppen- bara svårigheter för en extern utvärderare, inte minst ur ett jämför- barhetsperspektiv. Att ta hänsyn till mängden faktorer som påver- kar det arbete som utförts är i stort sett en omöjlig uppgift. Redan med de få aspekter vi visat på ovan uppstår en komplex och inte De lokala utvecklingsavtalen och kommunerna sällan svåröverskådlig bild av arbetet inom de lokala utvecklings- avtalen. Då denna utredning specifikt är inriktad på utvärdering av de lokala utvecklingsavtalen är det av särskilt intresse att titta på hur kom- munerna i sina dokument formulerat utvärderingsinsatser. Alla av- tal inkluderar en utvärderingsplan som klargör hur kommunen tänk- te sig att arbetet med utvärdering inom ramen för avtalet skulle gå till. Eftersom utvärderingsplanerna var olikartade i termer av om- fattning, specifikationsgrad och fokus, presenteras en sammanfatt- ning av planernas innehåll. utvärderingsplan21 uppger två syften för sitt utvärde- ringsuppdrag, dels att avgöra vilka insatser som ska permanentas och dels att presentera resultaten för såväl staten och olika huvud- män som medborgare och brukare. Utvärderingen ska kunna ge en gemensam bild för alla intressenter (medborgare, politiker, staten, diverse huvudmän, chefer, handläggare, praktiker, utvärderare, fors- kare). Man efterlyser även en gemensam begreppsapparat som grund för diskussioner kring utvärdering och föreslår begreppen i Vedungs Utvärdering i politik och förvaltning22 som utgångspunkt. Demokrati och inflytande lyfts som ett viktigt område att prioritera. Utvärde- ringen ska vara en kombination av en målrelaterad utvärdering och en processutvärdering och efterfrågas på tre nivåer: insatsnivå, om- rådesnivå och nationell nivå. utvärderingsplan23 efterfrågar en processinriktad ut- värdering som ska inkludera en analys av hur situationen för den enskilda individen påverkas av det pågående arbetet. Utvärderingen ska bedöma vilka åtgärder som anses vara lyckosamma, peka på möjliga åtgärder som ännu inte har genomförts, samt utveckla kva- lificerade metoder och framtida arbetssätt. Det övergripande syftet för utvärderingen är att ge beslutsfattare på olika beslutsnivåer inom staden ett verktyg för styrning av olika processer. utvärderingsplan24 efterfrågar en processinriktad ut- värdering med fokus på följande perspektiv: organisation och styr- ning, förändringsprocessen, effektiviteten i processerna och segrega- 21Lokalt utvecklingsavtal mellan staten och (2000). 22Se Vedung (1998). 23Lokalt utvecklingsavtal mellan staten och (2001). 24Lokalt utvecklingsavtal mellan staten och kommun (2000). De lokala utvecklingsavtalen och kommunerna I planen efterfrågas en formativ utvärdering25 med etappvis rapportering som möjliggör att lämpliga anpassningar genomförs . Särskild vikt läggs vid samverkan, delaktighet och de strukturella förändringar som arbetsprocessen ger upphov till. Värt att notera är att det i en annan bilaga än utvär- deringsplanen till avtalet med titeln för utvärdering uppges att det i , Södertörnskommunerna och inom ledningen för finns ett intresse att gemensamt engagera i utvärderingen av arbetet inom de lokala utvecklingsavtalen. Detta intresse motiveras bland annat med ambitionen att erhålla ökad status för högskolan samt öka dess attraktivitet för studenter och forskare. I plan26 definieras utvärdering som en noggrann efterhandsbedömning av utfall, slutprestationer eller förvaltning. Det efterfrågas en processinriktad utvärdering med tyngd på delaktighet och samverkan. En ambition är att samarbeta med övriga storstads- kommuner framförallt inom för att möjlig- göra jämförbarhet. Inom varje kommunalt målområde ställs frågor som utvärderingen ska besvara och i vissa fall föreslås bedömnings- kriterier. Exempelvis föreslås att målområdet Svenska språkets ställ- ning avseende vuxna ska bedömas genom att tolkbehovet följs upp. I samarbete med ämnar man även att följa upp ett antal familjer för att se hur deras situation påverkas av stor- stadsarbetet. efterfrågar i sin utvärderingsplan27 en vetenskapligt sam- mansatt utvärderargrupp som ska genomföra en måluppfyllelseut- värdering med ett helhetsperspektiv och med en aktionsinriktad forsk- ningsmetodik. Utvärderarna ska bl.a. studera hur familj och eget nätverk kan vara en tillgång för människor som bryter sin isolering och förbättrar sina ekonomiska och sociala villkor. Utvärderarna ska visa utvecklingsarbetets effekter på den ordinarie verksamheten, utarbeta självutvärderingsverktyg och förse verksamheterna med metodstöd. Planen anger att Internationell migration och etniska relationer () vid redan har ett uppdrag att 25 Formativ och summativ utvärdering är begrepp som är vanligt förkommande bland utvärderare. Formativ och summativ har att göra med när en utvärdering sker och om syftet är att förbättra en pågående intervention (formativ) eller om man vill veta om en insats gett det förväntade resultatet (summativ). Formativ utvärdering görs i samband med pågående verksamhet och bör leda till beslut om utveckling av insatsen (t.ex. modifiering, revidering osv). Summativ utvärdering görs i slutfasen av en verksamhet och leder till beslut gällande insatsens fortlevnad, avlutande, utvidgning osv (Fitzpatrick et al , s. 15). 26Lokalt utvecklingsavtal mellan staten och kommun (1999). 27Lokalt utvecklingsavtal mellan staten och kommun (1999). De lokala utvecklingsavtalen och kommunerna utvärdera programmet Nationellt Exempel i och även kommer att få uppdraget att utvärdera arbetet med det lokala ut- vecklingsarbetet i just denna stadsdel. plan28 uttrycker behov av en tvärvetenskaplig, pro- cessinriktad utvärdering med individen i fokus, det vill säga att ut- värderingen ska visa hur det pågående arbetet förändrar situationen för den enskilda individen. Utvärderingen ska visa vilka åtgärder som är lyckosamma, peka på möjliga insatser som inte har genom- förts och utveckla vetenskapliga metoder och framtida arbetssätt. Planen betonar vikten av att utvärdera samverkan på alla nivåer. planerar29 en processinriktad helhetsutvärdering enligt en intressentmodell30. Denna tolkas som att utvärderingen ska ta sin utgångspunkt i farhågor och frågor hos de som berörs av utveck- lingsavtalet. Kommunen ämnar engagera utvärderarna i utform- ningen av målen så att dessa mål blir mätbara och efterfrågar en etappvis rapportering som kan ligga till grund för den nationella utvärderingen. Det påpekas att utvärderarna ska svara för metodval och val av data samt en mall för självutvärdering. I planen utrycks en ambition om att utforma en enkät till medborgarna tillsammans med övriga södertörnskommuner i syfte att möjliggöra jämförbar- het. I detta avseende uttrycks önskemål om att utvärderingen län- kas såväl till andra kommuners utvärderingar som till den nationella utvärderingen. Man efterfrågar även en standard för framgång och misslyckande för alla verksamheter. Särskild vikt läggs vid utvärde- ringen av delaktigheten. Sammanfattningsvis kan noteras att gemensamt för de sju utvär- deringsplanerna är att alla efterlyser en inriktning på processutvär- dering och resultatredovisning. De specificerar dessutom i olika grad ett fokus på samverkan och delaktighet som prioriterade områden för utvärdering31. Planerna visar att ambitionsnivån ofta är hög och förväntningarna på vad de externa utvärderingarna ska kunna bidra med är omfattande. Ett intressant inslag i detta är att endast och uttalat redovisar syftet för utvärde- ringen, där de senare dessutom gör detta i gängse utvärderingster- minologi (formativ utvärdering). är den enda kommun 28Lokalt utvecklingsavtal mellan staten genom och genom kommunstyrelsen (1999). 29Lokalt utvecklingsavtal mellan staten och kommun (2000). 30Enligt (1999) bygger intressentmodellen på att intressenter (användare, utförare, ansvariga, beslutsfattare, finansiärer) medverkar i diskussionen kring vilka delar av verk- samheten som ska utvärderas och mot vilka kriterier. Se även kapitel 4. 31Värt att notera är att denna redovisning avser ursprungliga utvärderingsplaner. Dessa kan ha reviderats, vilket ej följts upp här. De lokala utvecklingsavtalen och kommunerna som efterfrågar en specifik utvärderingsmodell (intressentmodell). plan ger en bild av en mera initierad utvärderingsbe- ställare då det både efterfrågas en terminologisk konsensus och att utvärdering specifikt bör genomföras på tre nivåer. Med tanke på den höga ambitionsnivån med utvärderingar så är det naturligtvis intressant att studera hur mycket medel som avsatts för utvärdering. Enligt uppgifter, inhämtade via Storstadskansliet , har beviljats till utvärde- ringar –2005. Kostnaderna fördelar sig enligt följande: Utvärderingskostnader 2000–2005 (t.kr)32 av det tilldelade statliga bidraget Som förväntat skiljer de faktiska utvärderingskostnaderna sig kraftigt åt, bland annat beroende på kommunernas storlek och till- delat statsbidrag. Malmös utvärderingskostnader är exempelvis så stora som , medan den största skillnaden finns mellan (drygt 22 miljoner) och (). Procentuellt sett kan kostnaden för utvärdering som andel av det tilldelade statliga bidraget se tämligen jämn ut. Skillnaden mellan dem som satsat minst respektive mest är i förhållande till sina respektive tilldelade statliga bidrag. är den avtals- kommun som satsat mest på utvärdering medan och satsat minst. En möjlig tolkning är att är den kommun som haft de största ambitionerna när det gäller att utvär- dera de lokala utvecklingsavtalen, medan och 32 Uppgifterna är inhämtade via kontakt med Storstadskansliet i . De lokala utvecklingsavtalen och kommunerna jämförelsevis tycks ha haft lägre ambitioner när det gäller att utvär- dera sina insatser. Bilden kan dock nyanseras om man studerar för- delningen av utvärderingskostnaderna per invånare, se Tabell 3.5. Utvärderingskostnader (2000–2005) beräknade per in- vånare (kr) per invånare (kr) Även om faktiska kostnader och procentsatser inte säger någonting om det man får för pengarna, så ger det uttryck för en ambition omsatt i praktisk handling. Emellertid bör inte procentsatsen rakt av likställas med ambition. Andra aspekter som har att göra med vilken typ av utvärdering man önskar och hur tydligt detta formu- leras och avgränsas bör också vägas in. Således handlar det om såväl kvantitet som kvalitet avseende utvärderingsbeställning. En annan fråga är vad man får för pengarna, d.v.s. i vilken utsträckning utvär- deringarna uppfyller de krav beställarna ställt. Varje oktober månad har de sju avtalskommunerna presenterat en årsrapport till – en Oktoberrapport. Oktober- rapporterna består av en sammanfattande redovisning av kommun- övergripande insatser och det utvecklingsarbete som pågår i kom- munen i termer av de i avtalen påbjudna fyra centrala metoderna33. Rapporterna omfattar även en avrapportering från arbetet i varje bostadsområde med en genomgång av de insatser som utförs lokalt. 33 Se avsnitt 3.1. De lokala utvecklingsavtalen och kommunerna Underlaget till Oktoberrapporterna består i stora delar av material och rapporteringar av lokal karaktär, som projektbeskrivningar, verksamhetsberättelser för enstaka insatser, självvärderingar, etc. –2004 presenterades ett drygt 20-tal Oktober- rapporter. Genom att studera kommunernas Oktoberrapporter hade ut- redningen inledningsvis en förhoppning om att få en samlad över- blick över det arbete som utförts i kommunerna. Tanken var att där- igenom skapa ett underlag i form av en systematisk överblick över ett de insatser som genomförts, för att sedan jämföra med vad som utvärderats. Försöket att få en överblick över insatserna med hjälp av Oktoberrapporterna övergavs dock efter en genomgång av ett stort antal rapporter. Rapporterna från de olika kommunerna visa- de sig vara mycket olika till innehåll och utformning och det var svårt att få en klar och tydlig bild över vad som har gjorts, inom vilket målområde insatserna bedrivits, vad som definieras som en insats, etc. Svårigheterna bedömdes vara så omfattande att det inte sågs som ändamålsenligt att slutföra studien inom den givna tids- ramen34. Ett flertal av de utvärderingsrapporter som granskats i utredning- en har även uttalat sig om den kommunala rapporteringen. Oktober- rapporterna har, tillsammans med deltagande observation och inter- vjuer, varit en av utvärderarnas primära källor avseende det arbete som utförts. Utvärderarna har också använt dessa kommunala rap- porter som underlag för sina studier, om än i varierande grad. De hinder som denna utredning stött på i försöket att använda Oktoberrapporterna som underlag för en kartläggning, återkommer i flera utvärderingsrapporter avseende både Oktoberrapporterna i synnerhet och den kommunala dokumentationen i övrigt. Även utvärderarna beskriver svårigheterna med att få en överskådlig bild av ett redan från början komplext sammanhang. Otydliga avgräns- ningar och odefinierade begrepp har öppnat för försök att klargöra och definiera, men har också lett till frustration och kritik. Sahlén (2002) ger exempelvis prov på de problem med avgränsningar som kan råda när det gäller vad som kan benämnas projekt och vad som egentligen ingår i de lokala utvecklingsavtalen: Det tycks råda viss förvirring kring vad som är egna projekt och vad som är aktiviteter inom projekt. Dessutom verkar skolorna ibland ha svårt att hålla isär vilka projekt som finansieras med vilka medel (ibid., s. 18). 34 Se diskussion i Metodappendix i bilaga. De lokala utvecklingsavtalen och kommunerna Vilka aktiviteter hör till vilka satsningar är således inte alltid själv- klart. Sahlén (2002) nämner avsaknaden av förtydligande projekt- beskrivningar som en orsak till att exempelvis en fortbildning för lärarna som är finansierad av , i kommunens självutvär- dering redovisas som arbete inom ramen för avtalen: Att man i en delrapport redovisar denna fortbildning som en aktivitet inom det pedagogiska projektet är förvånande. Beror det på att det pågår så många projekt på skolan och att de finansieras från så många olika håll och i vissa fall byter bidragsgivare, att man på skolan inte klarar av att hålla isär de olika projekten? Eller är orsaken att direk- tiven kring bidrag och projekt är otydliga. Eller beror det på något annat? (ibid., s. 25) Den otydlighet som råder påverkar också hur man redovisar resul- tat. Sättet att redovisa resultaten i de kommunala dokumenten, inte minst i relation till målen, kan utgöra hinder för utvärderingen. Motsieloa et al (2002) undrar exempelvis hur man kan bedöma ett kulturprojekts måluppfyllelse när de redovisade resultaten är svåra att koppla till de uppställda målen: Man beskriver i oktoberrapporten (Hyllie SDF 2001) de upp- nådda resultaten i termer av förbättrade studieresultat i matematik och engelska och en ökad social samvaro utanför det egna bostadsområdet tack vare utflykter. Därmed är det i rapporten oklart om satsningarna på kultur i Hyllie har uppnått sina delmål (ibid., s. 13). Hosseini-Kaladjahi (2002a) diskuterar målens formulering och menar att dessa är ofta överdrivet kvantifierade i de kommunala dokumenten. Detta, menar utvärderaren, leder i kombination med kravet på rapportering till selektiv resultatredovisning: Resultatmanipulering görs också genom att man pendlar mellan två eller flera mål och i presentationen väljer det mål man lyckas bäst med (ibid., s. 100). Även Bunar (2003) uppmärksammar frågan om det glapp som finns mellan hur målen har formulerats och den verklighet som perso- nalen möter. Utvärderaren menar att detta har konsekvenser för kravet på rapportering: