sou · GTB329 · 2006-01-01 00:00:00 — Storstad i rörelse, Kunskapsöversikt över utvärderingar av storstadspolitiken lokala utvecklingsavtal Kunskapsöversikt över utvärderingar av storstadspolitikens lokala utvecklingsavtal Slutbetänkande av Utredningen om utvärdering av lokala utvecklingsavtal SOU och Ds kan köpas från kundtjänst. För remissutsändningar av SOU och Ds svarar på uppdrag av . Beställningsadress: kundtjänst 106 47 Orderfax: Ordertel: E-post: Internet: Svara på remiss. Hur och varför. Statsrådsberedningen, 2003. – En liten broschyr som underlättar arbetet för den som skall svara på remiss. Broschyren är gratis och kan laddas ner eller beställas på Regeringen bemyndigade statsrådet att tillkalla en särskild utredare med uppdrag att utvärdera de rapporter m.m. som tagits fram inom ramen för de lokala utvecklings- avtalen samt lämna ett förslag på ett nationellt utvärderingsprogram för lokala utvecklingsavtal (Dir. 2003:136). Med stöd av bemyndi- gandet förordnades socionom som särskild utredare. Utredningen antog namnet Utredningen om utvärdering av de lokala utvecklingsavtalen. Regeringen beslutade om tilläggsdirektiv (Dir. 2004:40). Enligt detta direktiv skall utredningen redovisa delbetän- kandet rörande ett förslag på ett långsiktigt nationellt utvärderings- program . Utredningen överlämnade delbetänkandet Allt ljus på storstadspolitikens lokala utvecklingsavtal? Förslag till nationellt utvärderingsprogram (SOU 2004:79). , socionom har tjänstgjort som sekreterare i utredningen och Yamam Al-Zubaidi, tolk/översättare har tjänstgjort som sekreterare i utredningen . I arbetet med slutbetänkandet har , forskningsassistent vid medverkat. Professor , , har bistått utredningen med vetenskapligt metodstöd och fil.dr. , och , har bistått utredningen i arbetet med att analysera rapporter. Utredningen får härmed överlämna slutbetänkandet Storstad i rörelse. Kunskapsöversikt över utvärderingar av storstadspolitikens lokala utvecklingsavtal. (SOU 2005:29). Utgångspunkter för arbetet och arbetets gång ............................... De senaste satsningarna .................................................................... Från statliga utredningar till storstadspolitikens utvecklingsavtal..... De lokala utvecklingsavtalen och kommunerna .............. Vad är lokala utvecklingsavtal?................................................ En avtalsform möter sju kommuner....................................... Planer för utvärdering.............................................................. Definition av begreppet........................................................... Utvärdering – uppföljning – forskning .................................. Modeller för utvärdering.......................................................... Kriterier för värdering.............................................................. Vem har utvärderat storstadsarbetet? Vad ska utvärderingarna användas till? Vilka modeller har tillämpats? Vad har utvärderats – och var? Kvaliteten på produkterna ....................................................... Storstadsarbete i rörelse............................................ Områdesutveckling och trygghet .............................. Demokrati och delaktighet......................................... Teman utanför målområdena ..................................... Lyckat eller misslyckat? Det beror på perspektivet...................... Storstad i rörelse, stadsdelar i rörelse............................................. Avtal och organisation i storstadsarbetet ...................................... Utvärdering – nödvändig och utvecklingsbar ............................... Konsekvenser av utredningens förslag ........................ Granskade rapporter fördelat på målområden ..................... De allt tydligare tendenserna mot en ökande social och etnisk segregation i storstäderna har varit en stark drivkraft ba- kom tillskapandet av en samlad storstadspolitik i . driver regeringen på uppdrag en nationell storstadspoli- tik. Politikens övergripande mål är dels att öka de svenska storstads- regionernas förutsättningar för en långsiktigt hållbar tillväxt genom att bidra till nya arbetstillfällen, dels att bryta den sociala, etniska och diskriminerande segregationen. Det senare målet är särskilt in- riktat på bostadsområden med stor andel hushåll i socioekonomiskt utsatta positioner. Ett av de instrument som tillskapats för att bryta segregationen och vända utvecklingen i positiv riktning i dessa stadsdelar är de lokala utvecklingsavtalen (Storstadssatsningen). Genom att länka samman storstadspolitiska mål med lokalt framtagna mål önskar man åstadkomma relevanta långsiktiga insatser byggda på underifrån- perspektiv och samverkan. I detta arbete är utvärdering en viktig del för att följa upp och kritiskt granska vilka erfarenheter och kunska- per som arbetet leder fram till. tecknades de första utveck- lingsavtalen mellan stat och kommun med överenskommelser om ett gemensamt åtagande när det gäller sociala insatser på bostads- områdesnivå. Sju kommuner1 med sammanlagt 24 bostadsområden berörs av avtalen. De sju avtalskommunerna anlitade som en del i programmet lo- kala utvärderare från universitet och högskolor för att ta tillvara gjorda erfarenheter och därmed kunna utveckla verksamheten. De lokala utvärderingsuppdragen kombinerades med ett nationellt ut- värderingsuppdrag förlagt till . Under de år som gått sedan det första lokala utvecklingsavtalet undertecknades har ett 1 , , , , och . stort antal rapporter sett dagens ljus. Det är främst dessa externa utvärderingsrapporter som utgör det huvudsakliga grundmaterialet i detta betänkande. Som ett led i att omvandla gjorda erfarenheter till kunskap har vi fått i uppdrag att inventera, sammanställa och analysera de rapporter m.m. som tagits fram inom ramen för arbetet med de lokala ut- vecklingsavtalen (Direktiv 2003:136). Resultatet presenteras i detta slutbetänkande. Utredningen har haft två parallella inriktningar. Dels har fokus legat på hur externa utvärderare har löst sina uppdrag i utvärderingen av de lokala utvecklingsavtalen, dels på vad dessa rapporter kommit fram till som bidrag till politikområdets kunskapsuppbyggnad. Den första inriktningen handlar om en systematisk granskning av de rapporter som haft i uppdrag att utvärdera insatser och processer inom ramen för de lokala utvecklingsavtalen. Avsikten har dels varit att inventera beståndet av utvärderingar, men också att skapa en grund för att kunna uttala sig om rapporternas kvalitet och tillförlit- lighet. Den andra inriktningen handlar om att närmare studera och ur rapporterna vaska fram intressanta erfarenheter och slutsatser när det gäller det arbete som pågår eller pågått inom ramen för de lokala utvecklingsavtalen. Här uppmärksammas vilka frågor som belysts och vilka erfarenheter och kunskaper som förmedlats. Detta säger dock inget om hur dessa kunskaper har uppfattats eller om de använts i det fortsatta utvecklingsarbetet. Utredningens primära material utgörs av 83 externa utvärderings- rapporter som specifikt har studerat verksamheter inom ramen för de lokala utvecklingsavtalen och (oftast) har beställts inom ramen för avtalen. Varje rapport har systematiskt analyserats av två obero- ende granskare med hjälp av en granskningsmall (se Metodappen- dix). Bland de kommunala rapporterna har Oktoberrapporterna stu- derats. årsrapporter och annan program- dokumentation har använts som referensmaterial. Utöver utvärderingar och statliga och kommunala dokument har vi använt oss av annat referensmaterial, dels med inriktning på ut- värderingsforskning, dels litteratur med anknytning till likartade insatser som de lokala utvecklingsavtalen. Det rör sig även om litte- ratur som diskuterar den typ av problematik som ryms inom de lokala utvecklingsavtalen liksom internationella erfarenheter inom området. Inom ramen för de lokala utvecklingsavtalen har hundratals projekt genomförts i de bostadsområden som bedömts vara de socioekono- miskt och etniskt mest segregerade i landets storstadsområden. Förutsättningarna för arbetet har skiftat i områdena, bland annat med varierande storlek (mellan 3 500 till drygt 24 000 invånare) och målsättningar när det gällt lokala mål för arbetet. Att de lokala må- len skiftat är dock inbyggt i själva grundförutsättningarna eftersom de övergripande inriktningsmålen enligt propositionens intentioner ska anpassas till och förankras i lokala behov. Detta har dock med- fört vissa svårigheter för utvärderare att få en överblick över en komplex situation, men också lett till svårigheter när det gäller att jämföra och dra slutsatser. I propositionen presenterades åtta angelägna målområden som inriktning för arbetet med de lokala utvecklingsavtalen. Vid vår granskning av utvärderingsrapporterna har denna indelning i mål- områden utgjort en ram för att studera utfallet. Trots att utvärde- ringarna endast har studerat en del av alla de insatser, verksamheter och arbetsprocesser som ägt rum, förmedlas bilder av ett mång- facetterat och engagerat arbete i bostadsområdena. Substantiella re- sultat av aktiviteterna har däremot inte varit så lätta att fånga, vilket ytterligare förstärkts av en stor in- och utflyttning i bostadsom- rådena. När det exempelvis gäller sysselsättningsskapande åtgärder är det svårt att uttala sig om huruvida förändrade sysselsättningsnivåer kan kop- plas till de insatser som genomförts inom ramen för de lokala ut- vecklingsavtalen eller om detta snarare beror på generella föränd- ringar på arbetsmarknaden. Här antyds även att bostadsområdet är ett alltför litet upptagningsområde för att organisera och följa upp sysselsättningsåtgärder på ett meningsfullt sätt. Målområdet med inriktning på socialbidragsberoende har utvärde- rats i mycket ringa utsträckning och inte heller här finns svar på frågan om förändringar i socialbidraget hänger samman med de lo- kala utvecklingsavtalen. Då det skett en minskning har denna varit generell och skillnader i förhållande till generella trender i socialbi- draget kan inte påvisas. I de flesta fall är andelen långvariga social- bidragstagare större bland dem som flyttar in i de aktuella bostads- områdena än bland dem som flyttar ut. Utvärderingarna visar på att språkinsatser inom de lokala utveck- lingsavtalen haft en tydlig fokusering på barn i förskola och grund- skola, medan språkinsatser för vuxna förlagts till andra målområden. Trots att språkinsatser för barn varit svåra att mäta på grund av dess långsiktighet, anses de ha stor betydelse i det lokala utvecklings- arbetet. Detta stöds av forskning som visat på vikten av att upprätt- hålla tvåspråkighet. Kritik riktas därmed mot en alltför stark foku- sering på det svenska språket och på kunskapsbrister i svenska språket. Många av de insatser som riktats till skolan har haft inriktning på språkutveckling. Det finns emellertid stora svårigheter att urskilja insatserna inom de lokala utvecklingsavtalen från ordinarie verk- samhet i skolan, vilket orsakar problem när det gäller resultatredo- visning. Det är dock tämligen få utvärderingar som närmare studerat dessa insatser. Samma sak gäller målområdet vuxenutbildning som har utvärderats i en synnerligen begränsad omfattning. I den mån detta studerats har det satts i nära relation till sysselsättning och socialbidrag eller till en allmän höjning av utbildningsnivån bland vuxna och eventuella effekter kan utläsas först på . Även folkhälsoinsatser tycks ha varit besvärliga att hantera för ut- värderarna, bland annat då de verksamheter som placerats inom detta målområde är av mångsidig och skiftande karaktär. Projekt som i och för sig har varit uppskattade och välbesökta är svåra att värdera och utvärderingar som studerar självupplevd hälsa och som relate- rar folkhälsoarbetet till storstadspolitikens målsättningar finns inte att tillgå. Inom målområdet områdesutveckling och trygghet har bland annat lokala brottsförebyggande råd etablerats. Samordning av insatser på lokal nivå har i utvärderingarna bedömts vara ett viktigt inslag i ett lokalt brottsförebyggande arbete. Ett hinder är dock att den lokala problembilden inte alltid utretts i tillräcklig omfattning för att ut- göra grundstomme för arbetet. Invånarna medverkar ofta i trygg- hetssatsningar, eftersom dessa berör förhållanden med direkt an- knytning till vardagen. Satsningar på fysisk upprustning och boende- miljö lyfts fram som viktiga aspekter för att skapa trygga områden och man anser att denna typ av insatser även fortsättningsvis bör bedrivas på områdesbasis. Utvärderingar av demokrati och delaktighet poängterar att det är svårt att avgränsa vad som ingår i detta målområde eftersom kom- munerna fyllt det med de mest olikartade verksamheter. Det kon- stateras att det bedrivits många uppskattade verksamheter inom ramen för målområdet, men att det är svårt att visa på att dessa har varit specifikt inriktade på demokrati och delaktighet utan i stället har handlat om inflytande över perifera och för de lokala utvecklings- avtalen tillskapade verksamheter. Trots att de granskade utvärderingarna skiljt sig åt när det gäller studieobjekt, fokus, infallsvinklar och metoder, så finns det vissa återkommande centrala iakttagelser eller teman som löper som röda trådar genom materialet. Utvärderingarna konstaterar att det finns ett tydligt glapp mellan mål och insats. Den högt ställda övergripande målsättningen för sats- ningen – att bryta den sociala, etniska och diskriminerande segrega- tionen – är orimlig och orealistisk i förhållande till vad som är möj- ligt att åstadkomma i de berörda bostadsområdena genom lokala utvecklingsavtal. Man menar att de övergripande målen avser en samhällsproblematik som inte kan lösas på lokal nivå. Glappet kan också handla om att målen å ena sidan kan vara mycket otydligt eller mångtydigt formulerade, vilket gör det svårt att avgöra vad som förväntas, eller å andra sidan vara alltför specifi- cerade och kvantifierade. Det senare försvåras inte minst om sam- verkande parter påverkas av olika regelverk. Flera utvär- derare ser det som en allvarlig risk att glappet mellan retorik och praktik leder till frustration och besvikelse snarare än till den lokala utveckling som eftersträvas. Svårfångade mål blir ofta resultatet av oklara eller orealistiska målsättningar när det gäller att avgränsa och bedöma det som ska utvärderas. Är det individen eller bostadsområdet som ska stå i fokus när det gäller att bedöma om en verksamhet uppfyller sina mål eller ej? Det som kan vara en positiv utveckling för den enskilde, kan i ett områdesperspektiv bedömas som negativt. Mätsvårighe- terna när det gäller långsiktiga och långsamma förändringsförlopp försvåras ytterligare av en rad påverkande omvärldsfaktorer som är omöjliga att skilja från insatsers eventuella effekter eller bortse från när man bedömer utfallet. Ett återkommande problem i utvärderingarna är mängden av oklara begreppsdefinitioner, rymliga begrepp leder till en rymlig praktik. Vilken tolkning som görs av begreppen har dock stor in- verkan på vad som förväntas i praktisk handling. I många fall klar- görs dock aldrig vilken definition som avses. Ett vanligt exempel som kommit att ses som ett slags gummibandsbegrepp är sam- verkan. De problematiska inslagen när det gäller samverkan är bl.a. att det kan uppfattas som att nästan alla konstellationer där minst två partners är involverade går att benämna som samverkan. Demo- krati, folkhälsa och kultur kan ses som ytterligare exempel på det som kan benämnas som semantiska magneter. I intentionerna till storstadspolitiken poängteras långsiktighet som en av de grundläggande förutsättningarna för att lyckas med de lokala utvecklingsavtalen. I utvärderingarna diskuteras långsiktig- het återkommande i förhållande till paradoxen att bedriva ett lång- siktigt arbete i projektform, effekterna av det kompletterande er- bjudandet och svårigheter att uttala sig om de lokala utvecklingsavtalens långsiktiga konsekvenser. Det så kallade kom- pletterande erbjudandet uppfattades av flera som ett avbrott i ett långsiktigt arbete som påbörjats, inte minst med utgångspunkt från ett medborgardeltagande. Främst drabbades insatser som inte hade en fast förankring i ordinarie verksamheter. Det underifrånperspektiv som omhuldas i riktlinjer och handlings- planer beskrivs av flera utvärderare som ideologiskt laddat men förblir också oklart definierat. På grund av otydligheten vet olika aktörer inte vad som egentligen eftersträvas med begreppet, vilket inte sällan leder till att man väljer olämpliga metoder i förhållande till sina mål. Risken är att man arbetar i blindo, att man mobiliserar människor utan att veta varför och till vad. Om man inte klargör begreppet är det svårt att värdera de insatser man gjort. En central kritikpunkt är att många verksamheter som till namnet exempelvis arbetat med att öka inflytandet för de boende, till viss del inte tycks ha handlat om någon egentlig demokrati och del- aktighet. Flera utvärderare beskriver hur det i stället har rört sig om inflytande över marginella verksamheter som i vissa fall skapats specifikt för att leva upp till intentionerna i de lokala utvecklings- avtalen. En av de allvarligaste aspekterna som flera utvärderare lyfter fram är bedömningen att mycket av retoriken kring underifrånperspektiv får den praktiska påföljden att ansvar skjuts nedåt i samhällssyste- met. Förväntningarna blir höga på att de boende ska fixa allt, dock utan att ha reell möjlighet att ta ansvaret. Utan tvekan har de lokala utvecklingsavtalen bidragit till en rad aktiviteter och insatser som uppfattats som positiva för den en- skilde. Det finns ett par starka positiva stråk i utvärderingarna som återkommande lyfts fram, nämligen framgången för samverkan och språkinsatser. Det ena handlar om samverkan mellan organisationer, inte minst när det gäller samverkan kring sysselsättningsverksam- heter och brottsförebyggande verksamhet. Det andra handlar om utveckling av metoder när det gäller språkverksamhet för barn och unga. Storstadssatsningen har gjort stor skillnad Storstadssatsningen är ett monumentalt misslyckande Två utsagor, parallella och därmed till synes paradoxala. Båda kan – om man undersöker underlaget för utsagorna – sägas beskriva rim- liga aspekter av en verksamhet inom de lokala utvecklingsavtalen. Den avgörande skillnaden är perspektivet. Ur vems perspektiv görs bedömningen? I förhållande till vad kan de lokala utvecklingsav- talen sägas ha gjort stor skillnad respektive vara ett misslyckande? De lokala utvecklingsavtalen har inga förutsättningar att nå upp till det övergripande målet, att bryta den sociala, etniska och diskri- minerande segregationen. Såväl forskare som utvärderare ställer sig eniga bakom detta och menar att målet är överambitiöst och orea- listiskt. Detta förtar dock inte värdet av de insatser som genom- förts på ett lokalt plan i de bostadsområden som omfattas av de lokala utvecklingsavtalen. Där har avtalen i många fall bidragit till en utveckling och gjort en skillnad. Den typ av mångåriga marginaliseringsprocesser som medverkat till uppkomsten av utsatta bostadsområden förändras inte . Att arbeta med att förbättra och stödja välfärdsutveckling i bo- stadsområden som drabbats hårt av segregationens konsekvenser eller att höja den enskildes kompetens är inte oviktigt. Men om inget görs åt de utestängande strukturerna, så lär inte lokala interventioner ensamt kunna påverka genomgripande orsa- ker eller mekanismer. Om man studerar det utsatta området utan att placera in det som en del av det omgivande samhället, skapas endast en partiell förståelse för sammanhangen. Risken är stor att fokus förflyttas från segregationsproblematikens djupt liggande mönster, till en tolkning som är mer politiskt hanterbar. Även om målet att bryta social, etnisk och diskriminerande segre- gation endast i begränsad mening kan hanteras på nivå, innebär inte detta att alla aspekter av segregationsproblematiken bör förläggas bortom det lokala. Ett områdesbaserat välfärdsarbete har vuxit fram med ambitioner om underifrånperspektiv och samver- kan. Insatserna har fokuserat på att utveckla, rusta och kompensera bostadsområdena och dess invånare för den obalans som råder mellan området och omgivningen. Tveklöst har det på det lokala planet gjorts en rad värdefulla erfa- renheter genom de mängder av intressanta och experimentella verk- samheter som ägt rum inom ramen för de lokala avtalen. Svårig- heter finns dock. Demokrati och delaktighet är exempelvis ett om- råde som det knutits stora förhoppningar till inom ramen för de lokala utvecklingsavtalen. Att främja demokrati och öka delaktig- het har blivit en uppgift för förvaltningarna och som sådant både ett mål och ett medel. präglas praktiken av ovana eller bristande intresse för att bygga upp nya hållbara demokratiska strukturer med reellt inflytande. Det hade varit sämre utan insatserna inom de lokala utvecklings- avtalen, särskilt för nyanlända invandrare, menar en rad utvärderare. Detta stämmer även överens med slutsatser som avser internatio- nella jämförelser. Instabiliteten i områdena skapar behov av kom- pensatoriska insatser för att stödja en positiv utveckling och bidra till att säkra en grundläggande välfärdsstandard. Behovet av långsik- tiga satsningar kan betraktas som en bekräftelse på att dagens re- surser inte räcker till. Om det med satsningen gjorts ned- dragningar (exempelvis i skolan) så kan insatserna uppfattas som försumbara eller felriktade. Det kan bli svårt för en medborgare att tolka samhällets signaler om det i ena stunden görs indragningar i vitala institutioner, för att i nästa stund satsas på (relativt) kort- siktiga projekt. Tydligt är att det behövs ett stöd till och en stabili- sering av befintliga strukturer. En del i en helhet Ett problem i såväl insats- som utvärderingssammanhang har varit otydligheten kring huruvida insatserna främst inriktats mot individ eller bostadsområde. Det individuella perspektivet kan ibland stå i direkt motsatsförhållande till områdesperspektivet. Det som kan ses som stabiliserande och stärkande för området (engagerade bo- ende, boende som stannar kvar i området), kan således motverkas av att de individer som stärkts, fått möjlighet att välja bort om- rådet. Vi menar att det aldrig kan betraktas som negativt att en individ utvecklas eller exempelvis gör en boendekarriär, lika lite i dessa områden som i övriga samhället. Att omhulda en områdes- utveckling och en stark gemensam identitet kan i dessa fall para- doxalt nog utvecklas i riktning mot att befästa en segregation som man arbetar för att bryta. är det viktigt att inte under- skatta effekterna av de flyttrörelser som ständigt påverkar befolk- ningsunderlaget och som skapar ett in- och utflöde i om- rådet. Detta talar i sin tur för upprättandet av stabila strukturer. Situationen är komplex. En andra aspekt handlar om hur man på nivå kan underlätta kommunikationen mellan de utsatta områdena och övriga kommunen. Välfärdsforskare har vid upprepade tillfällen varnat för den samtidiga risken för inlåsning i området och ute- stängning från övriga delar av samhället. Möjligheter att länka sam- man och skapa anledningar till utbyte behöver uppmärksammas och diskuteras. Målet att bryta diskriminerande segregation innebär att problematiken måste ses i relation till omvärlden, om det finns ett utanför motsvaras detta också av ett innanför. Huvudmålet kan knappast vara att det ska bli mer positivt att leva segregerat, utan snarare att öppna kontaktytorna för att möjliggöra nya nätverk och andra lösningar. Segregation är inte det utsatta områdets ansvar, det är en fråga för hela kommunen, regionen, samhället. Den tredje aspekten är en variation av de två föregående och lyfter fram några av de omvärldsfaktorer som skapar eller förstärker segregation och som i stora delar ligger på ett strukturellt plan utanför det lokala bostadsområdet, i flera avseenden även utanför kommunen.