sou · GSB379 · 2005-01-01 00:00:00 — 8I texten används även den informella förkortningen LUA om de lokala utvecklingsavtalen. munerna och godkänns slutligen av regeringen. Avtalen innehåller mål, åtgärdsplaner, en plan för uppföljning och utvärdering samt den överenskommelse som träffats för hur kostnaderna för insatserna ska finansieras. Fyra centrala metoder är knutna till avtalen och utveck- lingsarbetet; mål och utvärdering, underifrånperspektiv, samverkan och långsiktighet. Avtalen revideras i en dialog mellan staten och kommunerna baserat på uppföljningsrapporter från kommunerna och på de utvärderingar som genomförts. Regeringen har tecknat lokala utvecklingsavtal med sju kommuner och omfattar totalt 24 stadsdelar. De medverkande kommunerna är , , kommun, kommun, kommun, och kommun. Staten har avsatt för utveck- lingsarbetet och de berörda kommunerna har till motsvarande belopp gjort olika motprestationer. Det senare var en förutsättning som reglerades i avtalen. De lokala utvecklingsavtalen presenteras närmare i kommande kapitel. 3Lokala utvecklingsavtal – ett instrument med utvärdering De lokala utvecklingsavtalen innehåller och åtföljs av ett omfattan- de utvärderingsprogram på såväl lokal som statlig nivå. I detta av- snitt ger vi en kortfattad beskrivning av det lokala utvecklingsav- talets konstruktion, visar på utvärdering som en av dess centrala metoder samt hur det nationella utvärderingsuppdraget genom- förts. 3.1De lokala utvecklingsavtalens konstruktion beslutade om en ny nationell storstadspolitik. De lokala utvecklingsavtalen introducerades som ett instru- ment för att genomföra den nya politiken. De lokala utvecklingsavtalen är i första hand ett instrument för arbetet med att bryta den sociala, etniska och diskriminerande seg- regationen i storstäderna. I Regeringens skrivelse Lokalt utvecklings- arbete i storstäderna (Skr. 2003/04:49)1 hämtar vi följande samman- fattande beskrivning av de lokala utvecklingsavtalens konstruktion: De lokala utvecklingsavtalen består av en s.k. avtalskappa och ett antal bilagor. Avtalskappan reglerar kommunens och statens åtaganden, parternas mål och ansvariga utvärderare. Bilagorna innehåller till exem- pel åtgärdsplaner, samverkansavtal, framtidsbilaga och utvärderings- program. Åtgärdsplanerna kan alltmer ses som stadsdelarnas egentliga utvecklingsprogram med nulägesbeskrivning, analys, strategi och val av insatser. I avtalet redovisas en sammanhängande målkedja. Den innehåller övergripande nationella mål beslutade av och lokala effekt- mål som kommunerna tagit fram i samverkan med andra aktörer. Ut- värdering görs både på nationell och på nivå. (ibid s. 23–24)2 1Regeringens skrivelse Lokalt utvecklingsarbete i storstäderna (Skr. 2003/04:49). 2Förkortningen ibid efter citat betyder i samma skriftliga källa, dvs. i den senast använda referensen. Tanken med förkortningen är att underlätta läsningen. Lokala utvecklingsavtal - ett instrument med utvärdering De lokala utvecklingsavtalen bildar således en ram för de överens- kommelser som stat och kommun träffar om åtaganden i berörda stadsdelar. Då segregationens mekanismer är komplexa och lokala förutsättningarna och behov ser olika ut kan innehållet i de lokala utvecklingsavtalen skifta mellan de olika kommunerna (och stads- delarna). Samtliga har dock en gemensam struktur för hur de är konstruerade. Med avtalen följer en fortlöpande revideringsprocess med årliga lägesrapporter i en dialog mellan stat och kommun. 3.2Utvärdering som en central metod För genomförandet av de lokala utvecklingsavtalen är fyra centrala metoder knutna till avtalen och utvecklingsarbetet Målstyrningsmodellen är avsedd att ge en möjlighet att länka sam- man de storstadspolitiska målen med de mål som tagits fram på lokal nivå. Målstyrning formar grunden för uppföljnings- och ut- värderingsarbetet. Storstadspropositionen betonar på flera ställen vikten av ett ut- vecklat underifrånperspektiv som nödvändig betingelse för att nå långsiktiga effekter av de insatser som görs. Samordning, samsyn och samverkan över sektorsgränser, politik- områden och mellan lokal, regional och central nivå samt utveck- lande av nya samverkansformer ges en stor betydelse i det loka- la utvecklingsarbetet. Till skillnad från tidigare projektbidragsmodeller finns en strä- van att göra långsiktiga bedömningar i valet av insats. Fram- gångsrika metoder och nya samverkansformer förväntas inför- livas i ordinarie strukturer och finansieras med befintliga medel när den statliga satsningens finansierande del avslutas. Utvärdering ingår således som en del i de centrala metoder som presenterats ovan. Lokala utvecklingsavtal - ett instrument med utvärdering I den nordiska traditionen har utvärderingar ofta levt en relativt undanskymd tillvaro trots en lång och utvecklad tradition av utred- ningsverksamhet inom offentlig sektor.3 Detta återspeglas i uttalan- den som gjordes i den svenska storstadskommitténs slutbetänkande Tre städer (SOU 1998:25)4 , då bristen på uppfölj- ningar och avsaknaden av intresse för utfallet skarpt kritiserades: Den allvarligaste kritiken riktar vi mot flertalet av de statliga stöd- insatserna, för den nästintill totala avsaknaden av uppföljning och ut- värdering av de genomförda satsningarna... Detta är upprörande. Först satsar stat och kommun miljardbelopp på tusentals enskilda projekt, sedan visar man ett högst mediokert intresse för resultaten. (ibid s. 122). En ambition med storstadssatsningen var att tidigt skapa beredskap för att ta hand om den flora av erfarenheter och resultat som sats- ningen skulle generera. I förhållande till tidigare satsningar, som "Blommansatsningen" och "Nationellt exempel", fanns en medveten ambitionshöjning när det gällde vikten av att avsätta medel för utvärderingar och uppföljningsrapporter. Ambitionshöjningen kan ses som ett av svaren på den kritik som framfördes i Tre städer (SOU 1998:25). Genom att ställa krav på kommunerna om genomförande av lokala utvärderingar som en av förutsättningarna vid upprättande av lokala utvecklingsavtal (och därmed beviljas tillgång till statliga medel), ville man från statligt håll försäkra sig om en dokumentation kring och bedömning av resursernas användning. Ambitionen var inte bara att följa insatserna och deras effekter, utan även att följa utvecklingen i utsatta bostadsområden och bidra till kunskaps- och erfarenhetsspridning till kommuner, myndigheter och andra aktörer (2000, s. 43). Erfaren- heter skulle tas tillvara för att primärt utveckla insatserna i de utvalda kommunerna, men också för att ge möjlighet till spridning till kommuner med en likartad situation. Genom att utvärderingarna även hade som syfte att ge råd, stöd och kritik under arbetets gång, förväntades de kunna leda till förbättringar i genomförandet av in- satserna. Med de lokala utvecklingsavtalen ville man således från centralt håll betona vikten av en löpande uppföljning och en långsiktig kun- skapsuppbyggnad bl.a. i form av utvärdering. 3Se exempelvis Furubo (2004). 4Storstadskommittén (1998) Tre städer. SOU 1998:25, . Lokala utvecklingsavtal - ett instrument med utvärdering Kommunerna har således självständigt ansvarat för att genomföra lokala utvärderingar vilket reglerats i de lokala utvecklingsavtalen. Man har anlitat externa utvärderare från högskolor och universitet för att utvärdera de lokala satsningarna. Drygt ett hundratal ut- värderingar och externa rapporter har producerats på lokal nivå och arbetet med att sammanställa och värdera detta material ingår bland annat i denna utrednings huvuddirektiv.5 Parallellt med de lokala utvärderingarna förlades ett nationellt utvärderingsuppdrag till , i avsikt att få en över- blick och en samlad analys av utvecklingen. har i vissa fall lagt ut uppdrag till externa ut- förare.6 Regeringen har dessutom lagt ut ytterligare utvärderingsuppdrag på andra utförare som bidragit med studier av storstadsarbetet.7 För att således säkerställa en överblick och samlad analys av erfaren- heterna av de lokala utvecklingsavtalen, fick i uppdrag att vara huvudansvarig för en nationell utvär- dering. Den nationella utvärderingen skulle enligt regeringens be- slut löpa parallellt med de lokala utvecklingsavtalen, dvs. genomförde mycket riktigt uppdraget . förlängdes dock de lokala utvecklingsavtalen tidsmässigt bland annat genom att kompletteras med ett erbjudande om utsträckt avtalstid. Huvudsyftet med den nationella utvärderingen, som beskrivs i slutrapport8, var att "skapa ett underlag som gör det möjligt att dra relevanta slutsatser om hur det framtida stor- stadsarbetet och även den framtida utvärderingen kan utformas" (ibid s. 7). I slutrapporten konkretiseras flera syften (vår kursivering): 5Utredningens arbete i denna fråga kommer att redovisas . 6Riksantikvarieämbetet, vid , Socialhög- skolan i och Mångkulturellt centrum i Borkyrka. 7Andra uppdragstagare har varit: Verket för näringslivsutveckling (), (), Statskontoret, () och Mång- kulturellt centrum i . 8Integrationsverkets rapportserie 2002:5 På rätt väg? Lokala utvecklingsavtal - ett instrument med utvärdering 1.Att beskriva utvecklingen i de berörda storstadsområdena så långt det är möjligt, bland annat med hjälp av att tydliggöra tillståndet i områdena. 2.Att analysera storstadspolitikens övergripande mål att bryta segre- gationen, bland annat genom att diskutera storstadssatsningens områdesfokuserade strategi i förhållande till detta mål. 3.Att granska genomförandet av storstadspolitiken, bland annat utifrån honnörsorden långsiktighet, underifrånperspektiv, sam- verkan och helhetssyn. 4.Att analysera storstadssatsningens hinder och möjligheter. 5.Att lämna förslag på hur framtidens politik och praxis bör ut- vecklas. sökte olika vägar till information och kunskap för att belysa insatserna och deras sammanhang. En ambition var att presentera lägesrapporter om tillståndet främst i de utvalda om- rådena, för att i ett senare skede, om möjligt, kunna avläsa effekter av insatserna. Vidare bildades en referensgrupp med uppgift att löpande bidra med synpunkter, ge stöd i strategi- och metodfrågor och medverka vid tolkning av resultaten9. sökte stöd från forskare ur olika discipliner och utvecklade ett statistiskt instrument, STATIV, för att säkerställa statistik av intresse för storstadsarbetet och som hämtade material från en rad källor. En enkätstudie genomfördes bland boende i de bostadsområden som berördes av storstadssatsningen och två delrapporter med inriktning på ett nordiskt perspektiv respektive medier delegerades till externa aktörer. arbete presenterades (med något undantag) som delrapporter i rapportserie10. Rapporterna har producerats dels inom verket, dels i samarbete med en rad externa aktörer. Inriktningarna på rapporterna belyser olika infalls- vinklar som bedömts viktiga för att få ett mångsidigt underlag. 9 I referensgruppen återfinns representanter från centrala myndigheter, kommuner, universitet och . 10 Att rapporterna presenteras i denna rapportserie innebär att de dels är tillgängliga för beställning i upptryckt format, dels finns att tillgå via i pdf- format. Lokala utvecklingsavtal - ett instrument med utvärdering I slutrapporten rätt väg?11 presenteras de rapporter som producerats: och delaktighet (rapportserie 2000:8) presenterar resultat från en enkätundersök- ning om de organisatoriska förutsättningarna för storstadsarbetet. Målområdesindikatorer och analyser (rapport- serie 2001:06) presenterar indikatorer som kan användas för att följa upp utvecklingen i de områden som berörs av storstadssats- ningen. Utvecklingen i storstadssatsningens 24 bostadsområden –2000 (rapportserie 2001:09) kompletterar före- gående rapport genom en demografisk beskrivning av områdena. Främst belyses utvecklingen när det gäller sysselsättningsgrad, socialbidragsberoende respektive utbildningsnivå. Förort i fokus – interventioner för miljoner (rapportserie 2002:01) är en kunskapsöversikt över forskning kring interventioner i utsatta bostadsområden i och . Miljonprogram och media – Föreställningar om människor och förorter (, 2002) är en analys av mass- medias beskrivningar av förorten. På rätt väg? Slutrapport från den nationella utvärderingen av stor- stadssatsningen (rapportserie 2002:05) samman- fattar och kompletterar de övriga rapporterna och presenterar slut- satser baserade på den gångna tidsperioden. I slutrapporten uppges att rapporten inte innehåller slutsatser om resultatet av insatserna eftersom det anses ha förflutit för att kunna urskilja och se effekter av insatserna. I stället redo- visar man en lägesbeskrivning för utvecklingen i de stadsdelar som ingår i avtalen när det gäller arbetet med att bryta segregation. nationella utvärdering genomfördes enligt tidsplanen och avslutades . 11 rapportserie 2002:5 På rätt väg? Lokala utvecklingsavtal - ett instrument med utvärdering sitt uppdrag pågick dock fortfarande lokala utvärderingar i kommun- erna. möjlighet att genomföra uppföljande studier inom uppdraget försvann därmed liksom möjligheten att studera effekter av insatserna. Utan en longitudinell studie är det svårt att hävda ett långsiktigt perspektiv. kan således snarare betraktas som en avstämning under pågående arbete än som en slutrapport. Reaktioner på nationella utvärdering som framkommit under vårt arbete berör bl.a. just detta faktum, att upp- draget avslutades innan aktiviteterna inom satsningen vare sig var slutförda eller utvärderade. 4 Vad är utvärdering? Utvärderare som är modig, klarspråkig, oberoende, tvärvetenskap- ligt mångkunnig, genomskådande, metodiskt oklanderlig, analytiskt fulländad och tillika processtödjande. En snabb och socialt tillgäng- lig medaktör med väl förankrade analyser, en suverän överblick och mandat att påverka. En utvärderare med förmåga att kommunicera med vem det vara månde, vara väl insatt i utvärderingsmetoder och forskningsanalytiska förklaringsmodeller och avslutningsvis kunna sammanfatta essensen av sakfrågorna på ett intresseväckande och igenkännbart sätt. Den omnipotenta utvärderare som vi inspirerats att efterlysa ovan, är en sällsynt varelse enligt vår mening. Att härbärgera alla dessa egen- skaper är få (om ens någon) förunnat. I våra möten med de åtta fokusgrupperna1 är detta dock en inte helt ovanlig "beställning". Det är inte heller ovanligt att deltagarna i grupperna uttryckt besvikelse över utvärderarnas bristande förmågor, svårtillgängliga och svår- användbara alster och svävande slutsatser. Men vad är då utvärdering och vad är det utvärderaren förväntas prestera? Ett av de stora områdena som det återstår att för- vetenskapliga är politiken. Utvärdering av offentlig politik med strikt naturvetenskapligt inriktade metoder kan ses som ett försök att driva ut känslor och ur politiken och göra den mer resultatorienterad, faktabaserad, välövervägd och rationell. Vedung (2004, s. 17) 1 Se Inledning eller Metodappendix om fokusgrupperna. Vad är utvärdering? I finns sedan ansenlig tid tillbaka en rik och upparbetad tradition av att producera statliga publikationer2 bland annat med ambition att klarlägga tillståndet bland befolkningen och fungera som underlag för ställningstaganden och politiska beslut. kan man betrakta utvärdering som en naturlig del i denna tradition, dock utan att själva begreppet utvärdering an- vändes3. En självklar del av en politisk och administrativ kultur var (och är) att förse beslutsfattare med underlag av utvärderings- karaktär. Först lyftes detta fram som en specifik verksamhet. Utvärdering beskrivs, med en blick i backspegeln, som tämligen osynlig, en "osjälvständig företeelse", en "icke-profession" (Furubo 2004)4. Utvärderingen har således först be- traktats som en egen kompetens. Detta accentuerades inte minst i samband med utvecklingen av en allt starkare tilltro till ett ratio- nellt tänkande och på statens möjligheter att lösa problem och styra utvecklingen genom en rationell hantering av planering, genomförande och därpå följande uppföljning och utvärdering. Tydligast kom detta till uttryck genom den s.k. sociala ingenjörs- modellen, med en tilltro till ett nära samband mellan vetenskap och politiskt beslutsfattande och en tro på vetenskapliga utvärderingar. Det handlar om att staten skall intervenera därför att vi tror att staten eller kommunerna kan överblicka de samhälleliga förloppen, att vi vet hur problemen skall lösas och kan bedöma alla effekter och förlopp våra lösnings-interventioner har gett upphov till (Furubo 2004, s. 5). Efter hand uppmärksammades dock att det inte alltid blev som man planerade, att oavsett hur väl man planerade kunde oförutsedda bi- effekter eller avvikelser uppstå. Ett ökande intresse för genom- förandets eller implementeringens problem och icke förutsedda effekter uppstod som en diskussion fördes om det orea- listiska i att kunna förvänta sig värdeneutrala vetenskapliga utvärde- ringar. Beslutsfattarnas ensamrätt att beställa och nyttja utvärde- ringar ifrågasattes. Vedung (2004) beskriver hur tilltron till en radikal 2Exempelvis (1970), Levnadsnivåundersökningarna (LNU, 1974, 1981, 1991), Undersökningar av svenska folkets levnadsförhållanden (, en rad skrifter utgivna av ), över huvud taget rapporter och publika- tioner från en rad olika kommittéer som Kommittén Välfärdsbokslut, , etc. 3Enligt Furubo (2004) ses som ett av pionjärländerna när det gäller att anamma tanken om utvärdering , tillsammans med länder som , , , , . 4En mer ingående beskrivning av framväxten av utvärderingar ges exempelvis i International (Furubo, Rist & , 2002). Vad är utvärdering? rationalism efter hand ersattes med nyliberala strömningar som bland annat tog sig uttryck i med grundläggande element som 1) tro på ett professionellt ledarskap (effektivitet, pro- duktivitetskrav), 2) indirekt snarare än direkt styrning och kontroll (konkurrens, kvalitetssäkring, mål/resultatstyrning) och 3) fokus på medborgare och brukare som kunder (brukarinflytande, stadsdels- nämnder, nöjd-kund-index)5. Vedung (2004) beskriver utvärdering som del i en megatrend . Drivkraften att göra den offentliga politiken mer vetenskaplig finns kvar . Utvärdering tenderar att vara en själv- skriven del i den tidstypiska liberala tankeströmning som präglar (med modernisering, rationalisering). Utvärdering får en ökad betydelse med kostnadskriser i den offent- liga sektorn och dess åtföljande krav på ökad produktivitet och effektivitet. I spåren av en kritik av den representativa demokratin ses deltagarorienterad och dialoginriktad utvärdering som delar av ett botemedel. Andra tendenser handlar om att utvärderingsaktiviteterna har ökat både i och i andra länder utvärderingar har blivit mer institutionaliserade i och med ett ökat intresse för att integrera utvärdering i exempelvis statliga organisationer den akademiske utvärderaren med forskarbakgrund har fått konkurrens av en bred och växande kår av interna utvärderare, utvärderingspraktiker, expertpaneler, konsulter, med flera6 utvärdering fyller allt fler funktioner, som ledningsverktyg, som att öppna möjligheter till dialog mellan olika intressenter, som att möta behovet av att hantera en omfattande och komplex kunskapsström som ökat till följd av ett expanderande informationssamhälle (och 2003) 5Se vidare exempelvis Vedung 2004. 6Ett tecken på detta är ett växande antal professionella föreningar för utvärdering, som () 2003, Dansk evalueringsselskab 2000, () 1994, m.fl. Vad är utvärdering? 4.2Begreppet Utvärdering – en framåtsyftande tillbakablick Utvärderingsbegreppet har beskrivits som något av en "semantisk magnet"7 som kommit att beteckna en allt vidare rad av aktiviteter. Risk för en viss begreppsförvirring råder, inte minst därför att det inte finns någon enighet kring vad som ska betecknas som ut- värdering. Utöver en viss gemensam grund kan oenigheten präglas av uttolkarnas skillnader i referensramar och traditioner8. Detta innebär att för utvärderingen är perspektivvalet av stor betydelse såväl för vilken fångst man får i sitt nät när man söker kunskaps- källor, som hur källorna analyseras. En positiv aspekt med detta är möjligheten att jämföra eller ställa olika utvärderares resultat och tolkningar mot varandra och i bästa fall "bidra till en helhets- förståelse och fungera frigörande" (1992). Därmed finns det anledning att vara observant på vilken definition och vilken referensram en utvärderare utgår ifrån9. Vad är då skillnaden mellan uppföljning och utvärdering? En uppföljning innebär att ett förlopp dokumenteras och beskrivs. Den beskriver utfallet, det som faktiskt hände – t.ex. att av deltagarna fick (eller inte fick) ett reguljärt arbete efter programmets slut – men den säger ingenting om varför det hände eller vad som skulle ha hänt i frånvaro av det studerade programmet. (Hemström & 2002) En uppföljning ryms inom ramen för en utvärdering. Uppföljning- en kan i själva verket ses som de första stegen i en utvärdering. Men där uppföljningen avslutas fortsätter i stället utvärderingsarbetet ytterligare ett steg, nämligen med själva värderingen. Med en brett accepterad definition av utvärdering, här formulerad av (2003), kan utvärdering således beskrivas som en systematisk kartläggning och bedömning av en pågående eller avslutad verksamhet. Utvärdering betyder att man beskriver, ana- lyserar och värderar en verksamhet. 7Begreppet är hämtat från Vedung (1991), som i sin tur blivit inspirerad av andra forskare. När ett begrepp blivit så populärt och använt att det börjar omfatta en allt större mängd nya betydelser, förlorar det något av sin specifika innebörd. Termen har attraherat så många snäva och vidsträckta innebörder att den blivit svårhanterlig i samhällsvetenskaplig teoribildning. 8I forskarsammanhang kan det exempelvis skilja sig åt mellan en strikt naturvetenskaplig eller nationalekonomisk tradition i förhållande till en mer samhällsvetenskapligt inriktad tradition. 9Se vidare i den växande av litteratur kring utvärderingar, där bland annat flera böcker av Vedung är flitigt använda som referens. Vad är utvärdering? Med en något utvidgad definition beskriver och (2001) utvärdering inom den offentliga sektorn som en noggrann bedömning av en pågående eller avslutad intervention i syfte att den skall spela en roll i samtida eller framtida praktiska handlings- situationer. Här inbegrips således även tanken att utvärderingen ska ligga till grund för överväganden kring kommande handlingar, vilket ligger i linje med detta utredningsuppdrag. Syftet med en ut- värdering kan i detta fall enligt författarna sammanfattande benäm- nas som "en framåtsyftande tillbakablick. Medan en uppföljning således avser att följa upp och dokumen- tera en aktivitet, görs dessutom i en utvärdering en bedömning eller värdering i avsikt att söka förklaringar och orsakssammanhang. Denna värdering eller bedömning innebär en tydlig vägning mot en värdenorm eller mot bedömningskriterier. Att denna bedömning görs, säger dock inget om innehållet i de värdenormer eller kriterier som väljs och inte heller något om kvaliteten på det arbete som genomförs. 4.3Kontrollerande, främjande, stödjande Oavsett hur man slutligen definierar vad en utvärdering är, så finns det en rad centrala frågor man måste ställa sig för att kunna ta ställ- ning till vilken typ av utvärdering man är intresserad av. Frågorna är inte minst viktiga att ta ställning till inför en beställning av en utvärdering eller formulerande av ett utvärderingsprogram, men kan också utgöra en återkommande påminnelse om utvärderingens syfte under arbetets gång10: Varför ska utvärderingen göras och hur ska den användas? För vem ska utvärderingen göras? Ur vilket perspektiv? Vad ska utvärderas? Vad är studieobjektet? Vem ska utvärdera? Ska det ske internt eller externt? Hur och när ska utvärderingen genomföras? Flera av dessa frågor kommer i osorterad ordning att återkomman- de belysas och diskuteras på olika platser i denna utredning. Här först dock några generella utgångspunkter. 10 Efter Vedung (1991) och (2003). Vad är utvärdering?