sou · GTB329 · 2006-01-01 00:00:00 — Vi anser inte att de förslag som lämnas i detta slutbetänkande är av den art, eller får inverkan på de i 15 § kommittéförordningen nämn- da områdena i en sådan omfattning att det är motiverat med en sär- skild redovisning av konsekvenserna. Utvärdering av lokala utvecklingsavtal Beslut vid regeringssammanträde . En särskild utredare tillkallas för att utvärdera de rapporter m.m. som tagits fram inom ramen för arbetet med lokala utvecklingsavtal. Utredaren skall inventera, sammanställa och analysera rapporterna i syfte att omvandla gjorda erfarenheter till kunskap. Utredaren skall, som ett led i erfarenhetsspridning och kunskaps- uppbyggnad, under hand och i lämplig omfattning göra resultatet av sitt arbete tillgängligt för de i de lokala utvecklingsavtalen samver- kande parterna, kommuner med liknande situation som kommuner med lokala utvecklingsavtal och för andra intressenter. Slutligen skall utredaren, med beaktande av relevant kompetens inom de områden som är av betydelse för det lokala utvecklingsar- betet, lämna förslag på ett nationellt utvärderingsprogram för lokala utvecklingsavtal. godkände regeringens förslag om mål och inriktning för storstadspolitiken (prop.1997/98:165, bet. 1998/99:AU2, rskr.1998/99:34). Regeringen beslutade att det inom skulle tillsättas en storstadsdelegation med uppgift att utveckla och samordna den nationella storstadspolitiken. Stor- stadspolitiken skall införlivas i ordinarie strukturer hos berörda kommuner, statliga myndigheter och andra samverkande aktörer varför inga nya medel beräknats . Målen för storstadspoliti- ken är att ge storstadsregionerna goda förutsättningar för långsiktigt hållbar tillväxt. Storstadspolitiken bör därmed kunna bidra till att nya arbetstillfällen skapas såväl inom storstadsregionerna som i öv- riga delar av landet (tillväxtmålet), samt att bryta den sociala, etniska och diskriminerande segregationen i storstadsregionerna och att verka för jämlika och jämställda levnadsvillkor för storstädernas in- vånare (segregationsmålet). Till det senare målet har ett nytt instrument utvecklats för frivillig samverkan mellan staten och vissa storstadskommuner, s.k. lokalt utvecklingsavtal. I avtalen samlas det utvecklingsarbete som görs i tjugofyra stadsdelar i de tre storstadsregionerna , och . Sammanlagt har avsatts i statliga medel för utvecklingsarbetet. Berörda kommuner – , , , , , och har till motsvarande belopp gjort olika motprestationer, t.ex. åtagan- den via kommunägda bostadsbolag. Till de lokala utvecklingsavtalen hör ett omfattande utvärderings- program, dels på nationell nivå, dels på lokal/nivå genom villkor i respektive avtal om extern utvärdering. Utvärderingspro- grammet är ett led i politikområdets kunskapsuppbyggnad och i att kvalitetssäkra utvecklingsarbetet. Den nationella utvärderingen har svarat för tillsammans med Mångkulturellt Cent- rum i som följt ett lokalsamhälles () ut- veckling mer ingående. har även låtit Lunds uni- versitet ta fram en nordisk kunskapsöversikt. genomfördes en avstämning av det storstadspolitiska arbetet. Avstämningsarbetet har benämnts Storstad och framtid och kommer att redovisas i en skrivelse till . Under avstämningen har redovisats drygt 150 rapporter, utvärderingar och studier av olika slag som tagits fram inom ramen för arbetet med de lokala utvecklingsavtalen. har en dialog förts med berörda kommuner, statliga myndigheter, samverkande parter och forskare knutna till utvecklingsavtalen om behovet av att systematisera gjorda erfarenhe- ter – att omvandla erfarenheter till kunskaper med utgångspunkt i de rapporter m.m. som redovisats under avstämningsarbetet. Regeringen har initierat arbetet med att utveckla erfarenhets- spridning och kunskapsöverföring nationellt respektive internatio- nellt. En arbetsgrupp kommer att utveckla metoder och instrument för nationellt erfarenhetsutbyte och kunskapsöverföring inom ramen för lokala utvecklingsavtal. Arbetsgruppen leds av kom- mun som av regeringen beviljats särskilda medel för detta. För att samordna en kartläggning av motsvarande internationellt erfaren- hetsutbyte har regeringen även beviljat sär- skilda medel. har särskilt betonat vikten av att erfaren- hetsspridning och kunskapsuppbyggnad sker parallellt med det fort- satta arbetet i kommunerna för att undvika avbrott i utvecklingen av stadsdelarna. Omvandla erfarenheter till kunskap Utredaren skall utvärdera de rapporter m.m. som tagits fram inom ramen för arbetet med lokala utvecklingsavtal. Utredaren skall inven- tera, sammanställa och analysera rapporterna i syfte att omvandla gjorda erfarenheter till kunskap. Tydlig åtskillnad skall göras mellan erfarenheter, t.ex. goda exempel, och underbyggd kunskap. Ett jäm- ställdhetsperspektiv skall anläggas. Sprida erfarenheter under utredningens gång Storstadspolitiken skall generellt sett bidra till att vunna erfarenheter sprids såväl inom storstadsregionerna som till landet i övrigt. Utre- daren skall, som ett led i erfarenhetsspridning och kunskapsupp- byggnad, under hand och i lämplig omfattning göra resultatet av sitt arbete tillgängligt för de i de lokala utvecklingsavtalen samverkande parterna, kommuner med liknande situation som kommuner med lokala utvecklingsavtal och för andra intressenter. Utredaren skall vidare överväga och föreslå hur erfarenheterna av de lokala utveck- lingsavtalen bör spridas i ett längre perspektiv. Ett nära samarbete förutsätts ske med den arbetsgrupp kommun leder för att utveckla metoder och instrument kring erfarenhetsspridning och kunskapsöverföring samt med kring kartlägg- ningen av motsvarande internationellt erfarenhetsutbyte. Samarbetet skall syfta till att stärka det pågående operativa arbetet i stadsdelar som omfattas av lokalt utvecklingsavtal. Föreslå ett långsiktigt nationellt utvärderingsprogram som lämnades pekar på att det var för tidigt att bedöma effekter av gjorda insatser inom ramen för de lokala utvecklingsavtalen. långsiktiga utvecklingsarbete som bedrivs inom storstadspolitiken behöver ett långsiktigt utvärderingsperspektiv. Utredaren skall, med beaktande av relevant kompetens inom de områden som är av bety- delse för det lokala utvecklingsarbetet, föreslå ett långsiktigt natio- nellt utvärderingsprogram för lokala utvecklingsavtal. Utredaren skall i denna del lämna ett delbetänkande . Att beakta i övrigt Utredaren är oförhindrad att arbeta med referensgrupper och arbets- grupper. Utredaren skall beräkna de ekonomiska konsekvenserna av förslag som lämnas. Utredaren skall vid eventuella kostnadsökningar även föreslå finansiering. Uppdraget skall redovisas . Tilläggsdirektiv till utredningen om utvärdering av lokala utvecklingsavtal (Ju 2003:10) Förlängd tid för delbetänkande Med stöd av regeringens bemyndigande till- kallade statsrådet en särskild utredare med uppdrag att utvärdera de rapporter m.m. som tagits fram inom ramen för arbetet med de lokala utvecklingsavtalen (dir. 2003:136). Uppdraget skall enligt direktiven redovisas . Utredaren skall även lämna ett förslag på ett långsiktigt nationellt utvärderingspro- gram av lokala utvecklingsavtal. Förslaget skall enligt direktiven redovisas i ett delbetänkande . Utredaren har begärt att tiden för delbetänkandet förlängs. Tidpunkten för redovisningen av delbetänkandet ändras till . Granskade rapporter fördelat på mål- områden Ahlstrand, et al (2002) Ahlstrand, et al (2001) , (2004) , et al (2002a) , et al (2002b) , et al (2004) , (2004) , et al (2004) , et al (2002) , (2002) , (2004) , et al (2002) , et al (2004) Bevelander, et al (2000) Bevelander, et al (2001a) Bevelander, et al (2001b) Bevelander, et al (2002) Bevelander, et al (2004) Blob, (2004) , (2004) Bringlöv, (2002) Bucht, et al (2002) Bunar, Nihad (2003) Bunar, Nihad (2004) , et al (2002) Dejin , E et al (2004) , (2004) , (2003) Hajighasemi, (2002) Hajighasemi, (2003) Hedblom, (2004) , (2002) , (2003) Hosseini-Kaladjahi, (2002a) Hosseini-Kaladjahi, (2002b) Hosseini-Kaladjahi, (2003) Hosseini-Kaladjahi, (2004) , (2004) , (2003), , et al (2004) , (2003) , (2004) Lawson, (2002) Lawson, (2003) , et al (2003) , (2003) , (2002) , (2002) , (2003) , (2004) Ljungar, (2002) SOU 2005:29 Bilaga 3 Ljungar, (2004) Ländin, (2004) , (2004) Marttila, et al (2002) Motsieloa, et al (2002) , (2003) , (2002) , (2003) , et al (2002) Parszyk, (2003a) Parszyk, (2003b) Popoola, et al (2001) Sahlén, (2002) Salameh, (2000) , et al (2004) , (2003a) , (2003b) Spångberg, et al (2002) , (2004) Tranquist, (2001) , (2003) , (2004) , (2003a) , (2003b) , (2004) Utredningens uppdrag är att utvärdera de rapporter m.m. som tagits fram inom ramen för arbetet med de lokala utvecklingsavtalen. Detta innebär enligt direktivet1 att utredningen skall sammanställa och ana- lysera rapporterna i syfte att omvandla gjorda erfarenheter till kun- skap. I detta avsnitt kommer vi att mer noggrant redogöra för arbe- tets gång, de metoder vi använt oss av och de överväganden vi gjort. Att samla och sammanställa Att inventera, identifiera och spåra upp de rapporter som har tagits fram inom ramen för de lokala utvecklingsavtalen har varit tids- krävande. Det rör sig om kommunala verksamhetsrapporter och själv- utvärderingar, årsrapporter och dokumenta- tion, publikationer från centrala myndigheter och utvärderingar genomförda av externa forskare och utvärderare2. Utredningen har via personliga kontakter med de kommunala samordnarna, stor- stadskansliet och forskare samt genom Internet fått tillgång till en del av det eftersökta materialet3. Insamlingsprocessen pågick fram till och omfattade som mest ca 160 rapporter. En samlad bild av denna rika textproduktion är att den visade sig innehålla rapporter av högst skiftande karaktär. Här återfanns under- lagsrapporter för kommande undersökningar, rapporter från tidigare satsningar, interna verksamhetsutvärderingar och material av för- klarande och informerande karaktär. Det kunde exempelvis vara 1Se direktivet i bilaga. 2Med intern utvärdering: avses att utvärderaren är en del av (eller anställd i) den organisation som utvärderas. I en extern utvärdering har utvärderaren ett utvärderingsuppdrag, men är anställd utanför den organisation som utvärderas. Se även kapitel 4 samt SOU 2004:79 där detta problematiseras. 3Exempelvis hemsida () samt de berörda kom- munernas hemsidor. Kontakt har även tagits med vid , , för diskussion kring rapportlistor. Denvall ansvarar för ett forsknings- projekt med inriktning på Nutida utvärderande av sociala program (2001–2005). fråga om undersökningar bland befolkningen i de av avtalen berör- da bostadsområdena, utvärderingar riktade mot en viss typ av insat- ser, rapporter som diskuterar mätningsproblematik eller utvärdering- ar som ger en samlad bedömning av det lokala utvecklingsavtalet i en viss kommun. Vissa utvärderingar benämns delrapporter och en del verksamhetsrapporter benämns utvärderingar. I vissa fall visade det sig att planerade utvärderingsrapporter inte publicerats och i andra fall har de slagits samman med flera andra. Det saknas således en sortering och enhetlig definition på vad som är vad i denna rika produktion. Det har därför varit viktigt för utred- ningen att avgränsa för att kunna fokusera på ett primärt material att granska och värdera. En lista över de utvärderingarna som kom att ingå i detta material har tagits fram och presenteras i bilaga4. Det material som publiceras inom ramen för de lokala utvecklings- avtalen följer en viss logik. De otaliga verksamhetsrapporter som verksamhetsansvariga på lokal nivå producerar samlas och samman- fattas i kommunernas årliga redovisningar till i form av Oktoberrapporterna. –2004 presen- terades således ett drygt 20-tal Oktoberrapporter. Dessa rapporter utgör i sin tur ett underlag både för de externt utförda utvärdering- arna och för årsrapporter. Utredningens primära material har avgränsats till externa utvär- deringsrapporter, då dessa i sitt utvärderingsuppdrag studerar och utgår från lokala verksamhetsbeskrivningar och Oktoberrapporter- na. En huvudavgränsning i primärmaterialet är att dessa externa ut- värderingsrapporter ska ha beställts (och därmed finansierats) inom ramen för de lokala utvecklingsavtalen, bland annat då en del av medlen inom avtalen har reserverats för utvärderingskostnader5. En annan avgränsning är att rapporterna ska vara fokuserade på verk- samheter som bedrivs inom ramen för avtalen. Den första avgräns- ningen kan tyvärr innebära att fristående rapporter med annat fokus än de lokala utvecklingsavtalen hamnar utanför materialet, trots att de kan innehålla intressanta infallsvinklar. Detta kompenseras genom den andra avgränsningen som inkluderar rapporter som har foku- 4Se vidare i källförteckning samt Granskade rapporter fördelade på målområde i bilaga. 5För perioden uppgår detta till . Jfr kapitel 3. serat på verksamheter finansierade inom ramen för avtalen, även om själva rapporterna inte är finansierade inom avtalen. Utredningens primära material utgörs således av 83 utvärderings- rapporter som specifikt har studerat verksamheter inom ramen för de lokala utvecklingsavtalen och (oftast) har beställts inom ramen för avtalen. Dessa rapporter har utredningen systematiskt granskat och analyserat med hjälp av en granskningsmall som presenteras ne- dan. årsrapporter och annan programdoku- mentation har använts som referensmaterial. Bland dessa har Okto- berrapporterna speciellt studerats, vilket diskuteras under rubriken Utöver utvärderingar och statliga och kommunala dokument har vi använt oss av annat referensmaterial, dels med inriktning på ut- värderingsforskning, dels litteratur med anknytning till likartade insatser som de lokala utvecklingsavtalen. Det rör sig även om litte- ratur som diskuterar den typ av problematik som ryms inom de lokala utvecklingsavtalen6. För att systematisera läsningen, granskningen och analysen av ut- värderingsrapporterna konstruerades en granskningsmall. Gransk- ningsmallen innehåller såväl frågor om rena faktauppgifter (t.ex. an- tal sidor, ämne, årtal för utgivning) som för värdering av innehållet (t.ex. läsbarhet, rimlighet i slutsatser). Frågeställningarna i gransk- ningsmallen berörde följande punkter: Författare, titel, sidantal, år, utförare? Nivå för de utvärderade insatsernas omfattning (kommun/stads- del/kommundel/bostadsområde)? Tema för rapporten (ett målområde eller annat)? Förekomst av resonemang avseende: underifrånperspektiv, sam- verkan, långsiktighet, målstyrning, jämställdhet? Vad vill undersökningen göra? Uttalat syfte med utvärderingen enligt utvärderaren? Hur inhämtas empiri? Metodologiskt fokus (kvalitativ/kvantitativ)? Referenspunkt för bedömning? 6 Se vidare i källförteckningen. Kort sammanfattning av innehållet i rapporten (innehåll, metod, nyckelord, nyckelsidor, citat)? Rapportens anknytning till forskning? Till vilken typ av litteratur anknyter rapporten? Rapportens brygga mellan teori och empiri? Rimligheten i slutsatserna som mot bakgrund av det insamlade empiriska materialet? Ges rekommendationer eller förslag? Om ja, vilka rekommenda- tioner ges och till vem riktas de? Generaliserbara resonemang av praktisk karaktär? Generaliserbara resonemang av teoretisk karaktär? Rapportens innehållsmässiga tillgänglighet? Vissa av frågorna är av värderande karaktär och har till syfte att pröva rimligheten i de slutsatser och resultat som presenteras i rapporter- na. Bedömningen anges på en femgradig skala från (--) till (++). Den femgradiga skalan för bedömning av rapporterna har hämtats från utredningen 1998:57 Kommittéerna och bofinken – kan en kommitté se ut hur som helst?, där ett flertal statliga utredningar kvali- tetsgranskades utifrån följande betygskriterier (Finansdepartemen- tet 1998, s. 65): (mycket stora brister, uppfyller inte minimikraven, val av enkla me- toder, har inte använt känd forskning, fakta, analys och slutsatser hänger inte ihop) (mindre bra, vissa brister finns, man borde kunnat göra mera av det underlag som redovisas etc.) (varken eller, rimlig ansats, finns både bra och dåligt) (i stort sett bra, men en del mindre/rimliga brister finns) (mycket bra, utmärkt, endast mindre brister i något fall) För att försäkra oss om en så rättvis och nyanserad prövning som möjligt har varje utvärderingsrapport lästs och granskats av två läsare med hjälp av granskningsmallen. Genom att läsarna har olika ut- gångspunkter både vad avser bakgrund, utbildning och tidigare er- farenheter ökar möjligheten att värdera materialet ur flera perspektiv. Efter den individuella granskningen har läsarna diskuterat och enats om en gemensam bedömning som införts i en gemensam mall. Det är denna gemensamma bedömning för varje rapport som har ut- gjort det slutliga primära underlaget för utredningens arbete. Då utredningen skulle inventera och analysera en stor mängd material har delar av innehållet bearbetats i dataprogrammet SPSS7 för att därmed få fram en överskådlig bild och kunna mäta utfallet av olika variabler. Granskningsmallen och bearbetningen i SPSS har alltså bidragit till möjligheten att systematisera och klargöra krite- rier för bedömningarna. Genom bearbetningen i SPSS har utredningen sammanställt upp- gifter om t.ex. producent, publiceringsår, utvärderat målområde, ut- värderad kommun samt uppgifter om de värderingar utredningen gjort av rapporten och dess utsagor, t.ex. rörande metodmedveten- het, innehållsmässig tillgänglighet och rimlighet i slutsatserna. Detta material presenteras i kapitel 5. Med stöd i det tillgängliga referensmaterialet har utredningen diskuterat och analyserat de granskade utvärderingsrapporterna och dess innehåll. Vad har man t.ex. sett i utvärderingarna vad gäller in- satser inom målområde skolinsatser och vad har man gjort för be- dömning av kravet på långsiktighet? Materialet har utredningen diskuterat vid återkommande seminarier. Resultatet redovisas i kapitel 6. Varje oktober månad har de kommuner som tecknat lokala utveck- lingsavtal presenterat en årsrapport till – en Oktoberrapport. Oktoberrapporterna består av en kortare redovis- ning av kommunövergripande insatser och det utvecklingsarbete som pågår i kommunen i termer av de i avtalen påbjudna fyra centrala metoderna8. Rapporterna omfattar även en avrapportering från arbetet 7SPSS står för Statistical Package for the Social Sciences, ett statistikprogram framtaget i , ursprungligen för samhällsvetenskaplig forskning. 8Målstyrning (mål och utvärdering), långsiktighet, samverkan och underifrånperspektiv. Jfr kapitel 3. i varje bostadsområde med en detaljerad genomgång av de insatser som utförs lokalt. Underlaget till Oktoberrapporterna består i stora delar av material och rapporteringar av lokal karaktär, som projektbeskrivningar, verksamhetsberättelser för enstaka insatser, etc. –2004 presenterades ett drygt 20-tal Oktoberrapporter. Genom att studera kommunernas Oktoberrapporter hade utred- ningen inledningsvis en förhoppning om att få en samlad överblick över det arbete som utförts i kommunerna. Tanken var att däri- genom skapa ett underlag i form av ett insatslandskap, som skulle kunna jämföras med vad vi under arbetets gång kallade för utvär- deringskartan, dvs. det som har utvärderats. En förhoppning var att därmed kunna undersöka balansen mellan olika målområden eller typer av insatser och vad som sedan kom att utvärderas. Hur stämde insatslandskapet överens med utvärderingskartan? Fanns det mönster eller trender, kanske rent av områden som helt tappats bort i utvärderingarna? En kartläggningsmall konstruerades för att systematisera läsning- en av rapporterna från de sju kommunerna. Kartläggningsmallen innehöll frågor som var tänkta att ge utredningen en bild av vad som har gjorts på lokal nivå. Kartläggningsmallen var av grundläggande karaktär och innehöll inte någon värdering eller bedömning. Föl- jande data insamlades: Vilken politisk nämnd som ansvarade för insatsen (lokal poli- tisk nämnd eller kommuncentral dito) Vilket geografiskt område insatsen riktade sig till/genomfördes i (kommun, stadsdel, bostadsområde) Vilken målgrupp insatsen riktade sig till (antal och typ) Vilka centrala metoder, inklusive jämställdhet, som angavs stå i fokus för insatsen Om insatsen var pågående, hade implementerats eller avslutats Om insatsen funnits före eller kommit till genom de lokala ut- vecklingsavtalen Med hjälp av kartläggningsmallen försökte vi inledningsvis syste- matisera de uppgifter som lämnades avseende bl.a. insatser och resultat i de olika bostadsområdena. Att studera Oktoberrapporter- na och systematisera deras innehåll visade sig dock vara en tids- krävande uppgift i förhållande till utfallet. Rapporterna från de olika kommunerna visade sig vara mycket olika till innehåll och ut- formning vilket försvårade en sammanställning av materialet. De hinder vi möttes av vid genomgången var av både organisatorisk och terminologisk karaktär. Begreppen som användes i rapporterna var långt ifrån enhetliga. Det som kallades för insats i ena bostadsområdets rapport kunde mycket väl kallas för verksamhet, projekt, satsning eller aktivitet i en rapport från ett annat bostadsområde. kunde det som i en rapport betecknats som insats i påföljande årsrapport kallas för något annat (verksamhet eller projekt eller satsning). Begreppet insats kunde även i vissa sammanhang fungera som ett samlingsbegrepp eller paraplybegrepp för ett flertal fristående verksamheter/insat- ser/projekt/satsningar/aktiviteter. Denna användning av insats som ett paraplybegrepp komplicerades ytterligare genom att de separata verksamheter/insatser/projekt/satsningar/aktiviteter som redovisats under paraplybegreppet insats, i samma rapport även kunde redovisas enskilt. Detta hände speciellt vid tillfällen då de enskilda delarna hade initierats med syftet att uppnå lokala mål som hör hemma under ett annat kommunalt målområde än det målområde under vilket para- plyinsatsen definierats. För att ytterligare komplicera bilden före- kom att en verksamhet/insats/projekt/satsning/aktivitet som admi- nistrativt hörde hemma under en paraplyinsats i ett visst bostads- område, kunde vara en del av en kommunövergripande insats. Detta medförde att verksamheten/insatsen/projektet/sats- ningen/aktiviteten ifråga kunde redovisas även i ännu ett annat av- snitt inom samma Oktoberrapport. Försöket att få en systematisk överblick över insatslandskapet med hjälp av Oktoberrapporterna lades således ner efter en genom- gång av ett stort antal rapporter, då det av ovan angivna skäl inte bedömdes som möjligt att sammanställa insatserna på en så detalje- rad nivå som vi önskade9. Hindren visade sig vara så omfattande att det inte var ändamålsenligt att slutföra studien inom den givna tids- ramen. Vi kan således konstatera att en så fullgod belysning av insats- fältet som vi önskade göra inte var möjlig att åstadkomma inom ut- redningens tidsramar utifrån detta material. 9 Ett flertal utvärderare tar upp dessa svårigheter i sina rapporter; svårigheten att få en klar och tydlig sammanställning över vad som har gjorts, hur många som har deltagit, inom vilket målområde insatserna bedrivits, etc. Jfr kapitel 3. anordnade avtalskommunerna och storstadsdele- gationen en s.k. dialogturné. Utredaren deltog i denna i samband med utredningens arbete med delbetänkande SOU 2004:79. I sam- band med dialogmötena genomfördes en förstudie kring uppfatt- ningen om utvärderingsarbetet inom ramen för de lokala utveck- lingsavtalen. Syftet med förstudien var att fånga upp de åsikter och erfarenheter av utvärderingarna som fanns bland personer som på något sätt var engagerade i arbetet med de lokala utvecklingsav- talen. De aktuella dialogmötena genomfördes i: Ett frågeformulär med frankerat svarskuvert delades ut till de när- varande, det vill säga statliga och kommunala tjänstemän på olika nivåer, kommunala samordnare, politiker och medborgare. Antalet närvarande på dessa möten skiftade, liksom deras roll i samman- hanget.