sou · GSB379 · 2005-01-01 00:00:00 — Analysarbetet av fokusgrupperna har varit tidskrävande men utgör en bred bas för de olika perspektiv och önskemål utredningen har att ta ställning till. Genom att jämföra åsikter och förslag från separata grupper som är homo- gena inbördes, dvs. där gruppdeltagarna har likartade roller och funktioner i förhållande till de lokala utvecklingsavtalen, kan vi få en bild av när åsikter och värderingar är samstämmiga respektive skiljer sig åt utifrån de olika perspektiven. Vårt syfte med fokusgrupperna har varit att ta del av åsikter och idéer om hur ett bra nationellt utvärderingsprogram för lokala utvecklingsavtal kan se ut ur så många perspektiv som möjligt. Genom fokusgrupperna har vi fått möjlighet att ta del av de erfaren- heter och den kunskap som finns på området, de önskemål om och eventuellt behov av ett nationellt utvärderingsprogram, samt för- slag på hur ett utvärderingsprogram kan organiseras för att ge mesta möjliga utfall. I fokusgrupperna har deltagarna möjlighet att diskutera med varandra och på detta sätt pröva sina idéer och erfa- renheter och i vissa fall gemensamt resonera sig fram till nya förslag. Vi har framförallt undersökt frågan om vad som ur olika aspekter skulle göra ett nationellt utvärderingsprogram användbart. Våra frågor till fokusgruppen kan sammanfattas under följande rubriker: Behövs ett nationellt utvärderingsprogram? Hur ska ett nationellt ut- värderingsprogram se ut för att du ska uppfatta det som användbart? Vilka är målgrupperna för och användarna av ett nationellt utvärde- ringsprogram? Vad är studieobjektet? Vad ska ett nationellt utvärderingsprogram studera/följa? Vad är syftet med ett nationellt utvärderingsprogram? Vad är viktiga egenskaper hos och vad kräver du av ett nationellt ut- värderingsprogram? Vad är det nationella utvärderingsprogrammets innehåll, funktion och uppgift? Hur ska ett nationellt utvärderingsprogram organiseras? Var ska det nationella utvärderingsprogrammet placeras organisatoriskt? Vem har huvudansvaret? Vem avgör, beställer och ingår i det nationella utvärderingsprogrammet? Vem utför analyser och utvärderingar? erfarenheter och konkreta exempel Vilka är dina erfarenheter av utvärderingar inom de lokala utveck- lingsavtalen och på annat håll? Vi uppfattade det som angeläget att identifiera behov och önskemål om ett nationellt utvärderingsprogram från så många nivåer som möjligt. De fokusgrupper vi bjudit in består bl.a. av statliga och kommunala tjänstemän på olika nivåer, utvärderare och medborgare i de berörda stadsdelarna. Följande fokusgrupper deltog: 1.Medborgare i stadsdelar berörda av de lokala utvecklingsavtalen 2.Lokala projektledare (har ansvar för ett projekt inom de lokala utvecklingsavtalen, arbetar konkret i verksamheten) 3.Lokalt utvecklingsansvariga (har ett övergripande ansvar för olika projekt inom de lokala utvecklingsavtalen i en stadsdel) 5.Kommunala samordnare i de sju kommunerna med lokala ut- vecklingsavtal(har ett övergripande ansvar på central, kommu- nal nivå för avtal och insatser inom ramen för de lokala utveck- lingsavtalen) 7.Storstadsdelegationens referensgrupp; centrala myndigheter 8.Storstadskansliets referensgrupp, departementstjänstemän Valet av fokusgrupper speglar i första hand en önskan om att mång- faldiga perspektivet, att få fram en bredare skala av idéer. Material från fokusgrupper är dock inte generaliserbart i representativ mening, om man med det menar att man täcker in ett stort antal av de personer som ryms inom respektive kategori. I ett par fall har vi dock nått alla; de kommunala samordnarna som är sju till antalet har därmed utgjort en egen fokusgrupp, likaså har tjänstemännen på storstadskansliet utgjort en egen fokusgrupp. Om vi däremot skulle ha samma ambition när vi önskar se på ett nationellt utvärderingsprogram med ett perspektiv från de medborgare som bor i de bostadsområden som berörs av de lokala utvecklingsavtalen, så stöter vi genast på urvalsproblem. Antalet medborgare i dessa bostadsområden uppgår tillsammans till en kvarts miljon. Det som förenar dem är att de är bosatta inom de geografiska ramar som bostadsområdet utgör. Av dessa har vi bara träffat ett fåtal personer. Dessa personer har dock tillfört ett viktigt bidrag till hur man kan se på ett nationellt utvärderings- program ur detta perspektiv. Lokala utvärderare är tillsammans med lokalt utvecklingsan- svariga och lokala projektledare många till antalet, det har inte heller här varit möjligt att bjuda in alla. När det gäller de statliga referensgrupperna bestående av personer som representerar sina respektive departement och myndigheter, har vi haft möjlighet att bjuda in de referensgrupper som bildats för arbete. I en önskan att erhålla ett nationellt perspektiv och få ta del av lokala erfarenheter valde vi att förlägga fokusgrupper till de tre stor- stadsområdena. I träffade vi lokala utvärderare och lokala projektledare. I träffade vi medborgare i de berörda bostadsområdena och i de statliga tjänstemännen samt kommunala samordnare och lokalt utvecklingsansvariga. En möj- lighet hade varit att träffa grupper av lokala projektledare, grupper med medborgare, grupper av utvärderare i var och en av de sju Tid för materialinsamling och bearbetning för detta har dock inte funnits. Ytterligare alternativ hade varit att bilda fokusgrupper genom att bjuda in t.ex. en utvärderare från varje berörd kommun. I detta fall försvåras rekrytering och planering, bl.a. eftersom deltagarna i högre grad är okända för varandra. En viss kännedom om varandra i gruppen underlättar utbytet av idéer och förslag. I flera fall har vi således haft fokusgrupper vars deltagare redan är en existerande grupp, t.ex. storstadskansliet och referensgrupper- na. Fördelar med existerande grupper är att medlemmarna känner varandra, att rekryteringen underlättas och det ger en inblick i den sociala kontext där idéerna formas och beslut fattas. Risker med existerande grupper är att ämnen och synpunkter kan tas för givna och att det kan finnas en strävan i gruppen att undvika konflikter. I andra fall har deltagarna i fokusgrupperna haft någon kännedom om varandra, de har mötts i andra sammanhang eller arbetat ihop. Så är det t.ex. med de lokala utvärderarna och med medborgarna i de berörda bostadsområdena som tidigare mötts i olika sammanhang och i vissa fall haft samma referenspunkter i det lokala utveck- lingsarbetet. Lista på de personer som bjudits in till fokusgrupperna Följande personer har bjudits in till fokusgrupp. Möjligheten för de inbjudna att delta i fokusgrupperna har varierat. Fokusgrupperna har utgjorts av 3–8 personer. Sammanlagt har ett drygt 40-tal personer deltagit. Fokusgrupp med kommunala samordnare i de sju kommuner som berörs av de lokala utvecklingsavtalen Fokusgrupp med lokala utvärderare i Per Broome, högskola Fokusgrupp med medborgare i stadsdelar i berörda av Lua Fokusgrupp med lokalt utvecklingsansvariga i Fokusgrupp med storstadskansliet referensgrupp; departementstjänstemän Fokusgrupp med referensgrupp; centrala myndigheter , Myndigheten för skolutveckling , Suss , Myndigheten för skolutveckling Ale , , , , , , , Barnombudsmannen , , Statskontoret , , , , Översikt över möten och samtal Avseende kontakter med grupper, institutioner och enskilda under utredningens gång kring ett nationellt utvärderingsprogram. Utredaren har arrangerat följande fokusgruppsmöten: Kommunsamordnare från de sju kommunerna () Lokala projektledare i () Lokala utvecklingsansvariga i () Medborgare från stadsdelar i som omfattas av de lokala utvecklingsavtalen() referensgrupp; representanter från centrala myndigheter () Storstadskansliets referensgrupp; departementstjänstemän () Utvärderare av insatser inom ramen för de lokala utvecklings- avtalen i Utredaren har medverkat vid följande dialogmöten arrangerade av respektive kommun och storstadskansliet: Utredaren haft möte med följande grupper: utvärderargrupp och representanter från kommunerna referensgrupp; representanter från centrala myndigheter Utredararen har därutöver haft enskilda intervjuer och samtal med följande personer: , professor vid i , forskare vid Mångkulturellt centrum i , särskild utredare i strukturella diskrimineringskommittén , statlig utredare i strukturella diskrimineringskommittén , f.d. projektledare i , , (tidigare på ) , forskningsassistent vid i Övriga möten, konferenser och studiebesök Deltagande i Bostadsseminarievecka, IBF, Medverkande vid Seminarium om storstad, FORSA-Syd, Medverkande vid seminariedag i Viktiga egenskaper vid val av organisationsmodell , (2003) Organising Evaluation: A Review of Danida´s Evaluation Practice Compared to Practices in Other Danish Policy Areas, Appendix 1 in , North & Rist: A Review of Evaluation in (2003), , , De två danska forskarna (2003) har i sin forskning identifierat sex kriterier eller krav som kan användas som stöd för att värdera olika sätt att organi- sera utvärdering kring omfattande programverksamheter. Forskarna utgår dels från aktuell utvärderings- och forskningslitteratur, dels från studier genomförda kring en omfattande projektverksamhet inom , den danska motvarigheten till SIDA 1.Opartiskhet och ansvarighet. Kravet förutsätter en tilltro till att man genom systematiska, empiriska metoder kan få tillgång till en opartisk dokumentation. Den utvärderade organisationen kan därmed hållas ansvarig för sina aktiviteter, effektivitet och mål- uppfyllelse. Det ideala förhållandet vore att den utvärderade organisationen inte hierarkiskt kan bestämma över utvärderar- na, inte utöva politiskt inflytande på hans/hennes metoder, kriterier och arbetsförhållanden och inte styra de nuvarande och framtida resurser som utvärderaren har tillgång till. Detta kompliceras dock av att det i själva uppdragsrelationen finns ett visst beroende inbyggt. För att få nödvändiga data behöver ut- värderaren utveckla ett fungerande samarbete med den utvär- derade organisationen. I denna dialog mellan den utvärderade organisationen och utvärderaren skapas ofta en viss förståelse mellan parterna. Detta kan i vissa lägen te sig problematiskt då en relation till uppdragsgivaren kan påverka handlingsutrymme och perspektiv, inte minst då uppdraget utförs som en del i den pågående insatsen. Även om utvärderaren skulle vara oberoende av den utvärderade organisationen är han eller hon inte obero- ende av omgivande politiska, ekonomiska och ideologiska strukturer. Oberoende kan således alltid betraktas som relativt. Kriteriet om oberoende kan i viss mån tolkas som en misstro mot eller oro för att offentliga aktörer vill främja sina egna och den egna organisationens intressen på bekostnad av samhällets intresse i stort och därför inte tillhandahålla opartiska data om sig själv. 3.Förmåga att bidra till internt lärande (erfarenhetsspridning). Detta innebär att utvärderingssystemet har en förmåga att stärka det lokala användandet av utvärderingen genom erfarenhetsinsam- ling. och lyfter fram fem argument som de menar bidrar till internt lärande: 1) Att utvecklings- orienterade utvärderingar (s.k. formande) med fokus på imple- menterings- och utvecklingsprocesser är att föredra framför slut- utvärderingar med sikte på värdering av effekter (s.k. summa- tiva). 2) Utvärderingens metoder och kriterier skall uppfattas som relevanta för dem som är involverade i genomförandet av programmen (vilket enligt och oftast inte fallet med s.k. opartiska, ofta statistiska, data som är producerade på avstånd). 3) En tät och löpande dialog bör äga rum mellan intressenter och utvärderare för att öka utvärde- ringens relevans för dem som arbetar lokalt med programmen. 4)Om de programansvariga är indragna och deltar i utvärde- ringen ökar troligheten att utvärderingen faktiskt blir använd. 5)All kunskap innehåller val av perspektiv. Det är tveksamt om systematiska, empiriska metoder kan sägas leda till en opartisk dokumentation fri från värderingar. Därmed kan opartiskhet och oberoende ses som mindre viktiga krav, till förmån för förespråkare för en tämligen pragmatisk och brukarorienterad uppfattning om utvärdering. 4.Förmåga att bidra till utveckling av kunskap genom utvärdering. och menar att utvärderingar bidrar till utveckling av idéer, begrepp och teorier inom och mellan olika politiska områden. Det avgörande för kunskapsbildningen är i vilken grad utvärderingens slutsatser omformas till idéer, begrepp och teorier av abstrakt och generell karaktär. I exempel- vis s.k. teoribaserad utvärderingsmodell utgår man från en teo- retisk hypotes om programeffekter som stöd för att förklara hur en bestämd intervention leder till ett bestämt förväntat resultat under olika tidsperioder och under vilka förutsättningar det är troligt att dessa resultat förekommer se vidare (Dahler- /). Därmed kan man se det som angeläget att ett utvärderingssystem kan länkas samman med existerande teorier på området och på motsvarande sätt tillhandahålla resul- tat som bidrar till en bredare utveckling av idéer, begrepp och teorier. 5.Förmåga att behålla och utveckla utvärderingskompetens. Detta beror i hög grad på hur utvärderingsprogrammet är utformat. 6.Förmåga att skräddarsy individuella utvärderingar, så att utvär- deringen passar till en bestämd aktivitet, en bestämd målsätt- ning och en bestämd lokal kontext. Här uppmärksammas risken att fastna i standardlösningar (recept) och rutiner, vilket stärker tendensen att reagera på olika problem med mer lik- artade lösningar än problemets art egentligen ger anledning till. Ett sådant bestämt angreppssätt leder långtifrån alltid till ett bästa metodmässiga val i alla lägen med hänsyn till variationen i de utvärderingsmässiga problem som ska lösas. Här kan det ses som en kvalitetsaspekt att utvärderingsprogrammet stödjer att olika utvärderingsproblem blir mött med olika angreppssätt. , (1997). Från projekt till process. Nationell utvär- dering av statens insatser i utsatta bostadsområden. (IN97/1507/IE) , . , (1982). Termer i sociologi. Innebörd och sammanhang. , (2001). Demokrati och brukar- utvärdering. , (2003). Organising Evaluation: A Review of Danida´s Evaluation Practice Compared to Practices in Other Danish Policy Areas. Appendix 1 in , North & Rist: A Review of Evaluation in (2003). Denvall, (2001). Viljen vi veta, viljen vi förstå Kunskaps- bildning inom . Rapport 2001:2, FoU-enhet. Kommittéerna och bofinken. Kan en kommitté se ut hur som helst? Rapport till (Expertgruppen för studier i offentlig ekonomi). Även separat upp- laga med bilagor. Furubo, (2004). Inledningsanförande vid SVUF:s (Svenska Utvärderingsföreningens) konferens . Furubo, , . Rist & , (2002). GHK (2003). Ex-post Evaluation (1994–1999). (finns att hämta på: /comm/regional_policy/urban2/documents_en.htm) , (1992). Student- litteratur, . , (2004). Självvärdering som utvärderingsmetod inom Storstadssatsningen i . Hauberger m.fl. (2002). Lokala investeringsprogram – en förstudie inför utvärderingen. Hemström, (2002). Att följa upp och ut- värdera arbetsmarknadspolitiska program. Forskningsrapport 2002:1, IFAU (), . , (2003). Självvärdering som stöd för personal- och verk- samhetsutveckling. Idéer, exempel, vägledning, forskning. kommun (2004). Förslag till nationellt erfarenhets- och kunskapsutbyte inom ramen för storstadsarbetet (Slutrapport från arbetsgruppen för att utveckla metoder och instrument för natio- nellt erfarenhetsutbyte och kunskapsöverföring inom ramen för de lokala utvecklingsavtalen) kommun. (Ju2003/3863/STO) (2002). Förort i fokus – interventioner för miljo- ner. rapportserie 2002:01, , . (2002). På rätt väg? Slutrapport från den nationella utvärderingen av storstadssatsningen. rapportserie 2002:05, , . , (2003). Fängslande bilder, fängslande verk- lighet. Om utsatta bostadsområden och interventioner. Meddelanden från 2003:5, . (Tryckta exempel via , pdf-version via ) , Per (). En stärkt utvärdering av svensk bistånds- och utvecklingspolitik. (1997). Boligpolitik mod segregation. Nordisk Ministerråd, . 1997/98:165. Utveckling och rättvisa en politik för storstaden . Regeringens skrivelse 2003/04:49. Lokalt utvecklingsarbete i stor- städerna. , (red) (1996). , (2000). Stadspolitik och urban forskning i . (/publikationer) (2004). The Centrality of Practice to Evalua- tion. OH-bilder presenterade på SVUF:s (Svenska Utvärderings- föreningens) konferens . i , i Svenska folkets inkomster. Betänkande del 1. Tre Städer: En storstadspolitik för hela landet. Slut- betänkande av . Storstadsliv, rika möjligheter – hårda villkor. Stor- stadsutredningens slutbetänkande. En ny svensk politik för global utveckling. Kommittén om politik för global utveckling. Statskontoret (2002). Utvärdering – Av vem och till vad? En utvärdering av utvärderingsresurser. Statskontorets publikationsservice, . (2004). Kartläggning av storstadsrelaterat erfarenhetsutbyte. (Slutrapport från arbetsgruppen med uppdrag att kartlägga internationellt erfarenhetsutbyte inom ramen för de lokala utvecklingsavtalen), (Ju2003/4070/STO). Tranquist, (2001). Samverkan med individen i fokus. En processutvärdering av Arbets- och utvecklingscentra i . Vedung, (1991). Utvärdering i politik och förvaltning. Student- litteratur, . Vedung, (2004). Utvärderingsböljans former och drivkrafter. Promemoria presenterad på SVUF:s (Svenska Utvärderingsföre- ningens) konferens 040423. Wibeck, (2000). Fokusgrupper: Om fokuserade gruppinter- vjuer som undersökningsmetod. Aktuella adresser på internet