sou · GTB329 · 2006-01-01 00:00:00 — Det råder i allmänhet en stor otydlighet bland utvärderarna när det gäller förslag på förändringar i de studerade verksamheterna, men inte minst har det varit svårt att utläsa vem 20Ett av de klaraste resonemangen kring val av utvärderingsmodell förs av et al (2002) som utför en utvärdering enligt bieffektsmodell. 21Detta stödjer tanken om utvärderingsbegreppets utarmning (1997) som lyftes fram i avsnitt 4.1. rekommendationerna riktar sig till. Men även här finns undantag. En del rapporter är mycket tydliga i sina rekommendationer och i vissa fall har rekommendationerna fått egna avslutande kapitel som gör det överskådligt för läsaren att utläsa vad författaren anser borde förändras eller bevaras i den verksamhet som studerats22. 5.4Vad har utvärderats – och var? En av de mer centrala frågorna för granskningen av rapporterna var vilka målområden som egentligen har utvärderats och om det här finns någon skillnad mellan kommunerna. För att få en överblick presenteras i tabell 5.5 hur de granskade rapporterna har fördelat sig över kommuner och målområden. När det gäller målområdesfördelningen är det viktigt att poäng- tera att det som syns i tabellen är vad som i rapporten har angivits som fokus, vilket dock inte alltid innebär att målområdet finns närmare behandlat i rapporten. Ett exempel är folkhälsa. I många av de 26 rapporter som i tabellen uppger folkhälsa som målområde, nämns folkhälsa i förbifarten i ett inledningskapitel, ofta tillsammans med områdesutveckling och trygghet samt demokrati och delaktighet. Dessa tre målområden samlas för övrigt ofta under samlande rubri- ker som exempelvis Målområde III23 eller lokalt utvecklingsarbete, med följd att det som dominerar diskussionen oftast är aspekter kopplade till målområdet demokrati och delaktighet24. 22Till exempel tar (2002, s. 111f) ett intressant grepp när de ger ett förslag på hur den studerade verksamheten skulle se ut om de fick möjlighet att påverka. 23Målområde III är i en beteckning för målområdena områdesutveckling och trygghet, folkhälsa samt demokrati och delaktighet. 24I kapitel 6 presenteras de respektive målområdena. Där finns också reflektioner kring hur de olika målområdena har hanterats i utvärderingarna. Rapporterna per kommun och målområde Av tabellen framgår att de områden som är mest frekvent granskade är sysselsättning, språkinsatser samt demokrati och delaktighet. De om- råden som är minst utvärderade är socialbidragsberoende, vuxenut- bildning och folkhälsa. Vid en jämförelse mellan kommunerna fram- träder som den kommun där flest utvärderingar produce- rats26. och tillhör också de kommuner där det producerats många rapporter. Den kommun som i sammanhanget framstår som mycket sparsamt utvärderad är . Totalt har sex rapporter granskats som utvärderar insatser i kommun, var- 25Under varje kolumn syns det totala antal rapporter som studerat respektive målområde. Summan för tabellraden Totalt överstiger dock antalet granskade rapporter (83 rapporter), eftersom många rapporter har studerat insatser inom flera målområden. 26Vi ska poängtera att flera av rapporterna är omfattande sammanläggningsrapporter som delats i två delar med en tillhörande sammanfattningsrapport. Men dessa rapporter innehåller också flera delstudierapporter. Detta säger inte heller något om kvaliteten på innehållet i rapporterna. av två är nationella studier27 och en är en övergripande baslinjestudie bland kommunerna i . Det framstår således inte som om kommun har engagerat externa utvärderare i någon större utsträckning28. När det gäller utvärderingarnas fördelning över målområden inom respektive kommun framkommer tendenser till profileringar. I , och fördelar sig rapporterna relativt jämnt över de åtta målområden som lyfts fram i storstadsproposi- tionen (prop. 1997/98:165). I kan vi däremot se en över- vikt på rapporter inom de målområden som sammanfogas till Mål- område III, nämligen områdesutveckling och trygghet, folkhälsa samt demokrati och delaktighet. I Malmö29 har istället många rapporter riktat blicken mot sysselsättningsmålet, liksom i . De rapporter som anges ha annat fokus än de åtta målområdena har i stor utsträckning fokuserat på organiseringen av arbetet med de lokala utvecklingsavtalen i kommunerna30. Två rapporter har spe- cifikt studerat tillväxtperspektivet i storstadsarbetet31. I övrigt foku- serar en rapport på kultur (Motsieloa et al ) och en på kunskaps- användning (Hosseini-Kaladjahi 2004). Avslutningsvis kan det vara intressant att studera hur de granskade rapporterna fördelar sig . Här framgår det att produktionen legat på en stabil nivå efter de inledande två åren. Hur rapporterna fördelar sig framgår av tabell 5.6. Av tabellen framgår bland annat att det i och inte har presenterats någon rap- port , medan man i har presenterat nästan samtliga utvärderingsrapporter . 27De två nationella rapporterna (2000) och (2001b) står ej markerade under rubriken i tabellen, utan är fördelade på sex av kom- munerna. Detta beror på att ej omfattades av dessa nationella studier då man ännu inte hade kommit igång med storstadsarbetet. 28Värt att notera är att endast ingår i de lokala utvecklingsavtalen med ett bostads- område, nämligen , men även vid en jämförelse på stadsdelsnivå ter sig insatser i denna kommun sparsamt utvärderade. 29Föremål för många av dessa undersökningar är den myndighetssamverkan för långtids- arbetslösa (AUC) som initierats inom satsningen. 30Som exempel kan nämnas (2004), Bunar (2003/2004); (2003/2004); (2004); (2000). 31NUTEK (2001a/2001b). Rapportfördelning per kommun och år32 Det material vi granskat kännetecknas av en högst varierande kvali- tet. Vid bedömningen av utvärderingarna har kriterier valts som an- sluter till utvärderingsteoretisk forskning kring vad som kan anses känneteckna utvärderingens praktik33, men också till vad som kan betecknas vara en god forskningspraktik. Då bedömningar oundvik- ligen bygger på värderingar har det funnits en strävan att minimera utrymmet för godtycklighet. Granskningen av rapporterna har där- för genomförts utifrån en enhetlig granskningsmall och varje rapport har studerats av två separata granskare som dels gjort oberoende enskilda bedömningar, dels diskuterat och enats kring en samman- fattande bedömning av rapporterna. Rapporterna har bedömts uti- från en femgradig skala34. Denna kvalitativa granskning har dock inte primärt genomförts för att sätta en betygsstämpel på de respektive utvärderingarna, utan snarare för att skapa ett kvalitativt underlag för utredningen. Kvali- tetsgranskningen har varit en viktig del då det bidragit till möjligheten att kunna bedöma tillförlitligheten i de granskade rapporterna. Utan en granskning är risken stor att utredningens slutsatser baseras på rap- porter som inte har underlag för sina bedömningar, eller att osyste- 32Sammanlagt har 83 rapporter studerats. Det totala antalet rapporter är mindre än sum- man för dem som anges per kommun, eftersom vissa rapporter har inriktat sig på fler än en kommun. 33En redovisning av dessa utvärderingsteoretiska utgångspunkter finns i kapitel 4. 34Se Metodappendix i bilaga. Den femgradiga skalan har hämtats från utredningen och bofinken – kan en kommitté se ut hur som helst? (1998). matiska, berättande sammanställningar präglas av godtycke och färgas av författarnas personliga åsikter utan att detta framgår (2001, s. 60). Då nästa kapitel helt relaterar till innehållet i de utvärderingar som granskats är det av vikt att dessa kan bedömas som tillförlitliga. Granskningen kan således sägas vara en garant för en minimistandard när det gäller själva utvärderingshantverket och det är viktigt att på- minna om att det främst är rapporternas värde som utvärderingar som bedömts. Några av de aspekter som systematiskt granskats är det empiriska underlagets omfång och karaktär, metoder och metodmed- vetenhet när det gäller datainsamling, förmåga att placera utvärde- ringsobjektet i ett vidare sammanhang samt huruvida studien ger un- derlag för användande bortom det enskilda fallet (generaliserbarhet). Framför allt har förekomsten av rimliga slutsatser och rekommenda- tioner bedömts i förhållande till det underlag som redovisas i rap- porterna35. Vad som framgår av bedömningen är att de granskade utvärde- ringarna kännetecknas av en högst varierande kvalitet. Här finns en spridning med exempel på allt från utmärkt genomförda och väl underbyggda utvärderingar, till tämligen bristfälligt genomförda utvärderingar som på ett ytterst tveksamt underlag gör uttalanden som ibland vid en första anblick kan tyckas rimliga. Spridningen medför att utvärderingarna fördelar sig från högsta till lägsta värde enligt den skala som använts. Detta påverkar sedermera rapporter- nas användbarhet i utredningens kommande kapitel och som bas för en pågående kunskapsutveckling. Utfallet av den betygsrelaterade granskningen redovisas här uti- från fördelning på de olika målområdena, vilket framgår av tabell 5.7. Tabellen bör ses i relation till tabell 5.5 som visar antalet granskade rapporter som publicerats inom respektive målområde. Det betyder att staplarna i tabellen illustrerar den procentuella fördelningen av betyg inom respektive målområde, oavsett antal rapporter. Inom samtliga målområden finns rapporter som fördelar sig från högsta till lägsta omdöme enligt den skala som använts36. Några av de iakttagelser som kan göras är att det finns en jämn fördelning av positiva omdömen på de respektive målområdena. Av rapporterna har en övervägande majoritet bedömts vara av god kvalitet (d.v.s. av tillfredsställande, god eller mycket god kvalitet). 35I Metodappendix i bilaga redovisas den granskningsmall som använts för den systematiska granskningen. 36I Metodappendix i bilaga redovisas den granskningsmall som använts tillsammans med den betygsskala som tillämpats. av de granskade rapporterna fått högsta omdöme. Sam- tidigt framgår det att av rapporterna som producerats med fokus på sysselsättningsmålet har bedömts med lägsta betyg, vilket innebär att de bedömts vara mycket bristfälliga. Detta kan ses i relation till de rapporter som inriktats på områdesutveckling och trygghet, folkhälsa samt demokrati och delaktighet, där andelen mycket bristfälliga rapporter är försvinnande liten. Utfall av betygsrelaterad granskning per målområde37 Totalt (n=83) Annat fokus (n=27) Dem./delaktighet Folkhälsa (n=26) Omr.utv./trygghet Skolinsatser (n=28) Språkinsatser (n=30) Sysselsättning (n=36) 37 Totalt har 83 rapporter granskats. Summan för n-värdena överstiger dock denna siffra, eftersom många rapporter har studerat insatser inom flera målområden. Av framställningen i tabell 5.7 framgår att det finns stora kvalitets- mässiga skillnader mellan utvärderingsrapporterna. Det har därför varit av stort värde för utredningens arbete att genomföra denna kvalitetsbedömning. Avsikten är dock inte att peka ut rapporter som har bedömts med ett lågt betyg. Snarare vill vi framhäva de rappor- ter som fått de allra högsta betygen i granskningen för att därmed stimulera till intressant läsning. Det är viktigt att återigen påminna om att det primärt är rapporternas värde som utvärderingar som bedömts och inte dess övriga kvaliteter. Det finns ett stort antal rapporter som bedömts vara av god kvalitet som kanske något orätt- färdigt inte nämns här, men följande rapporter har bedömts tillhöra kategorin mycket god kvalitet: , (2004). – del av segregerad storstad. , , , , , (2004). Man måste väl ibland tro att det som görs blir bra också. Goda projekt och sega strukturer. , , (2002). Den röda tråden – utvärdering av storstadssatsning: målområde språkutveckling och skolresultat. , (2004). Socialbidrag och försörjning i – Storstadssatsningen och utvecklingen –2000. Hosseini-Kaladjahi, (2001). Tusen röster om : Inte- grationsfrågan betraktad utifrån en enkät bland de boende. Mång- kulturellt centrum, . Hosseini-Kaladjahi, (2002). Stora fiskar äter fortfarande små fiskar. Mångkulturellt centrum, . (2001). Utvecklingen i storstadssatsningens 24 bostadsområden –2000: Den nationella utvärderingen av stor- stadssatsningen. , (2004). Samverkan för syssel- sättning och egenförsörjning. , (2003). Brottsförebyggande insatser i utsatta områden. (), . Marttila, (2002). Folkhälsoinsatser i stor- stadssatsningen, Baslinjestudien . Socialmedicin, , . , (2002). Språkbygge på bräcklig grund. Utvärdering tema utbildning och språk, förskolan. Mångkulturellt centrum, . , (2003). Tjejverksamheter inom storstadssatsningen: Projektmedel till ungdomsverksamheter dominerade av pojkar. , (2004). Hur får vi hela engagerade i detta? Utvärdering av storstadssatsningen i . Tranquist, (2001). Samverkan med individen i fokus. En processutvärdering av Arbets- och utvecklingscentra i . , (2004). Storstadssatsningen i ett områdesper- spektiv. , (2004). Storstadssatsning, metodutveckling och dokumentation. hög- skola: . Som ett komplement och referens till de bedömningar som redovi- sats ovan, kan det här vara av värde att jämföra med svar som in- kommit från en förstudie38, genomförd inom ramen för utredningen. I förstudien efterfrågades exempel på det man uppfattat som bra/meningsfulla respektive mindre bra utvärderingar, men också vad som ansågs känneteckna sådana. Kännetecknande för en bra eller meningsfull utvärdering var en- ligt svaren att utvärderaren kunnat placera in satsningen i ett vidare sammanhang och hade diskuterat alternativa strategier för det fort- satta storstadsarbetet. Dessutom hade utvärderingen bidragit till förståelsen av komplexiteten i storstadsarbetet. 38 Förstudien genomfördes i samband med dialogmöten som anordnades av de sju avtals- kommunerna och storstadskansliet . Ett förfrankerat frågeformulär delades ut till de närvarande, d.v.s. statliga och kommunala tjänstemän på olika nivåer, kommunala samordnare, politiker och medborgare. Frågeformuläret omfattade några enkla frågor om utvärderingar med inriktning på lokala utvecklingsavtal. Bland annat efterfrågades exempel på bra/dåliga utvärderingar, men även på vad som avgjorde vad som bra/dåligt i dessa rapporter. Ett trettiotal svar inkom. ansågs på detta sätt också peka på de olika problem som finns i strukturerna som omger de lokala utvecklingsavtalen. Som mindre bra eller negativt framhölls de fall där utvärderingar- nas budskap i hög grad upplevdes som svåra att generalisera och att omsätta i praktiken. Genom många utvärderingars fokus på enskild- heter ansåg ett flertal att många utvärderingar inte gick att skilja från uppföljningarna i Oktoberrapporterna. Ett problem som åter- kommande lyftes fram var de fall där utvärderingarna saknar slut- satser om eller värderingar av de insatser som studerats. Tydliga re- kommendationer efterlystes i anslutning till utvärderingarna. I flera fall beskrevs rapporterna vara av skiftande kvalitet med förenklingar, bristfälliga analyser, värderingar utan förklaringar samt språkliga svagheter som främsta brister. I förstudien redovisades även uppfattningar om att utvärderingarna representerar ett ovanifrånperspektiv med bristande förankring i praktiken. Det framkommer också en uppfattning om att utvärde- rarna alltför ofta fångas av ett tjänstemannaperspektiv i sina under- sökningar och därmed inte behandlar deltagarnas syn på något för- tjänstfullt sätt. Om detta dessutom kombinerats med att utvärde- ringen inte varit i fas med utvecklingsarbetet, ansågs nyttan av ut- värderingarna därigenom har blivit lidande. De rapporter som i förstudien lyfts fram som positiva exempel är följande39: , , och (2002). Den röda tråden – utvärdering av storstadssatsning: målområde språkutveckling och skolresultat. Bunar, Nihad (2003). Det händer saker – kunskapsutvecklande, utvärderingsmässiga och teoretiska perspektiv på storstadsarbetet i och . , , (2002). Miljonprogram och media: Föreställningar om människor och för- orter. , /, . Hosseini-Kaladjahi, (2002a). Stora fiskar äter fortfarande små fiskar. Mångkulturellt centrum, . 39 et al (2002) och (2002) ingår inte i det granskade materialet utan används som referenslitteratur till utredningen. Hosseini-Kaladjahi, (2003). Satsning ger resultat. Utveck- ling i –2003 enligt en enkät bland de boende. Mång- kulturellt centrum, . (2002a). På Rätt väg? Slutrapport från den nationella utvärderingen av storstadssatsningen. Integrationsver- ket, . , (2003). Boenderåden i kommun – och . , (2002). Förort i fokus – interventioner för miljoner. , (2002). Tillsammans i storstaden – en studie av offentlig samverkan inom ramen för de lokala utvecklingsavtalen. Parszyk, (2003a). Utvärdering av språkinsatser för barn med annat modersmål än svenska. Tranquist, (2001). Samverkan med individen i fokus. En processutvärdering av Arbets- och utvecklingscentra i . , (2003). Stöd i språk- och kunskapsut- veckling i förskola och skola? Utvärdering av språk och kommu- nikationsinsatser i kommun. , (2003a). Om konsten att skapa arenor för dialog, inflytande och lokala nätverk, Storstadssatsningen i . Av denna sammanställning framgår att de positiva exemplen från förstudien i många fall överensstämmer med de rapporter som genom den systematiska granskningen lyfts fram som särskilt värde- fulla. De utvärderingar av de lokala utvecklingsavtalen som här granskats består av ett rikt och varierat material av högst skiftande kvalitet. Kännetecknande är en stor mängd deskriptiva inslag i utvärdering- arna som, förtjänstfullt genomförda, kompletterar och nyanserar den bild av storstadsarbetet som lyfts fram i Oktoberrapporterna. I flera utvärderingar presenteras exempelvis överskådliga orienterade sammanställningar över de insatser som genomförts inom ett speci- fikt geografiskt eller politiskt område, ofta tillsammans med en his- torisk beskrivning av det geografiska området där insatserna genom- förts. Dessa bakgrundsbeskrivningar kan ofta bidra till en förståelse för hur det kan komma sig att de berörda storstadsområdena blivit föremål för särskilda satsningar. Ett annat exempel är rapporter som med fokus på insatsernas bieffekter kan bidra med alternativa för- klaringsresonemang kring specifika insatser, liksom kring satsningen som helhet. Det finns även en rad brister i de granskade rapporterna. De de- skriptiva inslag som ovan beskrevs som en styrka tenderar att bli en svaghet om de helt dominerar utvärderingen. Flera rapporter som nästan enbart innehåller beskrivande redogörelser tenderar även att sakna värderande slutsatser. I de fall då dessa deskriptiva rapporter trots allt har värderande inslag så saknas ofta referenspunkter och kriterier för bedömning, liksom en problematisering av valda värde- ringsperspektiv. Andra rapporter brister när det gäller språklig genomarbetning eller präglas av inkonsekvent användning av be- grepp. Det är inte ovanligt med utvärderingar som använder sig av begrepp som ej definieras. Underifrånperspektiv är ett exempel på ett sådant begrepp. Många utvärderare säger sig bedöma insatser utifrån detta perspektiv, men få talar om vad de faktiskt menar med det. I många rapporter saknas dessutom en orientering kring det fak- tiska sammanhang där utvärderingen utförs. En redovisning av det uppdrag som legat till grund för utvärderingen hade underlättat förståelsen för rapporternas fokus. I de fall då detta inte redovisas kan man få uppfattningen att frågeställningar och fokus valts godtyckligt eller att det i första hand varit utvärderarens egna intressen som har styrt perspektiv, metodval och frågeställningar. Det är dock viktigt att poängtera att detta långtifrån gäller alla utvärderingar40. Att utvärderarens intressen påverkat inriktningen av utvärderingen kan dock också vara positivt för uppdragsgivarna, exempelvis då ut- värderingen utförs av högskolor och universitet med speciell kun- skap om och/eller intresse för området. Förutsatt att det finns en relevant utvärderingskompetens kan utvärderingsuppdragen då berikas med forskarnas ämneskunskaper och förmåga att se 40 Framför allt är rapporterna från ofta tydliga i sin beskrivning av uppdrag och perspektiv. , M et al (2002) är ett annat bra exempel på hur ett utvärderingsuppdrag kan redovisas. fenomen i generella perspektiv. Om frågeställningar däremot enbart formuleras utifrån forskningsintressen riskerar utvärderingarna att hamna långt ifrån behoven av besluts- och förändringsunderlag i de praktiska verksamheterna41. Det är därför viktigt att dessa referens- ramar eller utgångspunkter presenteras eller diskuteras vilket inte alltid är fallet i de granskade utvärderingarna. Valet av perspektiv får även konsekvenser för utvärderingarnas uppläggning och seder- mera utfall. Aspekter som referensramar, tidigare kunskapsbas och personliga intressen påverkar tolkningen av det studerade. Ett tydligt mönster som framträtt i granskningen är att en gedi- gen ämnesspecifik förkunskap hos utvärderaren kring det som stu- deras kombinerat med ett tydligt syfte ger en god utvärdering som innehåller användbara resonemang av såväl praktisk som teoretisk karaktär. Brukarmedverkan i utvärderingsprocesser skulle kunna ses som ut- värderingens eget underifrånperspektiv42. Vedung (2004) menar att utvecklingen när det gäller utvärdering har gått från vetenskaplig akademisk forskning till participation och deliberation (ibid., s. 24). Han hävdar att det har skett en vändning till förmån för demokratisering av utvärdering där användandet av ansatser för brukardeltagande ökat. Inom utvärderingen av de lokala utvecklings- avtalen ser vi dock mycket lite av detta perspektiv43. De granskade rapporterna präglas i stället i hög grad av ett tämligen traditionellt fokus på ett tjänstemannaperspektiv. Stora och viktiga (mål-)grupper inom storstadsarbetet har därmed i mycket liten grad kommit till tals och det finns en risk att de tämligen oreflekterat uteslutits ur utvärderingsprocessen. Det är förvisso lätt att som utvärderare hän- ge sig åt välbeprövade och traditionella ansatser, men en metodut- vecklande ansats även inom utvärderingen av de lokala utvecklings- avtalen hade varit önskvärt. Brukarnas delaktighet i formuleringen 41Se vidare resonemang om den verksamhetsnära utvärderarens bidrag vid förändringsarbete i bland annat (2003) och Tranquist (2004). 42Ett underifrånperspektiv beskrivs i propositionen som mobilisering av brukare i ut- vecklingsprocesser med utgångspunkt från att deras aktiva medverkan spelar en avgörande roll i ett långsiktigt hållbart utvecklingsarbete (prop 1997/98:165, s. 72). 43Några utvärderingar har dock en uttalad interaktiv eller deltagande ansats. Som exempel kan nämnas et al (2004), som beskriver sitt uppläggning som en interaktiv process- inriktad utvärdering. av frågeställningar, framtagande av bedömningskriterier eller tolk- ningsarbete hade säkerligen kunnat tillföra intressanta perspektiv44. Utvärderarrollen – forskning eller utvärdering Inom de lokala utvecklingsavtalen har kommunerna huvudsakligen valt att förlägga de lokala utvärderingsuppdragen till högskolor och universitet45. Tanken med detta har bland annat varit att därmed säkra en grundkvalitet i kunskapen kring de insatser som genom- förs, men också i vissa fall att stödja uppbyggnaden av högskolor och funktioner inom dessa46. I granskningen finns följdriktigt ett stort antal utvärderingar som framstår som gedigen forskning, väl genomförd utvärdering eller till och med utvärderingsforskning47. En alltför stor andel av rapporterna kan dock sägas ha karaktären av slarvigt genomförd eller metodologiskt svag utvärde- ring alternativt lågt prioriterad forskning. Det som kunde ha blivit gedigna utvärderingar eller bra forskningsrapporter blir i dessa fall varken eller, utan snarare ett mellanting. Vad som framför allt sak- nas i dessa fall är den kritiska hållning som skulle kunna förväntas i utvärderingar. I många rapporter finner vi att utvärderarna har tullat på de strikta akademiska krav som annars ställs inom forskningen. Detta kan gälla grundläggande krav som t.ex. källhänvisningar och metodredovisningar.