sou · GTB329 · 2006-01-01 00:00:00 — Men en be- dömning är en relativ verksamhet – vad som är bra eller dåligt är relativa begrepp som i de allra flesta fall beror på vilken synvinkel ut- värderaren väljer att ta som sin referenspunkt. En central fråga för varje utvärdering är därför vilka kriterier som styr bedömningen och hur dessa väljs ut. Inför varje utvärdering bör det finnas en unik och tydlig referensram som i sig är ett sätt för bedömaren att presen- tera vilka kriterier som använts för bedömningen (1999, s. 42). Att som utvärderare redovisa sina bedömningskriterier har också ett stort symbolvärde då öppenheten kring kriterierna tillfreds- ställer en grundläggande rättviseprincip, nämligen att den utvärderade ska känna till de regler enligt vilka det utförda arbetet bedöms (Shepard 2000). En utvärdering är oundvikligen förenad med vad som är värdefullt och om inte bedömningskriterierna redovisas är det lätt att utvärderingen avfärdas som tyckande från utvärderarens sida. Därmed förlorar utvärderingen i värde, även om resonemangen som förs kan vara värdefulla. Utvärderingsteoretikern har ägnat sig åt kriterie- problemet i utvärdering och följande resonemang bygger på hans tankar. Vid en bedömning kan man använda sig av såväl subjektiva som objektiva referensramar. Det senare innebär att det finns en uppsättning värderingsprinciper som gäller oavsett vad en enskild individ anser. Ett subjektivt värdeomdöme kan istället ses som en individuell åsikt om en fråga. Enligt finns det fyra typer10 av objektiva referenspunk- ter eller kriterier: Minimikrav innebär de grundläggande krav som verksamheten ska motsvara för att anses godkänd som praktik. Genomsnittliga värden för praktiken innebär istället att olika verksamheter jämförs med varandra utifrån gemensamma krav för att få fram genomsnittsvärden på olika prestationer. Det kan gälla jämförelser mellan verksamheter inom kommunen, landet, eller internationellt. Den bästa konstaterade praktiken (bench marking) innebär att värdering sker i jämförelse med den som fått den högsta poäng- en, omdömet eller ekonomiska utfallet vid en jämförelse med andra verksamheter inom området. Den teoretiskt optimala praktiken värderar istället en verksamhet utifrån teoretisk idealbild om hur den borde fungera. 9Karlsson (1995, 1999) har i många sammanhang skrivit om kriterieproblemet i utvärdering. Han konstaterar bland annat att en utvärdering utan klara referenspunkter riskerar att bli avfärdad som subjektivt tyckande. 10Referenspunkterna utgörs av så kallade idealtyper, vilket framhäver det typiska i ett visst fenomen. Detta innebär att vissa drag renodlas för att kunna belysa viktiga faktorer hos ett fenomen (1982). tal om belagda teoretiska resonemang om vad en verksamhet borde leva upp till om den fungerar optimalt. Det finns även fyra typer av subjektiva referenspunkter eller kriterier: Den enskilde individens eller gruppens behov och krav hänvisar till egna intressen, vilket exempelvis sker vid självutvärdering. Brukarnas behov och krav handlar om att bedöma till vilken grad verksamheten uppfyller brukarnas krav och förväntningar. Intressenternas behov och krav handlar istället om att bedöma hur verksamheten motsvarar krav och förväntningar hos olika aktörer som berörs av insatsen. Det kan exempelvis omfatta tjänstemän, politiker och andra berörda. Professionella gruppers behov och krav innebär att låta yrkes- grupper inom verksamheten bedöma på vilken nivå verksam- heten presterar. De teoretiska resonemang som förts i detta kapitel utgör i stort grunden för vår syn på utvärdering. Inför granskningen av de rapporter som ingår i utredningens primärmaterial har vi utifrån ovanstående diskussion konstruerat en granskningsmall som sedan använts för den systematiska analysen11. De frågor som gransk- ningsmallen beaktar utgör också grunden för nästföljande kapitel. Här presenteras bland annat vilka utvärderingsmodeller som använts och vilka kriterier insatserna bedömts i förhållande till. Dessutom bedöms rapporternas tillförlitlighet ur ett utvärderingsperspektiv. 11 En redovisning av primärmaterial och granskningsmall återfinns i Metodappendix i bilaga. I detta kapitel riktas fokus på de utvärderingar som haft i uppdrag att närmare studera och utvärdera processer och aktiviteter inom ramen för de lokala utvecklingsavtalen. Kapitlet innehåller en genom- gång av de rapporter som vi har granskat inom ramen för vårt upp- drag. Av ett ursprungligt material på drygt 160 rapporter gjordes ett urval till förmån för så kallade externa1 utvärderingar främst genom- förda på uppdrag av avtalskommunerna, men i några fall även på uppdrag av . Efter en urvalsprocess återstod 83 rapporter i vårt material2. Dessa rapporter har systematiskt analy- serats och utgör det primära grundmaterialet för såväl detta som föl- jande kapitel. I bilaga finns en närmare redovisning av de granskade rapporterna. Genom granskningen skapas en grund för uttalanden om rappor- ternas innehållsmässiga kvalitet3, vilket återverkar på tillförlitligheten i rapporterna. Detta kan i sin tur ses som angeläget inför innehållet i nästkommande kapitel, som ägnas åt en presentation av själva inne- hållet eller resultatet av utvärderingarna. Analysen bygger i denna del på såväl deskriptiva inslag med diskussion kring rapporternas karaktär, som på värderande inslag med bedömning av rapporternas kvalitet. I kapitlet studeras bland annat vem som har utvärderat stor- stadsarbetet, hur utvärderingarna har genomförts och vad/vilka om- råden som har utvärderats. Några av de aspekter som systematiskt granskats är det empiriska underlagets omfång och karaktär, metoder och metodmedvetenhet när det gäller datainsamling, förmåga att placera in insatsen i ett 1Med intern utvärdering avses att utvärderaren är en del av (eller anställd i) den organisation som utvärderas. En extern utvärdering utförs av någon som ligger utanför verksamheten, men som kommer in genom ett särskilt ett utvärderingsuppdrag (Vedung 1998, s. 2För en samlad presentation av urvalskriterier, bedömningskriterier och gången i gransknings- arbetet hänvisas till Metodappendix i bilaga. 3Med kvalitet avses här egenskaper och värde i förhållande till utvärderingsteoretiska aspekter (jfr även kapitel 4). Med hög kvalitet avses sedan graden av goda egenskaper i förhållande till detta (NE 1999). vidare sammanhang samt huruvida studien ger underlag för använ- dande bortom det enskilda fallet (generaliserbarhet). Dessutom be- aktas utvärderingarnas geografiska och tematiska avgränsningar, syfte, val av utvärderingsmodell samt referenspunkter för bedömning. 5.1Vem har utvärderat storstadsarbetet? Som ett led i kunskapsutvecklingen inom storstadsarbetet skapades överenskommelser i de lokala utvecklingsavtalen om att arbetet inom ramen för avtalen ska följas upp och utvärderas. En lång rad utvärderare, företrädesvis från högskolor och universitet, fick i upp- drag att följa arbetet. Eftersom satsningar som de lokala utvecklings- avtalen är komplexa och mångsidiga präglas ofta studiet av dessa sammanhang och verksamheter av tvärvetenskaplighet4. Detta är också fallet i det här granskade materialet, då forskare och utvärde- rare engagerats från ett brett spektra av ämnesområden och veten- skapsdiscipliner, exempelvis med förankring i arkitektur, sociologi, företagsekonomi, etnologi, pedagogik och kulturgeografi. Totalt har 24 organisatoriska aktörer (vilket döljer ett långt större antal utvär- derare) varit inkopplade i arbetet med de 83 rapporterna. I tabell 5.1 finns de olika utförarna redovisade samt hur många utvärderingsrap- porter som producerats av respektive aktör. Av sammanställningen framgår att högskolor och universitet har spelat en ansenlig roll i granskningen av storstadsarbetet. Det är ett stort antal aktörer bland utförarna som, i enlighet med intentionen i storstadpolitiken5, har en lokal anknytning till akademiska insti- tutioner i avtalskommunerna. och hög- skola, Mångkulturellt centrum samt Lunds och universi- tet är de mest framträdande aktörerna på detta område. 4Jfr (2002) som diskuterar tvärvetenskaplighet i en översikt över nordisk forsk- ning kring insatser av detta slag. 5Genom att engagera högskolor och universitet ville man inom arbetet med de lokala ut- vecklingsavtalen försäkra sig om en kontinuerlig dokumentation och bedömning av hög kvalitet kring resursernas användande (jfr kapitel 1). , LU & , högskola 6 Utförarna är ordnade efter begynnelsebokstav. De institutioner och avdelningar som orga- nisatoriskt tillhör samma universitet har inordnats under detta för att göra tabellen mer över- skådlig. Det är således många utförare som varit engagerade i utvärderings- arbetet och ett stort antal rapporter har skrivits. har kvalite- ten på de rapporter som producerats varit högst skiftande och antalet rapporter från respektive organisation bör därför relateras till den innehållsmässiga kvalitet som rapporterna håller. Vidare har olika val gjorts när det gäller uppläggning och publicering av rapporter. har exempelvis ett stort antal publicerade rap- porter, men om man studerar dem närmare så beskriver författarna i flera fall själva att utvärderingsrapporten (endast) är en delrapport som har för avsikt att bidra med ett underlag för kommande slut- rapport. För granskningens vidkommande kan detta medföra att flera rapporter inte rankas högt när de bedöms som utvärderingar, medan de kan vara intressanta som deskriptiva uppfölj- ningar. I flera andra fall är rapporterna utformade som antologier med en rad författare som samsas i samma publikation. Det före- kommer också exempel på att rapporter både publicerats som en- staka rapport och senare även presenteras i en samproduktion. En intressant skillnad som framkommer berör hur utvärderings- uppdragen fördelats och hur arbetet organiserats inom det regionala området. I granskningen framträder två riktningar när det gäller grupper av utvärderare. I det ena fallet förläggs i princip alla utvär- deringsuppdrag hos en aktör, oavsett vilket målområde eller inrikt- ning utvärderingen gäller. Detta sätt att organisera utvärderingarna kan sägas ha en generalistprofil, en slags one-size-fits-all-modell. I det andra fallet fördelas uppdragen på flera institutioner efter sak- kunskap, men kombineras och samordnas även med utvärderare med mer tvärvetenskaplig profil. Detta sätt att organisera kan betecknas som ett slags paraplymodell. I vår granskning kan ut- värderargruppen i sägas presentera den senare modellen, medan övriga i olika grad tycks orientera sig i riktning mot den förstnämnda. 5.2Vad ska utvärderingarna användas till? En utvärdering är en aktivitet som genomförs i ett givet samman- hang för att uppnå ett specifikt syfte7. Därmed finns det skäl att fråga sig vilket utvärderingssyfte som finns i en utvärdering, i me- ningen varför utvärderingen görs eller hur utvärderingen är avsedd att användas. En fråga som studerats vid granskningen av rapporterna 7 Se även diskussionen i kapitel 4. är således varför utvärderingen genomfördes enligt utvärderaren och vad som eftersökts är vad författaren har sagt att produkten ska an- vändas till. För att belysa denna fråga används tre inom utvärderingsforsk- ning vanligt förekommande utvärderingssyften, nämligen kontrolle- rande, främjande och kunskapsutvecklande syfte8. I granskningen har en vid tolkning tillämpats, vilket innebär att syftet inte nödvändigt- vis behöver ha formulerats i dessa termer, men att avsikten ändå är tydlig. Uttalade syften för de studerade rapporterna Kontrollerande och främjande syfte Kontrollerande och kunskapsutvecklande syfte Främjande och kunskapsutvecklande syfte Kontrollerande, främjande och kunskapsutvecklande syfte Ej uttalat syfte enligt ovanstående I figur 5.2 redovisas hur rapporterna förhåller sig till de tre utvärde- ringssyftena. Inledningsvis är det värt att notera att det i något mindre än hälften av rapporterna inte gått att utläsa vad utvärde- ringen ska leda till, d.v.s. vilken den tänkta användningen av rappor- ten är. Detta kan ha olika förklaringar. Att utvärderingssyftet inte är uttalat behöver inte betyda att det inte finns, utan snarare att det anses vara underförstått. Det kan exempelvis anses självklart att syftet med utvärderingen är att utgöra ett beslutsunderlag för fort- satt verksamhet eller att utvärderingen ska utgöra ett stöd för me- todutveckling. I vissa fall finns inget uttalat syfte eftersom rappor- ten inte har någon utvärderande ambition. Man kanske inte har för- hållit sig till användningen av utvärderingen, utan istället fokuserat på att ge en beskrivning av vad man ämnar göra i undersökningen. En intressant iakttagelse är att det är en så hög andel av rappor- terna som har ett uttalat kontrollerande syfte, inte minst i förhållande 8 Dessa syften diskuterades och förklarades i avsnitt 4.3. till andelen utvärderingar med ett uttalat främjande syfte. En generell tolkning kan vara att beslutsfattare formulerat utvärderingssyftet utifrån ett behov av att få underlag för framtida beslut, eller att ut- värderaren uppfattat det så. Detta kan tyckas stämma dåligt överens med den uttalade inriktning som formulerats inom storstadsarbetet – nämligen att utvärdering ska bedrivas parallellt med utvecklings- arbetet i syfte att ge råd, stöd och kritik av arbetet som kan leda till förändringar som förbättrar genomförandet (skr. 2003/04:49, s. 30). Detta främjande perspektiv tenderar således att vara klart eftersatt, även om det finns en del utvärderare som säger sig ha en främjande ambition. Endast i ett fåtal rapporter finns konkretiserade uttalanden som visar på att utvärderarna har haft en främjande ansats i sitt arbete och där det faktiskt kan utläsas en uttalad plan kring hur denna främjande process ska kunna uppstå9. Dock kan främjande ansatser finnas utan att det är explicit uttalat i syftesförklaringen. Ett kunskapsutvecklande syfte återfinns i ungefär en femtedel av utvärderingarna. Med tanke på uppdraget i denna utredning, att analysera rapporterna i syfte att omvandla gjorda erfarenheter till kun- skap (direktiv 2003:136), så kan detta te sig aningen bekymmersamt. är ett uttalat syfte en sak, vad som görs en helt annan. I flera fall kan syftet formuleras och fullföljas. I andra fall finns ett uttalat syfte, men något helt annat genomförs. I ett tredje fall utta- las inget syfte, men utvärderingen visar tydligt att ett sådant finns. Den samlade bild rapporterna ger är dock att endast drygt hälften av de granskade rapporterna faktiskt innehåller något som kan liknas vid ett utvärderingssyfte i meningen varför utvärderingen görs eller hur utvärderingen är avsedd att användas. 5.3Vilka modeller har tillämpats? För att kunna diskutera den mängd varianter av utvärdering som använts i det granskade materialet, har även fokus riktats mot vilka utvärderingsmodeller som har använts i utvärderingarna10. 9Se till exempel et al (2004) som beskriver sin uppläggning i form av interaktiv process- inriktad utvärdering där strategierna utvecklas efter hand, alltefter hur projekt och satsningar utvecklas. I denna utvärdering förhåller sig författarna till hur arbetet ska ge möjlighet till användning och delaktighet för de verksamma under arbetets gång, såväl i de enskilda projekten som för stadsdelsansvariga. Noterbart är det uttalade uppdraget till utvärderarna även var att medverka i en interaktiv processutvärdering. 10I avsnitt 4.4 presenteras den modellindelning som har använts i granskningen. De modell- beteckningar som används har hämtats från Vedung (1998, s. 50). Modellbeteckningarna för- i avsnitt 4.4 samt i Metodappendix i bilaga. sig av en modellindelning kan framför allt ses som ett analytiskt hjälpmedel. Vilken modell som används i en utvärdering kan sägas ha ett nära samband med vilken referenspunkt som använts för be- dömningar i utvärderingen11. Dessa två aspekter diskuteras därför i anslutning till varandra. Att använda modeller kan sägas vara ett tämligen fyrkantigt sätt att sortera verkligheten på och de bör därmed endast betraktas som inriktningar eller riktmärken. De flesta utvärderingar lånar drag av eller genomförs som en kombination av flera modeller, vilket kan göra det svårt att avgöra vilken modell som dominerar. I gransk- ningen underlättas detta inte av att det endast är ett litet fåtal ut- värderingar som explicit diskuterar eller anger vilken utvärderings- modell man använder sig av. Därmed kan tabellen visa ten- denser bland utvärderingarna. Svårigheten att avgränsa och bedöma vilken utvärderingsmodell som använts understryks av att det för 29 av de 83 granskade rapporterna inte har gått att bedöma vilken modell som tillämpats. I vissa fall be- ror detta på att rapportförfattarna inte beskrivit någon utvärderande ambition. Dessa rapporter har snarare karaktären av deskriptiva 11Vedungs (1998, s. 50) modellindelning utgår från vilken utgångspunkt en verksamhet värde- ras gentemot. Om man exempelvis värderar undersökningen i förhållande till målsättningar kan det vara tal om en måluppfyllelsemodell. Förhåller man dessutom sig till olika typer av (bi)effekter kan det vara tal om en bieffektsmodell, osv. 12I granskningsschemat är val av modell en flervalsfråga, då en utvärdering kan tillämpa flera modeller. Procenttalen syftar därför till andelen totala träffarna och överstiger därmed antalet rapporter. studier, baslinjestudier13 eller kunskapsorienterande förstudier. I ett antal fall har det dock varit fråga om rapporter med en uttalad ut- värderande ambition där det likväl inte gått att utröna vilken typ av modell som använts. En möjlig tolkning är att kategoriseringen av modeller trots allt varit för snäv. Detta motsägs dock i viss mån av att en stor majoritet av utvärderingarna gått att kategorisera eller placera under kategorin övrig modell. Av tabellen framgår att det är tre modeller som förekommer oftare än andra, nämligen måluppfyllelsemodell, brukarmodell och intressentmodell. När det gäller det omfattande användandet av intressentmodell är detta värt att notera ur perspektivhänseende, inte minst som detta återspeglar en kraftig överrepresentation av kommunala och statliga aktörer på olika nivåer. Ofta tenderar således utvärderarna att välja en intressentmodell, där denna i vissa fall kompletteras med en brukarmodell. Det har visat sig medföra att intressenterna får tolkningsföreträde i utvärderingarna före bru- karna. Då brukare engageras i utvärderingarna går deras medverkan ut på att svara på i förväg formulerade frågor om vad de anser om att delta i den specifika insatsen. Något övrigt egentligt engagemang från brukarna i utvärderingsprocessen är svårt att upptäcka i det granskade materialet. Det kan också tilläggas att många utvärderare är kritiska mot hur boende- och brukardelaktighet har hanterats i de kommunala insatserna14, men någon självkritik angående de boen- des bristande delaktighet i utvärderingsprocesserna talas det aldrig om från utvärderarnas sida. Vilken utvärderingsmodell som väljs hänger ofta nära samman med vilka referenspunkter eller kriterier man väljer att bedöma eller värdera utifrån när man utvärderar. Vid en jämförelse mellan tabel- lerna 5.3 och 5.4 framgår också att de två frågorna följer ett likartat mönster. 13Med baslinjestudie avses en undersökning som fastställer vad utgångsläget är inför kom- mande undersökningar. 14Till exempel slår Bunar (2003, s. 40) fast att delaktighet är ett ledord inom satsningen men likväl sammanstrålar alla utvärderingars kritik just på denna punkt oavsett om det handlar om Ytterstadssatsningen, Blommanpengarna eller Storstadssatsningen. Den enskildes behov och krav Brukarnas behov och krav Intressenternas behov och krav Professionella gruppers behov och krav Vad som framför allt saknas i utvärderingarna är en problematisering kring vilka konsekvenser som valet av modell och bedömningskri- terier får för resultaten av undersökningarna. Det finns exempel på rapporter som tydligt visar att man gör olika tolkningar och be- dömningar av storstadsarbetet beroende på vilket perspektiv eller vilken infallsvinkel man väljer att utgå ifrån17. Denna tydlighet när det gäller perspektiv saknas dock ofta. I vissa fall framgår det att utvärderarna hade velat involvera brukarna i utvärderingsprocessen, men av olika anledningar (som brist på tid och tillgänglighet) har man valt att avstå. I förhållande till de lokala utvecklingsavtalens ambition och inriktning på underifrånperspektiv18 så är detta en brist, framför allt då det finns flera möjliga modeller för deltagande i utvärderingsprocesser som skulle lämpa sig väl i storstadsarbetet19. Istället inskränker sig ofta utvärderingen till att be brukare svara på i förväg formulerade frågor om huruvida de är nöjda med deltagandet i en viss verksamhet. 15I granskningsschemat är val av referenspunkt en flervalsfråga, vilket innebär att en utvär- dering kan utgå från flera referenspunkter eller kriterier vid värderingen. Därmed syftar procenttalen till andelen av det totala antalet träffar, vilket överstiger antalet rapporter. 16De referenspunkter för bedömning som används har hämtats från (1999). Referens- punkterna presenteras utförligt i avsnitt 4.5. 17Lökkens (2004) rapport är ett mycket tydligt exempel på detta. I rapporten bygger analysen på hur olika aktörer uppfattar satsningen och det blir tydligt att olika aktörer inte alltid har samma bild. 18I avsnitt 6.1.1 diskuteras underifrånperspektivet. Där beskrivs att detta inte nödvändigtvis innebär ett underifråninitiativ, utan snarare handlar om att medborgarnas behov och intres- sen lyfts fram i processen. Denna dialog tänks också säkra uthålligheten i utvecklingsarbetet på lång sikt. 19Ett exempel är BIKVA-modellen som utvecklats i av (2003, s. Modellen finns också närmare beskriven i (2001, s. 81–93). Bedömningskriteriet professionella gruppers behov och krav är ett av de bedömningskriterier som förekommer i ringa utsträckning. Här kan det dock finnas möjlighet för den framtida utvärderingen av storstadsarbetet att i större utsträckning utveckla och använda sig av så kallade kollegiegranskningar. Detta innebär att professio- nella yrkesgrupper används som bedömare av andra verksamheter än den egna, vilket om det fungerar tillfredsställande kan bidra till ett erfarenhetsutbyte mellan verksamheter. En ökad medvetenhet kring bedömningskriterier kan således ses som en utvecklingspo- tential inom utvärderingsarbetet. De metoder som använts mest frekvent i utvärderingarna är indi- viduella intervjuer tillsammans med enkätundersökningar och stu- dier av statliga och kommunala dokument. Intervjuerna har huvud- sakligen riktat sig till kommunala och statliga tjänstemän på olika nivåer, vilket tyder på att ett tjänstemannaperspektiv har dominerat utvärderingarna. Brukare och boende har inte i samma utsträckning kommit till tals genom intervjustudierna, utan snarare genom enkät- undersökningar. Förvånansvärt få av utvärderarna har dock diskute- rat och förhållit sig kritiskt till sina metodval. Detta gäller exempel- vis även medvetenheten kring förtjänster och brister med deltagande observationer. Av de granskade rapporterna är det endast 16 rapporter som för- håller sig till någon form av referenslitteratur kring utvärderings- teori20. Den referenslitteratur som använts utgörs ofta av program- dokument och utvärderingar producerade i den egna regionen. Även ämnesspecifika forskningsreferenser har använts av en del utvärde- rare, i synnerhet med fokus på språkforskning. Förekomsten av rekommendationer eller andra framåtsyftande kommentarer är sparsam i många av rapporterna. Detta gör att ett av de mest centrala inslagen i utvärdering – det framåtsyftande per- spektivet – är klart eftersatt21. Även med en mycket välvillig tolk- ning har det i en stor del av rapporterna inte gått att finna några framåtsyftande rekommendationer. I andra fall har rekommenda- tionerna funnits inbyggda i generella resonemang eller inbäddade i den löpande texten.