sou · GSB379 · 2005-01-01 00:00:00 — Rollen som "bollplank", koordinator och nätverksutvecklare kombineras med utvecklande av riktlinjer, handledning och rådgivning. Exempel nämns som att bistå med stöd vid uppbyggnaden av ett program, att bistå med kom- petens när det gäller att beställa utvärderingar och att vara behjälplig med att bedöma vad som är utvärderingsbart7. Ej styrande, endast stödjande/U stöd i en riggning (uppbyggnad)/DT Stödja och utveckla beställarkompetens Ge stöd till lokala projektledare, bollplank/LU Råd om verktyg och metoder Genomgående efterlyses således möjligheter att få olika typer av stöd. Det kan gälla planering av ett program för att bygga in möj- ligheter till utvärdering, men det kan också gälla metod- och kun- skapsutveckling i den egna verksamheten. Inte minst efterfrågas stöd för att kunna ta tillvara de erfarenheter som görs under arbetets gång och använda dem under pågående programtid. Detta kan exempelvis handla om olika former av konkreta verktyg: Ge verksamheter metod och verktyg för självgranskning och självutvärdering/U med utgångspunkt i bestämda kriterier för alla, komplette- rat med specifika tillägg/PL Tydliga frågebatterier/KS Få råd kring beställning/utvärderar och beställarkompetens/KS som "mallar" efterfrågas finns det även en stor skepsis till alltför stelbenta ramar som utesluter lokala variationer. Mallarna kan i stället vara frågebaserade, dvs. rekommendera att vissa frågor ställs. 7 uttrycks här farhågor om att alltför snäva beställningar kan begränsa möjligheten till kunskapsbyggande och generaliserbarhet. Allt ljus på lokala utvecklingsavtal? Koordinera och stödja nätverk Den kunskapsspridning som sker vid personlig kontakt i nätverk och olika former av samverkan ses som angelägen. Här skulle ett utvärderingsprogram kunna fylla en funktion för att stödja och underlätta samordning, dialog och utvecklande av nätverk, även innan ett nytt program inleds Central samordning innan programstart/U Skapa dialoger och ge möjlighet att påverka/LB Bro mellan forskare och praktiker/KS Studera samverkan/dialog folk-politiker/PL Samordning och nätverk för utvärderare/U Konflikt bostadsområde/ordinarie verksamhet/LU Att ett nationellt utvärderingsprogram ska leda till större kunskap och bättre underlag för beslut och planering betraktas av de flesta som självklart. Flera efterlyser således ett nationellt utvärderings- program som kan leva upp till det som tidigare i utredningen benämnts "framåtsyftande tillbakablick". Kompetensen – att ett nationellt utvärderingsprogram utifrån en bred kunskap ska kunna bistå med rekommendationer – är eftertraktad, inte minst för att få en "snabbkoll på utvecklingen", "fånga in förändringspotentialen" eller ge kunskap för att kunna arbeta förebyggande. Avslutningsvis efterlyses ett nationellt utvärderingsprogram som inte drar sig för att lyfta upp frågor till diskussion, "sticka ut hakan" och ge sig in i debatten. Som utifrån en gedigen analys "vågar stå för nåt och tycka till". Kanske kan man sammanfatta detta som en efterlysning av en viss uppfriskande uppkäftighet. Det är en sammansatt bild av ett kunnigt och vitalt nationellt ut- värderingsprogram som här växer fram här. Behovet av ett program tycks vara gediget, liksom synen på att det går att skapa en resurs som är användbar för långt flera än beslutsfattarna (vilket even- tuellt kan tolkas som en tendens till ett efterfrågat underifrån- perspektiv). De temapunkter som sammanfattar materialet ovan Allt ljus på lokala utvecklingsavtal ? kan jämföras med de utvärderingsfunktioner som i kapitel fyra be- nämndes kontrollerande, främjande och kunskapsutvecklande. Tydligt är dock ett klart ökande behov av stöd när det gäller över- gripande orientering för att kunna placera in egen verksamhet och utvärderingar i olika sammanhang i ett samhälle som tenderar att översvämmas av information och influenser. Detta stämmer väl överens med de allmänna utvecklingstendenserna kring utvärde- ring. Det ökade behovet leder till att allt fler organ inrättas inom offentlig sektor för att sprida utvärderingstänkandet och höja den interna utvärderingskompetensen, men också till en större betoning på kunskapsbyggande utvärderingar och kompetensutvecklande ut- värderingsmetoder när det gäller den egna personalen8. Ambitionen att utveckla ett lärande inom den egna organisationen kan därmed betraktas som ett steg mot det som benämns ökad hållbarhet och långsiktighet9. I föregående avsnitt diskuterades frågan om vilket syfte och vilka funktioner ett nationellt utvärderingsprogram skulle kunna ha för att betraktas som intressant eller användbart. De svar som redo- visas nedan får ses som ett förtydligande komplement kring aspek- ten om det finns några egenskaper eller krav som man bör vara speciellt uppmärksam på i ett förslag till ett nationellt utvärderings- program. Ett par av de mest frekvent förekommande svaren på frågan om viktiga egenskaper handlar om oberoende och långsiktighet. Andra är bredd och kvalitet. I samtliga kontakter (med något enstaka undantag) kommenteras att en förutsättning för att bygga ett användbart nationellt utvärde- ringsprogram är ett långsiktigt åtagande. I annat fall finner man det 8Se kapitel 4. Se även seminarierapporter från Svenska utvärderingsföreningens konferens (). 9Enligt (2003) finns det tre villkor för att ett individuellt lärande också skall bli ett organisatoriskt, nämligen motivation, förmåga och möjlighet att handla (vår kursivering). Det är således viktigt att inte bortse från att en långsiktig kompetenshöjande utveckling kan påverka möjlighet att handla, exempelvis genom att de faktiska förutsättningarna för en verksamhet förändras. Allt ljus på lokala utvecklingsavtal? inte meningsfullt att satsa på ett nationellt utvärderingsprogram. Det framkommer tydligt att de lokala utvecklingsavtalen av de flesta ses som ett i raden av ett pärlband av insatser som avlöser varandra eller löper parallellt. Om man endast skulle koppla ett nationellt utvärderingsprogram till de lokala utvecklingsavtalen, skulle det därför betraktas som ett utslag av ett kortsiktigt tänkande. Sluta inte för tidigt!/KS Längre tidsperspektiv än satsningen/LB Det behövs ett mycket långt tidsperspektiv tid/LB Långsiktighet ()/KS Mandat att finnas över tid En av de mest frekvent återkommande egenskaperna som nämns i våra kontakter är att aktörerna inom det nationella utvärderings- programmet ska stå fria och obundna, vara "oberoende". Oberoen- de innebär i detta sammanhang främst att det nationella utvärde- ringsprogrammet bör stå utanför den organisation där programaktivi- teterna äger rum. Risken är annars stor att programansvariga har in- flytande över utvärderingen på ett sätt som gör att man kan ifråga- sätta dess trovärdighet Oberoende utvärderare/CM Oberoende är viktigt/U Oberoende, staten ska inte peta/KS Konjunkturoberoende oavsett regeringsparti/KS I nära anslutning till oberoende nämns opartiskhet. Risken med en alltför nära relation kan vara att den utvärderande organisationen har egna mål och intressen att bevaka som inte alltid stämmer överens Allt ljus på lokala utvecklingsavtal ? med en opartisk bedömning10. Företrädesvis placeras det opartiska utanför de ordinarie statliga och kommunala organisationerna. Utan egenintresse/U Neutral (ej egen verksamhet)/DT Ställa sig utanför/SK Centralt (ej lokalt för de håller sig till sitt)/CM Mod, kraft och mandat Modet att våga uttala sig och modet att ta en strid är också egen- skaper som värderas högt. Att våga granska kritiskt och framföra slutsatser på ett kraftfull sätt kräver både mod, kraft och mandat. Mod att ta initiativ, sticka ut hakan, ta en diskussion/SK Kritisk granskning, våga ställa fräcka frågor/SK Ge korrekta kängor/DT En röst som hörs i offentlig debatt/CM Kunnighet, mångvetenskaplighet och överblick En stark gemensam önskan är att ett nationellt utvärderingsinstru- ment ska präglas av en saklig kunnighet av hög kvalitet, förmåga att göra högkvalitativa analyser utifrån ett tvärvetenskapligt och mång- dimensionellt perspektiv och ha en god överblick över kunskapsfältet när det gäller såväl sakfrågor som utvärderingsfrågor. Överblickande – utifrån flera perspektiv/PL Sätta i större sammanhang/LU Kvalitet framför kvantitet/KS Klarspråk vad avser åtgärder för integration/PL 10 Ett återkommande exempel är att om utvärderingsprogrammet placeras på en myndighet finns det uppenbara risker att myndighetens egna mål inom sitt ämnesområde kommer att påverka utvärderingen. Allt ljus på lokala utvecklingsavtal? Med en fast kärna som utgångspunkt ser många det som en viktig egenskap med lokal förankring och flexibilitet i förhållande till lokala förutsättningar. Med en ambition att möta lokala behov undviks en stelbent standardisering. Flexibiliteten gäller både synen på och hantering av uppdragen, som själva organisationen och dess förmåga att anpassa sig efter uppdragen. Någon illustrerar med bil- den av en dragspelsorganisation, medan andra fokuserar på en till- gänglig och obyråkratisk organisation med förmåga att balansera centralt och lokalt. Krav eller viktiga egenskaper i ett danskt perspektiv En intressant jämförelse kan göras med de danska forskarna (2003)11, som i sin forskning har identifierat sex kriterier eller krav som kan användas som stöd för att värdera olika sätt att organisera utvärderingar av omfattande program- verksamheter. Forskarna menar att det är angeläget att ta hänsyn till en rad faktorer, inte minst vid en organisering av utvärderingar och utvärderingsprogram. De faktorer som och främst lyfter fram är: 1) Opartiskhet och ansvarighet, 2) Oberoende, 3) Förmåga att bidra till internt lärande (erfarenhetsspridning), 4) Förmåga att bidra till utveckling av kunskap genom utvärdering, 5) Förmåga att behålla och utveckla utvärderingskompetens och 6) Förmåga att skräddarsy indi- viduella utvärderinga12 . Kriterierna ligger påfallande nära de viktiga egenskaper som våra kontakter efterlyser. Likartade kriterier återkommer i aktuell ut- värderingsforskning, men kan också återfinnas i utredningar som Statskontorets utredning om utvärderingsresurser inom (Statskontoret 2002)13. 11Dahler-Larsen och (2003) utgår dels från utvärderings- och forsknings- litteratur, men främst från en studie de genomfört av en omfattande projektverksamhet inom , den danska motsvarigheten till SIDA. 12I en kort sammanfattande översättning från danska presenteras begreppsdiskussionen i bilagan Viktiga egenskaper vid val av organisationsmodell. För fördjupad diskussion kring begreppen hänvisas till och (2003). 13En begreppsdiskussion kring kriterierna kan sägas ansluta till de reflektioner som gjordes kring intern respektive extern utvärdering i kapitel 4. Jfr även med Denvalls studie (2001) om kunskapsbildning inom . Denvall lyfter här fram de svårigheter som kan råda Allt ljus på lokala utvecklingsavtal ? I utredningen återkommer vi till dessa kriterier och deras even- tuella betydelse för en organisering av ett nationellt utvärderings- program. 5.3Vem är det nationella utvärderingsprogrammet till för? I föregående avsnitt ges exempel på funktioner och egenskaper som betraktas som angelägna när det gäller en önskvärd inriktning på ett nationellt utvärderingsprogram. Men vem är det nationella utvärde- ringsprogrammet till för? Och vem kan anses ha ansvar för att de erfarenheter och kunskaper som samlas där sedan sprids till avsedda mottagare? Dessa frågorna tillhör de centrala frågor som tidigt bör ställas i utvärderingar på alla nivåer och inte minst vid organisering av ett nationellt utvärderingsprogram. När vi vänder oss till våra fokusgrupper står det klart att de upp- fattar att ett nationellt utvärderingsprogram är till för en mängd olika mottagare eller intressenter: Nationella rikspolitiker, i första hand för att få beslutsunderlag Departementen, för att bevaka sina sak- områden Hela organisationen där verksamheten organisatoriskt är för- lagd, med praktiker, politiker och byråkrater Den egna gruppen, här i form av verksamheten som ansvarar för den lokala insatsen Dem det berör (målgruppen, föremål för utvärderingen, andra intressenter) Utvärderare, forskare och högskolestudenter Kommuner med och utan lokala utvecklingsavtal I någon fokusgrupp har man benämnt utvärderingens väg som att den ska gå uppåt som underlag, nedåt som förädlade metoder. Det ses som angeläget att det nationella utvärderingsprogrammet inte ska fastna inom ett sakområde (eller stuprör), utan att man ska värna om det tvärsektoriella genom att bevaka bredden på utvärderings- programmet. när rapportskrivaren har en direkt relation till uppdragsgivaren för det föremål som ska betraktas och bedömas. Allt ljus på lokala utvecklingsavtal? Faktorer som vem som är beställare av utvärderingen, vem som är genomförare och vem som är föremål för utvärderingen bör rim- ligtvis vägas in i frågeställningen om vem det nationella utvärde- ringsprogrammet är till för. Att uppräkningen ovan främst foku- seras på intressenter inom den offentliga sektorn, påverkas högst troligt av vilka föreställningar som finns kring ett nationellt ut- värderingsprogram, bland annat genom den förlaga som finns i form av det nationella utvärderingsprogram som genom- förts14, med dess beställare, genomförare, osv. Möjligtvis kan beteck- ningen dem det berör även omfatta aktörer utanför den offentliga sektorn, som lokala boende, intresseföreningar, näringsliv, osv. Upp- räkningen påverkas troligen också av vem som kommit till tals i denna utredning. Här får vi självkritiskt konstatera att vi försummat ett bredare medborgarperspektiv genom att i fokusgrupper och övriga kontakter endast marginellt ge utrymme för andra intressen- ter än dem inom den offentliga sektorn. Uppräkningen av mottagare för utvärderingsprogrammet ansluter väl till Furubos något självrannsakande uttalande, att "många av oss är alltför fångade i en slags centralistiska utvärderarperspektiv" (Furubo, 2004). Uttalandet ingick i ett inledningsanförande för en utvärderingskonferens , där nationella och internationella deltagare utbytte erfarenheter av utvecklingen inom utvärderings- området. sågs det således som självklart att ut- värderingar (endast) var avsedda för beslutsfattare som grund för bättre beslut. är dock bilden mer komplex. Utvärderingar har allt mer kommit att betraktas som en viktig och möjlig källa till alternativa samhällsbilder. Därmed, menar , blir det allt vik- tigare att ställa frågan: Vem påverkar vad som ska utvärderas? Vems frågor ställs? 14Här avses nationella utvärderingsuppdrag som genomfördes –2002. Uppdraget avslutades med slutrapporten rätt väg? (Integrations- verket 2002). 15Jfr , professor från , , som på samma konfe- rens uttryckte att det vore en rimlig utgångspunkt att en rad intressenter borde få ta del av utvärderingar; a client, user or customer, citizens and taxpayers, a professional och till slut we all would like to know more about what actually works. (Schwandt 2004). Allt ljus på lokala utvecklingsavtal ? Hur erfarenheter och kunskaper som anrikas i ett utvärderings- program på bästa sätt ska spridas till ett brett fält av intressenter kommer endast kort att beröras här. Frågan är viktig och detaljrik och kräver en noggrann analys bortom tidsramen i detta uppdrag. När temat diskuterats i fokusgrupper och andra sammanhang tillmäts dock spridningen av utvärderingar en oerhört viktig roll och ses som en viktig funktion för ett nationellt utvärderings- program. Några av de synpunkter som förmedlats sammanfattas i det följande: En noggrannhet när det gäller spridning av erfarenheter och kun- skaper från ett nationellt utvärderingsprogram ses som angelägen. Framför allt betonas spridning i dialogform, inte minst mot bak- grund av ett motstånd mot att (främst) hänvisas till eget sökande i databaser. En kommunikationsplan bör läggas upp för att nå dem som berörs: ute i verksamheterna, bland de övriga utvärderarna, i politiska beslutssammanhang, nationellt inom olika politikområden och inte minst inom den egna gruppen. Förmedling bör ske i olika former och på alla möjliga olika nivåer; genom att författare till rapporter kommer ut och infor- merar, att spridningen sker i dialoger som involverar boende- tjänstemän och politiker, att nyckelpersoner får till uppdrag att föra frågan vidare till hela organisationen, osv. Det ses som viktigt att göra sammanställningar som folk begriper, men också att texter produceras som är användbara som beslutsunderlag på departements- nivå. I de kontakter vi haft finns ett brett och engagerat intresse av att få ta del av ett växande kunskapsutbyte där erfarenheter successivt anrikats i mötet med kvalificerade utvärderare. Huddingegruppen och Internationella gruppen Två arbetsgrupper som har haft regeringens uppdrag att utifrån olika aspekter studera frågan är den s.k. Huddingegruppen respek- tive Internationella gruppen. Gruppernas slutsatser sammanfattas kort nedan. kommun beviljades medel av Regeringen för att leda en arbetsgrupp med uppgift att lämna förslag till verk- tyg och instrument för ett nationellt erfarenhets- och kunskaps- Allt ljus på lokala utvecklingsavtal? utbyte inom ramen för de lokala utvecklingsavtalen16. Huddinge- gruppen presenterade i sin rapport bland annat två övergripande mål för erfarenhets- och kunskapsspridning: Att möjliggöra att de gjorda erfarenheterna och kunskaperna görs tillgängliga för (1) kommuner, myndigheter och de yrkesgrupper som kan tänkas använda resultaten i sitt eget utvecklingsarbete, respektive (2) för forskning. Arbetsgruppen definierar primära och sekundära målgrupper inom stat, kommun, samverkande organisa- tioner, forskarvärlden, yrkesverksamma, intresseorganisationer och massmedia. Huddingegruppen lämnar också ett förslag på metoder och instru- ment för nationellt erfarenhetsutbyte. Detta kan sammanfattas i följande punkter: (1) Aktiva informationsinsatser ska göras via be- fintliga kanaler och forum (2) En webbplats med databas ska upp- rättas (3) Seminarier och konferenser ska anordnas (4) Nätverk för storstadsarbete ska bildas och upprätthållas (5) En skriftserie ska till- skapas för publikationer17. Ytterligare en grupp tillskapades . Rege- ringen gav således i uppdrag att samordna en kartläggning av internationellt erfarenhetsutbyte in- om ramen för de lokala utvecklingsavtalen. Den Internationella gruppen redovisade uppdraget för . Gruppen uppmärksammar i sin rapport att det finns en uppsjö av aktörer och samverkanspartners i storstadsrelaterade frågor. Rapporten visar på ett stort antal internationella organisa- tioner och nätverk som kan associeras till storstadssamarbete för- delat på mellanstatliga och mellankommunala organisationer och nätverk samt övriga nätverk, organisationer och projekt. kommuner och landsting uppges ha ett långt utvecklat internatio- nellt samarbete via vänorter, vänregioner och projektpartners i olika håll i världen. EU-samarbetet är en vidare ram för det kom- munala och regionala utvecklingsarbetet19. För en vidare diskussion hänvisas till gruppernas rapporter. 16Ju2003/3863/STO. Arbetsgruppen har bestått av representanter från kommuner, centrala myndigheter och Storstadskansliet. Gruppen presenterade sitt förslag . 17Se vidare Huddingegruppens rapport. 18Ju2003/4070/STO. Kan hämtas från storstadskansliets hemsida 19I kapitel 6 redogörs för några av dessa exempel. För övrigt hänvisas till rapporten. Allt ljus på lokala utvecklingsavtal ? 5.4Allt ljus på lokala utvecklingsavtal? Vad ska utvärderas? Vad är studieobjektet för ett nationellt utvärderingsprogram? Vad ska utvärderas? Ska allt ljus, alla blickar, koncentreras på de lokala utvecklingsavtalen? Frågan om fokus för ett nationellt utvärde- ringsprogram visade sig leda till en nyansrik och livligt diskuterad fråga av vikt för innehållet men också för en organisering av ett nationellt utvärderingsprogram. Med stor tydlighet framstår vikten av att ett utvärderings- program styrs av medvetna och förankrade perspektivval. Redan det programområde som de lokala utvecklingsavtalen i sig berör har en spännvidd från individ- till samhällsnivå, från temaavgränsade pro- jekt till studier på strukturell nivå. Övergripande teoretiska och politiska frågeställningar kring välfärdsfrågor20 kan ses som ange- lägna och förekommer parallellt med det praktiska och nära studiet av det "utsatta" (bostadsområdet, gruppen, individen), om social problematik och bostadssociala frågor. Utvärderingar inriktade på processer, drivkrafter och mönster bakom segregation, fattigdom och olika former av marginalisering efterfrågas, som kvalificerade uppföljningar av det praktiska genomförandet av lokala insatser ses som nödvändiga. Insatserna och deras metoder, organisering, förutsättningar och resultat, liksom effekter för och reaktioner hos den enskilde medborgaren kan studeras ur en mång- fald perspektiv. Listan kan göras lång. Uppdraget för detta delbetänkande är att "föreslå ett långsiktigt nationellt utvärderingsprogram för lokala utvecklingsavtal"21. Detta bygger på tanken att det parallellt med ett långsiktigt utvecklings- arbete inom storstadspolitiken behövs en likaledes långsiktig ut- värderingsverksamhet. Vad betyder då detta för besvarandet av frågan om fokus i det nationella utvärderingsprogrammet? Att direktivets formulering ger utrymme för olika (och ibland mot- sägelsefulla) tolkningar blir tydligt i våra kontakter. När frågan ställs om vad som uppfattas som studieobjekt för ett nationellt ut- värderingsprogram, återspeglar svaren ämnets bredd, djup och kom- 20Som etnisk, social, ekonomisk och kulturell segregation, integration, demokratiutveckling, arbetsmarknadsutveckling, utbildning, bostadspolitik, etc. Allt ljus på lokala utvecklingsavtal? Flera av de förslag till avgränsningar som har lyfts fram vid gruppintervjuer och enskilda samtal berör och illustrerar en kom- plicerad gränsdragningsproblematik som tänjer gränserna för de lokala utvecklingsavtalen och som i flera fall når långt utanför dessa. Även om vi i våra möten med fokusgrupper och andra kontakter har haft de lokala utvecklingsavtalen som central utgångspunkt, finns det många som betraktar de lokala utvecklingsavtalen endast som en i raden av statligt initierade interventioner. Detta kan delvis kopplas till en osäkerhet som uttrycks kring själva storstadspolitiken, dess avgränsningar, specifika innehåll och framtida inriktning. Emellanåt ifrågasätts möjligheten att formulera ett relevant utvärderingspro- gram kring något som man menar ännu är ett otydligt och svår- fångat politikområde. Vad är det då som öppnar fältet för flera tolkningar och som lyfts fram som motsägelsefullt? En första stötesten tycks vara kombi- nationen långsiktighet och lokala utvecklingsavtal. Detta har åter- kommande diskuterats som ett tydligt exempel på motsägelsefull- het eller uttryck för en paradoxal ambition att skapa ett långsiktigt program knutet till en insats med okänd (förmodat begränsad) var- aktighet. Skeptikerna befarar att utfästelsen om långsiktighet ut- trycker en ambition som inte motsvaras av ett reellt åtagande när (eller snarare "om") de lokala utvecklingsavtalen avslutas. De något mer optimistiska menar att i formuleringen finns ett löfte om att kunna följa utvecklingen i spåren efter de lokala utvecklingsavtalen, vilket kan tolkas som en ambition bortom själva satsningen. Ytterligare ett engagerande tema har varit vilken typ av resultat och effekter som ska följas. Detta har mycket handlat om på vilken nivå effekter ska utläsas. Ska man sträva efter att utläsa effekter för den enskilde individen eller för bostadsområdet eller bådadera? Meningarna är delade, men argumenten talar för att det är viktigt att följa både individer och bostadsområden. Det gäller dock att slå fast vad som gäller. Utan tvekan är det komplext att välja ur vilket perspektiv de lokala utvecklingsavtalen ska betraktas.