sou · GSB379 · 2005-01-01 00:00:00 — Ansvaret för planering av utvärdering återfinns i den linjeorganisa- tion som även är ansvarig för den aktivitet som ska utvärderas. Planering av utvärdering och ansvar för den utvärderade aktiviteten sammanfaller således. Utvärderingen är en process som försiggår inom organisationen. Den integrerade modellen kan genomföras på flera olika sätt. Utvärderingen kan exempelvis organiseras internt som en självut- värdering, en eller flera externa utvärderare kan engageras eller också kan dessa varianter kombineras. Ett exempel är då man inom olika politiska områden ger forskare från universitet eller statliga forskarinstitutioner uppdrag som externa utvärderare 27Dahler-Larsen och har använt modellen i en studie av danska bistånds- projekt. Modellerna är utarbetade på basis av slutsatser från arbete med ett stort empiriskt material, men har också hämtat stöd och inspiration från organisationsteori och litteratur om utvärdering. 28En idealtyp är en teoretisk analytisk konstruktion som lyfter fram viktiga och typiska drag hos en företeelse och renodlar dem. Med en idealtyp strävar man alltså inte efter att återge verkligheten så exakt som möjligt, utan bortser från drag som anses mindre viktiga. Be- greppet associeras främst till (, 1982). 29Fritt översatt från danska. Allt ljus på lokala utvecklingsavtal? Utvärderingen kan riktas mot skilda målgrupper. I en situation då organisationen samlar kunskap om sig själv (den lärande organi- sationen) är målgruppen intern. Däremot är målgruppen extern i en situation då en organisation arbetar med utvärdering för att visa ansvarighet gentemot intressenter. Ansvaret för planering av utvärderingsaktiviteter ligger i linjeorgani- sationens ledning. Statligt exempel: Ansvaret ligger inom ett departement eller myndighet. Kommunalt exempel: Ansvaret ligger inom en förvaltning. Ansvaret för planering av utvärdering återfinns på en specialiserad enhet inom linjeorganisationen. Denna enhet ligger separat i förhållande till den enhet som har ansvar för programaktiviteten, dvs. här är föremål för utvärdering. Specialenheten är intern i den mening att den är en del av organisationen. Det handlar inte om självutvärdering eftersom enheten som ansvarar för programmet och enheten som ansvarar för utvärderingen inte är densamma. Utvärderingen är en process som går tvärs igenom linjeorganisa- tionens hierarki. I specialenhetsmodellen kan utvärderingar genomföras på olika sätt. Ett sätt är att specialenheten ger linjeorganisationen i uppdrag att genomföra en självutvärdering, att annat är att specialenheten utför utvärderingen och ett tredje är att man nyttjar externa utvär- derare. En kombination av dessa är också möjlig. Utvärderingen kan riktas mot såväl interna som externa intres- senter. Ansvaret för planering av utvärderingsaktiviteter ligger inom linje- organisationens men i en annan enhet än den som omfattas av ut- värdering. Går tvärs igenom linjeorganisationens hierarki. Statligt exempel: Ansvaret ligger inom Statskontoret. Kommunalt exempel: Ansvaret ligger inom Stadskontoret. Allt ljus på lokala utvecklingsavtal ? Ansvaret för planeringen av utvärderingen är förlagd till en separat organisation utanför den organisation som är ansvarig för den pro- gramaktivitet som är föremål för utvärdering. Utvärderingen går på tvärs över organisationsgränser. I den sepa- rata modellen kan utvärderingar genomföras på olika sätt, ofta kombineras olika utvärderingsinslag för att få en bredd i utvärde- ringarna. kan exempelvis genomföra en själv- utvärdering, den separata organisationen kan utföra utvärderingen och/eller externa utvärderare genomför utvärdering. En kombi- nation av dessa är också möjlig. Att etablera en separat organisationsmodell grundar sig oftast på att utvärderingsmottagaren framförallt är extern, som det politiska systemet, allmänheten, brukarna. Många olika former av expertis kan ingå i medarbetarstaben. Den separata organisationsmodellen ställs ofta inför frågan om hur man uppnår en bra balans mellan experter på frågor inom det politiska området å ena sidan och generell utvärderingsexpertis å den andra. Om organisationen ska fungera som utvärderare krävs tillgång till båda typerna av experter i medarbetarstaben, men vid användning av extra externa utvärderare med specifik expertis på området kan det räcka med att ha generell utvärderingskunskap. Här kan det vara viktigt att hålla isär organisationer med olika expertprofiler. Å ena sidan organisationer som primärt är utvärde- ringsinstitut och å andra sidan forskningsinstitutioner eller kun- skapscentra som primärt producerar väsentlig kunskap på ett be- stämt politiskt område och sekundärt genomför utvärderingar på ett sätt som överensstämmer med institutionens primära identitet, roll och funktion. Ansvaret ligger utanför såväl statliga som kommunala linjeorganisationer. Exempel: Kommittéväsendet, institut, stiftelser. SOU 2004:79 Allt ljus på lokala utvecklingsavtal? aktiviteten som ska ut- Intern: inom organisa- Extern: går på tvärs tionen men går genom former av expertis i Tabell inspirerad av och (2003) Som tidigare nämnts så finns det ingen enskild organisationsform som kan anses vara en "bästa" lösning, utan alla har sina för- och nack- delar30. Genom att vara uppmärksam så kan dock eventuella nackdelar i viss mån kompenseras. För- och nackdelarna följer intimt diskus- sionen som i kapitel 4 fördes kring företeelsen intern respektive extern utvärdering. Diskussionen ska inte upprepas här, utan i stället sam- 30 Se rubrik Intern eller extern utvärdering, kapitel 4. Allt ljus på lokala utvecklingsavtal ? manfattas kort vad som kan uppfattas som de olika modellernas styrkor och svagheter. När det gäller den integrerade modellen så kan närheten sägas vara både dess styrka och svaghet. Närheten bidrar i regel till hög sakkunskap och utvärderingen kan utformas nära den verksamhet som är berörd och därmed ta hänsyn till lokala förutsättningar, utmaningar och problem. Det finns också en hög potential att bidra till internt lärande. ökar risken att utvärderingen ses som en partsinlaga, med minskad trovärdighet som konsekvens. Risken är också att man som del i organisationen undviker att ställa kri- tiska frågor eller faller offer för en hemmablindhet eller oförmåga att tänka utanför organisationen. Ofta kan utvärdering ses som en av flera andra arbetsuppgifter, vilket inte främjar utvecklandet av en kvalitativ utvärderingskompetens. Bidrag till teoriutveckling beror på utvärderarnas förmåga att förankra utvärderingsanalysen i en generaliserbar teoretisk ram. Specialenhetsmodellen har en specifik och specialiserad utvärde- ringskompetens och ett större avstånd till den utvärderade verk- samheten. Detta bidrar dels till en större förmåga att fortlöpande utveckla utvärderingsmetoder, dels till möjligheten att granska och ställa kritiska utvärderingsfrågor. Trovärdigheten kan därmed öka till utvärderingens slutsatser. finns en närhet till verksam- heten genom en placering i samma linjeorganisation. Det finns en risk att utvärdering blir rutinartad, att man alltför mycket be- stämmer sig för en speciell utvärderingsprofil och därmed inte blir lyhörd för variationer. Bidraget till teoriutveckling beror liksom i den integrerade modellen på utvärderarnas förmåga att förankra ut- värderingsanalysen i en generaliserbar teoretisk ram. Potentialen att bidra till erfarenhetsinhämtande kan betraktas som stort. Den separata organisationsmodellen innebär ett större avstånd i relation till den utvärderade verksamheten än de andra modellerna. Detta medför ökade förutsättningar för att uppfylla kravet på en opartisk dokumentation. Oberoende kan så att säga vara inbyggt i modellen. Vid jämförelse mellan modellerna kännetecknas den separata organisationsmodeller av att ha störst möjlighet till att bidra till metodutveckling, såväl inom det specifika politiska området som generellt inom utvärderingsmetodik. Avståndet kan dock begränsa möjligheten till internt lärande och öka risken för slen- trian med åtföljande brist på flexibilitet. Allt ljus på lokala utvecklingsavtal? Dialog om utvärderingsdesign samt användande av självutvär- dering som en del kan begränsa avståndets negativa effekter samt begränsas om man väljer att definiera sin roll som processkonsult i den utvärderades självutvärdering och om mandatet att definiera kriterier och metoder överförs till den utvärderade organisationen. Möjligheten att leverera oberoende utvärderingsresultat och att systematiskt dokumentera hur pengarna använts beror enligt och i samtliga fall på i vilken mån ex- terna utvärderare har använts. och har i sin studie dragit en rad viktiga slutsatser med utgångspunkt från de olika organisations- modellerna. Varje modell kan kompletteras med ytterligare delar som delvis kan uppväga modellens svagheter. Den separata modellens ex- terna profil kan exempelvis kombineras med självutvärdering inom den utvärderade organisationen för att stärka det interna lärandet. Den integrerade respektive specialenhetsmodellen med sin interna profil kan å andra sidan kombineras med externa aktörer (som konsulenter, forskare) för att kompensera en potentiell avsaknad av oberoende. kan ett omfattande bruk av konsulter innebära att man missar möjligheten till en mer långsiktig kunskapsuppbyggnad och därmed en grund till internt lärande. Forskarna menar vidare att det inte finns någon automatisk kvalitetsgaranti bara för att en utvärdering är extern. Det är inte säkert att utvärderarna har tillräcklig utvärderingskompetens eller är förtrogna med det aktuella sakområdet. Omständigheter som ekonomi, ideologi, osv. kan dessutom påverka en extern position som i mångas ögon kan tyckas vara oberoende. Forskarna rekommenderar en blandning av olika former av ut- värdering och som hellre placeras i olika organisationsformer än hos en enskild planerare eller en enskild utvärderingsproducent. Detta, menar de, kan var det bästa sättet att få infallsrika svar. Dilemmat med att välja organisation är således inte löst, men förhoppningsvis någorlunda klargjort. Med dessa reflektioner i Allt ljus på lokala utvecklingsavtal ? bagaget återstår nu att presentera vårt förslag till ett nationellt ut- värderingsprogram. 6Intressanta exempel och inspirationskällor I detta avsnitt vill vi presentera några av våra inspirationskällor till ett nationellt utvärderingsprogram. Vad finns det för intressanta exempel på möjliga utvärderingsresurser att tillgå? Hur är ett fors- karbaserat utvärderingsinstitut organiserat? Hur utvärderar man andra statligt finansierade insatser? Hur utvärderar man insatser inom glesbygdspolitiken? Hur har man tänkt tidigare? Vi studerar hur man har organiserat utvärderingen av de EU-finansierade insatser som bedrivits inom programmet samt hur man kan organi- sera ett konkret stöd och handledning i storstadspolitiska frågor. Genom att studera andra politikområdens utvärderingsresurser vill vi försöka ge en bild av vad som är möjligt och hur man har löst frågan på annat håll. Syftet är att visa på mångfalden och komplexiteten i att organisera ett långsiktigt och sektorsövergripande utvärderings- program. Statskontorets kartläggning av utvärderings- resurser Finns det en möjlig förankring av ett nationellt utvärderingspro- gram för de lokala utvecklingsavtalen i ett fast utvärderingsorgan inom ? Statskontoret har i sin kartläggning av utvär- deringsresurser1 gjort en översikt som visar på en stor variation mellan olika politikområden vad avser tillgången till utvärderings- resurser och hur de är organiserade. Fasta utvärderingsorgan, med och utan s.k. genomförande uppgifter, utgörs av myndigheter och liknande statsfinansierade organ. Tillfälliga utvärderingsresurser är bl.a. privata konsulter, universitet och högskolor, liksom kommitté- 1 Statskontoret (2002). Utvärderingar - Av vem och till vad? En kartläggning av Regerings- kansliets utvärderingsresurser. Statskontorets publikationsservice, . Intressanta exempel och inspirationskällor Graden av involvering, hur nära den utvärderande parten står den som har ansvar för genomförandet, skiljer sig mellan olika typer av utvärderingsresurser. Man konstaterar att det finns flera tänkbara organisatoriska lös- ningar för en utvärdering och att det finns för- och nackdelar med alla lösningar. Vissa krav behöver avvägas gentemot varandra vid skapandet av en utvärderingsstruktur: opartiskhet kontra sakkunskap, sakkunskap kontra metodkunskap, opartiskhet kontra policyrelevans och grundlighet kontra timing till den politiska beslutsprocessen. Som god utvärderingskapacitet betecknar man en kombination av flera olika lösningar för utvärdering. Flera stora sektorsmyndigheter har större utvärderingsuppgifter inom sitt område, t.ex arbete (SIDA), , och . Sektorsspecifika icke genomförande organ med utvärderingsupp- drag är relativt få: t.ex. (), (), växtpolitiska studier (ITPS). Dessa har ett tydligt utvärderingsupp- drag som de står utanför utformandet och genomförandet av den verksamhet de utvärderar. Skillnader utgörs bl.a. av vilken typ av kompetens utvärderarna har, samt i hur hög grad organen själva initierar utvärderingar. Hur har man då lyckats skapa utvärderingsorgan som är tvärsek- toriella och som kan hantera frågor som spänner över flera politik- områden? Statskontoret skriver i sin kartläggning: En annan slutsats man kan dra utifrån översikten är den relativa från- varon av organ för sektorsövergripande utvärdering. Bland myndigheter- na finns för den här typen av uppgifter i princip enbart de allmänna utvärderingsorganen (), Riksrevisions- verket (RRV) och Statskontoret att tillgå. Inget organ, vare sig inom eller utanför , har ett aktivt ansvar för att initiera sektorsövergripande utvärderingar. (Statskontoret 2002, s. 43) Ett politikområde (som storstadspolitik) som inte har bemyndigats, dvs. som inte har sin bas i en myndighet eller verk och vars inrikt- ning är tvärsektoriell har inte heller ett givet, specifikt organ som kan utvärdera dess utfall. Å andra sidan har flera sektorsmyndig- heter och specifika utvärderingsorgan betydande sak- och metod- kunskap för att utvärdera enskilda delar av politikområdet. Men för att även ett utvärderingsprogram skall kunna upprätthålla en Intressanta exempel och inspirationskällor tvärsektoriell, tvärvetenskaplig ansats bör man bygga en struktur där det holistiska perspektivet garanteras. Ett av de sektorsspecifika organen som ryms inom det aktuella politikområdet är IFAU. IFAU har ett tydligt utvärderingsuppdrag som det står utanför utformandet och genomförandet av den verksamhet de utvärderar. IFAU är ett oberoende forskningsinstitut under Näringsdeparte- mentet med huvudsakligt fokus på det arbetsmarknadspolitiska området. IFAU ska främja, stödja och genomföra: utvärdering av arbetsmarknadspolitiskt motiverade åtgärder, studier av arbetsmark- nadens funktionssätt och utvärdering av effekterna på arbetsmark- naden av åtgärder inom utbildningsväsendet. Förutom forskning arbetar IFAU med att sprida kunskap om institutets verksamhet genom publikationer, seminarier, kurser och konferenser. Vidare arbetar man med att bygga upp ett bibliotek av svenska utvärderingsstudier samt påverkar datainsamling och gör data tillgänglig för forskare. IFAU initierar självständigt utvärderingar. Vid myndigheten finns en traditionell styrelse som består av en ordförande, institutets chef och åtta andra ledamöter. IFAU leds av en generaldirektör. Styrelsens uppgift är bl.a. att besluta över be- viljandet av externa anslag samt ge synpunkter på verksamheten. Till institutet är en referensgrupp knuten där arbetsgivar- och arbetstagarsidan samt berörda departement och myndigheter finns representerade. Utvärdering av arbetsmarknadspolitiska åtgärder är förlagt till ett forskningsinstitut. Det är fristående från departement och har sitt säte i . IFAU har en referensgrupp bestående av intres- senter på området. Forskarkompetensen anges som ett grundläg- gande krav på att kunna leverera välunderbyggda kunskapsunderlag och att såväl samla befintlig som producera ny kunskap. Ett institut med anknytning till forskarvärlden ökar i trovärdighet och dess resultat kan därav bli en tillgång för såväl kommun, stat som allmän- heten. Institutet kan bidra med utvärderingar av arbetsmarknads- politik vilket är ett av de politikområden som berörs i frågan om målet att bryta den diskriminerande segregationen men erbjuder 2 Materialet om IFAU bygger på information från institutets hemsida Intressanta exempel och inspirationskällor således inte en forskarkompetens i sakfrågor inom de andra politik- områdena. Från projekt till process. förstudie till en nationell utvärdering Hur har man utvärderat andra satsningar som riktats till utsatta bostadsområden? En förstudie av hur en nationell utvärdering kan genomföras för- fattades av , , i samband med den s.k. Blomman-satsningen3. I förstudien lämnar förslag på såväl en begränsad nationell utvärdering som en mer långsiktig utvärderingsstrategi. I det följande sammanfattar vi förslaget på en mer långsiktig nationell utvärdering: Utvärderingen bör ledas av en ansvarig forskare/forskargrupp som kan knyta lämplig spetskompetens till sig på uppdragsbasis. Gruppen kan kompletteras med en erfaren lokal administratör med särskild blick för organisatoriska aspekter. Utvärderingen bör ske fristående från departement. anger flera möjliga alternativ till placering av utvärde- ringen; myndighetsåläggande, löpande årlig upphandling av externa utvärderare, eller flerårigt kontraktsbaserad upphandling (t.ex. inom ett fristående övervakningsinstitut) För att säkerställa att resultatet från de lokala utvärderingarna kan kommuniceras och jämföras mellan olika kommuner bör de lokala utvärderarna ha en viktig roll i den nationella utvärderingen. Den nationella utvärderingen bör således ha en koordinerande roll i samarbetet mellan lokala utvärderingsgrupper. Den bör vidare ut- göra ett kvalificerat stöd för det lokala utvärderingsarbetet i kom- munerna genom t.ex. seminarier och gemensamt rapportskrivande samt vara en viktig kunskapsbas och aktiv länk i det internationella samarbetet. Den nationella utvärderingen bör publicera sitt material i såväl sammanfattande årsrapporter som i temarapporter samt i övrigt aktivt bidra till en erfarenhetsspridning i landet. Enligt förslag bör den nationella utvärdering- ens uppgift vara att bidra med en överblick över politikområdets praktiska utfall, ge information om relevanta utvecklingstendenser 3 , (1997) Från projekt till process. Nationell utvärdering av statens insatser i utsatta bostadsområden. (IN97/1507/IE) , . Intressanta exempel och inspirationskällor samt bidra med underlag för komparativa analyser av tematiska delar av program- och projektarbete. En sammanfattning av lokala utvärderingsrapporter kompletterad med statistiska data över vik- tigare utvecklingsvariabler kan utgöra underlag för en överblick. En annan uppgift för den nationella utvärderingen bör vara att åskådliggöra och analysera de organisatoriska aspekterna av det lokala arbetet och hur och i vilken omfattning kravet på underifrån- perspektiv har kunnat realiseras i projekt och program. Vidare bör syftet med den nationella utvärderingen vara att granska departe- mentets och andra statliga aktörers roll. EU gör regelbundna utvärderingar av verksamheter som man är involverad i, framför allt av olika stödverksamheter. Hur utvär- derade man URBAN-satsningarna, ett gemenskapsinitiativ riktat till europeiska storstadsområden och med en målsättning som på många plan liknar storstadssatsningens? Gemenskapsinitiativet 1 startade med syftet att svara på de utmaningar som städer stod inför; en vanskött miljö, hög arbetslöshet samt risken för social exklusion. I likhet med många andra gemenskapinitiativ hade som mål att upp- muntra innovativa metoder, främja bildande av nätverk och erfaren- hetsutbyte mellan länder samt att integrera nya tillvägagångssätt i den nationella policyn och programverksamheten. pågick –1999 och efterföljdes av som sträcker sig fram . Totalt fanns 118 URBAN-program i 15 med- lemsländer och omfattade nästan 3 miljoner innevånare. Närmare en tredjedel av URBAN-programmen genomförde egna, detaljerade utvärderingar. Den övergripande utvärderingen av gjordes efter det att programmet avslutats (ex-posto). När utvärderingsrapporten presenterades var man mitt uppe i (2003). Undersök- ningsmetoden omfattade dokumentforskning, strukturerade inter- vjuer med intressenter, fallstudier, fältundersökningar och initierade bedömningar från medlemmarna av ett utvärderingsteam. Vid ut- värderingen av URBAN-programmet anlitade man en fristående konsultfirma (GHK) som arbetade på uppdrag och under ledning 4 GHK (2003) Expost Evaluation (1994) Final report. Intressanta exempel och inspirationskällor av ett av utvärderingsorgan och erhöll rådgiv- ning av tre oberoende experter på stadsmiljöfrågor. De huvudsakliga målen för utvärderingen var (1) att fastställa den inverkan som haft som katalysator för bestående förbättringar av de socioekonomiska förhållandena för invånarna i programområdena, (2) att identifiera mervärdet för EG som resultat av dess investeringar samt (3) att identifiera erfarenheter från utvär- deringen som kunde vara relevanta för den fortsatta () och planerade programverksamheten. Utvärderingen undersökte följande aspekter: Val av program- område och tillämpade strategier, genomslagskraft, lednings- och implementeringssystem samt inflytande och mervärde för EG. Ut- värderingsresultaten presenterades i en skriftlig rapport Utvärderingsrapporten betonar bl.a. att ett verksamt övervaknings- och utvärderingssystem bör skapas för granskning av samt att ytterligare stöd bör ges för att främja utveckling av lär- domar ur erfarenheterna, utveckling av kapacitet och transnationellt utbyte av goda metoder. Även vad avser EU-initierade projekt inom storstadspolitiken rekommenderas således ett utvidgat kunskaps- och erfarenhetsutbyte. Man efterlyser även strukturer och system för att kontrollera och utvärdera insatserna framöver. Utvärderingsuppdraget förlades till ett externt organ med metodkompetens men styrningen och expertis i sakfrågan tillfördes från det beställande organet (EG). Utvärdering av de lokala investeringsprogrammen (LIP) 5 Hur har tidsbegränsade statliga satsningar som riktar sig till kom- munerna inom andra politikområden löst frågan om utvärdering och kunskapsuppbyggnad? Ett intressant exempel inom det miljö- politiska området är utvärderingen av de lokala investeringsprogram- men (LIP). I har kommunernas roll och ansvar betonats igenom- förandet av en omställning av samhällsutvecklingen mot en ökad hållbarhet i enlighet med den handlingsplan som antogs vid Rio- konferensen . Inledningsvis fördelades statliga medel till lokalt Agenda 21-arbete via och 5 Informationen bygger på material från samt från Institutet från Ekologisk hållbarhets hemsida . LIP står för De lokala investeringsprogrammen. Intressanta exempel och inspirationskällor för att följas av ytterligare satsningar kanaliserade via bl.a. och . De lokala investeringsprogrammen (LIP) lanserades av Delegationen för ekologisk hållbar utveckling i mitten på 1990- talet. Beviljade medel fördelades inte via statliga verk utan från en speciell enhet inom . flyttades administrationen av LIP över till . De lokala investeringsprogrammen pågick –2002. Ca 1 800 projekt i 161 kommuner och två kommun- förbund beviljades medel i syfte att öka takten i omställningen till ett ekologiskt uthålligt samhälle samt, i ett underordnat syfte, bidra till ökad sysselsättning. Inom LIP är energiåtgärdesprojekt van- ligast, andra exempel är avfalls- och transportprojekt. LIP har er- satts av KLIMP (Klimatinvesteringsprogrammet) för vilket statliga medel avsatts –2004. Satsningen på lokala investeringsprogram kommer att ge en mängd kunskaper, erfarenheter och goda exempel.