## Aalborg Universitet

## Borgeren som co-evaluator

Evalueringsudfordringer som følge af New Public Governance-styringsdoktrinet Krogstrup, Hanne Kathrine; Mortensen, Nanna Møller

Published in: Nordic Journal of Wellbeing and Sustainable Welfare Development

DOI (link to publication from Publisher):

10.18261/njwel.3.1.2

Creative Commons License

CC BY 4.0

Publication date: 2024

Document Version Også kaldet Forlagets PDF

Link to publication from Aalborg University

Citation for published version (APA):

Krogstrup, H. K., & Mortensen, N. M. (2024). Borgeren som co-evaluator: Evalueringsudfordringer som følge af New Public Governance-styringsdoktrinet. Nordic Journal of Wellbeing and Sustainable Welfare Development , 3 (1), 4-18. https://doi.org/10.18261/njwel.3.1.2

## General rights

Copyright and moral rights for the publications made accessible in the public portal are retained by the authors and/or other copyright owners and it is a condition of accessing publications that users recognise and abide by the legal requirements associated with these rights.

- Users may download and print one copy of any publication from the public portal for the purpose of private study or research.
- You may not further distribute the material or use it for any profit-making activity or commercial gain
- You may freely distribute the URL identifying the publication in the public portal -

## Take down policy

If you believe that this document breaches copyright please contact us at vbn@aub.aau.dk providing details, and we will remove access to the work immediately and investigate your claim.

<!-- image -->

<!-- image -->

## Nordic Journal of Wellbeing and Sustainable Welfare Development

VITENSKAPELIG PUBLIKASJON

Volume 3, nr. 1-2024, s. 4-18 ISSN online: 2703-9986 DOI: https://doi.org/10.18261/njwel.3.1.2

## Borgeren som co-evaluator

Evalueringsudfordringer som følge af New Public Governance-styringsdoktrinet

## Citizens as co-evaluators

Evaluation challenges triggered by the New Public Governance logic

## Hanne Kathrine Krogstrup

Professor emerita, Institut for kultur og læring, Aalborg Universitet, Danmark

[Krogstrup@ikl.aau.dk](mailto:Krogstrup@ikl.aau.dk)

## Nanna Møller Mortensen

Adjunkt, Institut for kultur og læring, Aalborg Universitet, Danmark

[Nannamm@ikl.aau.dk](mailto:Nannamm@ikl.aau.dk)

## Abstrakt

Historisk set har evalueringsparadigmer udviklet sig i sammenhæng med en mere generel og dominerende diskurs om, hvordan et samfund bør styres og udvikles. Denne artikel rejser den tese, at der i kølvandet på skiftet fra New Public Management til New Public Governance tilsvarende vil ske et skifte i evalueringslogik fra performancemålinger til det, der i New Public Governance-litteraturen benævnes co-evaluation. Gennem analyse af dels den værdimæssige tilgang og indre logik i styringsdoktrinet New Public Governance, dels organisationsopskriften samskabelse gives der i denne artikel et bud på indholdet i co-evaluation-begrebet. Antagelsen er, at borgerne vil blive tildelt en mere privilegeret status i evalueringssammenhæng end tilfældet er i eksisterende evalueringsbølger, som er den videnskabelige bølge, den dialogorienterede bølge, den neoliberale bølge og evidensbølgen. I artiklens sidste del udfoldes de faldgruber, der tilsammen antages at vil få indflydelse på, hvorvidt det er realistisk at forvente, at borgerne i egenskab af co-evaluatorer vil opnå en central plads i fremtidens praktiske evalueringsarbejde.

## Nøgleord

Co-evaluation, Co-production, Samskabelse, evalueringsbølger, borgerinvolvering

## Abstract

Historically, evaluation paradigms have evolved alongside broader discourses on societal governance. This article suggests that with the emerging shift from New Public Management to New Public Governance, there will be a corresponding transition in evaluation methodology from performance measurements to what is termed 'co-evaluation' in New Public Governance literature. Drawing from the principles of New Public Governance and the concept of co-production, this article outlines the contours of this potential new co-evaluation approach. The expectation is that citizens will be assigned a far more privileged status than in the existing evaluation waves: the science-driven wave, the dialogue-oriented wave, the neo-liberal wave, and the evidence wave, which have dominated the field of evaluation since the 1960s. Lastly, the article discusses pitfalls that may influence the realistic expectation of citizens, as co-evaluators, attaining a central role in future practical evaluation endeavors.

## Keywords

Co-evaluation, Co-production, Evaluation waves, user- and citizens involvement

Copyright © 2024 Author(s). This is an open acess article distributed under the terms of the Creative Commons C-BY 4.0 license ( https://creativecommons.org/licenses/by/4.0/ ).

## Introduktion

Historien har vist, at evaluering ikke er en neutral og objektiv foreteelse, men at forestillingen om 'the best way of evaluation' skifter i tid og rum (Patton, 2015; Vedung, 2010). 'Evalueringsmoden' synes i ganske vid udstrækning at være bestemt af den historisk aktuelle dominerende styringsdoktrins logik (Vedung, 2016). Siden 1960' erne, hvor evaluering opnåede status som fagdisciplin, har der ifølge den svenske statskundskabsprofessor Evert Vedung kunnet iagttages mindst fire evalueringsbølger, som han benævner: den videnskabelige bølge (Alkin, 2013; Bhatti et al., 2006; McDavid et al., 2013), den dialogorienterede bølge (Amba & Stake, 2001; Fettermann, 2015; Guba & Lincoln, 1989; Patton, 2012, 2013; Stake, 1990), den neoliberale bølge (Kristiansen, 2014; McDavid et al., 2013; Politt, 2013) og evidensbølgen (Krogstrup, 2011; Bickmann & Reich, 2009; Bjørnholdt & Larsen, 2014). En pointe er, at de forskellige evalueringsbølger giver forskellige aktører privilegeret adgang til at bidrage med evalueringsdata og dermed påvirke de evalueringsresultater, der danner beslutningsgrundlag i velfærdstatsinstitutionerne.

Netop i disse år ser vi et skifte i styringsdoktrin fra New Public Management (NPM) til New Public Governance (NPG) (Andersen et al., 2020). Artiklen argumenterer for, at der i sammenhæng med NPG potentielt vil blive etableret en evalueringslogik, som er relationel og tildeler borgerne en mere privilegeret status, end tilfældet er i eksisterende evalueringsbølger. I denne artikel dækker borgerbegrebet både over borgere generelt og over mennesker, som er brugere af den offentlige sektor, f.eks. som elever, patienter, arbejdsløse. Artiklen forløber således: Først defineres styringsdoktrinet NPG og den evalueringslogik, NPG forventes at efterspørge. Derefter relateres denne evalueringslogik til de eksisterende evalueringsbølger med særlig fokus på historiske forskelle mht. borgernes rolle i evaluering. Afslutningsvis forholder artiklen sig til barrierer og faldgruber for involvering af borgerne som co-evaluatorer.

## En ny evalueringslogik under opsejling?

Historisk  set  har  evalueringsbølger  typisk  udviklet  sig  i  kølvandet  på  eller  i  sammenhæng med en mere generel og dominerende diskurs om, hvordan et samfund bør styres  og  udvikles  (Vedung,  2016)  'where  a  logic  of  evaluation  ideally  supports  a  logic of  governance'  (Nordesjö,  2018,  s.  190).  NPG  er  begyndt  at  dominere  den  offentlige debat,  men  har  kun  til  dels  fået  gennemslag  i  lokalpolitik  og  forvaltningspraksis  (se for eksempel Andersen et al., 2020). Der kan aktuelt iagttages 'revner og sprækker' , der tyder på, at NPM og tidligere evalueringsbølgers diskursive magt og social autorisation udfordres af styringsdoktrinet NPG. For det første har  flere  forskere  påpeget,  at  NPM overordnet  set  ikke  har  haft  de  forventede  virkninger  og  bidraget  til  den  forventede fornyelse  (Gouillart  &  Hallett,  2015;  Hood  &  Dixon,  2013;  Møller  et  al.,  2016;  OECD, 2011; Osborne, 2010). For det andet sættes der spørgsmålstegn ved, om top-down-orienterede dataindsamlinger, dokumentation og målinger nødvendigvis fører til fornyelse og effektivisering i den offentlige sektor (Durose et al., 2015; Krogstrup & Mortensen 2017; Villumsen & Kristensen, 2016). Kritikken har ført til debat om, hvilke elementer af NPM der skal bibeholdes, hvilke der skal reformeres, og hvilke der helt skal erstattes af alternativer (Andersen et al., 2020). For det tredje ser vi også en stigende grad af orientering mod borgerinvolvering. I en dansk kontekst har vi set ministerier, regioner og kommuner indkalde og involvere både frivillige organisationer, offentlige medarbejdere og borgere, når der skal udvikles velfærd. I syv danske kommuner er der f.eks. oprettet ungepaneler, hvor unge, der selv har prøvet at være anbragt uden for hjemmet, skal rådgive kommunerne på området (Jensen & Førby, 2018), og på ældreområdet er der planer om at fjerne de mange

regler og sanere i dokumentation til fordel for involvering af ældre og deres pårørende i tilrettelæggelse af lokale ældretilbud. Vi ser også et stigende antal forskningsprojekter om samskabelse og borgerinvolvering som eksempelvis SAMAKT-projektet støttet af Velux Fondens HUMpraxis-program, som er et forsknings- og udviklingsprojekt om samskabelse med partnerne Aalborg Kommune, Røde Kors, Ældre Sagen, Dansk Flygtningehjælp, VIVE og Aalborg Universitet (Frederiksen & Grubb, 2021; Grubb & Frederiksen, 2022) og CUBB 1  (Center for Udvikling af Borgerinddragende Beskæftigelsesindsatser) på Aalborg Universitet, som er finansieret af bl.a. TrygFonden og Den A.P . Møllerske Støttefond, som undersøger bl.a. virksomheders inklusionskapacitet for borgere på kanten af arbejdsmarkedet (Dokkedal, 2023).

Disse 'revner og sprækker' betyder midlertidig ikke et definitivt farvel til NPM. I stedet dannes der hybrider, hvor forskellige styringsdoktriner konkurrerer og sameksisterer (Andersen et al., 2020). Som Torfing og Triantafillou (2017) understreger: 'Uanset, hvor populær NPG måtte vise sig at blive, så er der dog næppe tvivl om, at OPA og NPM i større eller mindre grad vil forblive en væsentlig bestanddel af den offentlige sektors styringstænkning i mange år fremover' (s. 33). I det følgende ses der nærmere på indholdet af NPG-styringsdoktrinet og den evalueringslogik, som er forankret heri.

## Styrkede borgerroller i New Public Governance

NPG  rummer  ideer,  som  collective  impact,  interorganisatorisk  samarbejde,  offentlige partnerskaber og øget borgerinvolvering. Disse ideer bæres frem af organisationsopskrifter såsom samarbejdsdrevet innovation og relationel velfærd (Aagaard et al., 2014; Ness & Heimburg, 2021; Sørensen & Torfing, 2022; Heimburg & Ness, 2021). Den dominerende organisationsopskrift  under  NPG  er samskabelse. Samskabelse  handler  grundlæggende om mobilisering af menneskelige ressourcer i netværk, herunder en højere grad af borgerinvolvering i velfærdsudvikling og levering af velfærdsydelser (Krogstrup & Brix, 2019). Det danske begreb samskabelse henter bl.a. sit indhold fra de to interna  tionale begreber co-creation og co-production (Agger et al., 2018; Mortensen, 2020). Co-creation er orienteret mod idegenerering og designfaser (Bason, 2010; Gouillart & Hallett, 2015; Ramaswamy &  Gouillart,  2010;  Voorberg  et  al.,  2015),  mens  co-production  berører,  hvordan  borgerne kan blive aktive medskabere af velfærd og dermed indgå i en form for partnerskab med den offentlige sektor (Bovaird & Loeffler, 2012; Boyle & Harris, 2009; Pestoff, 2019; Steen & Tuurnas, 2018; Van Eijk, 2017; Sorrentino et al., 2018). Samskabelse har fokus på hele  velfærdsproduktionskæden  fra  ' co-design' ,  ' co-delivery'  til  ' co-evaluation'  (Bovaird & Loeffler, 2012; Osborne et al., 2016). I litteraturen diskuteres og rapporteres der oftest bredt over de forskellige ' co-faser' , men det er stadig relativt uudforsket, hvad co-evaluationbegrebet egentlig definitorisk dækker over (Gheduzzi et al., 2021; Mortensen & Needham, 2023). Som led i at åbne dette definitoriske vakuum deducerer vi os i det følgende (med reference til NPG og samskabelsesbegrebet) frem til indholdet i den evalueringslogik, som co-evaluation begrebet logisk set må indeholde.

## Indholdet i co-evaluation-begrebet

Det  er  antagelsen  i  NPG  og  samskabelse,  at  komplekse  problemer  og  velfærdsstatslige problemstillinger bedst løses, hvis forskellige aktører i fællesskab bidrager og kombinerer

1 https://www.politik-samfund.aau.dk/forskning/forskningsprojekter/cubb/nyheder/nyhed/cubbkortlaegger-virksomheders-inklusionskapacitet.cid543614

deres ressourcer og perspektiver (Bryson et al., 2014; Thomas, 2013). Det indebærer, at evalueringslogikken i NPG for  det  første må  antages  at  være  dialog-  og  interessentorienteret. Dette betyder, at evalueringer vil blive skabt, fortolket og anvendt i og af et netværk af aktører (Durose et al., 2015). For det andet er konsekvensen, at evalueringsviden ikke anses for at være neutral og objektiv, men kontekstforankret og situationel. Evaluator er  derfor  også  nødt  til  at  bevæge  sig  ud  i  feltet  for  at  indgå  i  samarbejde  med  de  mennesker, som berøres af evalueringsresultatet. Dette leder for det tredje til  en forventning om, at evaluering i en NPG-logik vil have et formativt fokus. Det vil sige en efterspørgsel efter kollaborative og samskabende evalueringsprocesser, der understøtter læring, forbedring og anvendelse af lokal netværksgenereret viden. Der ses en tendens til, at forskningen inden for samskabelse de seneste år har været optaget af at forstå sammenhængen mellem proces og effekt (Brandsen & Honingh, 2015; Brandsen et al., 2018; Durose et al., 2015). Der ses desuden en tendens til, at fokus er rettet mod langsigtede effekter frem for produkter og mere målbare kortsigtede præstationer, som var det primære fokus under NPM (Bovaird, 2012; Krogstrup & Mortensen, 2021). De langsigtede effekter kan både være på samfundsniveau, organisationsniveau og/eller orienteret mod borgere i form af empowerment og forbedret livskvalitet (Agger et al., 2018; Bovaird & Loeffler, 2012; Brix et al., 2020, Mortensen 2020; OECD, 2011; Vanleene et al. 2015). Dette rejser antagelsen om, at NPG, for det fjerde, logisk vil efterspørge evalueringstilgange, der er i stand til at forbinde indsats og effekt for de mennesker, som modtager offentlige ydelser (Borg & Kristiansen, 2009; Durose et al., 2015; Mortensen et al., 2021). I samskabelseslitteraturen understreges det desuden, at borgere skal være aktivt involveret samt opnå øget ansvarlighed og indflydelse. Dette vil i langt de fleste organisatoriske sammenhænge indebære en forskydning af magt fra professionelle til borgere (Bovaird, 2012; Brandsen & Honingh, 2018; Cepiku & Giordano, 2014; Fledderus, 2015; McMullin & Needham, 2018). Samskabelse har derved en ambition om at udfordre 'traditional relationships of power, control and expertise' (Durose et al., 2013, s. 5). Implikationen af dette må for det femte antages at være, at borgerne ikke blot skal inddrages i evaluering som informanter eller data, men som aktive co-evaluators, som fra deres position kan influere på evalueringsdesign, forløb, resultater, formidling etc. (Krogstrup 2020; Schubotz, 2020).

Ved at følge forestillingerne i styringsdoktrinet NPG og samskabelse har vi i ovenstående givet et tentativt bud på indholdet af det dertilhørende co-evaluation-begreb, som 1) er dialog- og interessentorienteret, 2) har en kontekstforankring, 3) har et formativt fokus, 4) har fokus på sammenhængen mellem indsats og effekt og 5) tildeler borgere en særlig position som 'co-evaluatorer' . I det følgende forfølges tesen om, at co-evaluation vil få en mere fremtrædende plads i evalueringslandskabet, men at denne evalueringslogik er ' oppe imod' eksisterende evalueringsparadigmer, bølger, praksis og forståelser, som i sammenhængen her kan anskues som en konkurrerende diskursiv magt på evalueringsområdet. I det følgende positioneres co-evaluation oversigtligt i forhold til eksisterende bølger med særlig fokus på beskrivelse af borgernes rolle og position i disse bølger.

## Co-evaluations positionering i forhold til eksisterende evalueringsbølger

Begrebet diskursiv magt defineres som 'sproglige strategier, hvorigennem grænserne drages for, hvad der anses for muligt, acceptabelt, hensigtsmæssigt eller rationelt' (Christiansen & Togeby, 2003, s. 10). Diskursiv magt rummer en antagelse om, at magten er 'maskeret' i sit udtryk, og handler i høj grad om, hvordan bestemte diskurser - herunder New Public

Governance-diskursen - har en normaliserende virkning, som influerer på, hvordan man i en given periode skal styre, handle, tale og - og kunne det tilføjes evaluere (Fogsgaard & Elmholdt, 2014) . Evalueringsbølger repræsenterer så at sige resultatet af sådanne diskurser og er udtryk for, at nogle evalueringsparadigmer i en given periode opnår en privilegeret status i praktisk evalueringsarbejde, samtidig med at de marginaliserer andre evalueringsparadigmer (Höglund & Svärdsten, 2018). I det følgende præsenteres de fire evalueringsparadigmer, som siden 1960'erne har opnået en sådan diskursiv magt, at de har fået status af evalueringsbølger. I sammenhæng hermed relateres begrebet co-evaluation, som er defineret ovenfor, til evalueringens teorihistorie. Det er vigtigt at nævne, at de evalueringsbølger, der beskrives, ikke er forsvundet. De danner stadig forlæg for mange evalueringspraksisser og fungerer side om side, samtidig med at de kæmper om den diskursive magt.

## Den videnskabelige bølge

Den videnskabelige bølge slog igennem i 1960' erne og var i høj grad baseret på den klassiske effektevaluering og inspireret af den medicinske forskning med det randomiserede kontrollerede forsøg som metode til gennemførelse af neutrale og objektive evalueringer, der skulle bidrage til rationelle beslutningsprocesser (Alkin, 2013; Bhatti et al., 2006; McDavid et al., 2013). Den afgørende værdi er, at den genererede viden er tilvejebragt gennem tekniske, korrekte gennemførte metoder. Dette vil sige, at det bliver vigtigt, at vidensgenereringsprocessen og evalueringens resultater ikke er biased af mennesker (Albæk, 1988; Alkin & Ellett, 1990; Vedung, 1998). Borgere er reduceret til objekt for evalueringen og genstand for observation.

## Den dialogorienterede bølge

I  begyndelse af 1970' erne udfordres første evalueringsbølge af såkaldte responsive evalueringer, som har et konstruktivistisk afsæt, og hvor dialog med det felt, der studeres, var helt essentielt. Udviklingen af dialogorienterede evalueringer hænger i høj grad sammen med det antiautoritære oprør, der ses i løbet af 1970' erne og er baseret på en kritik af den klassiske effektevaluering. Denne kritik handler bl.a. om, at socialpolitiske indsatser blev betragtet som simple og tekniske frem for humane og komplekse; projekter blev udelukkende målt kvantitativt og evalueret i forhold til  politiske  målsætninger,  som  toppen  af samfundet havde defineret. Den dialogorienterede tilgang har fokus på casestudier, der særligt involverer frontmedarbejdere, der skal have ejerskab over evalueringen gennem aktiv involvering for at forestå forbedringer. Dette udtrykkes f.eks. i utilizations based evaluation (Patton, 2012, 2015). Det er ikke sådan, at den dialogorienterede bølge erstatter den videnskabelige bølge. Der er snarere tale om, at to diskurser kæmper om den diskursive magt. Co-evaluation forventes at kunne hente meget af sit evalueringsteoretiske og metodologiske gods fra netop den dialogorienterede bølge (Amba & Stake, 2001; Fetterman, 2015; Guba & Lincoln, 1989; Patton, 2012, 2013; Stake, 1990).

## Den neoliberale bølge

Fra  midten  af  1980' erne  får  den  klassiske  effektevaluering  og  den  responsive  evaluering en ny kampfælle i kampen om den diskursive magt, nemlig performancemålinger. Mens medarbejdernes perspektiv er centralt i vidensgenereringen i den dialogorienterede bølge, er medarbejdernes performance i den neoliberale bølge (som er knyttet til styringsdoktrinet NPM) i stedet genstand for evaluering. Det primære formål er måling af ansvarlighed i opgavevaretagelsen (McDavid et al., 2013; Rist, 1995). Der gennemføres i stigende omfang sammenligninger  mellem  forskellige  institutioner,  og  kriterierne  for  succes  defineres  i

toppen af organisationen (Bjørnholt & Larsen, 2014; Politt, 2013). Brugerne af de offentlige ydelser tildeles en rolle som kunder, så deres opgave bl.a. bliver at vurdere medarbejdernes ansvarlighed  i  opgavevaretagelsen  gennem  markedsundersøgelser,  borgertilfredshedsundersøgelser, fokusgruppeinterviews og akkrediteringer etc. (Kristiansen, 2014). Pointen er imidlertid,  at  borgerne  i  rollen  som  kunder  ikke  nødvendigvis  har  mulighed  for  at  fortælle det, de finder vigtigt, eller det, der har betydning for dem. Selv om der er tale om en top-down-orienteret tilgang til borgerdeltagelse, blev borgerne i præstationsmålingerne for første gang tildelt en fast defineret position i evaluering. Dette var en ny og progressiv værdi, som blev tilført med denne tredje evalueringsbølge.

## Evidensbølgen

Ved årtusindskiftet bliver det en udbredt opfattelse, at effekterne af den offentlige indsats kan forøges, hvis blot politik og frontmedarbejdernes indsats bliver baseret på evidens om sammenhængen mellem indsats og effekt. Dette betyder, at den klassiske effektevaluering 'støves af ' , og at det randomiserede kontrollerede forsøg igen defineres som 'The Golden Standard of Evidens' (Bickmann & Reich, 2009). En ny diskursiv kamp blusser op, og i denne sammenhæng definerer 'tilhængerne' af dette evalueringsparadigme ikke blot, hvilke metoder der har 'højeste karat' . De marginaliserer samtidig eksplicit aktørperspektivet, og særligt bestemte aktører. Således ligger professionelle og borgervurderinger nederst i metodehierarkiet, og dermed ekskluderes de i dette paradigme fra evalueringsarenaen. Evidensbaserede koncepter, der er baseret på forskning med udgangspunkt i det randomiserede kontrollerede forsøg, bliver en salgsvare, der kan købes som koncepter på licens med løfter om, at dette  vil  få  positive  konsekvenser  for  udgiftsniveauet  i  den  offentlige  sektor  (Krogstrup, 2011; Bjørnholdt & Larsen, 2014).

En evaluering udtrykkes ofte ved hjælp af elementerne i informeret evaluering, som er 1) forståelsen af evaluandens beskaffenhed (ontologi), 2) overvejelse om værdier, som handler om de kriterier, der opstilles i evalueringen, og de interessenter, der involveres (epistemologi), 3) overvejelser om viden (herunder metodologi) og 4) overvejelser om anvendelse. I Tabel 1 sammenfattes beskrivelsen af de fire evalueringsbølger med reference til de fire komponenter i informeret evaluering, og samtidig positioneres de i forhold til det definerede co-evaluation-begreb.

Som illustreret i ovenstående kan co-evaluation hente referencer fra den dialogorienterede evalueringsbølge. Den fælles reference er, at offentlige velfærdsindsatser betragtes som komplekse. Desuden er der enighed om, at evalueringen må bevæge sig ud i kontekst og anvende kvalitative metoder med involvering af interessenterne, når formålet er forbedring af indsatsen. En central forskel er dog, at NPG og samskabelse forventes at ville efterspørge evalueringer, som i højere grad og mere specifikt vil rette sig mod aktiv involvering af borgerne som evalueringspartnere (co-evaluators).

## Borgerinvolvering i evaluering

Der skelnes typisk mellem tre former for borgerinvolvering i evaluering. Disse tre former fremstilles som beliggende på et kontinuum, der viser den såkaldte interpersonelle deltagelseskvotient (King & Stevahn, 2013 s. 27). I forskerledet evaluering, som er det ene yderpunkt, er borgernes rolle typisk at fungere som informanter og rådgivere i forhold til ideer og projekter (Askheim & Høiseth, 2019; Schubotz, 2020). Det andet yderpunkt udgøres af borgerkontrollerede evalueringer, hvor borgerne eller deres interesseorganisationer typisk initierer og leder evalueringsprojekter, mens evaluator er hyret som en slags facilitator af evalueringsprocessen. I midten af kontinuummet finder vi den kollaborative evaluering,

Tabel 1. Oversigt over evalueringsbølger og -tilgange

| Co-evaluation-evalueringslogik                                                                                     | New Public Governance                                                          | Processer samt viden om sammenhængen mellem indsats og effekt   | Kompleks og kontekstforankret                                                                                                     | Interessenter i konteksten involveres i evalueringens vidensgenereringsproces, men i særdeleshed forventes borgerne at blive inddraget i evalueringer for med deres unikke viden at øge træfsikkerhed. Borgeren forventes også at indtage en aktiv, mere magtfuld position som co-evaluators   | Kvalitative metoder og casestudier. Fokus på sammenhængen mellem processer og effekter Formativt og forbedringsorienteret fokus. Antagelse om, at læring og anvendelsen af evalueringsviden primært sker gennem   |
|--------------------------------------------------------------------------------------------------------------------|--------------------------------------------------------------------------------|-----------------------------------------------------------------|-----------------------------------------------------------------------------------------------------------------------------------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| Evidensbølgen Evidensbased policy og forvaltning (der blev kun i                                                   | begrænset omfang tale om en egentlig styringstrend) fra omkring år 2000 Effekt | Simpel                                                          | Borgere er objekter for observation i evaluering                                                                                  | Randomiserede kontrollerede forsøg                                                                                                                                                                                                                                                             | Kun anvende virkningsfulde tiltag og udvikling af effektive koncepter                                                                                                                                             |
| Den neoliberale bølge New Public Management fra                                                                    | omkring midten af 1980'erne og frem Præstationer                               | Simpel                                                          | Ledelsen og politikere styrer og sikrer organisationers udvikling igennem præstationsmålinger, performancemål og benchmarkes etc. | Kvantitative metoder                                                                                                                                                                                                                                                                           | Kontrol af accountability                                                                                                                                                                                         |
| Den dialogorienterede bølge lige og behandling Samfundet er præget af opgør med positivisme og autoritære systemer | 1970'erne og frem Processer                                                    | Kompleks og kontekstforankret                                   | Interessenter i konteksten involveres aktivt i evalueringens vidensgenereringsproces                                              | Kvalitative metoder og casestudier - konstruktivistisk paradigme                                                                                                                                                                                                                               | Organisatorisk læring og udvikling                                                                                                                                                                                |
| Den videnskabelige bølge Old Public Administration -                                                               | retfærdig 1960'erne og frem Effekt                                             | Simpel                                                          | Forskning, fakta, objektiv og neutral viden. Borgerne anses som objekter i evaluering                                             | Randomiserede kontrollerede forsøg - positivistisk paradigme                                                                                                                                                                                                                                   | Nedlægge ineffektive og opskalere effektive programmer                                                                                                                                                            |
| Dominerende styringstrend                                                                                          | Vidensfokus                                                                    | Forståelsen af evaluandens beskaffenhed                         | Værdidimension - interessenter eller viden, som tildeles en særlig position                                                       | Vidensdimensionen                                                                                                                                                                                                                                                                              | Anvendelsesdimensionen                                                                                                                                                                                            |

hvor borgere involveres aktivt og ligeværdigt i hele eller dele af beslutningsprocessen, fra evalueringens problemstilling defineres over dataindsamling og definition af kriterier for den gode indsats til formidling af evalueringens resultater (Cousins, 2020). Den kollaborative evaluering rummer i al væsentlighed de elementer, som vi i første halvdel af artiklen deducerede os frem til må være indholdet i co-evaluation. Vi mener således ad den vej at kunne argumentere for et betydeligt begrebssammenfald mellem den kollaborative evaluering og NPG og samskabelseslitteraturens co-evaluation-begreb. Det er også muligt at  vende argumentationen om og fremhæve, at NPG understøtter en evalueringstilgang, som allerede er kendt, men som har haft relativt trange kår i den top-down-orienterede NPM-æra.

I litteraturen benævnes denne vending som et modusskifte i vidensproduktionen: Det er vanskeligt at måle udbredelsen af kollaborative evalueringer, men en tydelig tendens er, at der omkring år 2020 særligt i Norden udkommer en hel del ny litteratur omhandlende kollaborativ evaluering eller aktionsforskning, som sigter på aktiv involvering af borgerne i  hele eller dele af forsknings- og/eller evalueringsprocesser (som eksempler kan nævnes Andersen 2019, Andreassen et al. 2019, Askheim & Høiseth, 2019, Chalachanová et al., 2019; Hindhede et al., 2019, Ness et al., 2018, Ness & Heimburg, 2020, Schobotz 2020, Østby & Haugenes 2019, Uggerhøj et al., 2018). Formativ evaluering og aktionsforskning, som er udbredt i Norden, er ifølge amerikanske evalueringsforskere sammenfaldende begreber (Patton, 2015, King & Stevahn, 2013). Nogle af de ovennævnte referencer beskæftiger sig bredt med kollaborative evalueringer, og ses der nærmere på referencerne, tyder noget på, at særligt følgende velfærdsområder/sektorer er involveret: rehabilitering, lokalsamfundsstudier, personer med udviklingshæmning, børn og unge området og personer med psykiske lidelser. Det vil sige i forhold til grupper, som typisk er i risiko for marginalisering i forhold til majoritetssamfundet.

At tilgangen ikke er ny, betyder, at der allerede er erfaringer med at designe og gennemføre co-evaluation i samarbejde med borgere både i forskningsmiljøer og i praksis, men også, at der allerede eksisterer en række evalueringsmodeller, som netop har dette sigte.  F.eks.  demokratisk  evaluering  (House  &  Howe,  1999),  BIKVA-modellen  (brugerinvolvering i kvalitetsudvikling) (Krogstrup & Brix, 2019) og empowermentevaluering (Fetterman, 2015) for blot at nævne nogle eksempler. Det vil sige, at der allerede i visse forskningsmiljøer  og  på  modelplan  eksisterer  viden  og  erfaringer,  som  gør  det  muligt at indfri NPG-styringsdoktrinets co-evaluation-begreb, og at der ikke er nogen 'ny dyb tallerken at opfinde her' . Dette betyder imidlertid ikke, at implementeringen af den type evaluering ikke møder forhindringer og ukritisk kan bæres frem med reference til, at det 'ligger inden for skiven' af NPG. I nedenstående beskrives nogle af de forhindringer og faldgruber,  som  kan  opstå,  når  en  co-evaluation-evalueringslogik  skal  implementeres  i praksis.

## Faldgruber for co-evaluation

Som nævnt er et træk ved co-evaluation, at evalueringerne gennemføres kontekstnært, men det er nødvendigvis ikke givet, at kollaborative evalueringer med borgerinvolvering vil få 'indrejsetilladelse' i alle organisationer (Czarniawska & Joerges, 1996; Røvik, 2007). For det første kan det være, at organisationen ikke har ' opdaget' eller ikke finder det væsentligt at forholde sig til NPG som en ny og eftertragtelsesværdig styringstrend i en sådan grad, at det ligefrem efterspørger en ny evalueringspraksis. Der eksisterer parallelle diskurser, som indlejrer sig forskelligt i organisationer inden for forskellige sektorer (Höglund & Svärdsten, 2018;  Andersen  et  al.,  2017)  og  til  forskellig  tid  og  dermed  får  evalueringsparadigmer

forskellige gennemslag i praksis alt afhængig af kontekst. F.eks. har psykiatrien en længere tradition  for  peer-support  og  brugerråd,  mens  somatiske  afdelinger  typisk  har  tradition for  audit  og  randomiserede  kontrollerede  forsøg,  som  er  dybt  forankret  i  den  medicinske forskning (se for eksempel Center for Recovery og Samskabelse i psykiatrien i Region Nordjylland 2 ). For  det  andet skal  det  være  relevant  at  anvende  en  borgerinvolverende tilgang.  Det  er  langtfra  alle  evalueringsspørgsmål,  der  logisk  set  vil  efterspørge  en  aktiv borgerinvolvering.  Hvis  borgerinvolveringen  vurderes  som  relevant  i  den  konkrete  evalueringssammenhæng, skal der for det tredje træffes en lang række beslutninger, der vil påvirke, hvordan tilgangen anvendes i den organisatoriske kontekst, den rejser ind i. Det drejer sig om beslutninger såsom, hvad evalueringen må koste, hvem der skal gennemføre denne, hvordan den skal anvendes, hvem der skal involveres, hvad er evaluanden etc. Det er f.eks. væsentlig hurtigere og billigere at lave en spørgeskemaundersøgelse end en kvalitativ involvering af borgere. Det er altså helt essentielt, at vilje og opbakning til at co-evaluere er til stede på alle organisatoriske niveauer. Ud over villighed skal der for det fjerde også være de nødvendige kvalifikationer til stede i organisationen. I sammenhængen her skal det nævnes, at borgerinvolvering stiller store krav til Evaluation Capacity Building. Involvering af  borgere  kræver  samtykke,  der  skal  tages  særlige  pædagogiske  hensyn  til  borgere,  alt afhængig af hvem de er, og det er vigtigt, at processen holdes på sporet etc. (Krogstrup, 2020). Et eksempel på, at det kan være krævende at involvere borgere som aktive evalueringspartnere, stammer fra et engelsk forskningsprojekt, som ønskede borgerinvolvering i en evaluering af et bofællesskab for psykisk syge og sårbare (Truman & Raine, 2001). Efter forskningsprojektet var igangsat, fandt man hurtigt ud af, at både de valgte metoder og forskningsdesignet var uhensigtsmæssigt i forhold til borgergruppen. Borgergruppen var inviteret til at deltage i et fokusgruppeinterview om eftermiddagen. Men forskerne erfarede, at borgerne ikke var interesseret i at deltage, bl.a. fordi de havde en generel angst vedrørende gruppesituationer, og fordi de om eftermiddagen var trætte på grund af medicinering. Konsekvensen blev, at kun halvdelen af de borgerne, som havde indvilliget i at deltage, mødte op til fokusgruppeinterviewet, og to af deltagerne faldt i søvn på grund af bivirkningerne ved deres medicin. Som forskerne selv påpegede, havde de haft utilstrækkelig viden om borgerne og deres begrænsninger til at skabe et adækvat evalueringsdesign. Forskerne valgte derfor at gentænke deres evalueringsdesign. Borgerne blev inviteret til at deltage på deres betingelser, og de valgte oftest enkeltpersonsinterviews og besluttede selv tid og sted (Truman & Raine, 2001). Den internationalt anerkendte evalueringsforsker Michael Quinn Patton understreger netop, at 'Evaluators need skills in building relationship, facilitating groups, managing conflict, walking potential tight ropes, and effective interpersonal communications to capitalize on the importance of the personal factor. Technical skills and social science knowledge are not sufficient to get evaluation used. Peoples skills are critical' (Patton, 2012). Dette er helt essentielt: Det er ikke bare billigere og hurtigere at inddrage borgerne som informanter i et spørgeskema end som aktive evalueringspartnere. Det også nemmere og stiller færre krav til organisationens Evaluation Capacity Building.

I en organisation besidder alle involverede personer, for det femte , en form for magtbase, som f.eks. kan være relateret til netværk, viden og faglig dygtighed. Et større studium vedrørende involvering af patienter i det engelske sundhedsvæsen viser netop, at en central problemstilling er, at patienter har mindre magt end de medarbejdere og ledere, som i  øvrigt er involveret i evalueringen, og at patientdeltagelse ofte i praksis er reduceret til patientrepræsentation i  styregrupper  og  paneler,  der  'høres'  (Ocloo  &  Matthews,  2016).

2 https://psykiatri.rn.dk/genveje/brugerinddragelse/enhed-for-samskabelse

Hvis borgerne reelt skal indgå som partnere i en co-evaluation, vil dette kræve afgivelse af personlig magt som evaluator (Glover, 2009). I de evalueringer, der gennemføres på universiteter og højere læreanstalter, kan der som følge heraf opstå konflikt med hensyn til både at involvere borgere og overholde videnskabelige relevanskriterier (Schubotz, 2020), og der er en reel risiko for, at den type evaluering stemples som partsforskning og dermed som useriøs (Tofteng & Husted, 2012). Meget tyder på, at forskningsverdenen er delt i mindst to  lejre  angående  involvering  af  borgere.  Mens  nogle  fremhæver,  at  forskernes  primære opgave er at fastholde positivistiske videnskabelige kriterier for at gennemføre valide evalueringer (Blom et al., 2011; Brett et al., 2012), fremhæver andre personelle og interpersonelle relationer som mindst lige så vigtige. Hertil skal det understreges, at et helt afgørende parameter er ledelsesopbakning til at tildele borgere en vidensbase i evalueringen. En sjette barriere i forbindelse med co-evaluation går under betegnelsen tokenism, som af Cambridge dictionary defineres som : ' Actions that are the result of pretending to give advantage to those groups in the society who are often treated unfairly, in order to give the appearance of fairness' (Cambridge Business English Dictionary, u.å . ). Der en risiko for, at organisationer kommer til at foretage en 'window dressing' , hvis borgerinvolvering i evaluering kommer til at stå diskursivt stærkt (Bromley & Powell, 2012). Der er en empirisk iagttagelig tendens til, at co-evaluation i stigende grad tillægges diskursiv magt, bl.a. eksponeret gennem norske og engelske forskningsråds udmeldinger om, at borgerinvolvering er en forudsætning for at opnå midler fra forskningsrådene (Gullslet et al., 2018). Samtidig peges der på, at sådanne udmeldinger kan fremelske tokenism, fordi det primære incitament kan blive at opnå forskningsrådsmidler snarere end at involvere borgerne som partnere. Tokenism er altså udtryk for en symbolsk involvering 'the fact of doing something only in order to do what the law requires or to satisfy a particular group of people but not in a way that is really sincere' (Borg, 2009, s. 35). Tokenism kan imidlertid også være udtryk for symbolsk involvering som følge af lokal diskursiv praksis. Der er flere studier, der tyder på, at det trods de bedste intentioner kan være vanskeligt at involvere borgere (f.eks. Ness et al., 2014; Truman & Raine, 2001; Mortensen, 2024). I ovenstående har vi blot beskrevet nogle af de faldgruber, som kan have indflydelse på, hvordan co-evaluation vil slå igennem i praksis. Desuden skal det understreges, at evalueringssystemer er dynamiske, og derfor er det vanskeligt at forudsige, hvor de bevæger sig hen (Dahler-Larsen, 2020).

## Diskussion og konklusion

Denne artikel bygger på antagelsen om, at de dominerende evalueringsbølger er under pres  og  udfordres,  fordi  der  er  en  stigende  orientering  mod  styringsdoktrinet  NPG. Evalueringsmoden synes i vid udstrækning at være bestemt af den aktuelle dominerende styringsdoktrins ontologi, værdigrundlag og indre logik, og en co-evaluation-evalueringslogik er derfor muligvis under opsejling. Ved at følge logikken i NPG og organisationsopskriften for samskabelse gives et tentativt bud på indholdet af co-evaluation-begrebet som er 1) dialog- og interessentorienteret, 2) har en kontekstforankring, 3) har et formativt fokus, 4) har fokus på sammenhængen mellem indsats og effekt, 5) tildeler borgere en særlig position som 'co-evalators' . Derved bygger vi videre på og bidrager til evalueringslitteraturen med et perspektiv på, hvordan et fremtidigt evalueringslandskab kunne udforme sig.

Det konkluderes, at co-evaluation har betydeligt begrebssammenfald med den kollaborative  evaluering  og  vil  kunne  hente  meget  metodologisk gods fra den dialogorienterede bølge. En væsentlig forskel på de to evalueringslogikker er, at borgerne forventes at få en central rolle i co-evaluation, bl.a. grundet argumenter om træfsikkerhed, nærdemokrati samt

empowerment og Capacity Building af borgerne, som findes i samskabelseslitteraturen. I artiklen udfoldes faldgruber, såsom magtfordeling internt i organisationen, organisationens evalueringsmæssige kvalifikationer og tokenisme, som kan få afgørende betydning for, om co-evaluation vil blive en mere udbredt og frugtbar evalueringspraksis. Dermed bidrager denne artikel til samskabelseslitteraturen på to måder. Først og fremmest udfyldes (omend tentativt) det ellers tomme co-evaluation-begreb. Artiklens andet bidrag til samskabelseslitteraturen sker gennem udfoldelse af centrale barrierer og faldgruber ved netop implementering og institutionalisering af co-evaluation som en selvstændig fase i 'samskabelseskæden' . Samtidig kalder artiklens resultater også på empirisk forskning i succesfuld co-evaluation, men også mere konkrete og praktiske udfordringer og barrierer forbundet hermed.

## Referencer

- Aagaard, P., Sørensen, E. & Torfing, J. (2014). Samarbejdsdrevet innovation i praksis: en introduktion (s. 15-36). Djøf Forlag.
- Agger, A., Tortzen, A. & Rosenborg, C. (2018). Hvilken værdi skaber vi med samskabelse - og hvordan kan den måles og dokumenteres? . Professionshøjskolen Absalon.
- Albæk, E. (1988). Fra sandhed til information. Evalueringsforskning i USA - før og nu . Akademisk Forlag.
- Alkin, M. C. (2013). Evaluation Roots - A Wider Perspective of Theorists' Views and Influences (2. udgave). Sage.
- Alkin, M. C. & Ellett, F. S. (1990). Development of Evaluation Models. I H. J. Walberg & G. D. Haertel (red.), The International Encyclopedia and Educational Evaluation (s. 15-21), (2. udgave). Oxford, New York, Seoul, Tokyo: Pergamon Press.
- Amba, T. A. & Stake, R. S (2001). Stakes Responsive Evaluation: Core Ideas and Evaluation. I J. Green & T. A. Amba (red.), Responsive Evaluation - New Directions for Evaluation - A publication of the American Evaluation Association , vol. 2001, 92: 17-21.
- Andersen, L. M. (2019): Empowering collaboration within a Danish workfare paradigm: A challenge in social work research, European Journal of social work, 22: 5,778-790.
- Andersen, L. B., Greve, C., Klausen, K. K., & Torfing, J. (2020). Offentlige styringsparadigmer: Konkurrence og sameksistens . Djøf Forlag.
- Andreassen, T. A., Romsland, G. I., Sveen, U., & Søberg, H. L. (2019). Mellem empowerment og forskningsnytte?  Refleksjoner  over  formål  og  form  for  brukermedvirkning  i  et  rehabiliteringsforskningsprosjekt. I O. P . Askheim, I. M. Lid, & S. Østensjø (red.), Samproduksjon i forskning (1. udg.). Universitetsforlaget.
- Askheim, O. P. & Høiseth J. R. (2019). Medforskerrollen - I spenningsfeltet mellom anerkjennelse, kooptering og 'tokenisme' . I O. P . Askheim, I. M. Lid & S. Østensjø (red.), Samproduksjon i forskning (s. 214-228). Oslo: Universitetsforlaget.
- Bason, C. (2010). Leading public sector innovation: Co-creating for a better society . Policy Press.
- Bhatti, Y., Hansen, H. F. & Rieper, O. (2006). Evidensbevægelsens udvikling, organisering og arbejdsform - en kortlægningsrapport . AKF Forlaget.
- Bickmann,  L.  &  Reich,  S.  M.  (2009).  Randomized  Controlled  Tials:  A  gold  Standard  with  Feet  of  Clay. I S. Donaldson, C. A. Christie & M. Melvin (red.), What Counts as Credible Evidence in Applied research and Evaluation practice? (s. 51-77). Sage.
- Bjørnholt, B. & Larsen, F. (2014). The Politics of Performance Measurement: 'Evaluation use as mediator for politics' . Evaluation , 20 (4): 400-411.
- Blom, B.,  Morén,  S.  &  Nygren,  L.  (2011).  Indledning:  Utvärdering  i  social  arbete.  I  B.  Blom,  S.  Morén  & L.  Nygren  (red.), Utvärdering  i  socialt  arbete:  Utgångspunkter,  modeller  och  användning (s.  17-33). Stockholm: Natur & Kultur.
- Borg, M. (2009). Intet om oss uten oss. I M. Borg & K. Kristiansen (red.), Medforskning: Å forske sammen for kunnskap om psykisk helse . Oslo: Universitetsforlaget.

- Borg,  M.  &  Kristiansen,  K.  (2009). Medforskning:  Å  forske  sammen  for  kunnskap  om  psykisk  helse .  Oslo: Universitetsforlaget.
- Bovaird, T. (2012). Attributing Outcomes to Social Policy Interventions - 'Gold Standard' or 'Fool's Gold' in Public Policy and Management? Social Policy and Administration , 48 (1): 1-23.
- Bovaird, T. & Loeffler, E. (2012). From engagement to co-production: The contribution of users and communities to outcomes and public value. VOLUNTAS: International Journal of Voluntary and Nonprofit Organizations , 23 (4): 1119-1138.
- Boyle, D. & Harris, M. (2009). The challenge of Co-Production - How equal partnerships between professionals and the public are crucial to improving public services. Public Administration , 28.
- Brandsen, T. & Honingh, M. (2015). Distinguishing Different Types of Coproduction: A Conceptual Analysis Based on the Classical Definitions. Public Administration Review , 76 (3).
- Brandsen,  T.  &  Honingh,  M.  (2018).  Definitions  of  Co-Production  and  Co-Creation.  I  T.  Brandsen, B. Verschuere & T. Steen (red.), Co-production and co-creation engaging citizens in public services . New York: Routledge.
- Brandsen, T., Verschuere, B. & Steen, T. (red.) (2018). Co-Production and Co-Creation: Engaging Citizens in Public Services . Routledge.
- Brett, J., Staniszewska, S., Mockford, C., Herron-Marx, S., Hughes, J., Tysall, C. & Suleman, R. (2012). Mapping the impact of the patient and public involvement on health and social care research: A systematic review. Health Expectations , 17 (5): 637-650.
- Brix, J., Krogstrup, H. K., & Mortensen, N. M. (2020). Evaluating the outcomes of co-production in local government. Local Government Studies , 46 (2): 169-185.
- Bromley,  P .,  &  Powell,  W .  W .  (2012).  From  Smoke  and  Mirrors  to  Walking  the  Talk:  Decoupling  in  the Contemporary World. Academy of Management Annals ,  6  (1): 483-530. https://doi.org/10.1080/19416 520.2012.684462
- Bryson, J. M., Crosby, B. C. & Bloomberg, L. (2014). Public Value Governance: Moving Beyond Traditional Public Administration and the New Public Management. Public Administration Review , 74 (4): 445-456.
- Cambridge Business English Dictionary (u.å.). Translation of Tokenism. Cambridge University Press. https:// dictionary.cambridge.org/dictionary/english-chinese-simplified/tokenism
- Cepiku, D. & Giordano, F. (2014). Co-Production in Developing Countries: Insights from the community health workers experience. Public Management Review , 16 (3): 317-340.
- Chalachanová, A., Gjermestad, A., & Lid, I. M. (2019). 4. Involvering av personer med utviklingshemmingi forskningssirkler:  Forskning  med  nye  aktører.  In Samproduksjon  i  forskning (1.  udgave).  https://doi. org/10.18261/9788215031675-2019-05
- Christiansen, P . M. & Togeby, Lise (2003). Magtbegrebet i teori og praksis . Aarhus Universitetsforlag.
- Cousins.J. B. (2020) Collaborative Approaches to Evaluation. Principle in Use. Sage Publication
- Czarniawska,  B.,  &  Joerges,  B.  (1996).  Travels  of  Ideas.  I  B.  Czarniawska  &  G.  Sevon  (red.), Translating Organizational Change, vol. 13: 13-48. https://doi.org/10.1515/9783110879735.13
- Dahler-Larsen,  P .  (2020).  Et  kritisk  blik  på  læring  og  udvikling  som  den  højere  mening  med  evaluering. I N. P . Weissert & M. W . Boolsen (red.), Evaluering i udvikling (s. 159-180). Hans Reitzels Forlag.
- Dokkedal, A. A., (2023). CUBB KORTLÆGGER VIRKSOMHEDERS INKLUSIONSKAPACITET. Retrieved from https://www.politik-samfund.aau.dk/forskning/forskningsprojekter/cubb/nyheder/nyhed/cubbkortlaegger-virksomheders-inklusionskapacitet.cid543614 on the 6th of July 2023.
- Durose,  C.,  Mangan,  C.,  Needham,  C.  &  Rees,  J.  (2013). Transforming  local  public  services  through co-production .  Birmingham:  AHRC  Connected  Communities  /  Department  for  Communities  and Local Government / University of Birmingham.
- Durose, C., Needham, C., Mangan, C. & Rees, J. (2015). Generating 'good enough' evidence for co-production. Policy Press, 2015: 1-17.

- Fetterman,  D.  M.  (2015).  Empowerment  Evaluation:  Theories,  Principles,  Concepts  and  steps.  I  D.  M. Fetterman,  S.  Kaftarian  &  A.  Wandersman  (red.), Empowerment evaluation: Knowledge and tools  for self-assessment, evaluation capacity building, and accountability (s. 20-42). Los Angeles, CA: Sage.
- Fledderus, J. (2015). Building trust through public service co-production. International Journal of Public Sector Management , 28 (7): 550-565.
- Fogsgaard, M. K. & Elmholdt, C. (2014). Magt i organisationer . Klim.
- Frederiksen, M., & Grubb, A. (2021). Den svære samskabelse: Forventninger og praksis i samarbejdet mellem kommuner og civilsamfund . Aalborg Universitetsforlag.
- Gheduzzi,  E.,  Masella,  C.,  Morelli,  N.  &  Graffigna,  G.  (2021).  How  to  prevent  and  avoid  barriers  in co-production  with  family  carers  living  in  rural  and  remote  area:  An  Italian  Case  Study. Research Involvement and Engagement, 7 (1): 1-13.
- Glover,  H.  (2009).  Hvordan  skille  mellom  likeverdig  og  symbolsk  medvirkning  i  forskning.  I  M.  Borg  & K. Kristiansen (red.), Medforskning: Å forske sammen for kunnskap om psykisk helse (s.  41-52).  Oslo: Universitetsforlaget.
- Gouillart, F. & Hallett, T. (2015). Co-creation in Government, Stanford Social Innovation Review : 40-48.
- Grubb, A., & Frederiksen, M. (2022). Speaking on behalf of the vulnerable? Voluntary translations of citizen needs to policy in community co-production. Public Management Review , 24 (12): 1894-1913.
- Guba, E. G. & Lincoln, Y. S. (1989). Fourth generation evaluation . Newbury Park: Sage.
- Gullslett, M. K., Stubben, K. & Lofthus A. (2018). Samarbeidsbasert forskning - Grunnlag for økt demokrati, likeverdighet og bedring? Erfaringer fra en kompetansegruppe. I M. Borg & B. Karlsson (red.), Perspektiver på psykisk helse- og rusarbeid recovery, erfaringsbasert kunnskap og samarbeidsbasert kunnskapsutvikling (s. 150-186). Bergen: Fagbokforlaget.
- Heimburg, D.v. & Ness, O. (2021). Relational welfare: a socially just response to co-creating health and wellbeing for all. Scandinavian Journal of Public Health , 49 (6): 639-652.
- Hindhede,  A.  L.,  &  Lid,  I.  M.  (2019).  Reformulering  av  forholdet  mellom  vitenskab,  politikk  og  borgere: Let-kunnskap som posisjon i kunnskapsproduksjonen. I O. P. Askheim, I. M. Lid, & S. Østensjø (red.), Samproduksjon i forskning (1. udgave). Universitetsforlaget.
- Hood, C. & Dixon, R. (2013). A model of the cost-cutting in Government? The great management revolution in UK central governmet recondidered. Public Administration , 91 (1): 114-134.
- House, E., & Howe, K. R. (1999). Values in evaluation and social research . Sage Publications.
- Höglund, L. & Svärdsten, F. (2018). Strategy work in the public sector - A balancing act of competing discourses. Scandinavian Journal of Management , 34 (3): 225-232.
- Jensen, T. & Førby, G. (2018). Nyt Ungepanel skal sikre bedre hjælp til tidligere anbragte. Retrieved from dr.dk website: https://www.dr.dk/nyheder/regionale/trekanten/nyt-ungepanel-skal-sikre-bedrehjaelptil-tidligere-anbragte
- King, J. A., & Stevahn, L. (2013). Interactive evaluation practice: Mastering the interpersonal dynamics of program evaluation . Los Angeles
- Kristiansen, M. B. (2014). Resultatstyring i den offentlige sektor . Jurist- og Økonomforbundets Forlag.
- Krogstrup, H. K. (2011). Kampen om evidens. Resultatmåling, effektevaluering og evidens . Hans Reitzels Forlag.
- Krogstrup, H. K. (2020). Brugerinvolering i evaluering og forskning: Metoder og formål . Hans Reitzels Forlag.
- Krogstrup, H. K., & Brix, J. (2019). Co-produktion i den offentlige sektor: Brugerinvolvering i kvalitetsudvikling . Hans Reitzels Forlag.
- Krogstrup, H. K., & Mortensen, N. M. (2017). Opbygning af kapacitet til samskabelse og brugerinvolvering. In Samskabelse og Capacity Building i den offentlige sektor edited by Krogstrup, H.K. (s. 149-169). Hans Reitzels Forlag.
- Krogstrup,  H.  K.,  &  Mortensen,  N.  M.  (2021).  The  fifth  evaluation  wave:  are  we  ready  to  Co-evaluate?. In  Processual  Perspectives  on  the  Co-Production  Turn  in  Public  Sector  Organizations  edited  by A.O. Thomassen and J. B. Jensen (s. 59-78, 157-175). Hersey: IGI Global.

- McDavid, J. C., House, I. & Hawthorn, L. R. L. (2013). Program Evaluation and Performance Measurement - An Introduction to Practice , (2. udgave). Sage.
- McMullin, C. & Needham, C. (2018). Co-Production in Healthcare. I T. Brandsen, B. Verschuere & T. Steen (red.), Co-production and co-creation engaging citizens in public services . New York: Routledge.
- Mortensen, N. M. (2020). The challenges of translating and implementing co-production in care services: A Danish case study. PhD Thesis, Aalborg University
- Mortensen, N. M. (2024). Sustainable  implementation  of  co-production:  exploring  conflicts  and  coping behavior employed by street-level professionals. International Journal of Public Sector Management , 37 (1): 91-107.
- Mortensen,  N.  M.,  J.  Brix,  and  H.  K.  Krogstrup.  (2021).  'Reshaping  the  Hybrid  Role  of  Public  Servants: Identifying the Opportunity Space for Co-production and the Enabling Skills Required by Professional Co-producers.' In The Palgrave Handbook of the Public Servant, edited by H. Sullivan, H. Dickinson, and H. Henderson (s. 937-953). Palgrave Macmillan.
- Mortensen, N. M., & Needham, C. (2023). 'I do not want to be one of her favourites' . Emotional display and the co-production of frontline care services. Public Management Review , 25 (7): 1260-1281.
- Møller, M. Ø., Iversen, K. & Andersen, V . N. (2016). Review af resultatbaseret styring: Resultatbaseret styring på grundskole-, beskæftigelses- og socialområdet . Kora.
- Ness, O., Borg, M., Semb, R., & Karlsson, B. (2014). 'Walking alongside:' Collaborative practices in mental health and substance use care. International Journal of Mental Health Systems ,  8  (1):  1-8.  https://doi. org/10.1186/1752-4458-8-55
- Ness, O., Borg, M., Sælør, K. T., Semb, R., Johnsen, T. A., Hoff, T., & Andersen, M. (2018). Hvordan samarbeide om et forskningsprosjekt? Erfaringer fra samarbeid om forskning mellom en kommune og en høgskole. I M. Borg & B. Karlsson (red.), Perspektiver på psykisk helse- og rusarbeid recovery, erfaringsbasert kunnskap og samarbeidsbasert kunnskapsutvikling (s. 187-199). Bergen: Fagbokforlag.
- Ness,  O.  &  Heimburg,  D.v.  (2020).  Collaborative  action  research:  Co-constructing  social  change  for  the common good. I S. McNamee, M. Gergen, C. C. Borges & E. Rasera (red.), SAGE Handbook of Social Constructionist Practice (s. 34-45) . Sage.
- Nordesjö, K. (2018). Made in Sweden: The translation of a European evaluation approach. Evaluation , 25 (2): 189-206.
- OECD (2011). 'Together for Better Public Services: Partnering with Citizens and Civil Society' in OECD Public Governance Reviews .
- Ocloo, J. E. & Matthews, R. (2016). From tokenism to empowerment: Progressing patient and public involvement in healthcare improvement. BMJ Quality & Safety , 25 (8): 626-632.
- Osborne, S. P. (red.) (2010). The new public governance? Emerging perspectives on the theory and practice of public governance . Routledge.
- Osborne, S. P ., Radnor, Z. & Strokosch, K. (2016). Co-production and co-creation of value in public services: A suitable case for treatment. Public Management Review, 18 (5): 639-653. https://doi.org/10.1080/1471 9037.2015.1111927
- Patton, M. Q. (2012). Essentials of utilization-focused evaluation . Los Angeles, CA: Sage.
- Patton, M. Q. (2013). The Roots of Utilization-Focused Evaluation. I M. C. Alkin (red.), Evaluation Roots A wider Perspective of Theorists' Views and Influences . Sage.
- Patton, M. Q. (2015): Qualitative research & evaluation methods: Integrating theory and practice .  Thousand Oaks, CA: Sage.
- Pestoff, V . A. (2019). Co-production and public service management: Citizenship, governance and public service management . New York: Routledge, Taylor & Francis Group.
- Pollitt, C. (2013). The Logics of Performance Management. Evaluation, 19 (4): 346-363.
- Ramaswamy, V. & Gouillart, F. (2010). Building the co-creative enterprise. Harvard Business Review , 88 (10): 1-7. https://doi.org/Article

- Rist, R. C. (1995). Management Accountability. I R. C. Rist (red.), Policy Evaluation-linking Theory to practice, The International library of Comparative Public Policy (s. 371-385). Cambridge: Edgar Elgar Publishing Limited.
- Røvik,  K.  A.  (2007). Trender  og  tanslasjoner  -  ideer  som  former  21.  århundredes  organisajon .  Oslo: Universitetsforlaget.
- Schubotz, D. (2020). Participatory research: Why and how to involve people in research . Thousand Oaks, CA: Sage.
- Sorrentino, M., Sicilia, M. & Howlett, M. (2018). Understanding co-production as a new public governance tool. Policy and Society , 37 (3): 277-293.
- Stake, R. E. (1990). Responsive evaluation. I H. J. Wahlberg & G. D. Haertel (red.), The international encyclopaedia of educational evaluation, advances in education (s. 63-68). Oxford: Pergamon Press.
- Steen, T. & Tuurnas, S. (2018). The Roles of the Professional in Co-production and Co-creation processes. I T. Brandsen, T. Steen & B. Verschuere (red.), Co-production and co-creation engaging citizens in public services . Routledge.
- Sørensen,  E.  &  Torfing,  J.  (2022).  The  Three  Orders  of  Public  Innovation:  Implications  for  Research  and Practice. Nordic  Journal  of  Innovation  in  the  Public  Sector ,  1  (1):  35-52.  https://forskning.ruc.dk/en/ publications/the-three-orders-of-public-innovation-implications-for-research-a
- Thomas, J. C. (2013). Citizen, customer, partner: Rethinking the place of the public in public management. Public Administration Review , 73 (6): 786-796.
- Tofteng, D. & Husted, M. (2012). Aktionsforskning. I S. Juul & K. B. Pedersen (red.), Samfundsvidenskabernes videnskabsteori: En indføring . København: Hans Reitzels Forlag.
- Torfing, J., & Triantafillou, P . (2017). New public governance på dansk . Akademisk Forlag.
- Truman, C., & Raine, P . (2001). Involving users in evaluation: the social relations of user participation in health research. Critical Public Health , 11 (3): 215-229.
- Van Eijk, C. (2017). Engagement of Citizens and Public Professionals in the Co-Production of Public Services .
- Vanleene, D., Verschuere, B. & Voets, J. (2015). Benefits  and  Risks  of  coproduction:  a  preliminary  literature review, IIAS Workshop on Coproduction .
- Vedung, E. (1998). Utvärdering i politik och Forvaltning , (2. oplag). Samfundslitteratur.
- Vedung, E. (2010). Four waves of evaluation diffusion. Evaluation , 16 (3): 263-277.
- Vedung, E. (2016). Fire Evalueringsbølger. I T. Bredgaard (red.), Evaluering af offentlig politik og organisation . Hans Reitzels Forlag.
- Villumsen, A. M. & Kristensen, O. S. (2016). From management to leadership: A shift towards understanding the organizational complexity of multidisciplinary collaboration. European Journal of Social Work, 19 (5): 616-633.
- Voorberg, W. H., Bekkers, V. J. J.  M.  &  Tummers, L. G. (2015). A Systematic Review of Co-Creation and Co-Production: Embarking on the social innovation journey. Public Management Review : 1-25.
- Østby,  M.,  &  Haugenes,  M.  (2019). Inkluderende  forskning  sammen  med  personer  med  utviklingshemming . Universitetsforlaget.
- Uggerhøj, L., Henriksen, K., & Andersen, M. L. (2018). Participatory Practice Research and Action Research: Bird of a Feather dec 8. China Journal of Social work 186-201.