Resultatmåling i nyt terræn. En undersøgelse af måleusikkerheder på det specialiserede ungeområde
Forfattere: Britt Søvsø Mikkelsen, Jeppe Agger Nielsen
Tidsskrift: politik (2014-09-11)

## Resultatmåling i nyt terræn: En undersøgelse af måleusikkerheder på det specialiserede ungeområde

Britt Søvsø Mikkelsen

Vejle kommune

Jeppe Agger Nielsen

Institut for Statskundskab, Aalborg Universitet

Måling af resultater og effekter udgør en af tidens markante forvaltningspolitiske tendenser, der vinder  udbredelse  på  fl  ere  og  fl  ere  politikområder. Det specialiserede ungeområde repræsenterer et af de 'bløde' serviceområder, hvor kommunerne i stigende grad indfører resultatmålingssystemer. Den forskningsbaserede viden om gavnligheden af målingerne er imidlertid begrænset. Denne artikel undersøger derfor måleusikkerheder på det specialiserede ungeområde gennem et case studie af Aarhus Kommunes anvendelse af resultatdokumentation.

## Introduktion

Vi forlader os på mavefornemmelser og navigerer i et felt af uvidenhed. Og når vi ved så lidt om, hvad der hjælper børnene, bliver det en blanding af tro, politiske holdninger og menneskesyn, der bestemmer indsatsen (Dørge, 2011).

Sådan omtalte Lisbeth Zorning Andersen, den tidligere formand for Børnerådet, de indsatser, der tilbydes samfundets udsatte børn og unge. Udsagnet støttes fra politisk hold, hvor der er et fremtrædende ønske om, at sociale indsatser i højere grad skal baseres på viden om eff  ekt og evidens, så skattekronerne anvendes på den bedst mulige måde  (Produktivitetskommissionen,  2013;  Socialstyrel- sen,  2012).  En  række  kommuner er allerede i gang, og de har indført resultat- og præstationsbaserede målingssystemer i forskellige afskygninger til at understøtte den økonomiske og faglige styring af det ellers svært styrbare område for socialt udsatte børn og unge (Kolster, 2012).

Anvendelsen af resultatmåling er på ingen måder et isoleret fænomen for området for socialt udsatte børn og unge, dvs. kommunale tilbud rettet mod unge i 14-18 års alderen med misbrugs- sociale, psykiske eller adfærdsproblemer. Tværtimod skal det ses i sammenhæng med en markant forvaltningspolitisk  trend  inden  for  styring  af velfærdsstaterne (Adcroft &amp; Willis, 2005), hvor resultat og eff  ekt i de sidste 25 år er blevet tilskrevet langt større betydning. Navnlig Storbritannien og USA har fungeret som forgangslande (Hood, 1991), hvor Danmark fulgte efter fra begyndelsen af 1990'erne (Greve, 2002). Denne udvikling er blevet modsvaret af en efterhånden omfattende  litteratur  om  emnet,  både  internationalt  (fx  de Bruijn (2002); Halachmi (2002a); Hondeghem &amp; Perry (2009);  Van  Dooren,  Bouckaert  &amp;  Halligan  (2010)  og Brodkin (2011), og i Danmark (Mouritsen (1997), Bregn (2006); Foss Hansen (2008) og Hansen (2011)).

Kernen i resultatbaseret  måling  og  styring  (på  eng. performance management) er, at off  entlige organisationer bedst styres med fokus på resultater og eff  ekter frem for  procesregler,  budgetstyring  og  lovregulering.  Det Nationale Indikatorprojekt på sundhedsområdet, Fælles Sprog  på  ældreområdet  og  PISA  -  undersøgelserne  på folkeskoleområdet  er  prominente  danske  eksempler  på denne  styringstænkning.  Selvom  resultatmåling  nogle gange fremstår som en 'one-size-fi  ts-all' model (Radin, 2006), peger forskningen på, at det på nogle områder i den off  entlige sektor er nemmere at få sådanne systemer til at give mening end på andre (Moynihan, et al., 2011). Navnlig  på  områder  med  mange  ondartede  problemer (Harmon &amp; Mayer, 1986), dvs. områder, der er karakteriseret af mange komplicerede problemstillinger uden entydige løsninger, etiske dilemmaer og både-og-vurderinger, antages resultatmåling at være en særdeles udfordrende øvelse (Moynihan, et al., 2011).

Det specialiserede ungeområde, som er omdrejningspunktet  for  denne  artikels  empiriske  undersøgelse,  udgør  et  sådant  område  (Hansen  &amp;  Rieper,  2006),  hvor gavnligheden af resultatmåling da også er omdiskuteret. Fra en fagprofessionel synsvinkel er det fx blevet hævdet, at  dokumentation- og målingskrav tager unødig tid fra kerneopgaverne,  og  at  det  reducerer  muligheden  for  at benytte faglige vurderinger i arbejdet (Ejler, Seiding, Bojsen, Nielsen, &amp; Ludvigsen, 2008). Det specialiserede ungeområde betragtes derfor som en kritisk case (Flyvbjerg, 2006)  i  forhold  til  anvendelse  af  resultatmåling  i  den off  entlige  sektor.  Hermed  ikke  sagt  at  områdets  karakter kan adskilles skarpt fra andre 'bløde' områder såsom handicapområdet,  misbrugsområdet  og  ældreområdet. Men med afsæt i Moynihan et al´s (2011) ræsonnement og den kritiske case-logik må det forventes, at hvis det på det  specialiserede  ungeområde  giver  mening  at  benytte resultatmåling, må det også forventes at give mening på de fl  este andre off  entlige politikområder.

Trods den stigende politiske opmærksomhed og den til  tider  livlige  debat  om  behovet  for  resultatmåling  på det specialiserede ungeområde, er den eksisterende forskningsmæssige viden om måleusikkerhederne begrænset. Forskere har i en rum tid diskuteret og belyst potentialer og  virkninger  af  målesystemer  for  de  fagprofessionelles arbejdsvilkår (fx Nissen &amp; Møller (2006); Høybye-Mortensen  (2011);  Guldager  og  Skytte  (2013)),  men  i  lille udstrækning  stillet  skarpt  på  de  måleusikkerheder,  der kan  være  forbundet  med  systemerne  (se  dog  HøybyeMortensen, Hammerskov &amp; Ejbye-Ernst (2013)). Ærindet i denne artikel er derfor, med afsæt i et case studie af resultatdokumentation i Aarhus Kommune, at zoome ind på de udfordringer, der knytter sig til at måle resultater og eff  ekter på området for socialt udsatte unge. Vi stiller  følgende  spørgsmål:  Hvilke  måleusikkerheder  er der forbundet med at lave resultatdokumentation på det specialiserede ungeområde?

I  forlængelse  heraf  diskuterer  vi  muligheder  for  at benytte  de  indsamlede  resultatdokumentationsdata  til ledelsesinformation.  Ledelsesinformation  forstås  i  overensstemmelse  med  Høybye-Mortensen,  Hammerskov &amp;  Ejbye-Ernst  (2013,  s.  10)  som aggregeret  viden  om kommunens socialt udsatte unge, her særligt med fokus på eff  ekter af de kommunale tilbud. Det forudsættes, at kommunerne har  brug  for  den  type  information  til  at prioritere  og  styre  deres  indsatser.  Resultatmåling,  og de usikkerheder der er forbundet hermed, er derfor også et  politisk  emne,  som  knytter  sig  til  beslutningstageres muligheder for at forbedre deres prioriteringer og træff  e beslutninger på et kvalifi  ceret grundlag. Artiklen bygger på  antagelsen  om,  at  hvis  de  indsamlede  resultatdokumentationsdata meningsfuldt skal kunne anvendes som ledelsesinformation, må målingerne være indsamlet på et sammenligneligt grundlag og være baseret på faste målekriterier og ensartede vurderinger. Omvendt, hvis den tilgængelige  information  er  mangelfuld  eller  behæftet med fejl,  hæmmes skabelsen af overblik og derved den ønskede styring.

Aarhus  Kommune,  og  specifi  kt  Ungdomscentrets arbejde  med  resultatdokumentation,  udgør  en  interessant  case  i  forhold  til  at  belyse  resultatmåling  på  området  for  udsatte  unge.  Kommunen  er  pioner  indenfor anvendelse af resultatmåling på det specialiserede sociale område (kaldet resultatdokumentation), og deres model er sidenhen blevet afprøvet med succes i en række andre kommuner (Nielsen, 2013). Aarhus Kommune har siden 2008 arbejdet systematisk med at udvikle, implementere og anvende resultatdokumentation som har til hovedformål at bidrage med viden, der kan sikre, at udsatte børn og unge får det bedre (Brix Hvillum &amp; Pedersen, 2012). Casen bidrager både med viden i forhold til det konkrete arbejde  med  resultatdokumentation  på  området  for  socialt udsatte unge, men sigter også mod at stimulere en bredere debat om mulighederne og faldgrubberne ved at anvende  resultatmålinger  i  styringen  af  det  (specialiserede) sociale område.

I  næste  afsnit  udfoldes  idéen  om  resultatmåling, herunder de måleusikkerheder der kan forbindes med et sådant system. Dernæst præsenteres artiklens case, efterfulgt af en redegørelse for de valgte metoder, som bygger på en vignette (Ejrnæs &amp; Monrad, 2012) kombineret med semi-strukturerede  interviews  med  udvalgte  pædagoger og  socialrådgivere.  Herefter  analyseres  brugen  af  resultatdokumentation på ungeområdet i Aarhus Kommunes Socialforvaltning, og det vises hvordan systemet er forbundet  med  betydelig  måleusikkerhed.  Afslutningsvis diskuteres analysens hovedresultater og implikationer af fundene  for  de  politiske  beslutningstageres  muligheder for  at  benytte  resultatdokumentation som ledelsesinformation.

## Resultatmåling og måleusikkerheder

Resultatmåling bygger på en logik om, at man må måle eff  ekten af de off  entlige indsatser for at kunne vide, hvad der virker, og hvad der ikke virker: ' If you cannot measure it,  you  do  not  understand  it '  (Halachmi,  2002a,  s.  65). Gennemsigtigheden giver mulighed for at træff  e beslutninger på et mere kvalifi  ceret grundlag og holde ledere ansvarlige for deres resultater ud fra devisen: ' If  you do not  measure  results,  you  cannot  tell  success  from  failure ' (Halachmi, 2002a, s. 65). Off  entlige organisationer kan derigennem få gavn af resultatmålinger, idet det kan give politikerne mulighed for at prioritere og træff  e beslutninger  på  et  kvalifi  ceret  grundlag,  gøre  dem  i  stand  til  at styre økonomien bedre samt vurdere om borgerne får den intenderede hjælp.

Litteraturen  betoner  således  en  række  oplagte  styringsmæssige fordele ved at bruge resultatmåling. Disse er dog blevet suppleret af argumenter om, at der ved brug af sådanne målesystemer ofte følger ikke-intenderede og uheldige virkninger  (Smith, 1995; de Bruijn, 2002). Organisationerne kan fx bevidst vælge at præstere dårligere, end  hvad  der  reelt  er  muligt,  for  at  minimere  risikoen for  skærpede  krav  til  resultater  i  fremtiden  (de  Bruijn, 2002),  i  den  forstand  kan  professionelle  medvirke  til at  sabotere  målingssystemet.  De  kan  også  creame,  dvs. vælge at koncentrere indsatsen mod de borgere, de i størst grad formoder kan bidrage til opfyldelsen af resultatmålet  (Bregn  2006).  Resultatmåling  kan  derigennem  føre til  uhensigtsmæssige  adfærd,  idet  medarbejderne  ofte har en et interesse i  at  vise  gode  resultater  i  forhold  til det,  der  måles  på,  og  derfor  motiveres  de  indirekte  via systemet til at tilpasse deres arbejdsgange og procedure i  forhold  til  måleparametrene  (Smith,  1995).  Samtidig er de overordnede mål og visioner ofte svært målbare hvilket ikke mindst gør sig gældende på områder med høj grad af kompleksitet i opgaveløsningen, jf. Moynihan et al. (2011) - og derfor måles der ofte på mere forsimplede måleindikatorer, som ofte ikke er dækkende for organisationens bedrifter som helhed. ' Man får, hvad man måler på, og ikke nødvendigvis det, man ønsker', som Kerr (1995) har spidsformuleret det.

Samtidig,  og  i  forlængelse  af  ovenstående,  kan  der være  måleusikkerheder  forbundet  med  resultatmåling, hvilken kan svække ledelsesinformationens pålidelighed (Høybye-Mortensen, Hammerskov &amp; Ejbye-Ernst 2013). Kvaliteten af den viden, man kan trække ud af målingssystemet, afhænger helt banalt af kvaliteten af de data, som lægges ind i systemerne, nogle gange betegnes som et Garbage In - Garbage Out perspektiv (Hansen &amp; Vedung 2005). Hvis pålidelighed af data er mangelfuld, så vil de analyser, der laves på grundlag af dataene, således også være problematiske.

Arbejdet  med  at  sikre  pålidelige  data  udfordres  af, at  de  målte  resultater,  måske  navnlig  på  komplekse  offentlige  serviceområder,  ofte  afhænger  af  mange  andre faktorer end det, som de off  entlige organisationer er ansvarlige for. Konteksten og målgruppen har indvirkning på resultaterne. For eksempel er en skoles resultater i form af elevernes karakter afhængig af læringsmiljøet på skolen og lærernes evne til at undervise - men også mange andre faktorer,  som  eksempelvis  forældrenes  forældreevne  og opbakning til  skolen  og  elevernes  eventuelle  vanskeligheder  eller  diagnoser,  som  har  betydning  for  elevernes indlæring. På det specialiserede ungeområde kan der ligeledes være ydre faktorer, der har betydning for de opnåede resultater. Hvis et nært familiemedlem til en udsat ung eksempelvis bliver syg eller udsættes for en ulykke, vil det med stor sandsynlighed have en negativ indvirkning på den unges udvikling, men dette er ikke noget kommunen har kontrol over. Det kan med andre ord være svært at isolere eff  ekten af en given kommunal indsats eller tilbud, da det ikke foregår i et vakuum, men foregår sideløbende med  andre  forandringer,  der  også  kan  have  betydning for  resultaterne.  Derfor  kan  det  være  svært  at  måle  og fastslå, hvad der er årsag til hvad - både ved positive eller negative resultater.

Hertil kommer, at selve tidspunktet for de specifi  kke registreringer kan udgøre en fejlkilde. Høybye-Mortensen, Hammerskov &amp; Ejbye-Ernst (2013) undersøgelse af voksen-handicapområdet viste,  at  den  indtastede  information afhang af hvornår sagsbehandleren foretog vurderingen, da borgere kan have gode og dårlige dage (s. 7). Det blev af forfatterne vurderet til at have en væsentlig betydning for de indsamlede datas pålidelighed, da borgere med  handicap  i  mange  tilfælde  kendetegnes  ved  deres psykiske omskiftelighed. Et karakteristikum, vi også vurderer gør sig gældende for socialt udsatte unge. Endelig skal det nævnes, at der kan være forhold ved selve registreringen, som kan udgøre en fejlkilde (Høybye-Mortensen, Hammerskov &amp; Ejbye-Ernst 2013).

## Casen

Ungdomscentret rummer tilbud til udsatte unge i Aarhus  Kommune,  der  har  en  eller  fl  ere  ungdomsproblematikker,  misbrug,  sociale,  psykiske  eller  adfærdsmæssige problemer. Ungdomscentrets målgruppe er primært unge i alderen 14-18 år, men unge på 18-23 år kan også modtage hjælp (efterværn) i Ungdomscentret (Ungdomscentret,  2012).  Organisatorisk  er  Ungdomscentret  en afdeling under Familier, Børn og Unge, som er en af tre søjler  i  Aarhus  Kommunes  Socialforvaltning.  Tilbuddene i Ungdomscentret spænder fra åben rådgivning til en række ambulante dagbehandlingstilbud, og videre til døgntilbud.  Ved  de  mere  indgribende  foranstaltninger, som tilbydes efter Servicelovens § 52 stk. 3, og § 76, laves der resultatdokumentation på de unge. Det betyder, at der i Ungdomscentret laves resultatdokumentation på

de unge, der er indskrevet på følgende fi  re tilbud; Social støtte  og  gruppeforløb,  Uddannelse  og  arbejde,  Botræning og efterværn samt TurBo. I alt modtager omkring 850 unge modtager en indsats i en af Ungdomscentrets brede  vifte  af  tilbud.  Ungdomscentret  har  ca.  200  ansatte, hvoraf ca. 1/3 arbejder med resultatdokumentation på et af de fi  re nævnte tilbud.

Resultatdokumentationskonceptet, der blev anvendt i Ungdomscentret, da undersøgelsen blev lavet, er udviklet i  2008/2009. Konceptet består, som det fremgår af Tabel 1, af otte faktorer, hvoraf de fem første er kendt fra § 50-undersøgelsen i Serviceloven. Fire af de otte faktorer er opdelt i underområder (dvs. i alt 14 faktorer). Inden for hver af de 14 faktorer skal den unges problemer og støttebehov vurderes på en 0-4-skala, som beskrevet i Tabel 2.

Tabel 1 - Resultatdokumentationens faktorer

|   1 | Udvikling og adfærd a. Udadreagerende adfærd b. Indadvendt adfærd c. Selvskadende adfærd   |   5 | Fritidsforhold og venskaber a. Fritidsforhold b. Venskaber   |
|-----|--------------------------------------------------------------------------------------------|-----|--------------------------------------------------------------|
|   2 | Familieforhold                                                                             |   6 | Hverdagsliv a. Personlig hygiejne b. Bolig c. Økonomi        |
|   3 | Skole og beskæftigelse a. Skole/uddannelse b. Beskæftigelse                                |   7 | Misbrug                                                      |
|   4 | Sundhedsforhold                                                                            |   8 | Kriminalitet                                                 |

(Familier, Børn og Unge, 2013)

Tabel 2 - Beskrivelse af scorerne fra 0-4

|   0 | Den unge har ingen problemer og kan klare sig uden støtte                               |
|-----|-----------------------------------------------------------------------------------------|
|   1 | Den unge har milde problemer og har brug for let støtte                                 |
|   2 | Den unge har moderate problemer og har brug for nogen støtte                            |
|   3 | Den unge har alvorlige problemer og har brug for megen støtte                           |
|   4 | Den unge har et massivt problem, skal have omfattende støtte og kan ikke klare sig uden |

(Familier, Børn og Unge, 2013)

Resultatdokumentation har fl  ere formål; både at fungere som evaluerings- og dialogværktøj i forhold til opfølgning på den enkelte sag. Herudover indgår de aggregerede resultater som ledelsesinformation til ledere og politikere. Ved indskrivning, efter de første tre måneder og derefter med et fast kadence hver sjette måned skal der laves resultatdokumentation  på  de  unge.  Der  laves  desuden resultatdokumentation en sidste gang i forbindelse med udskrivning af en ung (Familier, Børn og Unge, 2013). Når der laves resultatdokumentation vurderes den unges aktuelle status på skalaen fra 0-4, og der opstilles mål for de kommende seks måneder på samme skala. Disse mål skal tage udgangspunkt i den indsats, der tilbydes, og den unges  øvrige  situation.  Hvis  det  vurderes,  at  indsatsen kan hjælpe den unge i forhold til  fx  sundhed,  kan  der opstilles et progressionsmål, om at den unge skal fl  ytte sig fra fx 2 til 1 på 0-4-skalaen. Konceptet er bygget således op, at det til hver faktor er muligt at skrive en kommentar i prosaform. Det er dog kun scoringerne, der indgår i aggregeringen.

Hvert halve år laves der rapporter for hele ungeområdet og for hvert enkelt tilbud på baggrund af de registrerede resultatdokumentationsdata. Rapporterne illustrerer hvor stor en andel af de unge, der enten; har indfriet et progressionsmål,  har  haft  fremgang  uden  at  nå  målet, har indfriet et fastholdelsesmål, ikke har rykket sig, selv om der var opstillet progressionsmål, eller har haft tilbagegang. De unges udvikling fastslås ved at sammenholde status og mål ved de to seneste resultatdokumentationer.

## Metode

For at belyse resultatmåling på det specialiserede ungeområde bygger artiklen på et single case  studie  (Stake, 1995) i Aarhus Kommune, og specifi  kt Ungdomscentrets arbejde med resultatdokumentation. Artiklen trækker på multiple  datakilder,  som  med  hver  deres  input  danner grundlag for en indgående analyse af de måleudfordringer, der knytter sig til arbejdet med resultatdokumentationen i Ungdomscentret.

For det første består datamaterielt af semistrukturerede interview med otte socialrådgivere og pædagoger i Ungdomscentret,  der  alle  arbejder  med  resultatdokumentation i dagligdagen. Interviewene havde til formål at opnå indsigt i arbejdet med resultatdokumentation, herunder muligheder  og  begrænsninger  forbundet  med  resultatdokumentation set fra et fagprofessionelt perspektiv. To personer  fra  hvert  af  de  fi  re  tilbud  i  Ungdomscenteret, der  arbejder  med  resultatdokumentation,  blev  interviewet. Afdelingslederen stod for den konkrete udvælgelse og af interviewpersoner, der havde lyst til at deltage. Udvælgelsesformen baserer sig derfor på frivillighed, og det skaber en risiko for, at det er en bestemt type personer, der  indvilliger  i  at  deltage  i  interview.  Denne  mulige bias  er  forsøgt  imødekommet  ved  at  lade  otte  forskellige personer komme til orde, for derigennem at opnå en forholdsvis bred inddragelse. Interviewene blev foretaget med udgangspunkt i samme interviewguide, hvorfor de har modtaget en nogenlunde ensartet påvirkning og interviewtilgang. De otte interview varede i gennemsnit en time, og de er blevet transskriberet i deres fulde længde, for at have mulighed for at strukturere, analysere og udplukke de væsentlige pointer (Kvale, 1997).

Det andet sæt af data består af en vignette (Ejrnæs &amp; Monrad, 2012), det vil sige en fi  ktiv case, som vi benyttede til at teste variation, eller ensartethed, i medarbejder- nes resultatdokumentationsscoringer. Vignetten indebar en statusbeskrivelse af en fi  ktiv ung pige med betydelige sociale problemer. Statusbeskrivelsen blev sammensat ud fra virkelige statusbeskrivelser af unge, der modtager et tilbud i Ungdomscentret, og den indeholdt beskrivelser af alle relevante områder i forhold til faktorerne i resultatdokumentation. Den fi  ktive pige blev beskrevet som havende problemer på næsten alle faktorerne, således at medarbejderne skulle vurdere hendes problemer på fl  ere forskellige områder. Dette for at opnå megen information om ensartetheden i medarbejdernes scoringer. Vi har for at øge gennemsigtigheden i vores arbejde vedlagt vignettet som Appendiks. For at sikre at beskrivelsen fremstod troværdig og i et genkendeligt sprog og for at sikre at den indeholdt tilstrækkelig med oplysninger til, at medarbejderne kunne lave resultatdokumentation ud fra den, blev den inden udsendelsen pilottestet af en pædagog på et af tilbuddene, der kom med nyttige tilføjelser og ændringsforslag. Vignetten blev sendt pr. mail til alle medarbejdere i  Ungdomscentret, som arbejder med resultatdokumentation (50 medarbejdere og tre medarbejderteams) og de blev bedt om individuelt at lave resultatdokumentation på pigen, som om hun var tilknyttet deres tilbud. To af de tre medarbejderteam og 36 af de 50 medarbejdere svarede, hvilket giver en svarprocent på 71,7. Alle resultaterne blev indtastet i statistikprogrammet SPSS og efterfulgt af forskellige analyser (fx minimum- og maksimumværdier og standardafvigelser på de forskellige faktorer) for at belyse eventuel  variation  i  medarbejdernes  vurderinger  af  den samme testperson.

Der er  en  vis  usikkerhed  forbundet  med  at  lave  en vignette med på en fi  ktiv person, som ingen af medarbejderne  kender.  Normalt  laver  medarbejderne  resultatdokumentation på unge, de har et mere indgående kendskab til.  Det  er  dog  vores  vurdering,  at  metoden  er  ganske velegnet til at teste ensartethed/variation, da vi sørgede for at alle medarbejderne fi  k et ens udgangspunkt for at lave resultatdokumentationen (Ejrnæs &amp; Monrad, 2012). Ved  at  lave  statusbeskrivelsen  af  pigen  så  virkelighedstro  som  muligt,  ved  at  benytte  pilottest  og  ved  at  give medarbejderne  samme  udgangspunkt,  er  de  usikkerheder, der kan opstå ved denne type undersøgelser, forsøgt imødekommet.

For  det  tredje  består  datamaterialet  af  et gruppeinterview/gruppedrøftelse med  seks  medarbejdere  i  Ungdomscentret,  hvori  der  indgik  en  specifi  k  drøftelse  af måleusikkerhederne forbundet med resultatdokumentationsscoring.  Et  af  Ungdomscenterets  tilbud  -  Uddannelse og arbejde - blev valgt, da det var det tilbud, der i vignetten havde den største spredning i deres vurderinger af den unge pige. Seancen indledtes med at én af medarbejderne udvalgte og beskrev problematikkerne for en af sine unge, hvorefter de seks medarbejderne hver især lavede resultatdokumentation på den unge, og disse vurderinger blev sammenlignet. I forlængelse heraf drøftede medarbejderne variationen i vurderingerne og årsagerne hertil, og de blev derved foranlediget til at sætte ord på deres overvejelser og tanker omkring hvorfor, de vurderede den unge, som de gjorde.

De  tre  beskrevne  datakilder  anvendes  i  en  kombination, med det formål at lade dem supplere hinanden på  deres  svage  punkter  og  dermed  tilvejebringe  størst mulig indsigt i muligheder og begrænsninger ved at anvenderesultatmåling på det specialiserede sociale område. Vignetten gav fx håndfast viden om, hvor ensartet (eller uensartet!) medarbejdernes vurderinger af de unge er, og dermed et udtryk for, hvor troværdige dataene er i styringsøjemed.  Interviewene  og  gruppedrøftelsen  bidrog med øget indsigt i medarbejdernes daglige arbejde med resultatdokumentation,  herunder  forståelser  af  vurderingsskalaen (den såkaldte 0-4-skala) og de 14 faktorer, der indgår i resultatdokumentation.

## Analyse

Analysen  falder  i  to  dele.  Første  del  belyser,  hvordan medarbejderne  i  Ungdomscentret  arbejder  systematisk med resultatdokumentation, men også at der er forskellige  praksisser  og  holdninger  til  målingssystemet.  I  anden del, som er den mest tungtvejende, undersøger vi de måleusikkerheder,  som  er  forbundet  med  resultatdokumentation.

## Resultatdokumentation er en integreret del af praksis

Undersøgelsen  i  Ungdomscenteret  viser,  at  medarbejderne  anvender  resultatdokumentation  og  tilstræber  at følge  den  fastlagte  kadence  for  resultatdokumentation for de unge, de har indskrevet. En medarbejder siger fx: ' Det er halvårligt, vi laver det, og jeg gør det på de 3, 4, 5 unge, jeg har haft.' Tilsvarende beskriver alle de øvrige interviewpersoner, at de med større eller mindre engagement laver resultatdokumentation på deres unge med den fastlagte kadence.

Men interviewene afspejler også, at der er forskellige arbejdspraksisser.  Nogle  medarbejdere  arbejder  individuelt  med  resultatdokumentation,  mens  andre  arbejder sammen med kollegaer.  Nogle  drøfter  og  inddrager  de unge  i  resultatdokumentationen,  mens  andre  ikke  gør. Der er også delte meninger om værdien af arbejdet med resultatdokumentation. Af de otte interviewede medarbejdere angiver fem, at de oplever, at det giver mening at arbejde med resultatdokumentation. De påpeger bl.a., at resultatdokumentationen er:

- en  fi  n  anledning  til  at  følge  op  på  indsatserne,  ligesom den kan hjælpe med at tilpasse indsatsen og målene i forhold til de unges udvikling,
- med til at skabe en systematik og et fælles sprog i arbejdet med de unge,
- en hjælpeguide i forhold til at holde fokus på, om der har været en positiv udvikling eller ej

De tre øvrige forekommer mere skeptiske og er usikre på gevinsten ved målingssystemet. Deres skepsis bunder i, at de har vanskeligt ved at se meningen med at måle, kvantifi  cere og sammenligne det arbejde, der laves med de unge. De  betoner  i  stedet,  at  det  er  individuelt  for  de  unge, hvad der er godt for dem, og at det ikke kan sættes ind i et simpelt skema og måles direkte. En medarbejder siger:

For mig der er det sådan noget New Management, hvor man forsøger at måle og kvantifi  cere noget, som er sindssygt svært at måle. Jeg synes også, at det er problematisk at kalde det viden, og jeg synes, at tendensen er, at det bliver drejet meget over i effekt, og det har jeg svært ved at genkende, når jeg sidder med det […]Der er nogle usikkerheder i det, fordi scoringerne jo ikke er præcise, og det kan de jo ikke være. Det bliver en vurderingssag.

Trods de blandede holdninger til resultatdokumentation fi  nder vi, som tidligere nævnt, ikke tegn på at medarbejderne  søger  at  modarbejde,  eller  ligefrem  sabotere  målingssystemet. I stedet er det generelle indtryk, at medarbejderne benytter resultatdokumentation. Til gengæld er det historien om, hvor vanskeligt det, trods ihærdige anstrengelser,  er,  at  opnå  præcise  målinger  af  de  unges udvikling og virkningen af de kommunale tilbud.

Tabel 3 - Minimum- og maksimumværdier på 0-4-skalaen*

| Ungdomscentret     | Ungdomscentret     | Udadreagerende adfærd   | Indadvendt adfærd   | Selvskadende adfærd   | Familieforhold   | Skoleforhold   | Beskæftigelse   | Sundhedsforhold   | Fritidsforhold   | Venskaber   | Personlig hygiejne   | Bolig   | Økonomi   | Misbrug   |   Kriminalitet |
|--------------------|--------------------|-------------------------|---------------------|-----------------------|------------------|----------------|-----------------|-------------------|------------------|-------------|----------------------|---------|-----------|-----------|----------------|
|                    | Min.               | 1                       | 0                   | 0                     | 1                | 1              | 1               | 0                 | 0                | 1           | 0                    | 0       | 0         | 1         |              0 |
|                    | Maks.              | 4                       | 3                   | 2                     | 4                | 4              | 3               | 4                 | 4                | 3           | 1                    | 4       | 4         | 4         |              0 |
| Standardafvigelser | Standardafvigelser | 0,71                    | 0,98                | 0,68                  | 0,75             | 0,71           | 1,32            | 1,29              | 0,84             | 0,75        | 0,16                 | 1,10    | 1,00      | 0,67      |              0 |

## Uensartede scoringer og måleusikkerheder

Måleusikkerhederne kom tydeligt til udtryk gennem vignette-metoden, hvor medarbejderne på Ungdomscentret blev bedt om at lave resultatdokumentation på en fi  ktiv pige. Som det fremgår af Tabel 3 varierer medarbejdernes vurderinger og de fremstår ganske uensartet, hvilket giver næring til at problematisere målinger af progression på det specialiserede ungeområde.

For at undersøge variationen i medarbejdernes besvarelser kan man med fordel starte med at se på minimumog maksimumscoren inden for de enkelte faktorer. Ud af de 14 faktorer er der kun 12, der reelt er i spil, da det i den fi  ktive case ordret var formuleret, at pigen ikke havde problemer  på  de  to  faktorer,  der  handler  om  personlig hygiejne og kriminalitet (se Appendiks). Det fremgår af Tabel 3, at mindst 4 ud af de 5 trin på 0-4-skalaen er anvendt ved 9 ud af de 12 relevante faktorer - altså ved 75 % af tilfældene (markeret i de øverste to rækker i tabellen). Yderligere er begge yderpunkter på 0-4-skalaen i brug i 4 ud af de 12 relevante faktorer. Dette viser en betydelig variation i scoringerne af pigen i den fi  ktive case.

Denne  variation  kan  yderligere  undersøges  ved  at udregne standardafvigelserne for medarbejdernes besvarelser  på  de  forskellige  faktorer.  Disse  fremgår ligeledes af Tabel 3, og de underbygger fundet af, at der er store variationer i medarbejdernes vurderinger. Standardafvigelserne viser desuden at graden af variation eller usikkerhed i scoringerne varierer mellem faktorerne, og i denne sammenhæng skiller sundhedsforhold, bolig og økonomi sig ud, som de faktorer med størst variation.

Der var også spredninger i scoringerne inden for de enkelte tilbud i ungdomscenteret. Et tilbud skilte sig ud på den måde, at den store spændvidde (mindst 4 trin på 0-4-skalaen) kun blev observeret på en enkelt faktor. Der var desuden en tendens, at medarbejderne på et af tilbuddene i gennemsnit scorede lavere end medarbejderne på

de øvrige tilbud, og at medarbejderne på et andet tilbud generelt  scorede  højere.  Vores  datamateriale  tillader  os ikke at konkludere skarpt på årsagerne til disse forskelligheder. Medarbejdernes uddannelsesbaggrund og alder kan ikke umiddelbart forklare variationerne, da medarbejdergrupperne  på  de  forskellige  tilbud  ikke  adskiller sig  væsentligt  fra  hinanden.  Samlet  set  er  indtryk  nok snarere, at forskellene afspejler tilfældigheder i hvordan medarbejderne scorer den fi  ktive pige i vignetten.

Interviewene  underbyggede  indtrykket  af,  at  der  er måleusikkerheder forbundet  med  resultatdokumentation, og gav tillige mulige forklaringer på hvorfor disse variationer eksistere. Det kom fx frem, når interviewpersonerne blev bedt om at beskrive, hvordan de indplacerer de  unge  på  0-4-skalaen.  Det  er  forskellige  forhold,  de lægger vægt på. En medarbejder fortæller:

Der må jeg jo indrømme, at der skeler jeg lidt til andre unge, jeg har. Hvis jeg kun kigger snævert på den unge, så synes jeg, at det er svært. Jeg er nødt til at have andre perspektiver for at kunne balancere; er det alvorligt, eller er det ikke så alvorligt. Men det kan også være i forhold til den unge … Men alt er jo relativt.

Andre  medarbejdere  fremhæver,  at  de  tager  udgangspunkt  i  den  forrige  statusvurdering,  og  fastsætter  scoringerne i forhold til den udvikling, der har været siden sidste registrering. Atter andre forklarer, at de selv udarbejder et udkast til scoringerne, inden det medtages på et kollegialt sparringsmøde, hvorefter den endelig indplacering foretages.

Alle  de  interviewede  medarbejderne  medgiver  desuden,  (som  det  blev  illustreret  via  vignetten)  at  de  ind imellem er i tvivl om, hvordan de skal placere den unge på 0-4-skalaen. Flere fremhæver dog, at det alene er scorerne 2 og 3, de er i tvivl om. Men det er ikke desto mindre forskelligt, hvordan medarbejderne i tvivlstilfælde fastsætter den endelige score. Adspurgt direkte om hvad de gør, hvis de er i tvivl, svarer de otte interviewpersoner som følger:

- 3 vælger den lave score,
- 1 vælger den høje score,
- 3 medarbejdere drøfter det en eller fl  ere kollegaer,
- 1 tillægger den unges situation her og nu ekstra stor betydning.

Gruppedrøftelsen  med  seks  medarbejdere  illustrerede yderligere måleproblematikker i forhold til resultatdokumentation,  som  kan  bidrage  til  at  forstå  de  variationer som blev  tydelige  i  vignetten.    I  gruppedrøftelsen  blev medarbejderne præsenteret for en ung pige med psykiske problemer, og gruppen skulle efterfølgende lave resultatdokumentation  på  hende.  Det  blev  tydeligt,  at  medarbejderne var uenige og i tvivl om, under hvilken af de 14 faktorer, de skulle indplacere hendes psykiske udfordringer. Visse medarbejdere lod disse problematikker komme til  udtryk under indadvendt adfærd , mens andre placerede det under sundhedsforhold. Efter en drøftelse blev de imidlertid enige om, at det hverken hørte til det ene eller det andet sted, og at de savnede en faktor hvorunder, hvor disse problemer kan placeres. Flere af medarbejderne tilkendegav i den sammenhæng, at de ofte står i et dilemma omkring, hvor de skal placere psykiske problemer. Tilsvarende problematikker er i øvrigt blevet identifi  ceret  i  forbindelse  med  implementering  af  Dialogguiden på beskæftigelsesområdet (Høybye-Mortensen 2011) og Fælles  Sprog  i  ældreplejen  (Hansen  &amp;  Vedung,  2005). Sidstnævnte viste fx at forskellighed i registreringspraksissen i forbindelse med Fælles Sprog udgjorde en barriere for at opnå sammenlignelige data.

Der er ligeledes medarbejdere, der giver udtryk for, at  det  kan  være  ret  vilkårligt,  hvad  der  scores,  alt  efter hvordan den unge har det på det tidspunkt, hvor resultatdokumentationen laves. Eksempelvis beskriver en medarbejder sit arbejde med resultatdokumentation således:

Så kan jeg jo godt gå ind og lave indplaceringen på et tidspunkt, hvor hun bare er en 3'er - du kunne bede mig lave den en måned efter, så er hun en 2'er, og det betyder jo ikke, at hun ikke kan være en 3'er en måned efter igen. Fordi de svinger.

En anden supplerer:

Det, jeg synes, er svært ved resultatdokumentation, det er, at det er et lige nu og her-billede, og et lige nu og her-billede kan bare ændre sig i morgen for de unge, som vi har.

De to citerede medarbejdere hæfter sig altså ved, at resultatdokumentationen afspejler, hvordan de unge har det på to nedslagstidspunkter i løbet af året, og da de fl  este af de unge ikke har et lineært udviklingsforløb, kan disse målinger afvige fra det faktiske udviklingsforløb. Dette er i overensstemmelse med den problemstilling om måleusikkerheder  som  er  pointeret  af  Høybye-Mortensen, Hammerskov  &amp;  Ejbye-Ernst  (2013).  Dermed  afspejler resultatdokumentationsmålinger  ikke  nødvendigvis  de unges faktiske progression. En tredje bakker op om denne betragtning og gør sig til talsmand for en yderligere måleudfordring ved resultatdokumentation:

Den største udfordring, det er sådan set, hvis vi får dem placeret for gode til at starte med fordi vi har manglende viden om det fulde omfang af problemerne. Hvis det udadtil skal være et billede af, hvordan vi klarer de her opgaver, og man så har registreret dem for positive til at starte med, så har vi et problem resten af tiden.

Det beskrives således, at der er en risiko for, at medarbejderne får lavet den første registrering for upræcis, hvilket også udfordrer ambitionen om resultatdokumentationen som udtryk for progression i de unges udvikling. En anden medarbejder peger på, at man kan have en forventet bekymring, som går på at den unge scores dårligere i  resultatdokumentationen,  end  hvad  status  egentlig  er, fordi man har en forventning om, at den unges situation forværres. Dette kan give associationer til fænomenet gaming (de Bruijn, 2002), hvor medarbejderne placerer de unge for højt for efterfølgende at sikre en gode resultater. Vores datamateriale giver dog ikke mulighed for at lave en nøjagtig kortlægning af, hvorvidt der er tale om gaming. Medarbejderen  her  er  blot  opmærksom  på,  at  det  ikke altid  er  et  realistisk  mål  for  de  unge,  at  de  fortløbende skal opleve forbedringer, men at udviklingen vil svinge op og ned igennem et forløb, hvilket resultatdokumentationskonceptet ikke tager hensyn til.

## Konklusion

Undersøgelsen har haft til formål at tilvejebringe ny viden om anvendelse af resultatmåling på det specialiserede ungeområde gennem et case studie af Aarhus Kommunes arbejde med resultatdokumentation.

Mens der er åbenlyse interesser i at få i indsigt i de resultater, der skabes på det specialiserede ungeområde, har dette studie illustreret, at der er usikkerheder forbundet ved at måle resultaterne af de kommunale indsatser. Vignetten illustrerede betragtelige variationer i medarbejdernes vurdering af den samme unge - status blev vurderet så forskelligt, at fi  re ud af de fem trin på 0-4-skala, i mange tilfælde var i spil. Dette underbygger indtrykket af, at der arbejdes ganske forskelligt med resultatdokumentation i Aarhus Kommune, og at medarbejderne lægger vægt på forskellige  elementer  i  scoringerne.  Der  er  med  andre ord  ikke  en  ensartet  forståelse  af  begreberne  og  tilgangen til 0-4-skalaen, hvilket udfordrer pålideligheden af de  indsamlede  data.  I  den  forstand  understøtter  vores resultater  tidligere  studier  af  resultatmåling  på  voksenhandicapområdet (Høybye-Mortensen, Hammerskov &amp;

Ejbye-Ernst 2013) og ældreområdet (Hansen &amp; Vedung, 2005)  som  også  identifi  cerede  forskellighed  i  registreringspraksissen.

Fundene i dette studie adskiller sig imidlertid fra andre,  som  har  påpeget  professionelles  tilbøjelighed  til  at sabotere og modarbejde resultatmålingssystemer (Smith, 1995; de Bruijn, 2002). Ud fra vores datamateriale er der ikke meget, som tyder på, at det er tilfældet her, selvom visse  medarbejdere  i  Ungdomscenteret  fi  nder  målingssystemet  meningsløst.  Til  gengæld  vidner  dette  studie om, at det trods et systematisk arbejde med resultatdokumentation i  Ungdomscenteret  er  uhyre  vanskeligt  at tilvejebringe  (ledelses)information,  der  giver  et  præcist billede af de socialt udsatte unges udvikling. Disse måleudfordringer synes tæt forbundet med karakteren af det specialiserede ungeområde, hvor der er mange komplicerede problemer, som der ikke fi  ndes skarpe og entydige vurderinger af og løsninger på (Jørgensen &amp; Melander, 1992; Harmon &amp; Mayer, 1986). Målingerne bygger på menneskers  vurderinger  af  mennesker,  og  det  er  vanskeligt  at  opstille  gængse  retningslinjer  for,  hvornår  en indsats har en positiv indvirkning på de unges udvikling eller ej. I mange tilfælde afhænger det af et utal af øvrige faktorer  i  den  unges  liv,  som  ofte  er  kendetegnet  med psykisk omskiftelighed. Så uanset at Aarhus Kommune har lagt en stor indsats i at udarbejde og implementere et  solidt  koncept,  og  uanset  at  der  øjensynligt  arbejdes seriøst med resultatdokumentation i Ungdomscentret, er der betydelige usikkerheder forbundet med målingerne, som vist i denne artikel.

Uagtet måleusikkerhederne viser undersøgelsen også, at systematikken i arbejdet med de socialt udsatte unge er blevet mere tydelig, hvilket har givet medarbejderne et fælles sprog og en bedre forståelse af, hvad der arbejdes hen imod. Når det gælder fagligheden og arbejdet på individniveau, synes resultatdokumentation at kunne medvirke til at kvalifi  cere og sikre en evaluering og justering af indsatserne i forhold til den enkelte unges udvikling og behov (se også Nielsen, 2013).

Når det gælder de politiske implikationer udfordrer de identifi  cerede måleusikkerheder imidlertid argumentet om, at resultatdokumentation er et velegnet redskab til at forbedre styringen af det specialiserede ungeområdet, hvilket ellers var en hovedbegrundelse for at implementere systemet. Der kan således i et Garbage In - Garbage Out-perspektiv stilles spørgsmålstegn ved egnetheden af de indsamlede data til brug for ledelsesinformation og politisk beslutningstagen. Selvom 'sandfærdig' information som målestok for, hvad der bør indgå i beslutningsgrundlaget, i den politiske verden synes et stykke fra virkeligheden, vil vi opfordre politiske og administrative beslutningstagere til at være varsomme med at benytte input fra resultatdokumentation som et præcist udtryk for eff  ekten af den kommunale indsats overfor socialt udsatte unge.

Aarhus Kommune er også selv er opmærksom på de måleproblematikker, som er fremhævet i denne artikel, og kommunen har allerede igangsat et opfølgende projekt, som de kalder: 'Rethink resultatdokumentation'. Dette 2.-generations-resultatdokumentations  kon  cept rum  mer mere  udtømmende  operationaliseringer  af  begreberne  i resul  tatdokumentationskonceptet, og en post-implementeringsproces, hvor alle medarbejdere på ny skal introduceres til og undervises i arbejdet med resultatdokumentation. Kommunen er opmærksom på, at det kræver et vedvarende fokus på arbejdet med resultatdokumentation samt en mere ensartet forståelse og anvendelse af konceptet, hvis det skal lade sig gøre at overkomme de udfordringer, som dette studie har påpeget. Om det er muligt, kan kun fremtiden vise.

Det  rejser  ikke  desto  mindre  et  grundlæggende spørgsmål om, hvorvidt de hidtidige udfordringer med resultatdokumentation  alene  repræsenter  implementeringsfejl (som kan udbedres ved at forfi  ne systemet, som det forsøges i Aarhus Kommune) eller om det snarere er udtryk for systemfejl, i  den  forstand  at  detaljerede  målingssystemer  ikke  udgør  et  adækvat  styringssystem  på det  specialiserede  ungeområde  (og  eventuelt  på  andre lignende  områder).  I  forfatternes  optik  synes  det  ikke på  sin  plads  at  afskaff  e  målinger  på  det  specialiserede ungeområde;  spørgsmålet  er,  om  ikke  usikre  målinger er  at  foretrække  frem  for  ingen  viden,  om  hvordan  de unge reagerer på de sociale indsatser, de tilbydes? Ligeledes kan arbejdet med resultatdokumentation, om ikke andet, betragtes som et skridt i retningen af at opbygge en  mere  systematisk  videnskultur  på  det  specialiserede ungeområde. Resultatmåling er givetvis kommet for at blive, og et budskab fra denne artikel er, at politiske og administrative ledere må være bevidst om de usikkerheder, der kan være i forbindelse med resultatmålingerne.

Selvom Aarhus Kommune, som vi tidligere har argumenteret for, udgør en interessant case, når det gælder brugen af resultatmåling på det specialiserede ungeområde, er der behov for fl  ere undersøgelser af dette sparsomt belyste område. Mens både casestudier i enkelte organisationer og bredere design, der kortlægger landsdækkende udviklingstræk, er meget velkomne, vil vi også opfordre andre  forskere  til  at  benytte  og  videreudvikle  vignettemetoden til at indfange viden om resultatmålingssystemer på det specialiserede ungeområde såvel som på andre politikområder.

## Litteratur

- Adcroft, A., &amp; Willis, R. 2005, 'Th e (un)intended outcome of public sector  performance  measurement', International  Journal  of  Public Sector Management, vol.18, no. 5, pp. 386-398.
- Bregn, K. 2006, 'Resultatmåling i den off  entligesektor', Nordisk administrativt tidsskrift, nr. 2, 159-173.

Brix  Hvillum,  M.,  &amp;  Pedersen,  N.K.  2012, Resultatdokumentation  Et værktøj til kvalifi  cering af indsatsen over for udsatte børn og unge. Henter d. 17 marts 2014, plancher fra KL's projekt om resultatdokumentation den 30. oktober 2012: http://www.kl.dk/ImageVault/ Images/id\_57795/scope\_0/ImageVaultHandler.aspx

Brodkin, E.Z. 2011, 'Policy Work: Street-Level Organizations Under New Managerialism', Journal of Public Administration Research and Th   eory , vol. 21 (suppl 2), i253-i277.

- de Bruijn, H. 2002, Managing Performance in the Public Sector, Routledge, London.

Dørge, H. 2011, Omvendt resultatløn, Weekendavisen , d. 26 august s. 2. Ejler, N., Seiding, H.R., Bojsen, D.S., Nielsen, S.B., &amp; Ludvigsen, F. 2008, Når måling giver mening, Jurist- og Økonomforbundets For-

- lag, København.

Ejrnæs, M., &amp; Monrad, M. 2012, Vignetmetoden - sociologisk metode og redskab til faglig udvikling , Akasemisk Forlag, København K

- Familier, Børn og Unge 2013, Minivejledning til resultatdokumentation i Ungdomscentret, Aarhus Kommune, Aarhus.
- Flyvbjerg,  B.  2006,  'Five  Misunderstandings  About  Case-Study  Research', Qualitative Inquiry ,vol . 12, no. 2, pp. 219-245.

Greve, C. 2002, 'New Public Management' Nordic Cultural Institute . Guldager, J., &amp; Skytte, M. 2013, 'Aktuelle fællestræk og udfordringer

- for socialt arbejde, I J. Guldager, &amp; M. Skytte (red.), Socialt arbejde : teorier og perspektiver . Akademisk Forlag, København, pp. 510-522.
- Halachmi, A. 2002a, 'Performance measurement and government productivity' Work Study , vol. 51 no. 2, pp. 63-73.

Hansen,  H.F.  2008,  'Systematisk  evalueringsstyring:  Potentialer  og udfordringer', Politik, vol. 11 no. 1, pp. 54-64.

Hansen, H.F., &amp; Rieper, O. 2006, 'Evidens under udvikling - forandringer i samspillet mellem vidensproduktion, forvaltning og politik', I H.F. Hansen, Den organiserede forvaltning - Politik, videnog værdier i samspil , Forlaget Politiske Studier, København, pp. 75-103.

- Hansen, M.B. 2011, 'Antecedents of Organizational Innovation. Th e Diff  usion of New Public Management into Danish Local Government', Public Administration , vol. 89 no. 2, pp. 285-306.
- Hansen, M.B., &amp; Vedung, E. 2005, Fælles sprog i ældreplejens organisering - Evaluering af et standardiseret kategorisystem. Syddansk Universitetsforlag, Odense.
- Harmon, M.M., &amp; Mayer, R.T. 1986, Organization Th eory for Public Administration, Chatelaine Press.
- Hondeghem,  A.,  &amp;  Perry,  J.L.  2009,  'EGPA  symposium  on  public service  motivation  and  performance:  Introduction', International Review of Administrative Science , vol. 75 no. 1, pp. 5-9.
- Hood, C. 1991, 'A Public Management for All Seasons?', Public Administration , vol. 69 no. 1, pp.  3-19.
- Høybye-Mortensen, M. 2011, 'Regler og skemaer kan fj  erne pres fra sagsbehandlere', AKF Nyt, marts .
- Høybye-Mortensen,  M.,  Hammerskov,  K.,  &amp;  Ejbye-Ernst,  P.  2013, Produktion og anvendelse af ledelsesinformation på handicapområdet , KORA, København.
- Jørgensen, T.B., &amp; Melander, P. 1992, Livet i off  entlige organisationer. Jurist-og Økonomforbundets Forlag, København.
- Kerr,  S.  1995,  'An  Academy  Classic  -  On  the  folly  of  rewarding  A, while hoping for B', Th   e Academy of Management Executive, vol. 9, no. 1, pp. 7-14.

- Kolster,  S.  2012, Udviklingsprojekt om Resultatdokumentation .  Hentet 17. marts 2014 fra Kl.dk: http://www.kl.dk/Born-og-unge/Udviklingsprojekt-om-Resultatdokumentation-id101246/
- Kvale, S. 1997, Interview - En introduktion tl det kvalitative forskningsinterview. Hans Reitzels Forlag, København.
- Mouritsen, J. 1997, Tællelighedens regime: synlighed, ansvarlighed og økonomistyring gennem mål og rammer i statslige institutioner, Jurist- og Økonomforbundet.
- Moynihan, D.P., Fernandez, S., Kim, S., LeRoux, K. M., Piotrowski, S. J., Wright, B.E., et al. 2011, 'Performance Regimes Amidst Governance Complexity', Journal of Public Administration Research and Th   eory , vol. 21, (suppl 1), i141-i155.
- Nielsen, V.L. 2013, Udviklingsprojekt om resultatdokumentation med udgangspunkt i barnets handleplan - Erfaringsopsamlig og anbefalinger. KL.
- Nissen, M.A., &amp; Møller, S. S. 2006, 'Når virkeligheden ikke altid er evident', Uden for nummer 12- Tidsskrift for forskning og praksis i socialt arbejde , pp. 4-21.

## Appendiks: Vignette

## Statusbeskrivelse vedr. Camilla

## D. 12. januar 2013

Camilla har været indskrevet siden november 2011. Camilla er indskrevet i henhold til Lov om Social Service §  52,  3,6.  Herværende  beskrivelse  dækker  perioden  fra juni 2012 til januar 2013.

## Udvikling og adfærd

Som kontaktpædagoger oplever vi, at Camilla befi  nder sig  i  en  stadig  udvikling  omkring  selverkendelse og accept af sine problematikker. Når vi står fast på at defi  nere konteksten, opleves Camilla som tillidsfuld og dejlig at være sammen med.

Dog er det også vores oplevelse, at Camilla svinger mellem at have forståelse for sit behov for hjælp og støtte, hvor hun netop er lydhør overfor anvisninger, og at have et udtalt ønske om at være 'så normal som muligt', men hvor hun imidlertid også kan blive afvisende på anvisninger, eller direkte irettesættende overfor kontaktpædagogerne.  Hun  kan  i  sådanne  situationer  være  særdeles verbalt udadreagerende.

Camillas  vanskeligheder  kommer  til  udtryk  ved  en ofte opstået impuls/behovsstyring, hvor hun har nemt til konfl  ikt, og en krævende/forlangende tilgang til sine omgivelser. Camilla er bevidst om, at hun kan forekomme hård og vanskelig for sine omgivelser, når hun efterfølgende betragter en hændelse.

Camilla er udfordret af sit manglende overblik, hvilket giver hende en følelse af stress og manglende formåen, som bevirker en negativ påvirkning i forhold til hendes tilgang til omgivelserne.

- Produktivitetskommissionen 2013, Styring, ledelse og motivation i den off  entlige sektor. Produktivitetskommissionen, København.
- Radin, B.A. 2006, Challenging the Performance Movement, Georgetown University Press, Washington, D.C.
- Smith, P. 1995, 'On the unintended consequences of publishing performance data in the public sector', International Journal of Public Administration , vol. 18, no. 2-3, pp. 277-310.
- Socialstyrelsen  2012,  'Hvorfor  er  det  så  vigtigt,  at  kommunerne  kan dokumentere  deres  indsats?' Skab  resultater  for  børn  og  unge  med særlige behov. Kommunernes Landsforening, Odense.
- Stake, R.E. 1995, Th   e Art of Case Study Research, Saga, Th   ousand Oaks CA.
- Ungdomscentret 2012, Ungdomscentret i Familier, Børn og Unge . Hentet d. 17. marts 2014 fra Aarhus Kommune: http://www.aarhus.dk/ da/omkommunen/organisation/Sociale-Forhold-og-Beskaeftigelse/ Socialforvaltningen/Organisering/Familier-Boern-og-Unge/Ungdomscentret.aspx
- Van Dooren, W., Bouckaert, G., &amp; Halligan, J. 2010, Performance Management in the Public Sector, Routledge, New York.

Camilla har fulgt sine aftaler omkring indsatsen forholdsvist stabilt, men har haft enkelte ustabile perioder.

For at støtte Camilla i sin udvikling, skal der i indsatsen  forsat  være  fokus  på  hendes  selvstændighedsudvikling,  træning  af  livsmestringsstrategier  og  overblik. Herudover  er  der  indgået  aftale  om,  at  have  fokus  på omsorg for at imødekomme Camillas grundoplevelse af svigt,  samt  have  tidspunkter  hvor  vi  'blot'  er  sammen omkring noget mere lystbetonet.

## Familieforhold

Camilla har ikke set sin far i fl  ere måneder efter en større konfl  ikt, som udsprang af hans store alkoholforbrug. Camilla er fl  ov over sin far og afvisende overfor hans levevis. Hun er samtidig stærkt ambivalent, da han også kan være en meget sød far overfor hende.

Camilla bor hos moderen, Heidi, og både Camilla og Heidi giver begge to udtryk for, at de ofte har konfl  ikter. Heidi tilkendegiver desuden, at Camillas tilstedeværelse i  hjemmet  fylder  meget  -  også  i  samværet  med  de  tre mindre brødre, som hver især også er en stor opgave for moderen. Heidi ønsker Camillas hjælp til drengene, hvilket de har store konfl  ikter over. Det er vores vurdering, at Camilla ikke har det personlige overskud til opgaver i hjemmet.

Kontaktpædagogerne har telefonisk kontakt til  Camillas mor ugentligt.

## Skole og beskæftigelse

Camilla har været tilknyttet Café-linjen på Gøglerskolen siden marts. Hun lærer oplagt mest, når hun får tingene vist,  snarere  end  forklaret  ved  tavlen.  Undervisningen svinger meget, alt efter lærernes undervisningsstil, samt indhold. Dette har frustreret Camilla mange gange, og hun bliver ofte irriteret på en lærer, og oplever at underviseren stiller urimelige krav.

Socialt har Camilla været distanceret overfor de andre elever, og hun har omtalt dem som overfl  adiske, og at de ikke går op i faget 'med hjertet'.

Camilla  har  haft  meget  fravær.  Hun  har  modtaget i alt 3 advarsler. På et møde mellem skolen og Camilla, hvor moderen ligeledes deltog, fi  k Camilla fortalt om sine udfordringer, og skolen har været imødekommende for at hjælpe hende. Hun fremstod meget lettet, efter at der blev truff  et beslutning om, at hun kunne starte op igen på nyt hold på Gøglerskolen.

Camilla  er  som  udgangspunkt  glad  for  sin  skole, og ved det er vigtigt for hendes fremtid at hun er vedholdende omkring sit uddannelsesforløb. Hun fortæller også, at hun bedre kan med eleverne på det nye hold.

Camilla har givet udtryk for, at hun fi  nder det relevant,  at  pædagogerne  samarbejder  med  skolen,  hvilket hun tidligere har afvist.

## Sundhedsforhold

Der er ordineret antidepressiv medicin til Camilla, men hun har svært ved at indtage medicinen stabilt. Efter at være stoppet med medicineringen i forsommeren, påbegyndte  hun  atter  antidepressiv  behandling  i  midten  af august 2012, men efter en uges behandling afbrød hun det  igen.  I  perioden  herefter  fi  k  Camilla  voldsomme smerter i maveregionen og havde ubehagelig hjertebanken, hvilket viste sig at være følgevirkninger af det bratte medicinstop. Camilla burde i stedet have trappet ud af medicinen, for at undgå bivirkningerne.

På foranledning af moderen blev Camilla udredt på Børne- og Ungdomspsykiatrisk Hospital, og d. 21/9-2012 fi  k hun følgende diagnoser:

- F43.2 Tilpasningsreaktion
- F98.8  Andre  adfærdsmæssige  og  emotionelle  forstyrrelser i barndom og ungdom
- Z73.1 Accentuerende personlighedstræk
- Z81.8 Familieamnese med psykisk sygdom eller adfærdsmæssig forstyrrelse

Camilla  er  vurderet  belastet  på  henvisningstidspunktet og gennem mange år, grundet turbulent opvækst, der har sat  præg  på  hendes  udvikling  og  fortsat  præger  hendes adfærd og psykiske tilstand.

Både  Camilla  og  hendes  mor  havde  forinden  forventet en diagnose i retning af Borderline eller ADHD, hvilket således blev afkræftet.

## Fritidsforhold og venskaber

Camilla har en fast kæreste, som hun bruger en del tid med. Det er også kontaktpædagogernes indtryk, at hun engang i mellem går i byen med nogle veninder, omend hun ikke synes at have tætte relationer. Camilla fortæller selv, at hun ikke synes, at hun passer særligt godt ind sammen med andre,  og  hun  har  fl  ere  gange  udtalt,  at hun har ageret på en måde overfor kæresten, hvor hun efterfølgende ikke forstår, at han 'kan holde hende ud'.

Camilla har ved enkelte lejligheder tilkendegivet, at hun kunne tænke sig at forstå sig selv bedre, både i forhold til at organisere sig, men også i forhold til relationer. Vi  har  i  den  forbindelse  tilbudt  hende  en  et  narrativt samtaleforløb, som hun dog har afvist.

Camilla dyrker ikke fritidsinteresser.

## Hverdagsliv

Kontaktpædagogerne  mødes  med  Camilla  om  mandagen, hvor der planlægges aftaler, fokuspunkter og aktiviteter for indeværende uge. Camilla indgår i en enkelt temasammenhæng med andre af vores unge. Om fredagen er temaet omsorg.

## Personlig hygiejne

Camilla varetager selv den personlige hygiejne, og fremstår velsoigneret.

## Bolig

Camilla bor hjemme hos moderen, Heidi, sammen med sine tre mindre brødre. Det kunne på mange måder være gavnligt for hende at få 'fri' for opgaver og konfl  ikter i hjemmet. Det vil dog også blive en stor udfordring for Camilla at bo i egen bolig.

Camilla har givet udtryk for, at hun har et ønske om at fl  ytte i egen bolig, hvorfor hun også er blevet skrevet op til et kollegieværelse, som hun håber at kunne fl  ytte ind i, når hun fylder 18 år.

## Økonomi

Camilla har en ustabil indtægt fra Gøglerskolen afhængig af fremmøde. Hun har enkelte gange modtaget penge af sin  mor.  Camillas  manglende  overblik  har  også  betydning for, hvorledes hun får forvaltet sin økonomi, hvor hun ofte er i en situation uden penge på lommen.

## Misbrugsproblemer

Camillas oplyser, at hun fortsat ryger hash i nogle weekender og ind imellem også i hverdagene. Hashmisbrug er på samme niveau som tidligere, og hun ser det ikke selv som noget problem, da hun ikke mener, at hun ryger ret meget. Hun mener bestemt ikke, at hun er afhængig af at ryge hash.

For  os  er  det  vanskeligt  at  få  et  entydigt  billede  af Camillas forbrug/misbrug af hash, og indtrykket er, at hun ser det som en fordel, at vi ikke kan få denne indsigt. Vi har talt med Camilla om, at dette kan betyde, at vi ser mere forbrug end det rent faktiske. Det har imidlertid ikke bevæget Camilla til fl  ere informationer.

Vi  antager,  at  der  er  en  sammenhæng  mellem  den dårlige økonomi og forbrug af hash.

Hun bør tilbydes aktiviteter, der kan erstatte trangen til  hashen, som typisk opstår, når hun enten er stresset eller keder sig.

## Kriminalitet

Kontaktpædagogerne har ingen viden eller formodning om, at Camilla er involveret i kriminalitet.

## Sammenfatning/anbefaling

Camilla vurderes fortsat at have et betydeligt og langvarigt støttebehov og bevæger sig i risikozonen for at være yderligere truet i sin udvikling og trivsel. Bekymringsniveauet omkring Camilla er uændret, hvorfor det vurderes, at Camillas vej mod en mere selvstændig voksentilværelse fortsat vil kræve pædagogisk indsats. Desuden skal hun spejles og vejledes i forhold til sit samspil med sine omgivelser, med et mål om at hun tilegner sig en større erkendelse af, hvordan hun opleves af andre i forskellige sammenhænge.

Camilla  har  ligeledes  brug  for  støtte  under  sin  uddannelse, i forbindelse med praktiske opgaver, hjælp til ansøgninger og overblik.  Desuden  bliver  der  behov  for hjælp og vejledning i forbindelse med en evt. fl  ytning til egen bolig.

Camilla  profi  terer  af  støtten  og  den  fremadrettede indsats vil tage afsæt i at tilbyde omsorg, aktiviteter og oplevelser i fastlagte rammer, hvor Camilla kan deltage, uden at det er hende, der kommer til at sætte en dagsorden. Vi påregner ikke en direkte indsats i forhold til hash, men forventer at forbruget vil aftage i takt med at hun får det bedre.

Camilla vil fremadrettet have brug for støtte, og vi fi  nder det nuværende niveau passende.