Resultater ved fronten – brugen af effektstyring i dagtilbud
Forfattere: Caroline Howard Grøn
Tidsskrift: politik (2015-01-11)

## Resultater ved fronten

## - brugen af effektstyring i dagtilbud

## Caroline Howard Grøn

ph.d., adjunkt, Institut for Statskundskab, Københavns Universitet

Hvad sker der med resultatstyring, når det rammer  velfærdsstatens  yderste  led?  Denne  artikel ser  på,  hvordan  effektstyring,  en  variation  over resultatstyring, er blevet omsat til handling i dagtilbud i Frederiksberg kommune. Artiklen viser, at selvom tiltaget blev formidlet ens til alle kommunens daginstitutioner, ledte det til meget forskellige handlinger i praksis. Hvor nogle pædagoger slet ikke gjorde noget for at implementerede effektstyring, var der også pædagoger, der på en lang række områder arbejde aktivt med tiltaget. De gjorde bare mange meget forskellige ting med det samme initiativ som referencepunkt. Variationerne  i  anvendelsen  af  effektstyring  kan  delvist forklares med graden af lokal ledelsesopbakning, den måde arbejdet i institutionen er organiseret på samt omfanget af konkurrerende dagsordner. Artiklen  illustrerer,  hvordan  ét  værktøj  i  praksis kan forvandles til mange forskellige styringsværktøjer.

## 1. Indledning

Resultatstyring startede sin indrejse i den danske off  entlige  sektor  i  1980'erne,  og  som  Mads  Bøge  Kristiansen illustrerede,  har  tækningen  om  resultatstyring  udviklet sig over tid. Hvor vi i første del af temanummeret var interesserede i de lange linjer i tænkningen om resultatstyring, ser vi i denne del af temanummeret nærmere på anvendelsen af resultatstyring i praksis, og hvilke barrierer der er for implementeringen af resultatstyring. Hvor den foregående  artikel  så  på  både  tale,  beslutninger,  handlinger  og  resultater  (jf.  Brunsson  2002  og  Pollitt  2001) på det administrative niveau i kommunerne og søgte at forklare, hvorfor benchmarking bliver indført og opret- holdt,  er  ambitionen i  dette  bidrag  at  se  på  det  yderste led af den off  entlige styring; levering af velfærdsydelser. Også  her  fi  nder  vi  brug  af  resultatstyring.  Det  er  ikke længere kun politikområder, der er præget af let målelige ydelser, der arbejder med resultatstyring. Også både socialområdet (jf. Hansen Kristiansen &amp; Sørensen 2014), dagtilbudsområdet, som beskrives her, og en række andre 'bløde' områder arbejder med fokus på resultater, evidens og eff  ekt. Netop fordi tænkningen bag resultatstyring er en anden end de fagligt dominerende paradigmer på disse velfærdsområder (jf. Grøn 2014), kan de være interessante at udforske, når vi er interesserede i, hvilken betydning resultatstyring  har  i  praksis.  Dagtilbudsområdet  er  på den måde en såkaldt 'least likely' case for anvendelsen af resultatstyring i den danske off  entlige sektor. Et område, hvor vi teoretisk ville forvente, at det ville være svært at styre på resultater af en lang række årsager. For det første er det svært at tilskrive ansvar for fx børns resultater i  skolen  alene  (eller  bare  primært)  til  det  dagtilbud  de har modtaget. Teoretisk kender vi denne diskussion som problemer med agenternes 'effi cacy' (Miller &amp; Whitford 2006) eller co-production (De Bruijn 2002). Derudover er dagtilbud et område, hvor det kan være svært at opstille  specifi  kke  mål  for,  hvad  børnene  skal  have  ud  af dagtilbud, medmindre disse bliver meget abstrakte. Endelig har dagtilbud har en lang række komplekse mål, et fænomen også kendt fra andre typer af off  entlige ydelser (Beck Jørgensen 2003, 20-21). Vi vil altså forvente at se resultatstyring i en meget udfordret form i denne case, og det vil give os et interessant indblik i, hvordan resultatstyring påvirker handling og resultater, når det bevæger sig ind på blødere velfærdsområder.

Det er vigtigt at se på, hvordan væsentlige styringsredskaber udvikler sig  over  tid  på  tale-  og  beslutningsniveauet,  men  som  implementeringsforskningen  siden Pressman  og  Wildavsky  (1973)  har  gjort  os  opmærk- somme  på,  kan  der  være  umådeligt  langt  fra  politiske beslutninger til den faktiske implementering, der er essentiel for borgernes oplevelse af off  entlig service. Det gør sig  ikke  mindst  gældende  på  de  store  velfærdsområder, hvor borgernes oplevelse af service i stort omfang er afhængig af, hvordan den off  entligt ansatte, de står over for, varetager sine arbejdsopgaver (jf. fx Le Grand 2003; Grøn &amp; Hansen 2014). I indledningen beskrev vi, hvordan institutionaliserede styringsopskrifter kan tage mange empiriske former. Det er altså endnu et argument for, at det kan være relevant at se på, hvordan resultatstyring omsættes til handling i det yderste led i styringskæden, hvis vi skal have en forståelse af styringsopskriftens virkning.

Dagtilbudsområdet er et godt eksempel på et stort velfærdsområde, hvor borgernes oplevelser af service hænger sammen med, hvordan markarbejderne agerer. Borgernes oplevelse af service formes for både børn og voksnes vedkommende i høj grad af, hvordan interaktionen med de ansatte i dagtilbud, pædagoger og pædagogmedhjælpere, opleves.  Fysiske  rammer,  normer  for  bemanding  spiller selvfølgelig en rolle, men medarbejdernes indsats er helt central.

Af de to årsager bliver det interessant at undersøge, hvordan eff  ektstyring  påvirker  handlinger  og  resultater  på  dagtilbudsområdet, og ikke mindst hvilke barrierer der kan identifi  ceres for implementeringen?

I  2011  vedtog  kommunalbestyrelsen  i  Frederiksberg Kommune,  at  kommunen  skulle  implementere  eff  ektstyring;  et  styringskoncept  inspireret  af  resultatstyring, der lokalt blev givet navnet eff  ektstyring. I Frederiksberg Kommunes version af eff  ektstyring er den centrale styringsidé, at kommunens forvaltninger skal styre imod en række målsætninger opstillet af politikerne i kommunalbestyrelsen, og at de målsætninger, der defi  neres, er rettet mod de eff  ekter, der ønskes for borgerne og samfundet (Frederiksberg  Kommune  2011,  2).  Dette  defi  neres  i modsætning til traditionelle styreformer, hvor der styres efter  indsatsen.  Derudover  indeholder  eff  ektstyring  en idé  om,  at  indsatser  skal  tilrettelægges  efter  viden  om, hvordan målsætninger bedst muligt opnås. Der skal løbende  indsamles  dokumentation,  målinger,  evaluering og  feedback  for  at  sikre,  at  de  opstillede  målsætninger nås. Denne information kan anvendes til at træff  e kvalifi  cerede politiske beslutninger om, hvordan kommunens midler  skal  prioriteres.  Der  er  altså  elementer  af  resultatstyring, som vi defi  nerede det i temanummerets start. Der er fokus på opstilling af målsætninger og på at indsamle information til at belyse, hvorvidt mål nås. Endelig er  ambitionen,  at  den  information,  der  indsamles,  kan bruges til beslutningstagning (Frederiksberg Kommune

2011,  3).  Eff  ektstyring  blev  implementeret  på  tværs  af forvaltninger og således også på dagtilbudsområdet, og derfor  er  Frederiksberg  Kommune  en  interessant  case. Kommunens tilgang til eff  ektstyring tager udgangspunkt i  en  'forandringsteori' (se fi  gur 1), der er en model for eff  ektstyring udviklet af Rambøll, men som trækker på bl.a. evalueringslitteraturens brug af programteori (jf. fx Pawson &amp; Tilley 1997).

Artiklen vil i det følgende afsnit se lidt nærmere på casen, eff  ektstyring i dagtilbud i Frederiksberg Kommune og de data, analysen af casen bygges på. Derefter introduceres en teoretisk diskussion af handlinger og resultater, eff  ektstyring  kan  medføre.  På  den  baggrund  analyseres handlinger og resultater af eff  ektstyring, og på baggrund af  disse  diskuteres  barrierer  for  anvendelse  af  eff  ektstyring. Endelig opsummeres artiklens fund.

## 2. Eff  ektstyring på Frederiksberg: casen, data og metode

Casen: Eff  ektstyring i dagtilbud på Frederiksberg 1

I indledningen blev det kort defi  neret, hvad eff  ektstyring betyder på Frederiksberg. Casen er imidlertid ikke hele kommunens anvendelse af eff  ektstyring, men den lokale anvendelse på dagtilbudsområdet, der er underlagt Børn og Unge-direktøren. Derfor er det også væsentligt kort at se på, hvordan eff  ektstyring er omsat på forvaltningsniveauet i dagtilbudsforvaltningen. Eff  ektstyring er her omsat i  en  forandringsteori  illustreret  i  fi  gur  1.  Forandringsteorien er udgangspunktet for arbejdet med eff  ektstyring på dagtilbudsområdet.

Forandringsteorien læses fra højre mod venstre. I udgangspunktet  fi  nder  vi  to  strategiske  pejlemærker,  hhv. skoleparathed og livsduelighed. De er politisk fastsat, og de  gør,  at  eff  ektstyring  også  ses  som  en  måde  at  sikre politisk styring på. På den baggrund opstilles mål på mellemlagt sigt, eksempelvis at 95 % af alle børn skal kunne koncentrere sig i 15 minutter. Mål på mellemlangt sigt er defi  neret i samarbejde mellem forvaltningen og institutionsledelserne. Resten af forandringsteorien er det op til institutionerne at udfylde, hvilket er en ret stor del af arbejdet. Dette er et bevidst valg, der er truff  et for at signalere tillid til institutionsniveauet. Eff  ektstyring på dagtilbudsområdet er tænkt som en blød form for resultatstyring, der kobles ikke incitamenter på styringsformen, i stedet er tanken. at eff  ektstyring skal bidrage til en mere systematisk måde at tænke pædagogiske indsatser på og en større opmærksomhed blandt pædagoger og ledere om de  overordnede  mål  for  kommunens  dagtilbud.  Forandringsteorien  lægger  derudover  op  til  løbende  (kvantitative) evalueringer af, hvorvidt de tiltag, der gøres, har den ønskede eff  ekt.

Figur 1: Forandringsteorien 2

| Ressourcer   | Indsats   | Indikatorer   | Resultat på kort sigt                                                                     | Resultat på mellemlangt sigt                                                                                                | Strategiske pejlemærker   |
|--------------|-----------|---------------|-------------------------------------------------------------------------------------------|-----------------------------------------------------------------------------------------------------------------------------|---------------------------|
|              |           |               | Eksempler: Flere børn kan koncentrere sig i længere tid om en leg                         | 95 % af alle børn kan koncentrere sig i en ubrudt periode på 15 minutter                                                    | Skoleparat                |
|              |           |               | Flere børn kan sidde stille og lytte                                                      | 95 % af alle børn kan koncentrere sig i en ubrudt periode på 15 minutter                                                    | Skoleparat                |
|              |           |               | Alle børn opnår en bevidst- hed om deres sanser                                           | Alle børn har kom- petence til at udvise nysgerrighed og lyst til at lære nyt                                               | Skoleparat                |
|              |           |               | Det enkelte barn bruger flere af sine sanser til at lære og tilegne sig ny viden          | Alle børn har kom- petence til at udvise nysgerrighed og lyst til at lære nyt                                               | Skoleparat                |
|              |           |               | Flere børn kan ved [alder] invitere til en leg, indgå i leg og afslutte legen             | Alle børn har kom- petencer til at give udtryk for egne følelser Alle børn har kompe- tencer til at udsætte behov og ønsker | Livsduelig                |
|              |           |               | [andel i %] kan udvise en adfærd, der afspejler, at de kan sætte sig i andres sted        | Alle børn har kompe- tencer til at rumme andre børn                                                                         | Livsduelig                |
|              |           |               | Flere børn kan [hurtigere end I normalt venter det] se værdien af at kunne dele med andre | Alle børn har kompe- tencer til at rumme andre børn                                                                         | Livsduelig                |

Der er ca. 54 institutioner i Frederiksberg Kommune. Institutionerne styres igennem fokusaftaler (en slags resultatkontrakter), og der afholdes månedlige møder mellem alle ledere af dagtilbud og dagtilbudschefen. Institutionerne  i  Frederiksberg  Kommune  er  af  varierende størrelse, fra 14 til 256 børn, og med et gennemsnitligt børnetal  på  99.  Det  gør,  at  lederrollen  kan  variere  ret meget fra institution til institution. Fælles for de institutioner, der har været repræsenteret i denne undersøgelse, er dog, at pædagogerne har meget stor frihed i planlægningen af det daglige arbejde, og at lederne spiller en relativt lille rolle. Oftest foretages planlægning på stueniveau eller i forhold til børnegrupper af jævnaldrende børn (fx 0-2 år eller førskolegruppe, 5-årige). I praksis er det derfor pædagogerne, der skal arbejde med eff  ektstyring, hvis det skal omsættes i handling og resultater. Derfor er fokus i denne  undersøgelse  på,  hvordan  denne  gruppe  ansatte arbejder med eff  ektstyring.

## Metode og datagrundlag

Datagrundlaget for casestudiet er fokusgrupper med pædagoger ansat i institutioner i Frederiksberg Kommune. Arbejdet med eff  ektstyring har været fulgt i to år og seks måneder,  hvoraf  pædagogerne  har  været  inddraget  i  to år.  Over de to år (2013 og 2014) har der været afholdt fem runder fokusgrupper. Antallet af grupper per runde samt de totale antal pædagoger har varieret. Denne artikel tager udgangspunkt i de to runder fokusgrupper, der er afholdt i 2014. Tabel 2 opsummerer datamaterialet.

Tabel 2: Data

|                                         |   Antal grupper |   Antal pædagoger i alt |
|-----------------------------------------|-----------------|-------------------------|
| Runde 1, 2014 (6. marts - 2. juni)      |               5 |                      16 |
| Runde 2, 2014 (28. august - 8. oktober) |               4 |                      14 |

Interessen her er i, hvordan eff  ektstyring påvirker handlinger  og  resultater.  Pædagogernes  anvendelse  af  eff  ektstyring forandres over tid, og derfor er denne del af datamaterialet valgt ud. 2013 blev af mange anset som et år, hvor man skulle 'øve sig'. Det forekommer altså rimeligt at antage, at den måde, eff  ektstyring anvendes på i 2014, er et udtryk for en implementering, der om ikke er 'færdig', så i hvert fald fremskreden. I kodningen af data er der 16 unikke pædagoger på tværs af de to grupper. Nedenfor er disse pædagogers handlinger med reference til eff  ektstyring kodet, og hver enkelt af de 16 er indplaceret i artiklens model.

Der  er  både  yngre  og  mere  erfarne  pædagoger  repræsenteret  i  fokusgrupperne,  hvor  der  desuden  er  en klar overvægt af kvinder, hvilket nok afspejler faget som sådant. Deltagerne i fokusgrupperne er uddannede pædagoger,  eftersom  de  er  målgruppen  for  eff  ektstyring. Fokusgrupperne er sammensat af pædagoger fra institutioner,  hvor  institutionslederen  har  meldt  institutionen til at deltage i projektet. Det betyder, at der må forventes en bias i data i retning af, at de institutioner, der arbejder mindst med eff  ektstyring, er underrepræsenteret. 3

Vi  skal  nu  se  nærmere  på,  hvordan  handlinger  og resultater teoretisk kan forstås i denne kontekst.

## 3. Handlinger og resultater på baggrund af resultatstyring

Som  diskuteret  i  tidligere  artikler  kan  organisationers output, jf. Brunsson (2002) og Politt (2001), forstås på fi  re niveauer. Organisationer kan tale, de kan træff  e beslutninger, de kan handle, og endelig kan de opnå resultater. Som skrevet ovenfor afgrænser denne artikel sig til at se på, hvilke eff  ekter resultatstyring kan have på hhv. handlings- og resultatniveauet.

Konkret er interessen her i at forfølge, i hvilket omfang indførelsen af eff  ektstyring har ændret handlinger i de  enkelte  dagtilbud.  Handlinger  i  Brunssons  forstand er egentlig produktion, og det er klart, at når vi overfører sådan en tænkning til dagtilbud, så må defi  nitionen af  handling  modifi  ceres.  Det,  der  grundlæggende  er  af inter  esse  her,  er,  i  hvilket  omfang  pædagogerne  ændrer deres  daglige  praksis  som  følge  af  eff  ektstyring.  Det  er klart,  at  sådan  en  praksisændring kan komme i mange forskellige former. Grundlæggende vil analysen af disse handlinger, eller praksisændringer anskues på to dimensioner: For det første, i hvilket omfang der er praksisændringer. For det andet vil analysen belyse, hvorvidt disse praksisændringer  ligger  i  forlængelse  af  intentionerne med  eff  ektstyring  eller  tager  form  af  ikke-intenderede konsekvenser. I den foregående artikel blev Moynihans anvendelsesformer  (2009)  præsenteret,  og  den  tækning kan også fi  nde anvendelse her, med visse modifi  kationer.

På den første dimension ser vi på omfanget af handlinger . Her kan vi forestille os, at eff  ektstyring har få effekter  på  handlingerne i  dagtilbud.  Moynihan  (2009, 593) taler om, at brugen kan være passiv - at agenterne minimumsopfylder  krav,  men  fx  ikke  bruger  relevante data.  Her  kunne  der  fx  være  tale  om,  at  dagtilbuddet foretager obligatoriske test, men ikke ændrer på praksis i  øvrigt. I sådan et tilfælde er det klart, at det må være en empirisk sondring, hvor meget handling, der skal til, for at man overhovedet kan tale om handling. Der kan dog også være en reel mulighed for afkobling i Brunssons forstand (Brunsson 2002). Altså at handlingsniveauet slet ikke påvirkes af den megen 'tale' om eff  ektstyring. Ikke mindst fordi kommunen har svært ved at overvåge, om eff  ektstyring  rent  faktisk  implementeres,  og  heller  ikke har intentioner om det ud over en årlig fokusaftale med institutionsledere, hvor arbejdet dokumenteres. Men om det dokumenterede arbejde rent faktisk fi  nder sted, er der ikke et ønske om at kontrollere. Det kan altså være, at der er pædagoger, der falder helt ud af modellen. I den anden ende af skalaen fi  nder vi mange handlinger med reference til  eff  ektstyring.  Her kan være tale om, at eff  ektstyring anvendes som planlægningsværktøj i dagligdagen, eller at der foretages regelmæssige tests af børnene.

Den anden dimension vedrører som nævnt, hvorvidt anvendelsen ligger i forlængelse af intentionerne bag effektstyring eller ej.

Anvendelsen  kan ligge  i  forlængelse  af  intentionerne bag eff  ektstyring på dagtilbudsområdet. Moynihan taler om purposeful anvendelse (Moynihan 2009, 593). Hvis vi vender os mod fx Røviks retorik, vil der være tale om enten et kopierende eller modifi  cerende oversættelsesmodus (Røvik  2007,  308ff  ).  Tanken  er,  at  eff  ektstyring  enten leder til handlinger, der ligger i direkte forlængelse af intentionen med at indføre eff  ektstyring, alternativt måske ikke helt præcist leder til de handlinger, der var intentionen, men at anvendelsen kan vurderes som bidragende til målet, om end i mindre målestok.

I den anden ende af kontinuummet bliver eff  ektstyring brugt i modsætning til intentionerne bag eff  ektstyring. Det kan fx betyde, at eff  ektstyring medfører helt andre mål, end det var intentionen, alternativt, at eff  ektstyring har  negative  konsekvenser  for  det,  der  var  målet  med indførelsen. Her taler litteraturen om perverse eff  ekter (fx hos Moynihan 2009, 593; De Bruijn 2002, 17ff  ), fx hvis aktørerne er så opsatte på at opfylde mål, at de snyder for at opnå dem eller leder opmærksomheden væk fra andre også relevante hensyn, der ikke er målbare. I tilfældet her kunne  det  være,  at  centrale  elementer  i  børnenes  pleje og omsorg i dagtilbuddet ignoreres til fordel for at gøre dem skoleparate - et af målene opstillet af kommunen. Tilsvarende kan ikke-intenderede eff  ekter, når vi ser på denne type af markarbejdere, også være negative motivationseff  ekter (jf. litteraturen om motivation crowding, fx Frey &amp; Jegen 2001).

I  en  given  empirisk  case  vil  de  to  dimensioner  af handlinger  kunne  anskues  som  et  koordinatsystem,  illustreret  i  fi  gur  2.  Tanken  her  er,  at  der  vil  være  tale om grader af overensstemmelse/uoverensstemmelse med intentionen, der typisk vil være en totalitet af de mange forskellige handlinger, eff  ektstyring medfører.

Figur 2: Handlinger som konsekvens af effektstyring

Figur 3. Handlinger som konsekvens af effektstyring

Politt (2001) tilføjer resultater til Brunssons tredeling af organisatorisk  output.  Resultater  forstås  på  den  måde, at  de  handlinger,  organisationen  foretager,  rent  faktisk også medfører den eff  ekt, der var intentionen (outcome). Resultatniveauet kan operationaliseres til, hvorvidt dagtilbuddene igennem arbejdet med eff  ektstyring lykkedes med at gøre børnene i dagtilbud mere skoleparate og mere livsduelige.

På den baggrund er vi nu klar til at se på, hvordan eff  ektstyring leder til handlinger og resultater i dagtilbud i Frederiksberg Kommune.

## 4. Handlinger og resultater: Anvendelsen af eff  ektstyring i dagtilbud

Hvordan handler pædagogerne?

Som beskrevet ovenfor kan de handlinger, eff  ektstyring medfører, anskues på to dimensioner: Hvorvidt de ligger i forlængelse af intentionen med eff  ektstyring eller ej, og i hvilket omfang der overhovedet er tale om handlinger. Figur 3 giver et overblik over placeringen af de 16 forskellige  pædagoger,  der  tilsammen  deltog  i  de  to  sidste runder fokusgrupper. Igennem en kodning af den enkelte pædagogs anvendelse af eff  ektstyring og omfanget af anvendelsen har jeg placeret dem på de to dimensioner.

En metodisk note er på sin plads. Vurderingerne er selvfølgelig mine subjektive vurderinger på baggrund af pædagogernes udsagn. 4 Den præcise placering i forhold til  akserne  kan  diskuteres.  Placeringen  skal  ses  som  relativ,  A  placerer sig anderledes end B. Ambitionen med fi  gur 3 er at give et grafi  sk overblik over spredningen i de handlinger, eff  ektstyring medfører. I det næste afsnit kvalifi  ceres dette overblik med eksempler på enkeltes faktiske praksis (disse pædagoger er markeret med fed i modellen). Det gøres delvist for at give en dybere forståelse af spredningen i de handlinger, eff  ektstyring medfører, men også som et forsøg på at gøre kodningen af enkeltindividers anvendelse transparent.

Figuren  illustrerer,  at  pædagogerne  groft  sagt  klumper sig sammen tre steder i fi  guren og at der derudover er to pædagoger, der falder ud af modellen. Der er en gruppe, der handler relativt meget på baggrund af eff  ektstyring og i overensstemmelse med intentionerne. Her fi  nder vi fem af de 16 kodede pædagoger, dvs. lidt under 1/3. En anden gruppe placerer sig til venstre herfor på x-aksen. De handler relativt lidt på baggrund af eff  ektstyring, og det varierer lidt, om det kan siges at være svagt i overensstemmelse med intentionerne eller svagt i uoverensstemmelse med intentionerne. I denne gruppe fi  nder vi fem pædagoger. Endelig fi  nder vi en gruppe, der heller ikke handler særlig meget på baggrund af eff  ektstyring, men hvor det primært  sker  i  uoverensstemmelse  med  intentionerne. Her fi  nder vi tre pædagoger. Når vi ser på denne gruppe, er det vigtigt at understrege, at de ikke-intenderede konsekvenser, der kan identifi  ceres i materialet, ikke primært vedrører klassiske problemer med resultatstyring, som fx målforskydning. I stedet er der tale om, at pædagogerne giver udtryk for, at eff  ektstyring er demotiverende, enten fordi pædagogerne ikke gør det, og det giver dem dårlig samvittighed, eller fordi det anses for at være unødvendigt bureaukrati, der tager opmærksomheden væk fra kerneydelsen.  Der  er  altså  tale  om  ikke-intenderede  eff  ekter på et lidt andet analytisk niveau end fx målforskydning.

Overblikket illustrerer altså, at størstedelen af de pædagoger, der deltager i fokusgrupperne, handler på baggrund af eff  ektstyring, men at det langt fra er noget, der fylder meget i deres hverdag. Dertil kommer, at fl  ertallet af  de  undersøgte  pædagoger  faktisk  handler  i  overensstemmelse med intentionerne i eff  ektstyring, men at de fl  este gør det i en lav grad. En model over den måde, effektstyring er tænkt at skulle virke (let tilvirket i forhold til temanummerets indledning), kan illustrere brugen, set på tværs af pædagogerne.

## Figur 4: Elementer af effektstyring

I det næste afsnit skal vi se nærmere på, hvilke handlinger der i praksis kommer ud af eff  ektstyring, når vi ser nærmere på pædagog 11, 12, 14, 15 og 9. 5 De er valgt ud fra to kriterier, delvist for at illustrere spredningen i modellen, delvist fordi deres praksis giver indblik i argumenter, der er relevante for en større del af populationen.

## Handlinger i praksis - hvad gør de, når de handler?

Pædagog nr. 11 bruger eff  ektstyring i ret stort omfang. Fire gange om året testes børnene på en række parametre på  baggrund  af  løbende  aktiviteter.  Et  af  indsatsområderne vedrører legekompetencer, et aspekt af livsduelighed, og her har pædagogerne selv været med til at udvikle den målingsmetode, der anvendes. Pædagogen forklarer: ' Så vi har faktisk lavet legemålingen om, [… så] vi både evaluerer på, hvordan de er i stand til at tage initiativ og udvise engagement, og altså deltage, fastholde fokus, afslutte legen. Der har vi simpelthen fået lov at lave den om .'

Mere konkret tager målingen form af en observation af børnenes leg. Pædagogen forklarer: 'Og så sætter vi os ned og observerer. Vi observerer kun. Vi går ikke ind. Og så gør vi det i 10 minutter til et kvarter for hver gruppe, og så skriver vi ned, hvordan går det. Og så går vi alle børnene igennem. […] Men faktisk har det vist sig at være ekstremt informativt[…], vi kan i hvert fald godt se, hvor vi skal hen og arbejde med børnene […]. Jeg vil sige, vi måler børnene i virkeligheden. […], så siger[vi] hov der er et barn her, der har brug for ekstra læring eller ekstra inddragelse i legen og ekstra understøttelse til at lære at lege sammen og lege rettet ud mod de andre og ikke lege parallelleg og alle de der [ting]. Så altså på den måde synes jeg, det har været eff  ektivt. '

Pædagogens  brug  af  eff  ektmåling  påvirker  hendes handlinger i  ret  stort  omfang.  Hvis  vi  ser  på,  i  hvilket omfang eff  ektstyring anvendes i overensstemmelse med intentionen, må konklusionen også være, at anvendelsen ligger  ret  tæt  op  ad  intentionen  med  indførelsen  af  effektstyring. Eff  ektstyring bliver anvendt til at kvalifi  cere det pædagogiske arbejde. Imidlertid oplever pædagogen udfordringer på to områder. For det første i forhold til anvendelsen af  de  kvartalsvise  målinger  af  børnene.  På spørgsmålet, om det er muligt at adskille forskellige faktorers indfl  ydelse på den udvikling, børnene gennemgår, svarer pædagogen: 'Det er rigtig svært. […] jeg ved ikke, hvad jeg helt måler på, når jeg måler. Jeg har egentlig haft det problem hele tiden, vil jeg så sige. Altså jeg synes, det er vanskeligt at fi  nde ud af, hvad det er, at jeg måler, når jeg måler [men…] ungerne synes det en festlig leg, og forældrene ser tilbørligt imponerede ud. ' Dertil kommer, at pædagogen oplever, at dokumentationsdelen af målingerne er et stort problem for både hende selv og hendes kolleger. Målingerne foretages på papir, men pædagogerne har svært ved at fi  nde  tid  til  at  registrere  målingerne  elektronisk. De løbende målinger af børnene er mest noget, der gøres, fordi det er et krav oppefra, hvorimod de løbende (kvalitative og kvantitative) observationer af børnene opfattes som  nyttige  af  pædagogen.  En  anden  udfordring,  pædagogen oplever, vedrører medarbejdernes ejerskab: ' Jeg tror det for mange har det endt med at føles, som om det her det  er  hat  og  briller ',  siger  hun  i  udgangspunktet,  men forklarer derefter, hvordan pædagogerne af egen drift har modereret de skemaer, de bruger, når de tester børnene. Fx har pædagogerne tilføjet alder til skemaet for at gøre skemaets  informationer  mere  brugbare.  Så  på  trods  af, at testen kan opfattes som 'hat og briller', så har pædagogerne alligevel engageret sig i arbejdet med værktøjet og forsøger at få det til at give mening. Dertil kommer, at  ledelsen  i  institutionen  over  tid  har  insisteret  på,  at pædagogerne anvender målingerne. I 2013 rapporterede pædagogen, at langt færre af hendes kolleger udførte tests, men i 2014 er alle ifølge pædagogen kommet med i ar- bejdet med eff  ektstyring. Pædagog 11's oplevelse af, at de kvalitative observationsteknikker kan give et 'nyt' blik på børnene i børnegruppen, går igen hos en række af de øvrige  pædagoger (fx 1, 2, 14, 15). På den måde bliver eff  ektstyring omsat til en form for handling, der nok ligger  et  stykke  fra  den  kvantitative  og  kausale  logik,  der er iboende tænkningen om resultatstyring, men som et langt stykke hen ad vejen anvendes i overensstemmelse med  intentionerne  bag  værktøjet  -  at  sikre  øget  faglig refl  eksion blandt pædagogerne.

Pædagog nr. 12 placerer sig i den modsatte ende af fi  guren.  Hun  tilhører  til  gengæld  den  gruppe  af  pædagoger,  der  bruger  eff  ektstyring  meget,  meget  lidt.  Hun forklarer: ' Ja, altså vi arbejder jo ikke med eff  ektstyring på vores institution, […] det gør vi ikke. Vi har ikke noget med nogle skemaer, vi udfylder eller noget, og vi snakker aldrig om det. Vi havde lidt sidste år, men ellers har der ikke været noget.' Pædagog nr. 12 handler meget lidt på baggrund af eff  ektstyring. Men hvor nogle af de andre pædagoger til tider kan opleve, at det er demotiverende (fx nr. 9, 10 eller 16) at vide, at man bør arbejde med eff  ektstrying, når man ikke gør det, så oplever nr. 12 ikke dette problem: ' Altså, jeg laver jo de ting, som jeg plejer at gøre med børnene, ikk'. Og jeg synes [ikke], det har nogen indfl  ydelse på fagligheden, hverken hos mig eller mine kolleger […] Og jeg synes heller ikke, det er demotiverende for nogen af os, fordi det er ikke sådan i vores bevidsthed i hverdagen, vel. Altså vi prøver at rette ind i forhold til det, vi synes i forhold til børnene og sådan som, børnene udvikler sig, og stille nogle fl  ere krav og ændre på de aktiviteter og sådan noget, ikk, så det ligesom følger med børnenes udvikling, og sådan har vi altid gjort. Og vi har ikke mål på det, så vi kan ikke se … og sammenligne. '

Pædagog nr. 14 er et eksempel på en pædagog, der faktisk  i  en  periode  har  arbejdet  med  eff  ektstyring,  og som  også  i  en  tidligere  runde  (3.  runde  fokusgrupper, november  2013)  havde  fundet  en  tilpasset  måde  at  arbejde med resultatstyring på. Imidlertid er pædagogen og hendes kolleger gået i stå med arbejdet: ' … vi er faktisk gået lidt i stå på vores stue … fordi vi skal jo skrive ned hver gang. Der SKAL gå en fra og observere, der slet ikke hjælper med noget … der kun sidder og skriver og kigger .' På den baggrund vurderes der p.t. at være relativt få handlinger, der relaterer sig til eff  ektstyring. Eff  ektstyring spiller ikke nogen  særlig  rolle  i  deres  dagligdag  på  stuen,  men  det er ikke helt forsvundet ud af pædagogernes bevidsthed. 'Øhh … jo, jeg ved ikke, om man kan kalde det eff  ektstyring eller  hvad  man  kalder  det,  men  man  er  selvfølgelig  mere bevidst om, hvad man selv gør i forhold til børnene […]men vi  tænker  da  på  det  meget  stadigvæk.  Lidt  som  en  dårlig samvittighed, synes jeg .'  Her fi  nder vi et eksempel på, at pædagogerne oplever eff  ektstyring som en kilde til dårlig samvittighed. Egentlig ville hun gerne arbejde mere med eff  ektstyring og har i en tidligere runde også talt positivt om det, men hun oplever, at rammerne for hendes daglige arbejde gør det svært. Så selvom, der er elementer af tænkningen,  hun  anvender  (selvom  hun  også  påpeger, at  det  måske  er  svært  at  sige,  at  det  er  eff  ektstyringens skyld), så vurderes brugen af eff  ektstyring at være svagt i uoverensstemmelse med intentionerne bag eff  ektstyring. Intentionen var næppe at give pædagogerne en følelse af dårlig samvittighed og utilstrækkelighed.

Pædagog nr. 15 bruger eff  ektstyring, men i en version, som er ret omfortolket i forhold til udgangspunktet. Hun er medtaget her,  fordi  den  måde,  eff  ektstyring  er omfortolket på i forhold til udgangspunktet, er illustrativ  for,  hvordan  mange  af  de  pædagoger,  der  arbejder lidt med eff  ektstyring, anvender det. Imidlertid er beretningen om praksisfortællinger nedenfor hentet fra første runde fokusgrupper i 2014. I anden runde var pædagogen helt holdt op med at tale om eff  ektstyring, og derfor er pædagogen placeret, som hun er, i modellen ovenfor.

I  stedet  for  de  løbende  kvantitative  optællinger  anvender  pædagog  nr.  15  i  stedet  praksisfortællinger  som 'registreringsværktøj': ' Vi [lavede] det om til, at man lavede praksisfortællinger i stedet for.. og det er også det, der er meningen nu, at vi skal lave praksisfortællinger over det her […] . Altså som måleredskab på eff  ektstyring […] i stedet for nogle afkrydsningslister, og det synes jeg giver mening. Altså fordi så bliver det et pædagogisk redskab, som vægter noget.'

Praksisfortællingerne kan vedrøre en række aspekter, men tænktes for pædagog nr. 15 i høj grad ind i forhold til  inklusionsdagsordnen,  der  også  fylder  meget  i  kommunens institutioner.  Praksisfortællingerne  er  en  måde at  sammenfatte  kvalitative  observationer  af  kollegernes arbejde med en børnegruppe på. Efter at en pædagog har observeret, har pædagogen tid til at gå fra børnegruppen og skrive praksisfortællingen med det samme: ' Og det er det, jeg har været glad for, og det var også det, der var blevet sat tid af, at når man så havde lavet denne her praksisfortælling - når nu vi kom hjem fra en skovtur og lavede praksisfortælling - så havde man fri til at gå ind og skrive den. Altså … med det samme.. uden at blive afbrudt.. og det synes jeg var enormt rart, så man ikke har sådan en masse ting liggende, man ikke får gjort, og det kommer for langt væk, at man rent faktisk får det gjort. ' Rammerne om praksisfortællingerne opleves altså som gode af pædagogen.

Praksisfortællingerne indeholder som nævnt observationer, pædagogen forklarer: Altså jeg har lige skrevet en, […] hvor jeg så var inde sammen med en anden, som sætter nogle gamle sanglege i gang, hvor jeg så skal sidde og observere, hvor jeg kan se, at der er en pige, som er til stede - jeg skriver, hvornår hun har øjenkontakt med de voksne f.eks., som laver noget og hun kigger op og smiler til den pædagog, hun er tryk med… med hvad hun gør, når de så fysisk skal røre  ved  hinanden…  altså…  hun  gør  det,  at  hun  lægger hænderne der eller hun trækker sig, eller hun kigger ned i gulvet.  […]  det  er  jo  det,  jeg  ser  […]  Sådan  noget…  det kan man jo så tale om. Hvis man så diskuterer det alle sammen sammen efterfølgende, så vil man jo måske have nogle forskellige idéer til, hvordan man får åbnet op eller hvornår hun skal have lov at trække sig, og hvornår hun skal have lov at være en del af gruppen og… på den måde synes jeg, det er rart at få fokus, at man kan sige inden man går ind 'det er mig, der skal observere i dag - er der nogen børn, I har lyst til, at jeg kigger på?''.

Observationer  og  praksisfortællinger  er  et  værktøj, pædagogen fi  nder nyttigt, fordi det hjælper til at fokusere på særlige indsatsområder, der efterfølgende kan diskuteres i pædagoggruppen. Det er samtidig klart, at praksisfortællingerne ikke i så høj grad refererer til de to centrale værdier  i  eff  ektstyring,  livsduelighed  og  skoleparathed. Der er et stærkt element af, at pædagogerne i højere grad fokuserer på enkelte børn ud fra en mere generel betragtning, og som måske også handler om deres generelle fornemmelser for børnenes trivsel end et mere snævert fokus på de politisk defi  nerede mål. På den baggrund vurderes pædagogen at handle på baggrund af eff  ektstyring på en måde, der i relativt lav grad er i overensstemmelse med intentionen. I forhold til omfanget af handlinger, der er konsekvenser af eff  ektstyring, er det ikke helt klart, hvor tit, der skrives praksisfortællinger, men det er i hvert fald mindre end en gang om ugen, og opgaven går også på tur mellem pædagogerne.

Pædagog nr. 9 er den sidste pædagog, vi skal se nærmere på. Hun er udvalgt, fordi hun er den, der igennem fokusgrupperne  har  afrapporteret  størst  uintenderede konsekvenser. Disse konsekvenser er primært fokuserede på pædagogens oplevelse af motivation og mening: '… altså det er ligegyldighed fra min side, og det er også det, jeg siger til dem, der stresser helt vildt meget over det… 'lad nu vær' med at stresse over det, fordi om en måned hedder det noget andet'. Altså vi følger bare med […]. Det er bare, det, der er udfordringen, det er det der med at holde fast, og det sker bare ikke i det her felt .'

Pædagogen beretter om, at eff  ektstyring i hendes institution nu er afl  øst af inklusionsdagsordnen: '… nu er der kommet noget nyt med inklusion og nu handler alting om inklusion. […] Men ordet eff  ektmåling, det bruger vi ikke rigtig mere. ' Pædagogen beretter, som hun i tidligere fokusgrupper har berettet i  relation  til  eff  ektstyring,  at det er svært for medarbejderne at få ledelsen til at melde klart  ud,  hvorfor  de  skal  gøre  de  ting,  de  skal  gøre.  I relation til inklusionsdagsordnen beretter hun: ' Alle skal lave  iagttagelser  og  skrive  ned  og  alt  muligt  […],  og  det skal  afl  evereres  hos  lederen  om  fredagen,  og  jeg  aner  ikke, hvad  det  skal  bruges  til.  Dét  kunne  måske  motivere  den enkelte medarbejder, ikk. Jeg aner ikke, om det har noget med eff  ektstyring eller inklusion eller hvad …'. Pædagogen arbejder stort set ikke med eff  ektstyring mere og oplever, at eff  ektstyring er en blandt mange dagsordner, der ruller ind over feltet, som sjældent bliver formidlet af ledelsen, og  som  hurtigt  afl  øses  af  noget  andet.  Man  kan  spore en vis kynisme hos pædagogen, når det kommer til styringsværktøjer.

## Kan vi forstå, hvorfor de handler så forskelligt?

Som analysen gør klart, er der tydelige forskelle i, hvordan pædagogerne ændrer deres praksis med reference til eff  ektstyring.  Hvis  vi  sammenligner  de  pædagoger,  der placerer sig i første kvadrant, med pædagogerne i andet og tredje kvadrant, kan fokusgrupperne så sige noget systematisk om forskellene? Hvis man ser på tværs af pædagogerne i første kvadrant springer fi  re ting i øjnene, de har til fælles, og hvor, på et eller fl  ere parametre, de adskiller sig fra de øvrige pædagoger:

- 1) Ledelsesopbakning :  Både  1,  2  og  11  beretter  om tydelig  ledelsesopbakning  og  om,  at  ledelsen,  selv  i de situationer, hvor der har været modstand mod effektstyring blandt pædagogerne, har insisteret på, at eff  ektstyring skulle implementeres. For pædagog nr. 11 er det interessant at gå tilbage i de tidligere fokusgrupper, hvor man faktisk kan spore en tydelig modstand mod eff  ektstyring. Pædagogen har også i 2013 berettet, at meget få i institutionen havde implementeret de kvartalsvise målinger. Imidlertid er ledelsen blevet ved med at insistere på, at det skal gøres. Og i sidste ende har det medført, at implementeringen er slået igennem i institutionen.
- 2) Tid :  Centralt  for  både  de  pædagoger,  der  arbejder meget med eff  ektstyring, og dem, der ikke gør det, er spørgsmålet om tid. Pædagogerne oplever, at deres sparsomme planlægningstid  skal  bruges  på  en  lang række opgaver. Fælles for de institutioner, der arbejder forholdsvis meget med eff  ektstyring er, at ledelsen har afsat tid specifi  kt til eff  ektstyring, og det er blevet meldt ud, at eff  ektstyring har forrang over andre aktiviteter, pædagogerne også bør foretage sig.
- 3) Kompetencer :  Det er kendetegnende for de institutioner, der arbejder systematisk med eff  ektstyring, at en eller fl  ere centrale medarbejdere har påtaget sig rollen som oversætter, ud over den oversættelse lederen leverer. De, der arbejder med eff  ektstyring, har typisk lavet en lokal tilpasning, der har fået eff  ektstyring til at fremstå meningsfuldt for pædagogerne.
- 4) Ingen  konkurrende  dagsordner :  Det  er  tydeligt  i datamaterialet, at når nye dagsordner rammer institutioner,  fx  en  politisk  prioritering  af  inklusion  (fx

pædagog 6 eller 14) eller institutionssammenlægninger (fx pædagog 7), stor personaleudskiftning (fx pædagog 5) eller andet på institutionsniveauet, så fl  yttes opmærksomheden  mange  steder  væk  fra  eff  ektstyring,  eller  tingene  'slås  sammen'.  Det  er  svært  for pædagogerne at rumme fl  ere parallelle indsatser oven i deres øvrige opgaver.

De pædagoger, der i mindre grad arbejder med eff  ektstyring, kommer typisk fra institutioner, hvor en eller fl  ere af disse faktorer er fraværende.

## Resultater af eff  ektstyring

Eff  ektstyring  har  fungeret  i  dagtilbud  i  Frederiksberg Kommune siden starten af 2013, og det er endnu svært at  sige  noget  meget  defi  nitivt  om,  hvorvidt  børnene  på Frederiksberg er blevet mere livsduelige og skoleparate af indsatsen. I første runde fokusgrupper i 2014 blev pædagogerne bedt om at vurdere betydningen af eff  ektstyring for  hhv.  børnenes skoleparathed og deres livsduelighed. På  en  skala  fra  -10  (stor  negativ  eff  ekt),  over  0  (ingen eff  ekt) til +10 (stor positiv eff  ekt) er pædagogerne blevet bedt om at vurdere eff  ekten på de to parametre. Gennemsnitsvurderingen for skoleparathed er 1,7, mens den for livsduelighed er 1,9. Disse tal skal selvfølgelig tages med et vist forbehold pga. de få besvarelser, og gennemsnittet for livsduelighed påvirkes meget af en enkelt outlier, der er har en markant mere positiv evaluering end de øvrige. Alt i alt må pædagogernes vurdering siges at være, at der nok er en svagt positiv eff  ekt af eff  ektstyring på børnenes livsduelighed og skoleparathed, men at den meget godt passer med indtrykket fra analysen ovenfor: Eff  ektstyring har langt fra revolutioneret pædagogernes handlinger, og tilsvarende er resultaterne af eff  ektstyring, i pædagogernes optik, også forholdsvist begrænsede.

## 5. Konklusion

Ambitionen i denne artikel var at belyse, hvordan eff  ektstyring påvirker handlinger og resultater på dagtilbudsområdet  i  Frederiksberg  Kommune,  og  at  identifi  cere barrierer for implementeringen. Analysen viste, at eff  ektstyring leder til meget forskellige handlinger i institutionerne,  men  at  langt  de  fl  este  handler  relativt  lidt  med reference til eff  ektstyring. En konklusion, der må bestyrkes, når mulige selectionbiases i udvælgelsen af deltagerne i  fokusgrupperne indtænkes. 6 Når  vi  vurderer,  hvorvidt handlingerne sker i overensstemmelse med intentionerne bag eff  ektstyring, kan vi konstatere, at de fl  este handler i  overensstemmelse med intentionerne, men at det sker i en 'minimumsversion', hvor eff  ektstyring for langt de fl  este  primært  betyder  større  refl  eksion,  men  ikke  markant ændret praksis eller systematiske evalueringer af indsatser. Hvis vi ser på resultaterne, må disse stadig tages med visse forbehold. Pædagogerne afrapporterer en svagt positiv eff  ekt, hvilket stemmer meget godt overens med analysen af deres handlinger. Det er selvfølgelig vigtigt her  at  understrege,  at  de  to  delanalyser  trækker  på  informationer fra de samme informanter, pædagogerne, og vurderingen af resultater måske havde set anderledes ud, hvis  ledere  af  dagtilbud,  forvaltningen  eller  forældrene var blevet spurgt.

I  forhold til at identifi  cere barrierer for anvendelsen af eff  ektstyring, blev fi  re positive karakteristika udpeget, der understøtter implementeringen, og det blev påpeget, at  de  pædagoger,  der  ikke  arbejder  særligt  meget  med eff  ektstyring er ansat i institution, hvor en eller fl  ere af disse elementer mangler. Først og fremmest blev det klart, at arbejdet med eff  ektstyring afhang af ledelsens opbakning til projektet. Lederens rolle som både oversætter og katalysator for den fortsatte anvendelse var central. Dertil kom, at lederen også skal afsætte ressourcer til implementeringen,  implementering  kræver,  at  medarbejderne  får tid til at arbejde med opskriften og får mulighed for at tage ejerskab til det. Den anden side af ligningen er, at der også skal være medarbejdere, der griber chancen for at tage dette ejerskab. Endelig kræver det ro at implementere noget nyt. Hvis der er mange dagsordner, der konkurrerer om  medarbejdernes  opmærksomhed,  er  det  ikke  overraskende, at den dagsorden, der ligger dem fj  ernest, får mindst opmærksomhed.

Endelig gjorde casen det tydeligt, hvor vigtig konteksten  er  for  implementering  af  styringsopskrifter.  Materialiseringen  af  den  abstrakte  institution  resultatstyring udfoldede sig i denne case som en tilpasning til pædagogernes kontekst. En radikal omformning af den ide, vi diskuterede  i  indledningen,  men  også  en  omformning, der  er  foretaget  i  en  række  skridt  fra  Rambølls  forandringsteori  over  kommunens  valg  af  implementeringsstrategi til lokale forskelle fra dagtilbud til dagtilbud. Casen illustrerer på den måde, hvordan resultatstyring som koncept kan være en lang række forskellige ting i praksis, men også hvordan det kan være svært at holde konkrete materialiseringer af konceptet op på de generelle forventninger, man kan have til, hvad resultatstyring skal levere. Måske er det ikke rimeligt at forvente, at resultatstyring leverer, hvad det lover (jf. diskussionen i indledningen), når resultatstyring kan være så mange forskellige ting?

## Litteratur

- Brunsson, N. 2002, Th   e  organization of hypocrisy : talk, decisions, and actions in organizations, 2. udg., Copenhagen Business School Press, København.
- de Bruijn, H. 2002, Managing Performance in the Public Sector , Routledge, London.
- Frederiksberg Kommune 2011, Eff  ektstyring i Frederiksberg Kommune Hvorfor og hvordan? , Frederiksberg Kommune, Frederiksberg.
- Frey, B.S. &amp; R. Jegen 2001, 'Motivation crowding theory', Journal of economic survey , vol.15, no. 5, pp. 589-23.
- Grøn, C.H. 2014, 'Eff  ektstyring i felten', i CH Grøn, HF Hansen &amp; MB Kristiansen  (red.), Off  entlig  styring.  Forandringer  i  krisetider , Hans Reitzels Forlag, København.
- Grøn, C.H. &amp; H.F. Hansen 2014, 'Medarbejderne, borgerne og Brugerne:  Styrede  og  medstyrende',  i  CH  Grøn,  HF  Hansen  &amp;  MB Kristiansen (red.), Off  entlig styring. Forandringer i krisetider , Hans Reitzels Forlag, København.
- Hansen, H.F., M.B. Kristiansen &amp; E.M. Sørensen 2014, 'Resultat- og Evalueringsstyring i en krisekontekst', i C.H. Grøn, H.F. Hansen &amp; M.B. Kristiansen (red.), Off  entlig styring. Forandringer i krisetider , Hans Reitzels Forlag, København.
- Jørgensen, T.B. 2003, 'Værdier og den off  entlige sektor', i T. Beck Jørgensen  (red.), På  Sporet  af  en  Off  entlig  Identitet  -  Værdier  i  Stat, Amter og Kommuner , Aarhus Universitetsforlag, Aarhus.
- Le Grand, J 2003, Motivation, Agency and Public Policy: of knights and knaves, pawns and queens , Oxford University Press, Oxford.
- Miller,  G.J.  &amp;  A.B.  Whitford  2006,  'Th e  Principal's  Moral  Hazard: Constraints  on  the  Use  of  Incentives  in  Hierarchy', JPART ,  vol. 17, pp. 213-233.
- Morgan. D.L. 1996, 'Focus Groups', Annual Review of Sociology ,  vol. 22, pp. 129-152.
- Pressman,  J.L.  &amp;  A.  Wildavsky  1973, Implementation:  How  Great Expectations  in  Washington  Are  Dashed  in  Oakland;  Or,  Why  It's Amazing that Federal Programs Work at All , University of California Press, California.
- Moynihan, D.P. 2009, 'Th rough A Glass, Darkly: Understanding the Eff  ects  of  Performance  Regimes', Public  Performance  &amp;  Management Review , vol. 32, pp. 592-603.
- Pawson, R. &amp; N. Tilley 1997, Realistic Evaluation , SAGE Publications ltd, London.
- Pollitt, C. 2001, 'Convergence: Th e Useful Myth?', Public Administration , vol. 79, pp. 933-947.
- Røvik,  K.A.  2007, Trender  og  Translasjoner.  Ideer  som  former  det  21. århundrets organisasjon , Universitetsforlaget, Oslo.

## Noter

1. Faktuelle informationer er fremkommet i korrespondance med forvaltningen.
2. Her er det væsentligt at holde sig for øje, at forandringsteorien ikke er en teori i den gængse samfundsvidenskabelige sprogbrug, men at teori, som begrebet anvendes her, viser tilbage til forandringsteoriens forståelse af teori.
3. For en diskussion af bias og selektionskriterier i dannelse af fokusgrupper, se (Morgan, 1996).
4. Denne vurdering bliver yderligere kompliceret af, at enkelte faktisk ændrer adfærd mellem den første og anden fokusgruppe anvendt her. I de tilfælde er det anvendelsen i den sidste af de to grupper, der afrapporteres.
5. Det er tilfældigt, at pædagogerne numerisk næsten kommer i rækkefølge. Numrene er tilskrevet pædagogerne i tilfældig rækkefølge, afhængigt af hvornår de optræder i udtræk af kodningen af transskriberingerne af fokusgrupperne. Der er altså ingen systematik i, hvem der har hvilket nummer.
6. Som skrevet ovenfor har lederne meldt pædagogerne til at deltage i fokusgrupper. Vi må forvente, at de ledere, der forventer mindst aktivitet i forbindelse med eff  ektstyring i deres institution, vil være tilbageholdende med at melde deres pædagoger til en undersøgelse af eff  ektstyring. Vi må derfor forvente, at bias i data overestimerer anvendelsen sammenlignet med hele populationen af institutioner på Frederiksberg.