Borgernes tilfredshed med offentlig service – et spørgsmål om kvalitet  og forventninger?
Forfattere: Morten Hjortskov
Tidsskrift: politica (2018-09-03)

## Morten Hjortskov

## Borgernes tilfredshed med offentlig service - et spørgsmål om kvalitet og forventninger?

Tilfredshedsundersøgelser bliver i stigende grad anvendt til at informere borgere og beslutningstagere om kvaliteten af den offentlige service. Men denne brug af tilfredshedsundersøgelser kræver, at der er en tæt sammenhæng mellem borgernes tilfredshed og den faktiske kvalitet af servicen. Og her viser forskningen ret blandede resultater, hvilket kan have store implikationer for brugen af undersøgelserne. Jeg vil i denne artikel se på to aspekter af sammenhængen mellem kvaliteten og tilfredsheden: Har henholdsvis et objektivt mål for kvalitet og borgernes forventninger til den offentlige service betydning for borgernes tilfredshedsvurdering? Dette spørgsmål undersøges ved hjælp af tilfredshedsdata fra Aarhus Kommunes skoler fra 2011 og 2013 samt de nationale test. Resultaterne viser, at både objektiv kvalitet og borgernes forventninger påvirker tilfredsheden med danske skoler.

Hvor tilfreds er du med dit sygehusophold? Dette og mange lignende spørgsmål  møder  i  stigende  grad  danskerne,  når  de  benytter  sig  af  den  offentlige service. Tilfredshedsundersøgelser er meget udbredte og skal give politikere og beslutningstagere et billede af, hvordan det går med den service, de tilbyder borgerne (Miller, Kobayashi og Hayden, 2009; Rasmussen, Olsen og Brogaard, 2014). Desuden er argumentet, at det i et demokratisk samfund er vigtigt at høre borgernes side af sagen, blandt andet fordi det er med til at holde politikere og beslutningstagere ansvarlige (Kelly, 2005). Undersøgelsernes resultater indgår ofte i større samlinger af kvalitetsdata i fx kvalitetsrapporter og udviklingsplaner  for  institutionerne  i  velfærdsstaten,  som  skal  sige  noget  om  den faktiske kvalitet af den offentlige service. Men gør borgernes tilfredshed så det?

Denne artikel søger at bidrage til tilfredshedslitteraturen ved at undersøge to centrale, men stadig uafklarede spørgsmål: Er der en sammenhæng mellem borgernes tilfredshed og den faktiske servicekvalitet? Og kan borgernes forudgående forventninger til servicekvaliteten påvirke deres tilfredshed? Begge spørgsmål relaterer sig til tilfredshedsundersøgelsernes evne til at afdække kvaliteten af den offentlige service - noget, som tilfredshedsundersøgelserne ofte implicit antages at kunne. Et eksempel kunne være, hvis to ellers lige veldrevne skoler målt på forskellige indikatorer som karakterer, trivselsmålinger og testresultater har meget forskellige tilfredshedsmålinger. Det kan forekomme, hvis tilfredshedsundersøgelserne ikke afspejler den faktiske kvalitet i servicen, eller hvis  borgernes  forudgående  forventninger  er  afgørende  for  deres  tilfredshed - uafhængigt af servicekvaliteten. I eksemplet kan den ene skole have mere forventningsfulde forældre end den anden. Selvom begge skoler har ens, høj kvalitet, er det ikke helt nok for den ene skoles forældre, mens det andet hold forældre føler, at deres forventninger er indfriet. Det afspejles så i de to skolers tilfredshedsniveau,  hvilket  gør  undersøgelserne  mindre  brugbare  som  kvalitetsindikatorer for velfærdsstatens institutioner.

Her er  det  værd  at  bemærke,  at  den  hidtidige  forskning  ikke  er  entydig, hverken med hensyn til sammenhængen mellem tilfredshed og objektive mål på  kvaliteten  (se  fx  Brown  og  Coulter,  1983;  Favero  og  Meier,  2013;  Song og Meier, 2018; Stipak, 1979) eller forventningers indflydelse på tilfredshed (Andersen og Hjortskov, 2016; Poister og Thomas, 2011; Van Ryzin, 2013). Derfor  undersøges  disse  to  spørgsmål  empirisk  i  denne  artikel  ved  hjælp  af tilfredshedsdata fra Aarhus Kommunes skoler. Disse data har den store fordel i forhold til data i eksisterende tilfredshedsforskning, at de har mange deltagere, er tilgængelige på individniveau og kan kobles på tværs af de to år, der undersøges (2011 og 2013). Samtidig er det muligt at koble disse tilfredshedsdata til de nationale test, som kan udgøre et objektivt kvalitetsmål for skolerne, og til registerdata fra Danmarks Statistik. Det giver en enestående mulighed for at teste de to spørgsmål over tid med mange observationer på individniveau og samtidig sammenligne svarene på tilfredshedsspørgsmålene med et valideret objektivt  mål  for  servicekvaliteten  i  form  af  de  nationale  test  (Beuchert  og Nandrup, 2014).

Svarene på begge spørgsmål kan have stor indflydelse på fortolkningen af tilfredshedsdata,  som  benyttes  som  kvalitetsmål  i  kvalitetsrapporter  og  lignende. For det første har borgernes holdninger til den service, de modtager, en berettigelse i sig selv i et demokratisk samfund. Men hvis tilfredsheden ingen sammenhæng har med den service, der bliver leveret, er det svært at udvikle servicen på baggrund af tilfredshedsundersøgelser. Hvad kan de offentligt ansatte gøre for at øge tilfredsheden, hvis den ikke afspejler den faktisk leverede service?  Derfor  er  det  relevant  at  undersøge  sammenhængen  mellem  objektive kvalitetsmål og borgernes tilfredshed (Brown og Coulter, 1983; Favero og Meier, 2013; Stipak, 1979).

Samtidig har det i flere undersøgelser vist sig, at borgerne ikke nødvendigvis oversætter deres opfattelse af kvaliteten direkte til tilfredshed. I stedet sammenligner de først den oplevede kvalitet med deres forudgående forventninger til servicen. Hvis servicen ikke lever op til forventningerne, bliver borgerne formentlig skuffede og er utilfredse som i skoleeksemplet ovenfor. Hvis servicen lever op til forventningerne eller måske ligefrem overgår dem, er borgerne tilfredse med servicen (Van Ryzin, 2004). Således kan lav kvalitet i teorien godt resultere i relativt høj tilfredshed, hvis borgerne har tilsvarende lave forventninger. Denne sammenhæng har med andre ord potentialet til at underminere brugen og tolkningen af tilfredshedsundersøgelser som kvalitetsmål.

Bidraget fra dette studie er dermed at afdække de to centrale spørgsmål omkring kvalitet, forventninger og tilfredshed ved hjælp af de enestående danske data på skoleområdet. Det er vigtigt, at der er sammenhæng mellem den faktiske kvalitet og tilfredshed, og at der tages højde for borgernes forventninger, når  tilfredshedsundersøgelser  benyttes  aktivt  som  kvalitetsindikatorer  i  den danske velfærdsstat. Studiet viser, at der er en sammenhæng mellem resultaterne i de nationale test og forældretilfredsheden, og at borgernes forventninger spiller en rolle i dannelsen af deres tilfredshed, omend effekterne ikke er store. En  anerkendelse  af  disse  faktorer  hos  beslutningstagerne  kan  lede  til  bedre brug af resultaterne fra tilfredshedsundersøgelser i det offentlige.

## Tilfredshedslitteraturen

Tilfredshed, kvalitet og borgernes karakteristika

Alle ved, hvad tilfredshed er - indtil de bliver bedt om at give en definition. Så virker det til, at ingen ved det (Oliver, 2010: 7).

Tilfredshed er en svær størrelse, og der findes utrolig mange forskellige definitioner af begrebet (Giese og Cote, 2000). En udbredt definition i forbrugertilfredshedsforskningen er Olivers: 'Satisfaction is the consumer's fulfillment response. It is a judgment that a product/service feature, or the product/service itself, provided (or is providing) a pleasurable level of consumption-related fulfillment,  including  levels  of  under-  or  overfulfillment'  (2010:  8).  Denne definition peger på nogle af de processer, som kan lede frem til (u)tilfredshed. For det første kan tilfredshed kun vurderes i sammenligning med et referencepunkt. Det ligger i ordet fulfillment, at der er et mål, som skal opfyldes. Der findes  en  standard  (måske  endda  flere),  som  servicen  vurderes  op  imod,  og udfaldet af denne sammenligning har stor betydning for den endelige tilfredshed. I en stor del af tilfredshedslitteraturen er denne standard borgernes eller kundernes forventninger til servicen. For det andet signalerer brugen af ordet pleasurable, at tilfredshed måske ikke alene er afhængig af de faktiske forhold for servicen, men at også følelser og fornemmelser spiller ind.

Når tilfredshed ofte benyttes til at måle kvalitet, bunder det naturligvis i en antagelse om, at der er en stærk sammenhæng mellem de to fænomener.

Der kan absolut være et formål i 'blot' at holde borgerne glade og tilfredse, uanset hvad den høje tilfredshed skyldes, men så er det svært at videreudvikle servicen ud fra oplysninger om tilfredse eller utilfredse borgere. Der skal helst være en sammenhæng mellem det, der leveres, og borgernes tilfredshed, hvis brugen af tilfredshedsundersøgelser som kvalitetsmål skal give mening. Det kan synes selvindlysende, at høj kvalitet også vil give høj tilfredshed, men der har dog i tilfredshedslitteraturen længe været skepsis omkring, hvorvidt og i hvor høj grad tilfredshed er et udtryk for faktisk kvalitet (Kelly og Swindell, 2003; Lyons, Lowery og DeHoog, 1992: 22; Stipak, 1979). I en række undersøgelser  har  det  vist  sig,  at  borgernes  tilfredshed  ikke  nødvendigvis  hænger sammen med andre, mere objektive mål på kvalitet (Brown og Coulter, 1983; Stipak, 1979; Uttl, White og Gonzalez, 2017). Andre undersøgelser har fundet en sådan sammenhæng (Favero og Meier, 2013; Parks, 1984; Song og Meier, 2018), så antagelsen kan altså være opfyldt - måske er den blot meget kontekstafhængig.

Udfordringen kan også være, at mange andre ting kan have indflydelse på borgernes tilfredshed. Den klassiske tilfredshedslitteratur inden for offentlig forvaltning har navnlig beskæftiget sig med en række demografiske, sociologiske og politiske faktorer. En åbenlys faktor er borgernes erfaring med servicen. Hvis de har få erfaringer med servicen - eller måske slet ingen - hvad er det så, de evaluerer ud fra? Kan man forvente, at deres tilfredshed afspejler kvaliteten (Kelly og Swindell, 2003)? Med hensyn til borgernes demografiske karakteristika har flere amerikanske undersøgelser vist, at karakteristika som etnicitet, køn, alder, indkomst, job og uddannelse kan have en indflydelse på tilfredsheden  med  servicen  (Brown  og  Coulter,  1983;  Lyons,  Lowery  og  DeHoog, 1992).  Det  kan  selvfølgelig  skyldes,  at  forskellige  mennesker  opfatter  ellers fuldstændig ens service forskelligt, men det kan også skyldes, at nogle borgere (fx  de  med  høj  indkomst  og/eller  uddannelse)  flytter  til  lokalområder,  hvor serviceniveauet er højt (Lyons, Lowery og DeHoog, 1992). Ikke desto mindre kan det i alle tilfælde være svært for en offentlig organisation at ændre på sammensætningen af sine borgere, hvilket gør disse demografiske faktorer drilske at håndtere i forsøget på at reagere på tilfredshedsundersøgelsernes resultater.

Relateret til de demografiske faktorer kan en række mere sociologiske faktorer have indflydelse på borgernes tilfredshed. Her har det vist sig, at tilhørsforholdet til lokalsamfundet spiller en positiv rolle for borgernes tilfredshed og i øvrigt for villigheden til at blive boende frem for at flytte, hvis tilfredsheden er lav (Lyons, Lowery og DeHoog, 1992), ligesom personlig kontakt med de offentligt ansatte (Hero og Durand, 1985; Parks, 1984) og generel tillid til det offentlige (Beck og Dye, 1982) også kan give højere tilfredshed. Her er der tale om faktorer, som de offentlige organisationer bedre kan påvirke, omend det absolut ikke er nemt og i hvert fald skal ske på den lange bane. Slutteligt har politiske holdninger og ideologi også vist sig at påvirke tilfredsheden (Lyons, Lowery og DeHoog, 1992; Morgeson, 2013), ligesom den lokale politiske effektivitetsfølelse kan have stor indflydelse på tilfredsheden med servicen (Beck et al., 1987).

Det kan dog også indvendes, at den manglende sammenhæng mellem borgernes tilfredshed og objektive kvalitetsmål slet ikke er relevant, fordi borgerne blot  vægter  andre  aspekter  af  kvaliteten  end  de,  som  objektive  kvalitetsmål måler (fx karakterer eller testresultater) (Favero og Meier, 2013; Song og Meier, 2018). Dermed kan tilfredshed være en tiltrængt modvægt til de administrative mål, der ofte fokuserer på andre ting end, hvad borgerne synes, er vigtigt (Kelly, 2005). Denne indvending har absolut noget på sig, så længe de andre aspekter, som borgerne vægter højt i deres evaluering, rent faktisk er aspekter af kvaliteten af servicen - og ikke vejret eller andre irrelevante faktorer (Andersen og Hjortskov, 2016).

## Forventninger og andre standarder: Expectation-

## Disconfirmation-modellen

Ud over de mulige direkte effekter af kvalitet, demografiske, sociologiske og politiske forhold fylder psykologiske processer i borgernes dannelse af tilfredshed  også  meget  i  litteraturen.  Den  mest  anvendte  psykologiske  model  for, hvordan sammenligningen af forventninger og den oplevede kvalitet foretages, er Expectation-Disconfirmation-modellen (EDM). EDM benytter aktivt forventninger som sammenligningsstandard, og modellen er i det seneste tiår blevet  testet  med  udbredt  succes  i  den  offentlige  kontekst  (Filtenborg,  Gaardboe og Sigsgaard-Rasmussen, 2017; Poister og Thomas, 2011; Van Ryzin, 2004, 2013).1 Oversat til den offentlige kontekst siger EDM, at borgerne vil have forudgående forventninger til den service, som det offentlige leverer. Når borgerne benytter en service, oplever de et kvalitetsniveau, der enten be- eller afkræfter disse forventninger. Bliver de bekræftet eller måske ligefrem overgået af den oplevede kvalitet, er borgerne tilfredse. Hvis deres forventninger bliver afkræftet, bliver de skuffede og utilfredse (Oliver, 1980). Denne proces kan ses illustreret i figur 1.

EDM findes i flere udgaver (Oliver, 2010), men versionen i Figur 1 er den, som er blevet bredest anvendt i offentlig forvaltning (Andersen og Hjortskov, 2016; Filtenborg, Gaardboe og Sigsgaard-Rasmussen, 2017; Morgeson, 2013; Van  Ryzin,  2004).  Selve  be-  eller  afkræftelsesprocessen  er  illustreret  via  de to  koncepter  forventninger  og  oplevet  kvalitet,  der  begge  har  indflydelse  på

rigur 1: Expectation-visconnrmation-modellen

Forventninger F (+/-)

Figur 1: Expectation-Disconfirmation-modellen

C (+)

Note: Modellen er lånt fra Van Ryzen (2006) og Oliver (2010).

be-  og  afkræftelsen  (disconfirmation).  Jo  højere  borgerens  forventninger  er, desto større er sandsynligheden for, at den oplevede kvalitet ikke lever op til dem - alt andet lige. Det illustreres med pilen A, der typisk har et negativt fortegn (afhængigt af operationaliseringen af be- eller afkræftelse). Samtidig er det sådan, at jo højere borgeren bedømmer kvaliteten til at være, desto større er sandsynligheden for, at forventningerne bekræftes eller måske endda overgås. Derfor har pilen B et positivt fortegn i Figur 1. Dernæst har be- eller afkræftelse en positiv effekt på tilfredsheden, illustreret med pilen C. Samlet set udgør pilene A, B og C hovedargumentet i EDM (Van Ryzin, 2004).

Figur 1 har imidlertid en række ekstra pile, der i varierende grad er blevet teoretiseret over. Der er en direkte pil, E, fra den oplevede kvalitet til tilfredshed. Den er naturligt positiv og afspejler til dels den klassiske tilgang nævnt i det foregående afsnit, hvor diverse faktorer for kvalitet korreleres direkte med tilfredshed. E forudsiger en effekt af borgerens oplevede kvalitet, som ligger ud over be- eller afkræftelseseffekten. Effekten af E er ofte ganske stor i undersøgelser i den offentlige sektor (se fx Poister og Thomas, 2011; Van Ryzin, 2006).

Pilen F er af ældre dato og mindre selvindlysende. Den forudsiger en direkte effekt, enten positiv eller negativ, fra forventninger til tilfredshed - ud over beeller afkræftelseseffekten. F har teoretisk været forklaret med assimilation eller kontrasteffekter. Assimilation vil her give en positiv effekt af forventninger på tilfredshed, fordi borgerne vil have en tendens til gerne at ville have bekræftet deres forventninger - uanset deres opfattelse af kvaliteten. Det kan forklares med kognitiv dissonans, dvs. en følelse af ubehag, når virkeligheden ikke lever op til det forventede, og derfor tilpasser borgerne deres tilfredshed i retning af deres forventninger for at undgå dette ubehag. Effekten kan også opstå, hvis

D (+)

borgeren ikke kender meget til servicen eller ikke er specielt involveret i den og derfor er nødt til at læne sig kraftigt op ad sine forudgående forventninger uden at forholde dem til den opfattede kvalitet (Van Ryzin, 2004).

Den  anden  forklaring  på  tilstedeværelsen  af  pilen  F  er  kontrasteffekten, som giver  en  negativ  sammenhæng  mellem  forventninger  og  tilfredshed  ud over be- eller afkræftelseseffekten (C). Argumentet er kompliceret, da be- eller  afkræftelseseffekten  i  forvejen  er  en  kontrasteffekt.  Den  yderligere  effekt kan skyldes, at servicen af borgeren tildeles en yderligere 'tilfredshedsstraf' for ikke at leve op til forventningerne. Eller også tildeles servicen ekstra tilfredshed for at overgå forventningerne. Den ekstra kontrasteffekt er altså en tendens til at  overdrive  diskrepansen  mellem  forventningerne  og  den  oplevede  kvalitet (Oliver, 2010: 86). Denne ekstra kontrasteffekt vender naturligt modsat af assimilationseffekten, og derfor har F'et fået både et plus og et minus i Figur 1. Det afspejler også, at resultaterne i forskningen hidtil både har peget i den ene og den anden retning (se fx Poister og Thomas, 2011; Van Ryzin, 2006).

Slutteligt ses en dobbeltsammenhæng mellem forventninger og oplevet kvalitet (D). Der er i litteraturen angivet mulige forklaringer på den, selvom de mestendels er kontekstafhængige: I nogle tilfælde har borgere en vis indflydelse på servicens kvalitet, og det kan give en sammenhæng mellem forventningerne og den oplevede kvalitet (Oliver, 2010: 119-120). I den offentlige kontekst kan det fx være i forbindelse med samproduktionstiltag. I sådanne tilfælde kan det være, at samproducerende borgere lægger en større indsats i samproduktionen, fordi de forventer meget af den samproducerede service - en slags selvopfyldende profeti - eller at de har en tendens til at evaluere kvaliteten af en service, de  selv  har  været  med  til  at  producere,  i  overensstemmelse  med  deres  egne forventninger. Begge tilfælde vil resultere i en sammenhæng mellem forventningerne og den oplevede kvalitet. Sammenhængen mellem forventninger og oplevet  kvalitet  kan  imidlertid  også  skyldes  forskellige  metodiske  valg  eller omstændigheder (Hjortskov, 2018).

EDM kan virke som en mere akademisk end virkelighedsnær øvelse. Men modellens forudsigelser har konsekvenser for, hvordan tilfredshed skal måles, opgøres og fortolkes. Hvis modellen er rigtig, og borgernes forventninger ikke måles eller  tages  højde  for,  kan  simple  tilfredshedsgennemsnit  for  offentlige institutioner afspejle borgernes forventninger mere end den faktiske kvalitet. Dermed kan EDM fremstilles som en kritik af opfattelsen af, at tilfredsheden blot afspejler kvaliteten. Hvis en skole fx har lavere tilfredshed end andre skoler i samme kommune, kan det skyldes lavere kvalitet, men det kan også skyldes mere forventningsfulde forældre på lige netop den skole - uanset at kvaliteten faktisk er den samme på alle skolerne (Van Ryzin, 2013).

## Data og design

I det følgende vil jeg teste, hvorvidt to af de vigtige forudsigelser fra tilfredshedslitteraturen  holder  i  en  dansk  skolekontekst:  Kvaliteten  af  servicen  har indflydelse på tilfredsheden, og borgernes forventninger til deres børns skoler har indflydelse på tilfredsheden. Forældres tilfredshed med deres børns skoler er en oplagt case til at undersøge de to forudsigelser, idet der er tale om et stort, relativt komplekst velfærdsområde, hvor der i Danmark ofte foretages tilfredshedsmålinger. Desuden har skoleområdet i Danmark en stor fordel i at have gode objektive mål (blandt andet de nationale test) for den leverede kvalitet.

Hypotesen er for det første, at der er en positiv sammenhæng mellem kvalitetsmålet (her de nationale test i folkeskolen) og tilfredsheden. Dette er den klassiske hypotese i tilfredshedsforskningen og den underliggende antagelse i mange tilfredshedsundersøgelser, som skal levere kvalitetsindikatorer til den offentlige sektor. Den anden hypotese er, at forventninger har en negativ sammenhæng med tilfredsheden.  Det  vil  sige,  at  jeg  her  tester  EDM's  centrale kontrasthypotese: Jo højere forventninger, desto lavere tilfredshed - alt andet lige.  Desuden kan det med de forhåndenværende data sikres, at forventningerne er målt før den oplevede kvalitet og tilfredshed. Det giver mulighed for at teste, hvorvidt det påvirker resultaterne, at forudgående forventninger måles samtidig med den oplevede kvalitet, fordi man tilpasser sine forventninger til det, man har oplevet, for at undgå at have 'gættet forkert' (såkaldt backward assimilation (Oliver og Burke, 1999)).

## Data

Data kommer fra to bølger af Aarhus Kommunes forældretilfredshedsundersøgelse:  2011  og  2013  (Aarhus  Kommune,  2011;  Aarhus  Kommune,  2013). Undersøgelsen sendes ud til alle forældre, som har børn i skoler, daginstitutioner, klubber og SFO'er i kommunen. Hvert barn får et spørgeskema per institution, det benytter, hvorfor mange forældre besvarer flere spørgeskemaer per barn - men kun ét skolespørgeskema per skolebarn. Det er op til forældrene at bestemme, hvem der besvarer spørgeskemaet. Spørgeskemaerne kan forbindes på individniveau via cpr-nummer, hvilket vil sige, at forældrenes tilfredshed kan følges over tid i den udstrækning, de har besvaret spørgeskemaet i de to år. Skolespørgeskemaet havde 36 spørgsmål i 2011 og 30 spørgsmål i 2013, og de kunne besvares henholdsvis 26. oktober-18. december 2011 og 24. oktober-15. december 2013. Det ledte til svarprocenter på henholdsvis 62,6 pct. og 65,9 pct.

Tilfredshed er i denne artikel målt som et refleksivt indeks for hvert af de to år bestående af 11 spørgsmål i begge år.2 Skemaet består af tilfredsheds- spørgsmål, som spørger ind til forskellige delaspekter af skolernes service (fx: 'Hvor tilfreds er du med … dit barns faglige udbytte af undervisningen?'), og ét generelt spørgsmål ('Hvor tilfreds er du samlet set med dit barns skole?'). Se formuleringerne i Tabel A.2 i det supplerende materiale. I alle tilfælde er svarskalaen en 5-punktsskala fra 'Meget utilfreds' (1) til 'Meget tilfreds' (5). Manglende værdier er erstattet af gennemsnittet for observationen, og indekset er omskaleret til en 0-100-skala, hvor 100 repræsenterer 'Meget tilfreds' på alle de 11 spørgsmål.

I en faktoranalyse tyder det på, at spørgsmålene måler én og samme dimension  (eigenvalue  &gt;  6  i  begge  år),  og  indekset  har  en  Cronbach's  alpha-værdi på henholdsvis 0,91 (2011) og 0,92 (2013). Indekset måler én bagvedliggende tilfredshedsfaktor med en høj reliabilitet, også selvom spørgsmålene egentlig spørger ind til ret forskellige delaspekter af kvaliteten på skolerne. For at teste robustheden i denne antagelse er samtlige analyser også udført kun med det generelle spørgsmål omkring tilfredshed med skolen som helhed som afhængig variabel samt spørgsmålet 'Hvor tilfreds er du med … dit barns faglige udbytte af undervisningen?'. Resultaterne kan ses i det supplerende materiales afsnit B, og de viser i vid udstrækning det samme som de præsenterede analyser. Dog har spørgsmålet omkring fagligt udbytte en større sammenhæng med de nationale test, end det samlede indeks har.

To af de andre vigtige uafhængige variable måles også via spørgeskemaet i de to år ved hjælp af to enkeltspørgsmål. Det drejer sig om forventninger: 'Hvor ofte forventer du, at skolen leverer en høj kvalitet?' og oplevet kvalitet: 'Hvor ofte oplever du, at skolen leverer en høj kvalitet?' (understregninger originalt i spørgeskemaet). Spørgsmålene kunne besvares med 'Aldrig' (1) til 'Altid' (5) og er ens for de to skemaer. Begge typer mål er også anvendt i litteraturen (se fx James, 2009), men det er værd at notere sig, at de spørger ind til frekvensen af,  hvor ofte en specifik evaluering optræder eller forventes at optræde ('høj kvalitet').

Den sidste af de centrale uafhængige variable, objektiv kvalitet, måles ved hjælp af de nationale test i Danmark, som betragtes som et relativt validt mål for elevernes akademiske kunnen inden for testområderne (Beuchert og Nandrup, 2014). De obligatoriske nationale test gennemføres i foråret på alle landets  folkeskoler,  og  resultaterne  fra  2013  benyttes  i  denne  artikel  (målt,  før tilfredshedsspørgeskemaet 2013 blev sendt ud). De nationale test består af en række forskellige adaptive test inden for flere fag, men her benyttes kun test i dansk og matematik, som gennemføres i 2., 4., 6. og 8. klasse (dansk, læsning) samt 3. og 6. klasse (matematik). Det vil også sige, at brugen af de nationale test indsnævrer stikprøven til disse klassetrin i de aarhusianske folkeskoler (43

folkeskoler, 591 klasser, 5500 børn). Alle nedenstående modeller er imidlertid blevet testet uden de nationale test, med større stikprøve til følge, uden større ændringer i konklusionerne med hensyn til forventningers indflydelse på tilfredsheden.

I alle tilfælde er de tre profilområder,3 som en national test består af, blevet standardiseret og sammenregnet i ét mål, som det anbefales af Beuchert og Nandrup (2014). I denne artikel indgår de standardiserede nationale test i samme variabel, uanset hvilket klassetrin testen er taget på, og uanset om der er tale om dansk, læsning- eller matematiktesten (her er kun 3. klasse-testen benyttet). Testene benyttes altså ikke som mål på elevernes kunnen inden for hvert profilområde eller fag, men mere som en generel indikator på elevernes kunnen. I denne forbindelse er det vigtigt, at elevernes tilegnelse af kundskaber og færdigheder er en fundamental del af folkeskolens formålsparagraf4 og dermed formentlig kan siges at repræsentere en vigtig kvalitetsdimension, når forældrene skal evaluere skolens kvalitet. Ydermere er det vigtigt, at ikke kun elevernes lærere får besked om elevernes resultater af testen, men også forældrene  (Undervisningsministeriet,  2017).  Dermed  kan  det  samlede  nationale testmål fungere som et mål på kvalitetsfeedback fra skolerne til forældrene.

Slutteligt er de to spørgeskemaer samt de nationale test koblet til Danmarks Statistiks registerdata. I denne artikel benyttes registrenes oplysninger kun som kontrolvariable blandt andet med udgangspunkt i ovennævnte undersøgelser, der peger på, at borgernes baggrundskarakteristika kan have stor betydning for deres tilfredshed. Det drejer sig om oplysninger om fx barnets køn, alder, klassetrin og nummer i søskenderækken samt forældrenes uddannelse, socioøkonomiske status, om de er enlige forsørgere, og deres jobstatus. Desuden er nogle af Aarhus Kommunes oplysninger også benyttet som kontrolvariable, fx om eleverne har skiftet skole i perioden, ændring i budgetterne for skolerne, og hvorvidt skolen har fået ny skoleleder. Flere detaljer om data kan findes i det supplerende materiales afsnit A.

## Design

EDM kan undersøges på flere måder. En væsentlig udfordring i den sammenhæng er, at be- eller afkræftelsesdelen af modellen er en mediator af effekterne af forventninger og oplevet kvalitet. Det er velkendt, at mediation er en svær øvelse, selv hvis man har eksperimentelle data (Green, Ha og Bullock, 2010). Dernæst er målingen af be- eller afkræftelse ikke entydig. En typisk udfordring er, om be- eller afkræftelse skal måles med et specifikt spørgsmål (perceived disconfirmation), eller om målet konstrueres ved at trække forventningerne fra den oplevede kvalitet (subtractive disconfirmation) (Oliver, 2010; Van Ryzin, 2006). I spørgeskemaet fra Aarhus Kommune findes der desværre ikke et spørgsmål dedikeret til be- eller afkræftelse, så subtractive disconfirmation benyttes i stedet. Således måles be- eller afkræftelse i denne undersøgelse ved at trække forventningerne fra den oplevede kvalitet, hvilket resulterer i en skala fra -4 til 4 (begge spørgsmål er skaleret fra 1-5). Værdien -4 indikerer dermed, at forventningerne er meget højere end den oplevede kvalitet (5 mod 1), og at borgeren formentlig er skuffet over serviceniveauet, mens værdien 4 indikerer, at forventningerne er væsentlig lavere end den oplevede kvalitet (1 mod 5), og at borgeren formentlig er meget positivt overrasket.

Det er her værd at være opmærksom på, at hvis forventninger, oplevet kvalitet og be- eller afkræftelsesmålet indgår i den samme regression eller stimodel, vil der være tale om perfekt multikollinearitet, da be- eller afkræftelse består af de to andre variable. Derfor kan modellen med alle tre variable ikke estimeres. I stedet benyttes en metode, hvor de tre variable først indgår hver for sig i modellen. Dernæst estimeres også en model med både forventninger og oplevet kvalitet - den såkaldte direct effects-model (Oliver, 2010: 126; Page og Spreng, 2002).

Til gengæld har de aarhusianske tilfredshedsdata en meget stor fordel i at være  målt  over  to  på  hinanden  følgende  tidspunkter  (2011  og  2013),  og  at svarene kan forbindes mellem tidspunkterne på individniveau. Det vil sige, at der på individniveau kan tages højde for udviklingen i både oplevet kvalitet og forventninger samt den kombinerede be- eller afkræftelsesvariabel, når tilfredsheden skal forklares. Samtidig muliggør den tidsmæssige forskel en test af, hvorvidt det påvirker sammenhængene mellem borgernes forventninger og deres oplevede kvalitet, at førstnævnte er målt før sidstnævnte variabel. Så vidt vides, er det første gang, dette kan lade sig gøre i en undersøgelse af borgernes tilfredshed.

Alle de præsenterede modeller søger desuden at tage højde for den hierarkiske opbygning af data (multilevel). Det vil sige, at der både inddrages oplysninger om, hvilken skole og hvilken klasse barnet går i, når effekterne estimeres. Fordelen er, at der i multilevelmodellerne tages højde for, at observationernes værdier formentlig ikke er uafhængige, men korellerede inden for deres hierarkier  -  i  nærværende  tilfælde  skoler  og  klasser.  Desuden  er  det  muligt  at inkludere variable, som kun varierer på skoleniveau, fx budgetændringer eller ændringer i ledelsen. Modellerne tillader, at skolernes og klassernes konstanter varierer (random-intercept-modeller). Dog har jeg også tilladt varierende koefficienter for forældrenes forventninger i to specifikationer (random-coefficientmodeller), som kan ses i det supplerende materiales afsnit B (Rabe-Hesketh og Skrondal, 2012).

## Resultater

Tabel 1 præsenterer resultaterne fra en række forskellige random-intercept-modeller. Alle kontrolvariable er inkluderet i modellerne, ligesom de nationale test også er det. Igen påvirker det ikke de substantielle konklusioner for tilfredshed, oplevet kvalitet og forventninger at udelade de nationale test (selvom det ændrer antallet af observationer markant). I modellerne 1-4 inkluderes tilfredshedsvariablene, inklusive forventninger målt i henholdsvis 2011 og 2013, én ad gangen.

I forhold til forventningen om, at der er en sammenhæng mellem borgernes tilfredshed  og  det  objektive  kvalitetsmål  for  skolerne,  har  de  nationale  test en signifikant sammenhæng med forældretilfredsheden i samtlige modeller i Tabel 1. Estimaterne er stærkt signifikante, men ikke store. Eftersom de nationale tests er blevet standardiseret, skal estimaterne tolkes som en ændring i  testscoren  på  1  standardafvigelse.  En  ændring  på  1  standardafvigelse  i  de nationale test giver altså en ændring på mellem 1,104 og 1,817 i tilfredshed, hvilket ikke kan siges at være meget på en tilfredshedsskala på 0-100. Dermed er der altså en sammenhæng mellem det subjektive tilfredshedsmål og de objektive nationale test, men man kan også konstatere, at meget andet spiller ind på tilfredsheden.

I forhold til forventningen om at se en negativ sammenhæng mellem borgernes forventninger og tilfredsheden fremgår det i model 1 og 2, at forældrenes forventninger modsat tilfredsheden har positivt fortegn for både forventninger målt i samme spørgeskema som de resterende tilfredshedsvariable (2013) og for forventninger målt to år tidligere (2011). Sammenhængen mellem forventninger og tilfredsheden er dog noget svagere i 2011 (0,649) end i 2013 (2,587). Begge sammenhænge er dog små, al den stund at koefficienterne angiver, hvor meget tilfredsheden på skalaen 0-100 vil ændre sig, hvis forventningerne skifter 1 kategori op på skalaen 1-5. Det er altså også en ret lille effekt. Ydermere er forventningerne i 2011 ikke signifikante.

Derimod  viser  model  3,  at  den  oplevede  kvalitet  har  stor  indflydelse  på tilfredsheden (14,764). Ligeledes har be- eller afkræftelse stor indflydelse på tilfredsheden (9,717) i model 4. Her må vi imidlertid huske, at skalaen går fra -4 til 4 (subtractive disconfirmation), hvilket vil sige, at en ændring på 1 svarer til en mindre del af skalaen end for variablen oplevet kvalitet. Indsættes forventninger og oplevet kvalitet samtidig (direct effects-modellen), ændrer forventninger fortegn og har nu en negativ sammenhæng med tilfredsheden. Det gælder både, hvis de samtidige forventninger benyttes (model 5), og hvis tidligere forventninger benyttes (model 6). I disse tilfælde er forventningerne også signifikante, dog kun ved 10 pct.-niveauet i tilfældet med tidligere for- ventninger. Koefficienterne er dog stadig små (-1,997 og -0,501 henholdsvis). Oplevet kvalitet har stadig en stærk sammenhæng med forældretilfredsheden og er stærkt signifikant (15,234 og 14,801 henholdsvis). Det kan desuden tilføjes, at sammenhængen mellem borgernes forventninger og tilfredshed generelt ser ud som i Tabel 1, når forventningskoefficienten tillades at variere på tværs af klasser (Tabel C.1), og at der i denne specifikation er en signifikant forskel i størrelsen på forventningskoefficienten klasserne imellem.

Tabel 1: Random-intercept-multilevelmodeller. Tilfredshed i 2013

Note:  † p &lt; 0,10, * p &lt; 0,05, ** p &lt; 0,001. Klyngejusterede standardfejl på skoleniveau i parentes. Random-intercept-modeller med

| (6)   | -0,501             | (0,303)            |         | 14,801**              |                            | 1,111**                     | (0,239)   | 8,921    | (7,036)   | 0,934                                    | (0,330)      |                              | 2,036**   | (0,261)                      | 11,697** (0,174)   | Ja              | 5500   |
|-------|--------------------|--------------------|---------|-----------------------|----------------------------|-----------------------------|-----------|----------|-----------|------------------------------------------|--------------|------------------------------|-----------|------------------------------|--------------------|-----------------|--------|
| (5)   |                    | -1,997**           | (0,409) | 15,234**              |                            | 1,104**                     | (0,235)   | 14,681*  | (6,726)   | 0,917                                    | (0,349)      | 1,964**                      | (0,270)   | 11,654**                     | (0,180)            | Ja              | 5500   |
| (4)   |                    |                    |         |                       | 9,717** (0,341)            | 1,484**                     | (0,245)   | 71,772** | (6,936)   | 1,554 †                                  | (0,355)      | 2,594**                      | (0,306)   | 13,349**                     | (0,200)            | Ja              | 5500   |
| (3)   |                    |                    |         | 14,764**              |                            | 1,104**                     | (0,241)   | 7,062    | (6,843)   | 0,940                                    | (0,324)      | 2,034**                      | (0,261)   | 11,702**                     | (0,174)            | Ja              | 5500   |
| (2)   |                    | 2,587**            |         | (0,440)               |                            | 1,794**                     | (0,271)   | 50,206** | (7,254)   | 2,335**                                  | (0,436)      | 3,957**                      | (0,305)   | 15,049**                     | (0,155)            | Ja              | 5500   |
| (1)   | 0,649              | (0,400)            |         |                       |                            | 1,817**                     | (0,269)   | 59,781** | (7,446)   | 2,387**                                  | (0,443)      | 3,915**                      | (0,314)   | 15,128**                     | (0,152)            | Ja              | 5500   |
|       | Forventninger 2011 | Forventninger 2013 |         | Oplevet kvalitet 2013 | Be- eller afkræftelse 2013 | Samlede nationale test 2013 |           | Konstant |           | Skoleniveau Standardafvigelse (konstant) | Klasseniveau | Standardafvigelse (konstant) |           | Standardafvigelse (residual) |                    | Kontrolvariable | N      |

## Diskussion og konklusion

Tilfredshedsundersøgelser er i stigende grad populære kvalitets- og accountabilitymål i det offentlige. De giver et demokratisk rygstød til den offentlige organisation, fordi man på denne måde inddrager borgeren, og fordi de leverer mål på potentielt set mange vigtige ting i den offentlige organisation. En underliggende antagelse for denne brug af tilfredshedsundersøgelser er imidlertid, at tilfredsheden har en tæt sammenhæng med den faktiske kvalitet af den specifikke service (Stipak, 1979). Denne artikel har haft til formål at teste to  af  de  centrale  spørgsmål  fra  tilfredshedslitteraturen  på  empiri  fra  Aarhus Kommunes tilfredshedsundersøgelser af folkeskolerne: Er der en sammenhæng mellem et objektivt mål på kvaliteten og tilfredsheden, og påvirker borgernes forventninger deres tilfredshed?

Den empiriske undersøgelse viste, at et objektivt mål på kvaliteten, de nationale test, har en sammenhæng med forældrenes tilfredshed, men der er tale om en ret lille en af slagsen. Således er der heller ikke i denne undersøgelse en entydig  konklusion  på  sammenhængen  mellem  tilfredshed  og  kvalitet.  Det er dog betryggende for brugen af tilfredshedsundersøgelser, at der er en sammenhæng mellem de to mål - også på trods af en vis afstand i måletidspunkter.

Dernæst viste den empiriske undersøgelse, at forventninger og oplevet kvalitet har en sammenhæng med tilfredshed. Det blev vist i modeller, hvor de to variable indgik selvstændigt og i kombination i en be- eller afkræftelsesvariabel, samt i en direct effects-model. Dermed synes EDM at fungere, også i en dansk kontekst.  Sammenhængen er meget stærk mellem oplevet kvalitet og tilfredshed, som man kunne forvente, og noget mindre stærk for forventninger. Sammenhængens retning skiftede til gengæld for forventninger, alt efter om der er tale om forventninger alene (positiv, model 1 og 2) eller forventninger sammen med oplevet kvalitet (negativ, model 5 og 6). En mulig forklaring på den positive sammenhæng er assimilation, som forudsiger, at borgerne vil tilpasse deres tilfredshedsevaluering til deres forventninger for at undgå kognitiv dissonans (Oliver, 2010). Det vil give en positiv sammenhæng mellem de to.

Når fortegnet på forventningskoefficienten skifter ved inddragelse af oplevet kvalitet, kan det skyldes, at vi i det tilfælde ser på forventningernes sammenhæng med tilfredshed, mens den oplevede kvalitet holdes konstant. Det er altså 'alt andet lige-betragtningen', som også ligger i EDM: Når forventninger øges, vil  tilfredsheden alt andet lige falde (Andersen og Hjortskov, 2016). Det vil give en negativ sammenhæng mellem forventninger og tilfredshed, fordi vi ser på konsekvensen af at gå fra lave forventninger til højere forventninger uden at ændre på den opfattede kvalitet.

Nærværende undersøgelse er naturligvis ikke uden begrænsninger. For det første har operationaliseringen af alle subjektive variable været afhængig af de spørgsmål, som nu engang benyttes i Aarhus Kommune. Således kunne flere spørgsmål om både forventninger og oplevet kvalitet have været ønskeligt, så der kunne dannes indeks på baggrund af dem. Ydermere kan der ligge en udfordring i, at de to spørgsmål spørger ind til en frekvens ('hvor ofte') og en fastlåst evaluering ('høj kvalitet') frem for borgernes grad af forventninger og oplevet kvalitet. Denne tilgang benyttes også i litteraturen (se fx James, 2009), men borgerne kan muligvis opleve det at evaluere, 'hvor ofte' man forventer eller oplever høj kvalitet, som noget andet end at angive deres konkrete evaluering som grader på en skala. Hvis man eksempelvis altid forventer en 'meget høj' kvalitet, vil man så svare, at man aldrig blot forventer en 'høj kvalitet'? Det vil skabe udfordringer i denne undersøgelse, hvis det er tilfældet. Omvendt kan begge spørgsmål og generelt fænomenerne bag opfattes som nogle, der lægger sig tæt op ad tilfredshedsspørgsmålene, hvorfor der kan være en fordel i, at der spørges anderledes ind til dem i spørgeskemaet, for at respondenterne kan se forskel. Det vil dog være ønskeligt, om forventningerne fra tilfredshedslitteraturen også testes med brug af andre typer forventningsmål og mål for oplevet kvalitet i fremtidig forskning.

Samlet set er bidraget fra denne artikel, at både objektiv kvalitet og forventninger  betyder  noget  for  borgernes  tilfredshedsdannelse,  også  når  der  tages højde for forskellige måletidspunkter. Noget, som tidligere undersøgelser i vid udstrækning ikke har kunnet gøre. Det er dog ikke helt entydigt, om det er godt eller dårligt for brugen af tilfredshedsmålinger som kvalitetsindikatorer i den offentlige sektor.

Det er for det første godt, at et nogenlunde objektivt mål på noget, som de fleste anser for at være et kerneformål i den pågældende offentlige organisation (tilegnelsen af kundskaber i folkeskolen), også har en sammenhæng med borgernes tilfredshed med organisationen. Dermed synes det indledende krav til benyttelse af tilfredshedsundersøgelserne som kvalitetsmål - en sammenhæng med den faktiske kvalitet - at være opfyldt. Det er gode nyheder for brugen af tilfredshedsundersøgelser som et udtryk for kvaliteten i den offentlige sektor og et tegn på, at man ikke blot automatisk kan afvise borgernes holdninger og karakterisere dem som udtryk for tilfældigheder eller uvidenhed.

At sammenhængen ikke er stærkere i dette studie, kan skyldes, at de nationale test kun dækker en lille del af den samlede kvalitet ifølge forældrene (Favero og Meier, 2013). Således var der en stærkere sammenhæng, når kun ét  spørgsmål  vedrørende  elevernes  faglige  udbytte  benyttedes  som  afhængig variabel.  En  anden udfordring kan være, at forældre måske ikke reagerer så stærkt på niveauet i en sådan kundskabstest, men måske snarere ville reagere på ændringer over tid, hvis de skal tilskrive en kvalitetsforbedring til skolen. Fremtidige undersøgelser bør teste denne del af sammenhængen mellem tilfredshedsundersøgelser og objektive mål på kvalitet.

For det andet fandt undersøgelsen også indikationer på, at borgernes forventninger spiller en rolle i deres tilfredshedsevalueringer. Dette bør der tages højde for i  fremtidige  tilfredshedsundersøgelser,  som  i  højere  grad  bør  måle borgernes forventninger for at imødegå denne indflydelse. Ellers risikerer man at træffe forkerte beslutninger på baggrund af simple opgørelser af tilfredshed på institutionsniveau, hvor der ikke er taget højde for de forudgående forventninger. Omvendt tyder nærværende undersøgelse dog også på, at indflydelsen fra de forudgående forventninger ikke er stor.

Et naturligt spørgsmål vil her være, om politikere og andre beslutningstagere vil kunne påvirke borgernes forventninger og dermed sikre større tilfredshed med de offentlige serviceydelser? Litteraturen er tvetydig på dette punkt (Filtenborg et al., 2017; James, 2009; se fx Van Ryzin, 2004, 2006), måske fordi assimilation og kontrasteffekter af forventninger trækker i hver deres retning: Skal man søge at øge forventningerne i befolkningen og håbe på assimilationseffekter, eller skal man søge at mindske forventningerne, som EDM med dens kontrasteffekt ville foreskrive? Uanset retningen peger nærværende studie i retning af, at et forsøg på at manipulere befolkningens forventninger ikke vil have en stor effekt på tilfredsheden med de offentlige serviceydelser, eftersom sammenhængen mellem forventninger og tilfredshed er forholdsvis lille.

## Supplerende materiale

Supplerede materiale til artiklen findes her.

## Noter

1. EDM er dog også åben for, at andre standarder kan benyttes.

2.  Der er enkelte formuleringsforskelle mellem de to år. Fx er formuleringen 'evne til' udskiftet med 'indsats for' i spørgsmålet 'Hvor tilfreds er du med skolens evne til at udfordre det enkelte barn?'.
3.  Fx har dansk, læsning profilområderne sprogforståelse, afkodning og tekstforståelse.
4.  Se https://uvm.dk/folkeskolen/folkeskolens-maal-love-og-regler/om-folkeskolenog-folkeskolens-formaal/folkeskolens-formaal

## Litteratur

- Andersen, Simon Calmar og Morten Hjortskov (2016). Cognitive biases in performance evaluations. Journal  of  Public  Administration  Research  and  Theory 26  (4): 647-662.
- Beck, Paul Allen og Thomas R. Dye (1982). Sources of public opinion on taxes: the Florida case. The Journal of Politics 44 (1): 172-182.
- Beck, Paul Allen, Hal G. Rainey, Keith Nicholls og Carol Traut (1987). Citizen views of taxes and services: A tale of three cities. Social Science Quarterly 68 (2): 223.
- Beuchert, Louise Voldby og Anne Brink Nandrup (2014). The Danish national tests a practical guide. Economics Working Papers 2014-25: 1-51.
- Brown, Karin og Philip B. Coulter (1983). Subjective and objective measures of police service delivery. Public Administration Review 43 (1): 50-58.
- Favero, Nathan og Kenneth J. Meier (2013). Evaluating urban public schools: Parents, teachers, and state assessments. Public Administration Review 73 (3): 401-412.
- Filtenborg, Anders Foged, Frederik Gaardboe og Jesper Sigsgaard-Rasmussen (2017). Experimental replication: An experimental test of the expectancy disconfirmation theory of citizen satisfaction. Public Management Review online version: 1-16.
- Giese, Joan L. og Joseph A. Cote (2000). Defining consumer satisfaction. Academy of Marketing Science Review 1 (1): 1-27.
- Green, Donald P., Shang E. Ha og John G. Bullock (2010). Enough already about 'black box' experiments: Studying mediation is more difficult than most scholars suppose. The Annals of the American Academy of Political and Social Science 628 (1): 200-208.
- Hero, Rodney E. og Roger Durand (1985). Explaining citizen evaluations of urban services - a comparison of some alternative models. Urban Affairs Review 20 (3): 344-354.
- Hjortskov, Morten (2018). Citizen expectations and satisfaction over time: Findings from a large sample panel survey of public school parents in Denmark. The American Review  of  Public  Administration .  http://journals.sagepub.com/eprint/vCiJgWbmCiyxYpdmfzVq/full (28. marts 2018).

- James, Oliver (2009). Evaluating the expectations disconfirmation and expectations anchoring approaches to citizen satisfaction with local public services. Journal of Public Administration Research and Theory 19 (1): 107.
- Kelly, Janet M. (2005). The dilemma of the unsatisfied customer in a market model of public administration. Public Administration Review 65 (1): 76-84.
- Kelly, Janet M. og David Swindell (2003). The case for the inexperienced user: Rethinking filter questions in citizen satisfaction surveys. The American Review of Public Administration 33 (1): 91-108.
- Lyons, William E., David Lowery og Ruth H. DeHoog (1992). The politics of dissatisfaction: Citizens, services and urban institutions . Armonk, NY: M.E. Sharpe.
- Miller, Thomas I., Michelle M. Kobayashi og Shannon E. Hayden (2009). Citizen surveys for local government . 3. udgave. Washington, D.C.: International City Management Association.
- Morgeson, Forrest V. (2013). Expectations, disconfirmation, and citizen satisfaction with the US federal government: Testing and expanding the model. Journal of Public Administration Research and Theory 23 (2): 289-305.
- Oliver, Richard L. (1980). A cognitive model of the antecedents and consequences of satisfaction decisions. Journal of Marketing Research 17 (4): 460-469.
- Oliver, Richard L. (2010). Satisfaction: A behavioral perspective on the customer . 2. udgave. Armonk, NY: M.E. Sharpe.
- Oliver, Richard L. og Raymond R. Burke (1999). Expectation processes in satisfaction formation - a field study. Journal of Service Research 1 (3): 196-214.
- Page, Thomas J. og Richard A. Spreng (2002). Difference scores versus direct effects in service quality measurement. Journal of Service Research 4 (3): 184-192.
- Parks, Roger B. (1984). Linking objective and subjective measures of performance. Public Administration Review 44 (2): 118-127.
- Poister, Theodore H. og John Clayton Thomas (2011). The effect of expectations and expectancy confirmation/disconfirmation on motorists' satisfaction with state highways. Journal of Public Administration Research and Theory 21 (4): 601-617.
- Rabe-Hesketh, Sophia og Anders Skrondal (2012). Multilevel and Longitudinal Modeling Using Stata, Volumes I and II . 3. udgave. College Station, TX: Stata Press.
- Rasmussen, Pernille S., Leif Olsen og Lena Brogaard (2014). Kommuners erfaringer med BTU-konceptet for brugertilfredshedsundersøgelser - fra beslutning til gennemførelse og anvendelse. KORA.
- Song, Miyeon og Kenneth J. Meier (2018). Citizen satisfaction and the kaleidoscope of  government  performance:  How  multiple  stakeholders  see  government  performance. Journal of Public Administration Research and Theory . https://academic.oup. com/jpart/advance-article/doi/10.1093/jopart/muy006/4917728 (5. marts 2018).

- Stipak, Brian (1979). Citizen satisfaction with urban services: Potential misuse as a performance indicator. Public Administration Review 39 (1): 46-52.
- Undervisningsministeriet  (2017). Vejledning  til  de  nationale  test .  https://www.uvm. dk:443/folkeskolen/elevplaner-nationale-test-og-trivselsmaaling/nationale-test/vejledninger (30. oktober 2017).
- Uttl, Bob, Carmela A. White og Daniela Wong Gonzalez (2017). Meta-analysis of faculty's teaching effectiveness: Student evaluation of teaching ratings and student learning are not related. Studies in Educational Evaluation 54: 22-42.
- Van Ryzin, Gregg G. (2004). Expectations, performance, and citizen satisfaction with urban services. Journal of Policy Analysis and Management 23 (3): 433-448.
- Van Ryzin, Gregg G. (2006). Testing the expectancy disconfirmation model of citizen satisfaction with local government. Journal of Public Administration Research and Theory 16 (4): 599-611.
- Van Ryzin, Gregg G. (2013). Experimental test of the expectancy-disconfirmation theory of citizen satisfaction. Journal of Policy Analysis and Management 32 (3): 597614.
- Aarhus Kommune (2011). Forældretilfredshed 2011 . https://www.aarhus.dk/da/borger/ familie-boern-og-unge/Foraeldretilfredshed-2017/Foraeldretilfredshed-2013/Foraeldretilfredshed-2012.aspx (29. oktober 2017).
- Aarhus kommune (2013). Forældretilfredshed 2013 . https://www.aarhus.dk/da/borger/ familie-boern-og-unge/Foraeldretilfredshed-2017/Foraeldretilfredshed-2013.aspx (29. oktober 2017).