Digital innovation af folkeskolens åbenhed og sammenlignelighed - binære modellers endeligt?
Forfattere: Kim Normann Andersen, Helle Zinner Henriksen, Jeppe Agger Nielsen
Tidsskrift: politica (2013-01-01)

## Kim Normann Andersen, Helle Zinner Henriksen og Jeppe Agger Nielsen

## Digital innovation af folkeskolernes åbenhed og sammenlignelighed: binære modellers endeligt? 1

Denne artikel præsenterer en normativ model (Public Sector Process Rebuilding, PPR), som kan indfange, hvor innovativt offentlige organisationer anvender digitale løsninger. Optag af digital innovation anskues ofte i litteraturen binært enten er innovationen anskaffet eller ikke anskaffet. Vores argument er imidlertid, at optag af digitale innovationer kan gradbøjes . Vores sigte er derfor at få fokus væk fra anskaffelse og mere i retning af udnyttelse af digitaliseringen med henblik på at skabe forbedring af kerneydelserne og gavne slutbrugerne. Med empirisk afsæt i danske folkeskolers tolkning af lovkrav om åbenhed i uddannelserne og specifikt offentliggørelse af karakterer på internettet illustrerer vi, hvorledes PPRmodellen kan være med til at synliggøre graden af digital innovation eller mangel på samme. Det empiriske grundlag for artiklens analyse er dels en screening af 200 folkeskolers hjemmesider, dels 25 interviews med skoleledere, medarbejdere og forældrerepræsentanter i skolebestyrelser. Analysen viser, at skolerne er tilbageholdene med offentliggørelse af karakterer på internettet, og at størstedelen af skolerne ikke lever fuldt ud op til lovens krav. Indplacering af 200 skoler på PPRmodellens modenhedsniveauer gav således en meget skæv fordeling med 12 pct. på modellens to øverste trin og 75 pct. på modellens nederste trin. Interviews klargjorde, at centrale aktører i skolernes ledelse ikke mener, at offentliggørelse af karakterer er eller bør være i fokus for skolernes brug af internettet.

Undersøgelser af digitalisering i den offentlige sektor har leveret gode argumenter for ikke at forfalde til utopiske forestillinger om, at spredning af nye teknologier vil ske problemløst (Nielsen et al., 2013). Der er også hovedløst at  betragte anskaffelse som en innovation i sig selv (Rogers, 2003). Alligevel finder binære modeller for måling af digitale innovationers fremdrift stadigt indpas med årlige opgørelser af, hvor mange har anskaffet teknologi A og B, og hvor mange brugere der er af teknologi A og B. Vores budskab med denne artikel er at flytte fokus fra anskaffet/ikke anskaffet-dikotomien og zoome ind på graden af digitalisering, hvor slutbrugere bringes i fokus, og kerneydelserne træder mere i karakter. Til at guide denne omstilling har vi over de sidste 10-15 år udviklet og testet en modenhedsmodel, der på engelsk hedder Public Sector Process  Rebuilding  (PPR)  (Andersen,  2004;  Andersen  og  Henriksen,  2006; Andersen et al., 2012).

Vi anvender i artiklen PPR-modellen på Lov om gennemsigtighed og åbenhed  i  uddannelserne  m.v.  (Lov  414  af  6.  juni  2002)  og  analyserer  om  og  i givet fald, hvordan loven har givet anledning til, at karakterer for afgangsklasserne offentliggøres via skolernes hjemmesider. Kortlægningen af folkeskolernes åbenhed om karakterer er ikke en evaluering af folkeskolernes generelle digitale parathed. Folkeskolerne anskaffer avanceret teknologi i store mængder til  brug  i  undervisningen.  Folkeskolerne  kommunikerer  også  lystigt  digitalt med forældre  og  elever  via  elev-  og  forældreintranet.  Vores  ærinde  er  alene at  eksemplificere  PPR-modellen med folkeskolernes digitale åbenhed om offentliggørelse af karakterer på deres hjemmesider. Der er således ikke fokus på elev- og forældreintranet, som er lukkede fora, hvor omverdenen ikke lukkes ind, og hvor der kræves log-in. Dette fravalg er begrundet i, at log-in kompromitterer hele ideen bag Lov om gennemsigtighed og åbenhed i uddannelserne, som netop lægger op til, at data skal være umiddelbart tilgængelige.

Vi retter således sigtekornet mod digital innovation i folkeskolen, hvor formålet er at anvende internettet til at skabe mere åbenhed om folkeskolernes faglige formåen. Middelmådige placeringer i internationale PISA-undersøgelser i 00'erne førte til et massivt pres for forandring og nytænkning af folkeskolen. Et af midlerne til at fremme konkurrence og innovation af den faglige læring fremgik af Lov om gennemsigtighed og åbenhed i uddannelserne m.v., som pålagde skolerne at offentliggøre karakterer på internettet. Men i hvilken grad er det lykkedes at skabe denne åbenhed?

I artiklen søger vi ved hjælp af PPR-modellen at måle, hvor avanceret folkeskolen anvender internettet til at sikre åbenhed og gennemsigtighed om folkeskolens formåen. Vores argument i artiklen er, at det sker uhensigtsmæssigt ved brug af binære modeller, der udelukkende ser anskaffelse som en diskret variabel. Derfor opererer PPR-modellen med et kontinuum for en række variable, der søger at måle innovationens tilgængelighedsgrad for slutbrugeren. I forlængelse af den kvantitative måling af tilgængeligheden af karaktererne søger vi at belyse skoleledernes og skolebestyrelsernes holdninger til offentliggørelse af karakterer. Formålet med den kvalitative analyse er at få et mere nuanceret billede af holdningerne til offentliggørelse af karakterer på nettet.

## Digital innovation drevet af lovgivning

Digitalisering  er  på  alle  policy-niveauer  koblet  til  innovation.  På  EU-plan spænder  det  fra  nye  veje  til  inklusion  og  til  organisatorisk  forandring  (EU, 2011). På statsligt niveau og i KL's univers er digital innovation tæt forbun- det med effektivisering. Særligt området for velfærdsteknologier er tilsat store dele digitalisering med robotiseringen og brugerdrevne digitale løsninger i den kommunale  serviceproduktion.  Også  den  tvungne  digitalisering  (selvbetjening i kommunerne) med udrulningsbølgerne 2012-2015 er eksempler på en forventning om, at digitalisering kan føre til innovation og effektivisering af ydelser til borgerne (Digitaliseringsstyrelsen, 2011).

Der er i det offentlige landskab mange digitale innovationstiltag, der ikke er markante forvaltningsorganisatoriske nybrud. Men digitalisering har alligevel givet næring til, at forfattere har talt om, at New Public Management-bølgen (Hood, 1991) bliver afløst af digital governance med integration af tidligere atomiserede funktioner, en mere holistisk og behovs-orienteret struktur samt en gennemgribende digitalisering af administrative processer (Dunleavy et al., 2006). Der er i forskningslitteraturen også belæg for at have forventninger om øget produktivitet og forbedring af services ved brug af informations- og kommunikationsteknologier (Danziger og Andersen, 2002; Andersen og Danziger, 1995; Andersen og Henriksen, 2005), om end de ofte sker mere inkrementalt end radikalt (Norris og Reddick, 2013).

Fountain (2001) annoncerede i, hvad vi vil betegne som et gennembrudsværk om den digitale forvaltning, at cocktailen it, organisation og institutionelle kræfter kan lede til innovation, men at innovationens indhold og retning vil  være  uforudsigelig,  mangeartet og overraskende med hensyn til, hvor og med hvilken styrke innovationen bryder igennem. Tilsvarende har blandt andre Christoffer Pollitt advokeret for, at man ikke kan lukke øjnene for den digitale innovation, der generelt sker i samfundet, og som udfordrer den offentlige sektors  legitimitet.  Digitalisering  kan  facilitere  gennemgribende  innovation, hvor den offentlige sektor skal vænne sig til en ny rolle, hvor de møder borgerne i virtuelle rum på tidspunkter og platforme, der ikke tager udgangspunkt i den fysiske bygning. Den offentlige sektor skal være til stede på virtuelle platforme, som i lige så høj grad formes og udfyldes med borgerne. Denne omstilling fra det fysiske rum til det virtuelle rum er indfanget af, hvad Pollitt betegner placemakers (Pollitt, 2012).

I denne artikel refererer vi til innovation som: 'udvikling, accept og implementering af en ny ide eller tilgang til en problemstilling blandt en gruppe af individer. Innovation udfordrer gængse antagelser og øger derved fælles goder og skaber offentlig værdi' (Bland et al., 2010: 2, vores oversættelse). Bland et al. (2010) forudsætter, at der reelt skabes en værdi i den offentlige sektor ved optag af innovationen. Denne tolkning ligger i tråd med tankegangen med PPR i og med, at der fokuseres på værdien af digitalisering i et borgerrettet perspektiv.

Folkeskolen blev med Lov om gennemsigtighed og åbenhed i uddannelserne m.v. (Lov 414 af 6. juni 2002) samt revisionen fra 2005 (Undervisningsministeriet,  2005)  genstand  for  normativ  styring  af  dens  digitale  innovationsaktiviteter. Loven foreskriver, at Folkeskolen skal publicere gennemsnittet af afgangsklassernes karakterer på internettet. Det er selvsagt ikke usædvanligt, at folkeskolen pålægges regulering i forhold til dens aktiviteter. Det usædvanlige er, at der stilles krav om, at dele af skolens aktivitet skal offentliggøres på internettet. Lov 414 af 6.6.2002 fastslog at

§ 1. Oplysninger om undervisning, uddannelser, skoler og uddannelsesinstitutioner skal efter bestemmelserne i denne lov være offentligt tilgængelige på internettet, så borgerne enkelt og hurtigt kan vurdere kvaliteten af undervisningen på de enkelte skoler og institutioner.

Allerede  i  forarbejderne  er  netop  internettet  som  formidlingskilde  genstand for diskussion. Direkte adspurgt om, hvorvidt skolerne selv må afgøre hvor på hjemmesiden, karakterne skal præsenteres, fastslår ministeren, at det er op til den enkelte skole at afgøre, men at:

der vil blive udarbejdet en vejledende hjemmeside, der skal kunne anvendes direkte af institutionerne/'skoleejerne' eller bruges som inspiration. Ved at anvende den vejledende hjemmeside vil skolen eller institutionen få sikkerhed for, at lovens krav om enkel, gennemsigtig og åben information er opfyldt. Der vil imidlertid  ikke  være  lovkrav  om  at  anvende  den  vejledende  hjemmeside,  og institutionen eller 'skoleejerne' vil derfor i forhold til lovforslaget selv kunne bestemme, hvor på skolens eller institutionens hjemmeside, karakteroplysningerne vil blive anført. Det vil dog være en forudsætning, at oplysningerne offentliggøres  på  en  let  tilgængelig  måde  på  skolens  eller  institutionens  hjemmeside.

Hvis det skulle vise sig, at offentliggørelsen ikke sker på en hensigtsmæssig, let tilgængelig måde som krævet i lovforslaget, vil der efter forslagets § 4 være mulighed for at fastsætte nærmere regler om formen for offentliggørelsen.

Loven lægger op til en høj grad af individuel fortolkning i den enkelte folkeskole. Innovation er således ikke et binært forhold i den forstand, at det drejer sig om online offentliggørelse eller ej. Alle karakterer er tilgængelige via UNIC hjemmesiden, og borgerne kan finde afgangskarakterer og anden information ved at søge efter dette på statweb.uni-c.dk. Det er imidlertid vores argu- ment, at folkeskolerne ved aktivt at fravælge offentliggørelse af karaktererne på deres egne hjemmesider gør det vanskeligere for forældre at tilgå informationen om karaktererne, og at de dermed måske også afskæres fra at sammenligne på tværs af folkeskoler.

I vores operationalisering af PPR-modellen i relation til folkeskolernes implementering af loven søger vi at afdække, hvorledes skolerne aktivt anvender deres hjemmeside til at offentliggøre karaktergennemsnit. I næste afsnit præsenterer vi modenhedsmodeller som begreb og illustrerer, hvorledes modellen er operationaliseret i forhold til Folkeskolen.

## Modenhedsmodeller anvendt som måleinstrument for digital innovation

Modenhedsmodeller er et instrument til at vurdere, hvor avanceret organisationer anvender it. De anvendes ofte som udgangspunkt for, hvor innovative organisationer er. En grundlæggende antagelse vedrørende modenhedsmodeller er målsætningen om, at en organisation placerer sig så højt som muligt i forhold til modellens niveauer. En af de mest udbredte modenhedsmodeller i relation til den offentlige sektor er publiceret af Layne og Lee (2001). Layne og Lee opererer i lighed med en række andre modenhedsmodeller (Baum og Di Maio, 2000; Moon, 2002; Siau og Long, 2005) med graden af dataintegration på den ene akse, mens graden af teknologisk kompleksitet udgør den anden akse.

Fælles for modenhedsmodellerne er, at de lander på fire stadier af modenhed typisk reflekteret i kategorier som katalog (visning af data på hjemmeside), transaktion (det er muligt at gennemføre transaktioner fx betaling eller indsende data), vertikal integration (det er muligt at kommunikere og hente data fra andre enheder i organisationen), og endelig horisontal integration (der kan anvendes data på tværs af organisatoriske enheder, fx andre forvaltningsområder).

Det kan diskuteres, om det er et reelt mål for organisationer, at man målrettet tilstræber et sådant evolutionært fokus for organisationens aktiviteter. Det kan anfægtes, at det reflekterer et idealbillede af en homogen organisation, som ikke findes, og som heller ikke er ønskværdig (King og Kraemer, 1984). Problemet med normative modeller som eksempelvis Layne og Lees (2001) modenhedsmodel er, at de bliver citeret så ofte, at man ender med at betragte stadierne som en udviklingsvej, der afspejler empiriske data. Coursey og Norris (2008) har eksempelvis påpeget, at empiriske data for brugen af internettet som kanal for digitale borgerservices viser en så lille trafik, at det giver meget lidt mening at tale om empirisk funderede udsagn om retning eller stadier. Tilsvarende har vi på dansk grund vist, at hvad angår den samlede digitale kommunikation i kommunerne, så er det mere retvisende at anvende en ødegård fremfor en banegård i myldretiden som metafor (Andersen, 2012).

Når vi trods disse reservationer alligevel fastholder de normative modellers relevans, er det koblet til et behov for en fremadrettet indsats for digitale innovationer, som kan måles på nogle kontekstspecifikke indikatorer. Digitalisering er på dagsordenen i kommuner, regioner og stat som en mulig redningsplanke for at forene det tilsyneladende umage par: innovation og omkostningsreduktion. Som led i dette krav, er der et massivt pres for at få forskningsmæssig indsigt i, hvor avanceret offentlige organisationer anvender digitale løsninger. Modenhedsmodeller yder et bidrag til denne indsigt.

## PPR-modellen

Modenhedsmodellen, som vi præsenterer, eksemplificerer og diskuterer i denne artikel, er i lighed med de ovennævnte modeller en normativ model med fire niveauer. Den deler antagelsen om, at den generelle målsætning er at være placeret på så højt niveau som muligt. Vi refererer til modellen som PPR-modellen (en  forkortelse  for  Public  Sector  Process  Rebuilding  Using  Information  Systems). Modellen er præsenteret i mere udtømmende form i Andersen (2004), Andersen og Henriksen (2005) og Andersen et al. (2012).

På dansk grund kan PPR bringe associationer til en helt anden boldgade (pædagogisk-psykologisk rådgivning), men den engelske version af PPR har en anden og beslægtet trebogstavpartner, BPR. Business Process Reengineering (BPR) tog i 1990'erne kegler i innovationslitteraturen med dens insisteren på radikale forandringer med fokus på kundens værdi for virksomheden (Hammer og Stanton, 1995). PPR-modellen sætter i tråd hermed borgeren i fokus for ny anvendelse af teknologi i den offentlige sektor. Målestokken og ledetråden for forståelsen af modenhed er i vores optik således ikke, om X antal ansatte har været på kursus i digital innovation, om nogle skoler har været i stand til at  anskaffe  innovative  teknologier hurtigere end andre, eller om der sket en ændring i den interne organisation ved øget brug af it.

Vi har alene været optaget af at udvikle en model, som kan indfange den digitale innovation ud fra slutbrugerens perspektiv, og en model, der belyser kerneaktiviteternes digitalisering. Vi udviklede modellen som modsvar på det ensidige  fokus,  der  er  i  eksempelvis  Layne  og  Lees  model  på  organisatorisk modenhed og teknologisk fremdrift (Layne og Lee, 2001). Omend Layne og Lee-modellen fortsat  er  markant  mere  citeret  end  vores  model,  så  har  PPRmodellen fået en vis international gennemslagskraft med 234 citationer (per marts 2013) af artiklen, hvor modellen oprindelig blev præsenteret for et internationalt publikum.

Modenhedsmodellen  har  to  dimensioner.  Den  horisontale  dimension  er aktivitetsorientering, mens den vertikale dimension afspejler et bruger-/kundefokus. Afhængig af hvor ofte og generelt aktiviteterne er i fokus, og hvor tydelig bruger-/kundefokus er, jo højere modenhedsniveau vil organisationen/ hjemmesiden blive indplaceret på. Modellen har fire niveauer eller faser: kultiveringsfasen, udviklingsfasen, modenhedsfasen og forankringsfasen. Modellen er generisk og derfor ikke udviklet specifikt til vurdering af modenheden af digitale  innovationer i  folkeskolernes åbenhed på nettet. Nedenstående gennemgang af faserne er derfor også forholdsvis generel i indhold.

Kultiveringsfasen er karakteriseret ved at have ringe eller fraværende fokus på slutbrugerne. Der er et uklart eller helt fraværende fokus på kerneaktiviteterne. Borgeren  oplever,  at  institutionen  er  utilgængelig,  der  kan  være  manglende eller ikke opdateret information og ingen mulighed for at følge data online. Borgerne oplever ikke, at it og internet giver øget gennemsigtighed og tilgængelighed.

Udviklingsfasen er karakteriseret ved, at der holdes igen med digital adgang for borgerne. Der findes ydelser online, men der er uklar eller ingen strategi for,  hvilke data der tilbydes online. Borgerne kan finde en række data, men data kan ikke tilgås i et dynamisk miljø. Der er således et betydeligt element af manuelle rutiner i forbindelse med tilvejebringelse af data via internettet.

Modenhedsfasen er karakteriseret ved at borgernes behov er sat i centrum for digitale  aktiviteter.  Information  om  kerneydelserne  er  digitaliserede  og  kan tilgås af borgerne. Konsekvensen er, at borgerne aktivt kan få indblik i egne data. Borgeren får en oplevelse af, at it bringer borgeren i centrum i forhold til de offentlige services.

Fjerde og sidste fase er forankringsfasen . I denne fase er der (digital) mobilitet på tværs af organisationer og udbydere af services. Internettet ses som et middel til at behandle borgerhenvendelser med faldende omkostninger til følge for den enkelte henvendelse. Digitaliseringen ses ikke som et middel til at isolere borgeren, men derimod som et instrument til at bringe borgeren i fokus.

De fire trin i modellen indeholder som øvrige modenhedsmodeller en normativ forestilling om, at digital innovation, der er på trin 4, er bedre end digital innovation på trin 1. Der kan være mange tilfælde, hvor man vælger ikke at  anvende  ressourcer  på  forbedringer  af  dataadgang  via  nettet  på  grund  af en  relativ  ressourcebetragtning,  eller  fordi  man  ikke  har  mandskabet  til  at komme op på trin 3. Det afgørende bidrag fra PPR-modellen er imidlertid, at den sætter fokus på, om den digitale innovation har fokus på slutbrugerne og kerneaktiviteterne. Fokus er ikke en evaluering af den teknologiske fremdrift eller  back-office-integration.  De  kan  være  nødvendige  midler  for  at  komme Fokus på slutbrugerne Entydigt og fremtrædende Manglende eller fraværende Trin 4: Forankringsfasen tættere på slutbrugerne og bringe kerneaktiviteterne i spil, men det er de ikke nødvendigvis.

Figur 1 : PPR modenhedsmodellen for den offentlig sektor

## Dataindsamling

Det empiriske grundlag for artiklens analyse bygger på to sæt data: en modenhedsvurdering af 200 folkeskolers hjemmesider og 25 interviews med skoleledere, medarbejdere og forældrerepræsentanter i skolebestyrelser.

For at udforske folkeskolernes brug af internettet til at skabe åbenhed om afgangskarakterer, har vi gennemført en modenhedsvurdering af et geografiskstratificeret udvalg af folkeskolernes hjemmesider. Der er godt 1.500 folkeskoler  i  Danmark. Vi har udvalgt i alt 200 skoler. Med udgangspunkt i denne kortlægning, der viser et meget lavt modenhedsniveau, har vi gennemført 25 kvalitative interviews med skoleledere, forældre og medarbejdere for at belyse mulige årsager til den manglende digitale åbenhed om karaktererne.

I  vurderingen  af  skolernes  hjemmesider  bygger  vi  på  den  kognitive  gennemgangsmetode (Wharton et al., 1992), hvor vi foretager en vurdering af en given hjemmeside med henblik på at hente information uden at have forudgående kendskab til hjemmesidens struktur eller indhold. Metoden forsøger således at indfange, hvordan brugeren af en given hjemmeside oplever indhold og navigation på siden. Metodens styrke er, at den fokuserer på løsning af en specifik  opgave  (Nielsen,  1994).  I  vores  tilfælde  er  den  specifikke  opgave  at finde skolens offentliggørelse af karakterer på hjemmesiden. Målsætningen er at sætte sig i slutbrugerens sted. Dette tilfælde primært forældre, som ønsker at  vurdere  en  given  folkeskole  på  baggrund  af  offentliggjorte  karakterer  og/ eller andet materiale, som kvantitativt eller kvalitativt beskriver skolen. Den konkrete vurdering tager udgangspunkt i tolv specifikke variable, som repræsenterer modenhedsmodellens fire faser. De tolv variable er gengivet i figur 2.

Undersøgelsesvariablene er defineret med afsæt i Lov om gennemsigtighed og åbenhed i uddannelserne m.v. (Undervisningsministeriet, 2005), herunder lovens forarbejder, samt generelle karakteristika vedrørende hjemmesider (frekvens af opdatering og brugervenlighed) og tilhørende teknologier (web 2.0). Der er således taget afsæt i specifikke faktorer hentet fra lovteksten og dennes forarbejder,  samt  de  på  tidspunktet  for  undersøgelsen  relevante  teknologier. Udarbejdelsen af undersøgelsesvariable foregik som en eksplorativ proces, hvor der i de første vurderinger af hjemmesiderne blev justeret ind i forhold til variable, som reelt gav mening i forhold til den empiriske kontekst.

Kategoriseringen af hjemmesiderne er sket er ud fra vurdering af de umiddelbart tilgængelige dele af hjemmesiderne. Der er tildelt samme tidsforbrug (maksimalt 15 minutter) til vurdering af hver hjemmeside. Det er vores antagelse, at yderligere tid til vurdering ikke ville være i tråd med, hvad faktiske brugere kan forventes at anvende til at finde informationen.

Hver variabel har en udfaldsramme fra 1 til 5, med 5 som det højeste pointtal.  Der  er  dog  angivet  værdien nul, hvis det ikke har været muligt at klassificere den enkelte variabel. Dette kontinuum for vurdering af anskaffelse og anvendelse af den digitale innovation står i modsætning til de diskrete innovationsmodeller, der typisk opererer med den binære værdi 1 (anskaffet) eller 0 (ikke anskaffet).

Der er foretaget en ikke-vægtet tildeling af point ud fra de 12 kriterier, der afspejler grader af brugerretning og aktivitetsorientering. Den samlede mulige pointsum for PPR-modellen er fra 0 til 60. Ved summering af pointscore fra de tolv variable er hver af de 200 skolers hjemmeside placeret i en af de fire faser. 0-24 pct. af den maksimale pointsum fører til placering i den første fase (kultiveringsfasen), 25-49 pct. af pointsummen placerer skolen i den anden fase (udviklingsfasen), 50-74 pct. af pointsummen i den tredje fase (modenhedsfasen), og 75 pct. eller mere af maksimalscoren på de 60 point placerer skolen i den sidste fase (forankringsfasen).

I kølvandet på modenhedsvurderingen af folkeskolernes hjemmesider gennemførte vi fem semistrukturerede interviews med skoleledere samt 20 telefoninterviews med forældre- og medarbejderrepræsentanter i skolebestyrelserne. Skolelederne blev spurgt om, hvordan de vurderede relevansen af at publicere karakterer på internettet, hvordan de prioriterede digitalisering af kommunikationen om karakterne, og hvordan de vurderede efterspørgslen efter åbenhed om karaktererne. Interviews med skoleledere foregik blandt et udvalg af de 200 skoler, hvis hjemmesider vi havde kortlagt. Hvert modenhedstrin er repræsenteret med mindst én skole.

Telefoninterviews  med  skolebestyrelsesmedlemmerne  (medarbejderrepræsentanter  og  forældre)  var  fast  strukturerede  interviews,  der  sigtede  mod  at indhente viden om, hvorvidt respondenten var bekendt med, om skolen offentliggør karakterer på nettet, og om de mener, der blandt forældrene efterspørges øget åbenhed om karakterne. I vores undersøgelsesdesign har vi betragtet forældrerepræsentanter i skolebestyrelserne som proxy for forældrenes holdninger til offentliggørelse af karakterer på skolernes hjemmesider. Slutbrugernes vurdering er altså indeholdt i vores design gennem inklusion af forældrerepræsentanterne samt spørgsmålene til medarbejderne og skolelederne om deres vurdering af forældrenes efterspørgsel efter åbenhed om karakterne. Skolelederne er endvidere centrale aktører, eftersom de administrerer loven og derigennem er med til at afgøre, om karaktererne bliver offentliggjort.

## Analyse

Kortlægningen af skolernes hjemmesider viser helt overordnet, at information om karaktererne for afgangsklasserne enten findes på skolens egen hjemmeside eller i de fleste tilfælde med link til nationale databaser. Ud fra en binær innovationsmodel er lovens  sigte  om  at  skabe  åbenhed  om  karakterne  således opfyldt.  Det  er  muligt  at  finde  skolernes  afgangskarakterer.  Kortlægningen og kodningen af hjemmesiderne efter PPR-modellens variable giver imidlertid et delvist andet billede. Information om karakterne er vanskeligt tilgængelig. Den står ikke centralt på knapt 90 pct. af skolernes hjemmesider. Vi vil i det følgende kvalificere denne overordnede konklusion og med afsæt i vores interviewdata give bud på, hvorfor karaktererne ikke har en mere fremtrædende placering på hjemmesiderne.

Langt hovedparten (75 pct.) af skolernes hjemmesider er i PPR-modellens kultiveringsfase med ingen interne links til nøgledata for karakterer for 8. til 10. klassetrin. Der henvises i stedet til eksterne hjemmesider, som Folkeskolerne reelt ikke har indflydelse på, når det gælder opdatering eller anden information specifikt relateret til den konkrete skole, fx skolens kvalitetsrapport eller anden information, som kan være med til at forklare et givet gennemsnit. Modenhedsvurderingen viser også, at der er langt mellem opdateringen af information, og at hjemmesiderne er designet uden synligt fokus på variation i brugernes behov. Der er således fx ikke taget højde for, at forældre til børn på forskellige  klassetrin  har  forskellige  informationsbehov.  Omend  det  kan  argumenteres, at dette er noget, man typisk tager højde for på forældreintranet, hvor  information  målrettes  de  enkelte  klasser,  kan  denne  information  ikke tilgås af forældre, der ikke har børn på den pågældende skole.

På det andet niveau (udviklingsfasen) befinder 13 pct. af skolerne sig. Her er der uklare præmisser og strategier for, i hvilket omfang internettet skal anvendes til at sikre gennemsigtighed, og der er et stærkt element af reservation over for øget åbenhed om karakterer. Generelle målsætninger er tilgængelige, og der er link til hjemmesider, hvor brugeren kan klikke sig til data om den pågældende skole. Der er dog ikke direkte links til skolens data, og brugeren af hjemmesiden tilskyndes ikke til at konsultere disse data fx med information om, at 'Her kan du finde x-skoles karaktergennemsnit'. Et karakteristikum for denne gruppe er, at det synes uklart, om sigtet med hjemmesiden er at skabe åbenhed, eller om sigtet er at give så lidt og så usystematisk information som muligt. Dermed er der stor risiko for, at hjemmesiden ikke lever op til PPRmodellens to sidste faser.

På det tredje niveau (modning) befinder 8 pct. af skolerne sig. På dette niveau er der entydige links til hjemmesider, hvor information om karakterer kan findes, og skolens målsætninger og indikatorer for indfrielse af disse er tilgængelige på hjemmesiden. Der er gjort en solid indsats for at skabe troværdige og synlige processer. Der er individuelle brugergrænseflader, og internettet er et centralt middel til øget åbenhed. Strategien for disse hjemmesider synes klar: Internetteknologien søges anvendt, for at brugerne nemt og let kan få indblik i centrale output mål.

4 pct. af skolerne er på det fjerde og sidste trin (forankringsfasen). Her er der evidens for brug af web 2.0 og såkaldte rige medier til dialog og involvering af nuværende og/eller fremtidige brugere. På dette trin er det enkelt at finde data om karakterer, herunder variationen i karaktererne. Der er endvidere data om trivsel og anden information, der understøtter brugerens vurdering af, om skolen har klare målsætninger og opfølgning af, om disse opfyldes. Denne gruppe af folkeskoler er karakteriseret ved, at internettet benyttes som et middel til at skabe øget gennemsigtighed og åbenhed - med fokus på forældre og andre interessenter.

Vi har i figur 2 angivet procentfordelingen af de 200 skolers digitale modenhed ud fra PPR-modellens begrebsramme. Tre fjerdedele af skolerne er i Fokus på slutbrugerne Entydigt og fremra de nole Mangle nde eller frava rende Trin 4: Forankringsbisen (4 pct.)

·ulput mål som karaklerge ne menit og spred ning smal

modellens kultiveringsfase og dermed meget lidt i tråd med de innovative muligheder, som internettet giver for at leve op til lovens bogstav om åbenhed om karakterer på nettet. Blot 4 pct. af skolerne er på modellens øverste modenhedstrin. Trin 3: Modenhedsfase n (8 pct.)

Entydige link fil hie mmesider hvor neglell tor skolens output kan finde

Individuelt tilpasset brugerinterfao

Figur 2 : Folkeskolens digitale innovation

Trin 2: Udviklingsfasen (13 pct.)

Inet eller i meget uklart omfang

Samlet set viser kortlægningen af de 200 folkeskoler, at det mange steder kræver en ganske stor tidsmæssig indsats at finde karaktererne, og at det kræver betydelige kompetencer i internetsøgning. I praksis er der risiko for, at forældre, som ikke er rutinerede brugere af internettet, kobles af i forhold til 'vurderingen af kvaliteten af undervisningen' jf. lovens §1. En skoleleder er opmærksom på dette forhold, om end han bagatelliserer problematikken:

de socialt betingede faktorer, der slår igennem på alt, det slår også igennem på, om du søger karakterer, men jeg vil sige, at man skal passe på ikke at gå og blive deprimeret over det, der går dårligt, man kunne jo også glæde sig over det, der går godt, og det der går godt det er så, at forholdsvis veluddannede, jeg vil endda sige fra faglærte arbejdere og op efter, der er folk i stand til at søge den viden de har, og der er karakterer noget, der følger med, det er der slet ingen tvivl om.

Analysen af folkeskolernes praksis i forhold til offentliggørelse af karakterer understreger imidlertid også, at anskaffelse af digitale innovationer kan gradbøjes, og at der er stor variation i måden, hvorpå loven er tolket og efterlevet. Langt de fleste skoler (75 pct.) har dog tolket loven i digitaliseringens disfavør. Digitaliseringen synes på mange skoler gennemført på et niveau, der ikke gør det ligetil for forældre og andre interessenter at tilgå karaktererne online.

Interviewdata peger på, at der er gode forklaringer på dette forhold. Flere interviews indikerer, at offentliggørelse af karakterer ikke har den store betydning. Mange skoler har endvidere på hjemmesiderne offentliggjort kvalitetsrapporter, hvori afgangskaraktererne også burde være inkluderet. Flere skoleledere gav udtryk for, at informationen er tilgængelig der, og således at der ikke behøves at være særskilt adgang med direkte link til karaktererne. De samme skoleledere  udtrykte  også,  at  hvis  forældrene  er  interesseret  i  informationen, kan den findes via generel Google-søgning eller direkte fra UNI-C's hjemmeside. En leder siger: 'Ja, vi har jo kvalitetsrapporten, og der kan de lede efter det, hvis de vil, hvis de vil ind og nærlæse den, så på sin vis synes jeg, det er i orden, at der er et link fra vores side og op til UNI-C ... men det er ikke det, vi allermest går op i, lad os sige det på den måde, så det ligger ikke på forsiden.'

Ifølge skolelederne er der imidlertid ikke megen efterspørgsel fra forældrene. En skoleleder forklarer:

for det første er der ikke mange, der efterspørger det. Det er altså ikke det samme som, at mange af de ressourcestærke ikke ser karaktererne, det gør de faktisk. Her i vores kvarter som sagt, der er der et såkaldt ghettoområde, men der er jo også nogle af de mest ressourcestærke familier ... overhovedet, de befinder sig også i det her skoledistrikt ... Altså skolevalg foregår også på baggrund af karakterer, men der er nok ting, der tæller stærkere. Der er tre ting, der tæller stærkere end karakterer og én af de ting, der tæller stærkere, det er, om ens barn vil trives dér. Den anden det er, hvor går de andre i gaden, altså kammeraterne. Det tæller også rigtig, rigtig meget. Og det tredje, det er skolens omdømme.

Den lovgivningsdrevne digitale innovation savner således ifølge skolelederen en efterspørgsel hos brugerne af folkeskolen. Den manglende fokus på informationen på hjemmesiderne kan derfor i skoleledernes egen forklaringsramme godt tolkes som værende i tråd med forældrenes ønsker til, hvilken information der skal være på hjemmesiderne. En af de interviewede skoleledere hæv- der endda, at han er på en skole, hvor 'digital information ikke kunne være en mere fjern mulighed'. Forældrene har, ifølge skolelederen, den nødvendige information allerede, og de står ikke i en reel valgsituation. Skolen er placeret i et område, hvor der ikke er reelle alternativer, og hvor forældre til elever selv har gået på skolen. Der er aktiv involvering og en række aktiviteter på skolen udenfor skoletid. Skolelederens oplevelse af, at der ikke er nogen efterspørgsel, kan afspejle den solide placering, involvering og dialog med forældrene gennem andre kanaler: 'og … forældrehenvendelser der siger 'aha!', det er sjældent de kommer og siger, 'vi kunne godt tænke os at have vores børn gående her, fordi I ligger godt', det gør de ikke.'

I et andet interview udtrykker en skoleleder klart, at det er trivsel, der er i højsædet, og at offentliggørelse af karakterer ikke har den store betydning:

I min karriere som skoleleder, som efterhånden er på ti år, der har jeg stort set kun oplevet, at det handler om trivsel. Man kan sagtens sidde og snakke med forældre om, hvad det er, der betyder noget i skolen, og så kan man godt sidde og snakke om … at de ikke lærer noget, men bottom line er, at når de går ind til kernen og det, der betyder noget, så er det trivsel.

Flere af de interviewede medarbejderrepræsentanter udtaler sig direkte kritisk over for offentliggørelse af karakterer: En repræsentant fortæller: ' Det er forkert. De kan blive brugt forkert'. En anden medarbejderrepræsentanter supplerer og trækker fronterne endnu skarpere op ved at rette en kritik mod selve værdien af at give karakterer: 'Nej, jeg mener ikke karaktererne giver nogen faglig værdi'. Denne holdning går igen blandt de interviewede medarbejderrepræsentanter. Der var dog en enkelt, som tilkendegav, at offentliggørelse af karakterer har værdi: '[offentliggørelse af karakterer] er for at kunne få et billede af skolens virksomhed. Det giver forældrene noget at tjekke efter.'

Dette udsagn ligger lige i tråd med lovens formål. At der skabes transparens for  skolens  aktivitet,  og  at  forældrene  kan  få  indsigt.  I  forlængelse  af  denne observation er det oplagt at se på, hvordan forældrerepræsentanterne opfattede værdien af offentliggørelse.

En forældrerepræsentant nævner: ' Det er rart at se udviklingen, det er noget,  som bruges i forhold til evaluering af skolen.' Direkte adspurgt om offentliggørelsen påvirker valg af skole for forældrerepræsentanten var svaret: 'Ja. Fordi, jeg vil gerne vælge en skole, hvor der findes en engageret lærerstab, hvilket formodes at hjælpe børnene.' På samme spørgsmål svarer en anden forælder: 'Åh altså jeg havde lyst til at sige nej, men jeg bliver altså nødt til at sige ja. Jeg er bange for, at det ikke var sådan ment, men skolernes evne bliver udstillet via  karaktererne.'  Forældrerepræsentanterne  synes  mindre  afvisende  overfor ideen om karakterer på internettet, fordi de alligevel opfatter karaktererne som en kvalitetsparameter. Men de tager også forbehold. De fire følgende citater illustrerer centrale holdninger blandt forældrerepræsentanterne:

Åh, jeg bryder mig ikke om det. Jeg synes, det er noget, man gør, fordi nogen på skolen synes, det er en god ide. Men jeg mener også, det er for at opfylde lovens krav.

Der er ting som offentliggørelse  ikke  tager  hensyn  til,  fx  elevgrundlag  eller deres evner eller det pædagogiske arbejde.

Det er fint. Men de skal ikke stå alene.

Jeg er imod karakterer. Jeg synes, det er en dårlig ide. Karakterer er ikke et udtryk for den enkelte elevs formåen.

Selvsom der er opbakning til offentliggørelse af karakterer blandt forældrerepræsentanterne, så peger udsagnene fra telefoninterviews i retning af, at karakterer på nettet ikke vægtes højt i skolebestyrelsernes arbejde. Der er i øvrigt ikke noget i vores analyse, som peger i retning af, at selve holdningen til offentliggørelse af karakterer har nogen sammenhæng med, hvilket PPR-niveau skolen er indplaceret på. Informanterne på den skole, som er indplaceret i forankringsfasen, udtrykker i lighed med de øvrige skoler på de tre 'lavere' niveauer, at karakterer blot er en parameter til måling af skolens kvalitet. Trivsel er alfa og omega uanset modenhedsniveau. Skoler i kultiveringsfasen ser det ikke som skolens primære opgave at offentliggøre karaktererne, for de kan jo hentes fra andre kilder af særligt interesserede forældre.

I modellen spillede anvendelsen af nye teknologier en væsentlig rolle i forhold til indplaceringen på de fire niveauer. I de efterfølgende interviews var der ingen, som fremhævede, at en årsag til ringe anvendelse af web 2.0 teknologier og begrænset brugervenlighed kan skyldes manglende lokale it-kompetencer. Udvikling og vedligeholdelse af en hjemmeside kræver ekspertise, som umiddelbart ligger udenfor skolernes sædvanlige opgave portefølje. En legitim forklaring  kunne derfor være, at skolerne ikke magter opgaven. Hvilket var forudset i lovens forarbejder jævnfør det tidligere nævnte uddrag fra lovens forarbejder, hvor det fremhæves, at 'der vil blive udarbejdet en vejledende hjemmeside, der skal kunne anvendes direkte.'

## Diskussion og konklusion

I denne artikel har vi eksemplificeret PPR-modellen ved en analyse af 200 folkeskolers hjemmesider og specifikt offentliggørelse af folkeskolernes afgangs- karakterer på internettet. Den empiriske analyse har illustreret, at binære innovationsmodeller (anskaffet/ikke anskaffet) ikke slår til i forhold til beskrivelsen af det egentlige optag og udnyttelse af digital innovation. Optag og udbredelse af digitale løsninger er langt mere end blot selve optaget. Optag kan gradbøjes og kvalificeres, som vi har vist med offentliggørelse af karakterer på internettet.

Lov om gennemsigtighed og åbenhed i uddannelserne tilsagde tydeligt, at karakterer skulle kunne tilgås og sammenlignes via internettet. Vores gennemgang af de 200 skolers offentliggørelse af karakterer på nettet viser, at dette er sket for majoritetens vedkommende, hvis målestokken er den binære model. Informationen  om  afgangskaraktererne  findes  på  hjemmesiden,  men  det  er svært tilgængeligt og/eller sjældent opdateret. Ved anvendelse af PPR-modenhedsmodellen fordeler skolerne sig meget skævt med blot 12 pct. på modellens to øverste trin og hele 75 pct. på modellens nederste trin. Vores interviews med skoleledere, medarbejderrepræsentanter og forældre gjorde det klart, at de centrale aktører i skolernes ledelse og bestyrelser ikke mener, at karakterer er eller bør være i fokus for skolernes brug af internettet. Karakterer på nettet er ikke en blomst, der er vokset i skoleledernes have, og det er ikke et højprioriteret område.

Dermed får loven fra 2002 og revisionen fra 2005 kam til deres hår fra skolerne, og innovationen bliver effektivt blokeret mange steder. Forestillingen om internettets mulighed for at give sammenlignelig information om karakterer på tværs af folkeskoler fik et yderligere skud for boven, da den nyudnævnte undervisningsminister, Christine Antorini, som en af sine første handlinger i 2011 bekendtgjorde, at afgangsklassernes karakterer ikke fremover skal rangordnes på ministeriets hjemmeside.

Vi  har  interviewet,  hvad  man  kan  kalde  bærere  af  samme  institutionelle værdier. Det er langt fra utænkeligt, at skoleledere og medarbejdere repræsenterer ensartede værdier, fordi lederne i reglen er tidligere lærere. Forældrene, vi har interviewet, er medlemmer af skolebestyrelserne, og de har måske derfor indlejret nogenlunde samme værdier som skoleledere og medarbejderrepræsentanter. Denne observation styrker imidlertid værdien af at gradbøje forståelsen af skolernes optag af digitale innovationer. For selvom karaktererne er offentliggjort online, så er det gjort vanskeligt for forældrene at hente informationen. Det  kan  tages  som  udryk  for,  at  når  skolerne  ikke  i  tilstrækkelig  grad  kan tilfredsstille  forældrenes  efterspørgsel,  så  træder  markedet  til.  Det  springer  i øjnene, at de interviewede laver en slags rangordning og modsætning mellem trivsel  og  åbenhed  om  karakterer.  Vi  bad  dem  ikke  i  interviewene  eksplicit forholde sig til, hvad der var vigtigt: trivsel eller åbenhed om karakterer. De bragte det selv på bane.

Folkeskolernes begrænsede digitale modenhed (som vi har identificeret via PPR-modellen) skyldes dog ikke nødvendigvis uenighed i målsætningen om fokus på faglighed og karakterer. For nogle skoler kan det eksempelvis ud fra en driftsøkonomisk målsætning give mere mening at blive på et niveau frem for at haste mod et højere, og i første omgang udgiftsdrivende, digitalt modenhedsniveau.  Det  kan  også  diskuteres,  om  modellen  indfanger  de  rigtige dimensioner for målsætningen med at være på internettet. PPR-modellen sætter  innovationen i kasser og antager implicit, at mere digitalisering er bedre end mindre. Modellen tilsiger også, at innovationsfremdriften måles ved forandringer i borgernes og brugernes anvendelse af hjemmesiderne.

Dermed kunne PPR-modellen synes i tråd med hovedløs NPM-innovation og en innovation, der ikke indfanger, at den offentlige sektor netop ikke på alle punkter skal være innovationsdrivende på grund af hensynet til forudsigelighed (Fountain, 2001), men af risikoen for fejlslagne beslutninger og risikoen for at fremme digitale skillelinjer mellem borgerne (Norris, 2001). Ud fra denne tilgang er risici og mulige fejlslag ved digital drevet innovation potentielt større end mulige gevinster. I forhold til borgerne kan det komme til udtryk i øget risiko for marginalisering af udsatte grupper (Fountain, 2001) og i forhold til forvaltningen i form af dysfunktionelle handlingsmønstre (Bovens, 2005).

Konklusionen på vores interviews med skoleledere, medarbejdere og forældrerepræsentanter i skolebestyrelserne er forholdsvis entydig i forklaringen af, hvorfor folkeskolerne ikke har taget den digitale innovation til sig i tråd med lovens ånd og indhold. Karakterer på nettet anses hverken som en konkurrenceparameter eller en information, der efterspørges af forældre. I stedet siger de tre grupper, at det er trivsel og fokus på at få eleverne videre i uddannelsessystemet (95 pct. målsætningen), der er vigtig. Resultaterne fra vores interviews står i skarp kontrast til den mediebevågenhed karakterne i folkeskolerne har. Omend dele af denne mediebevågenhed kan betragtes som politisk-ideologisk, ville medier som Berlingske Medier og andre dagblade næppe bringe oversigter over skolernes performance, hvis der ikke var læserinteresse for disse data.

CEPOS er som aktør i dette også interessant i forhold til digital innovation af mødet mellem borgerne og den offentlige sektor, idet de på egen hånd har offentliggjort  karaktererne  på  egen  hjemmeside, efter at regeringen bortskar rangordningen  af  skolerne  på  ministeriets  hjemmeside.  Mange  skoler  nedprioriterede eller kæmpede ligefrem imod innovationen, men andre tog over. Nettoresultatet er, at informationen om karakterer findes ad digital vej, men mange skoler har ikke gjort dette til central del af den information, der kommunikeres på deres hjemmesider. Hvorvidt skolernes tilbageholdenhed med at offentliggøre karakterer på internettet på sigt vil erodere skolernes legitimitet, er et åbent spørgsmål.

## Noter

1. Vi takker redaktørerne og reviewer for kommentarer til tidligere udgaver af denne artikel. Vi takker ligeledes deltagerne i EGPA PSG1 i Bergen og de gode kollegaer i COMA ved Aalborg Universitet samt fra Center for Skoleledelse ved CBS.

## Litteratur

- Andersen, Kim (2004). E-government and Public Sector Process Rebuilding . Dordrecht: Kluwer Publishers.
- Andersen, Kim (2012). Den kommunale ødegård: Status for digitaliseringen i den kommunale borgerservice medio 2012 . Aalborg: Aalborg Universitet, Institut for Statskundskab. http://www.vbn.aau.dk (29. maj 2013).
- Andersen, Kim og James. N. Danziger (1995). Information Technology and the Political World: the Impacts of IT on Capabilities, Interactions, Orientations and Values. International Journal of Public Administration 18 (11): 1693-1724.
- Andersen, Kim og Helle Z. Henriksen (2005). Th e First Leg of E-government Research: Domains and Application Areas 1998-2003. International Journal of Electronic Government Research 1 (4): 26-44.
- Andersen, Kim og Helle Z. Henriksen (2006). E-Government Maturity Models: Extension of the Layne and Lee Model. Government Information Quarterly 23  (2): 236-248.
- Andersen, Kim, Helle Z. Henriksen og Rony Medaglia (2012). Maturity in the Age of Digital Diversity: Beyond the Layne &amp; Lee Model, pp. 205-220 i Ig Snellen, Marcel Thaens og Wim van de Donk (red.), Public Administration in the information Age: Revisited . Rotterdam: IOS Press
- Baum, Christopher H. og Andrea Di Maio (2000). Gartner's Four Phases of E-government  Model. Gartner  Group  Report  No.  COM-12-6173 .  http://www.gartner. com/id=317292 (29. maj 2013).
- Bland, Travis, Boris Bruk, Dongshin Kim og Kimberly T. Lee (2010). Enhancing Public Sector Innovation: Examining the Network-Innovation Relationship. The Innovation Journal: The Public Sector Innovation Journal 15 (3): 1-25.
- Bovens, Mark (2005). Public Accountability, pp. 182-208 i Ewan Ferlie, Laurence E. Lynn, Jr. og Christopher Pollitt (red.), The Oxford Handbook of Public Management . Oxford: Oxford University Press.
- Coursey, David og Donald Norris (2008). Models of E-Government: Are They Correct? An Empirical Assessment. Public Administration Review May/June: 523-536.

- Danziger, James N. og Kim Andersen (2002). The Impacts on Information Technology on Public Administration: An Analysis of Empirical Research from the 'Golden Age' of Transformation. International Journal of Public Administration 25 (5): 591-627.
- Digitaliseringsstyrelsen  (2011). Den  fællesoffentlige  digitaliseringsstrategi  2011-2015. Den  digitale  vej  til  fremtidens  velfærd .  Regeringen,  KL,  Danske  Regioner.  URL http://www.digst.dk (29. maj 2013).
- Dunleavy, Patrick, Helen Margetts, Simon Bastow og Jane Tinkler (2006). New Public Management Is Dead: Long Live Digital-Era Governance. Journal of Public Administration Research and Theory 16 (3): 467-494.
- EU (2011). http://blogs.ec.europa.eu/digital-agenda/a-smart-and-digital-public-sector%E2%80%93-we-must-get-there-but-how/ (29. maj 2013).
- Fountain, Jane E. (2001). Building the Virtual State: Information Technology and Institutional Change . Washington, DC: Brookings Institution Press.
- Hammer, Michael og Steve A. Stanton (1995). The Reengineering Revolution: A Handbook . New York: HarperBusiness.
- Hood, Christopher (1991). A New Public Management for All Seasons. Public Administration 69: 3-19.
- King, John L. og Kenneth L. Kraemer (1984). Evolution and Organizational Information Systems: An Assessment of Nolan's Stage Model. Communications of the ACM 27 (5): 466-475.
- Layne, Karen og Jungwo Lee (2001). Developing Fully Functional E-government: A Four Stage Model. Government Information Quarterly 18 (1): 122-136.
- Moon, M. Jae (2002). The Evolution of E-government among Municipalities: Rhetoric or Reality? Public Administration Review 62 (4): 424-433.
- Nielsen, Jacob (1994). Usability Inspection Methods, pp. 413-414 i Conference Companion on Human factors in Computing Systems . New York: ACM.
- Nielsen, Jeppe Agger, Lars Mathiassen og Sue Newell (2013). Th eorization and Translation  in  Information  Technology  Institutionalization:  Evidence  from  Danish Home Care. MIS Quarterly (under udgivelse).
- Norris, Donald F. og Chris G. Reddick (2013). Local E-Government in the US Transformation or Incremental Change. Public Administration Review 73 (1): 165175.
- Norris, Pippa (2001). Digital Divide: Civic Engagement, Information Poverty, and the Internet Worldwide . Cambridge, UK: Cambridge University Press.
- Pollitt, Christoffer (2012). New Perspectives on Public Services: Place and Technology . Oxford: Oxford University Press.
- Rogers, Everett (2003). Diffusion of Innovations (5. udg.). New York: The Free Press.

- Siau, Keng og Yuan Long (2005). Synthesizing Egovernment Stage Models - a Metasynthesis Based on Meta-ethnography Approach. Industrial Management &amp; Data Systems 105 (4): 443-458.
- Undervisningsministeriet (2005). Bekendtgørelse af lov om gennemsigtighed og åbenhed i uddannelserne m.v. http://www.retsinformation.dk/ (29. maj 2013).
- Wharton, Cathleen, Janice Bradford, Robin Jeffries og Marita Franzke (1992). Applying Cognitive Walkthroughs to more Complex User Interfaces: Experiences, Issues and Recommendations, pp. 381-388 i Proceedings of the SIGCHI Conference on Human Factors in Computing Systems . New York: ACM.