NTNUs bredeinnovasjonsbidrag- hovedfunn fra pilotprosjektet indikatorer forsynliggjøring av innovasjonsbidragene fra UH-sektoren

Aristidis Kaloudis, Kjell Olav Skjølsvik, Ragnhild Nisja,
Zacharias Andreadakis, Ingrid Knutsdotter Koren og Christian Forø

Norg
natur

ISBN 978-82-693180-0-5 (Trykt)
ISBN 978-82-693180-1-2 (E-bok)
Grafisk design og produksjon: NTNU Grafisk senter

Innhold
Forord....................................................................................................................................... 4
Kapittel 1 Formål og prosess................................................................................................. 6Målet med pilotprosjektet ...............................................................................................................................................................................7
Utvalg av NTNU-institutter................................................................................................................................................................................7
Arbeidsprosessen..........................................................................................................................................................................................................8
Kapittel 2 Nærmere vurdering av de enkelte indikatorene............................................ 11
Dimensjon 1........................................................................................................................................................................................................................... 13Økonomiske indikatorer - BOA-inntekter av mulig direkte relevans
for innovasjonsbidraget.......................................................................................................................................................................................... 13
Resultat fra spørreskjemaundersøkelsen............................................................................................................................... 16
Resultater av analysen........................................................................................................................................................................................ 17
Oppsummering av hovedfunn fra dimensjon «Økonomi – BOA-finansiering»................. 18
Dimensjon 2........................................................................................................................................................................................................................... 19
Kunnskapsdeling gjennom utveksling av menneskelige ressurser,
samarbeid i utdanningen, samt studentbasert entreprenørskap.............................................................. 19
Resultat fra spørreskjemaundersøkelsen............................................................................................................................... 23
Resultater av analysen........................................................................................................................................................................................ 24
Oppsummering av diskusjonen - dimensjon «Mennesker».......................................................................... 27
Dimensjon 3........................................................................................................................................................................................................................... 28
Formelle avtaler og ulike typer aktiviteter som fører til sirkulasjon
av kunnskap og ideer mellom instituttene, økonomiske aktører,policyaktører, og med det bredere samfunnet..................................................................................................................... 28
Resultat av spørreskjemaundersøkelsen................................................................................................................................. 31
Resultater av analysen........................................................................................................................................................................................ 32
Oppsummering av hovedfunn fra dimensjon «nettverk»................................................................................ 34
Dimensjon 4........................................................................................................................................................................................................................... 35
Kommersialisering.......................................................................................................................................................................................................... 35
Resultat av spørreskjemaundersøkelsen................................................................................................................................. 39
Resultater av analysen........................................................................................................................................................................................ 40
Oppsummering av hovedfunn fra dimensjon «Kommersialisering»................................................... 42
Kapittel 3 Forslag til nytt indikatorsett.............................................................................. 43
Hva forteller utprøving av indikatorene samlet sett?............................................................................................. 44
Nytteverdien av indikatorene................................................................................................................................................................... 45
Anbefalte indikatorer – endelig sett................................................................................................................................................ 46
Kapittel 4 Anbefalinger til videre arbeid............................................................................ 49
Executive summary - recommendations........................................................................... 53
Referanser............................................................................................................................. 55
Vedlegg 1 Liste over institutter som deltok i pilotprosjektet.......................................... 56
Vedlegg 2 Spørreskjema til respondenter fra instituttnettverket.................................. 58

3

ForordUtviklingsavtalen mellom NTNU og Kunnskapsdepartementet (2021 – 2022)
forutsetter at NTNU skal utvikle en hovedstruktur for indikatorsett for innovasjonsbidraget fra UH-sektoren. NTNU skal gjennomføre piloter for utprøving av
indikatorsettet og gjennom dette synliggjøre og formidle innovasjonsbidrag fra
sektoren.
NTNU har etablert og finansiert et pilotprosjekt for perioden februar 2021- mai
2022. Pilotprosjektets formål var å løse utfordringene satt i utviklingsavtalen.
Piloten ble delt i tre faser.
•

Den første fasen (februar 2021–oktober 2021) var å identifisere et begrenset
antall indikatorkandidater. I en intern NTNU-workshop som inkluderte 60
deltakere og en ekstern workshop med om lag 30 deltakere diskuterte vi
og drøftet prinsipper og perspektiver for et sett av indikatorer for å synliggjøre det bredde innovasjonsbidraget fra universitetene samt et sett av 25
indikatorkandidater.

•

I den andre fasen av prosjektet (oktober 2021 – mai 2022) har vi detaljdefinert, drøftet, testet, produsert og kvalitetssikret de 25 utvalgte indikatorene
sammen med 14 NTNU-institutter (fra 8 fakulteter) som var villige til å delta i
prosjektet. Den tredje fasen påløpet parallelt med fasen 2.

•

Fase 3 hadde som formål å undersøke hvordan sentra for forskningsbasert
innovasjon (SFI-er) hvor NTNU har en sentral rolle, velger å synligjøre det
brede innovasjonsbidraget fra disse SFI-enes årsrapporter fra 2020. Vi har
valgt ut 14 SFI-er og vi har benyttet det samme tankesettet i analysen avårsrapportene som det i fase 2 (indikatorproduksjon).

Pilotprosjektet har produser to sluttrapporter. Den ene er på engelsk og begrunner og dokumenterer de teoretiske og metodologiske perspektivene som
var bakgrunn for det analytiske arbeidet i fase 2 og 3. Rapporten gir en kort
oppsummering av funn fra fase 2 og en lengre presentasjon av analysearbeidet
fra SFI-ene. Den andre rapporten er det norske notatet som foreligger her, og harsom formål å dokumentere erfaringene med indikatorproduksjonen.
I dette notatet foreslår vi et endelig sett av 15 innovasjonsindikatorer som det
er praktisk og økonomiske forsvarlig å benytte for måling og synliggjøring av deenkelte instituttenes, fakultetenes og universitetenes bidrag til innovasjon. Det
er selvsagt ikke sikkert at NTNU og eventuelt Kunnskapsdepartementet vurderer
at alle de 15 foreslåtte indikatorer er hensiktsmessige for en fremtidig bruk til
institusjonenes planlegging og strategisk utvikling. Det er derfor viktig å videreføre
pilotarbeidet med dette som formål.

4

Analysen som følger dekker primært fire sentrale aspekter ved de innrapporterteindikatorene:
1. Fakta om hver indikator (gjennomsnitt, median, maks og min i absolutte tall og inormaliserte tall).
2. Vurdering av rapporteringen for hver indikator.
3. Anbefalinger for hver indikator: Beholde eller forkaste som innovasjonsindikator for mer permanente rapporteringer om innovasjonsaktivitet i fremtiden?
4. Anbefaling av et nytt sett indikatorer som kan tas i bruk i fremtidig rapportering
av innovasjonsbidraget fra NTNU og hele UH-sektoren.
5. Generelle anbefalinger for den neste fasen i arbeidet etter avslutning av
pilotprosjektet.
Analysen tar som nevnt utgangspunkt i data og indikatorer fra 13 NTNU-institutter
for 2019 og 14 institutter for 20201.
Prosjektets eier er NTNUs prorektor for nyskaping Toril A. Nagelhus Hernes.
Prosjektteamet består av:
Prof. Aristidis Kaloudis (leder)
Kjell Olav Skjølsvik – Innovasjonsleder ved NTNU
Ragnhild Nisja – seniorrådgiver ved NTNU
Zacharias Andreadakis – forsker ved NTNU for prosjektperioden
Ingrid Knutsdotter Koren – engasjement ved NTNU (i prosjektperioden
oktober 2021–mai 2022)
Christian Forø - Seniorrådgiver ved NTNU (i prosjektperioden
februar 2021–oktober 2021)

God lesning.

1

Institutt for moderne samfunnshistorie (IMS) fra HF-fakultetet er et nyetablert institutt og har ingen registrerte aktiviteter for 2019.

5

Kapittel 1Formål og prosess6Målet med pilotprosjektetMålet med pilotprosjektet er å synliggjøre det brede innovasjonsbidraget fra
utvalgte institutter ved NTNU gjennom et nytt indikatorsett. Med “brede innovasjonsbidrag” menes aktiviteter og prosesser som kan bidra til innovasjon isamfunnet gjennom ulike kanaler (NTNU 2019). Slike kanaler kan være:1. finansiering av innovasjonsrelatert prosjektsamarbeid med næringslivet og offentlig
sektor som gir bidrags- eller oppdragsinntekter til institusjonen;
2. kunnskapsdeling via utveksling av mennesker (Ph.d.-studenter, bedriftsansattei Ph.d.-stillinger, NTNU-ansatte i eksterne stillinger og verv, eksterne i faglige
stillinger ved NTNU, osv.) utover de mer etablerte kommersialiseringsindikatorer som allerede er i bruk;
3. formell eller uformell relasjonsbygging og nettverksdannelse via bilaterale samarbeidsavtaler, nettverksamarbeid i større innovasjonsrettede forskningsprosjekter og forskningssentra, eller innovasjons – og/eller kulturarrangementersom kobler sammen NTNU med relevante aktører i næringslivet, i de kreativenæringer, i offentlig sektor og i det sivile samfunnet.
4. direkte kommersialisering av forskningsresultater gjennom patentering, lisensiering til næringslivet eller etablering av nye selskaper.
Prosjektet har fokusert primært på prosesser og kanaler som kan lede til innovasjonsrettet kunnskapsdeling og/eller innovasjon i samfunnet. Vi har ikke vurdert
aktuelle indikatorer på alminnelige utdannings- eller forskningsaktiviteter, somfor eksempel bachelor- og masterkandidater i arbeidslivet, etter- og videreutdanningsaktiviteter ved NTNU, samforfatterskap med næringslivet i vitenskapelige
publikasjoner, eller siteringer av vitenskapelige publikasjoner fra NTNU i patenterfra næringslivet. Alle disse kunne argumenteres for at de inkluderes i et fremtidig
og mer helhetlig indikatorsett til styringsformål i UH-sektoren. Med «helhetlig»
menes her behovet for å ta hensyn til den samlede utviklingen i forskning, undervisning og innovasjon i de ulike nivåene i UH-institusjoner samt interaksjonene
mellom disse tre «pilarene».

Utvalg av NTNU-institutter
Samlet sett representerer de 14 instituttene ca. ¼ av ansatte ved NTNU (jf. DBHdatabasen, 2021). Disse har vært institutter som frivillig har deltatt i pilotprosjektet og siden vi ikke har et randomisert instituttutvalg kan det finnes skjevheter idatamaterialet hvis målet er å få et representativt bilde av innovasjonsbidraget
fra alle instituttene ved NTNU. Likevel har vi i utvalgsprosessen forsøkt å nå ut
til institutter med ulik faglig profil (naturfaglig, samfunnsvitenskapelig, ingeniør,
medisin og helse, lærerutdanning, arkitektur, design og humaniora). Formålet
med dette var å få størst mulig variasjon i instituttutvalget sett i forhold til utvalgte
indikatorer.
Det er viktig å påpeke at pilotprosjektet er en type «mulighetsstudie» - «feasibility
study» på engelsk. Hovedintensjonen har vært å undersøke om det er mulig å produsere innovasjonsindikatorer for å synliggjøre det bredde innovasjonsbidraget
fra de deltakende instituttene, å undersøke variasjonen i rapporteringen mellom
instituttene, samt å gi instituttene mulighet til å komme med kritiske tilbakemeldinger på indikatorer, kartlegge om det er indikatorer som kan sløyfes i videre
utvikling, introdusere nye indikatorer, og komme med forbedringspotensial.

7

I pilotprosjektet har vi fått samlet inn kvantitativ og kvalitativ data fra følgende
fakulteter og institutter:
Fakultet

Institutt

Fakultet for medisin og
helsevitenskap (MH)Institutt for sirkulasjon og billeddiagnostikk(ISB)
Institutt for nevromedisin og bevegelsesvitenskap (INB)
Institutt for helsevitenskap Gjøvik (IHG)

Fakultet for
naturvitenskap (NV)Institutt for kjemisk prosessteknologi (IKP)

Fakultet for samfunns- og
utdanningsvitenskap (SU)Institutt for lærerutdanning (ILU)

Fakultet for økonomi (ØK)

Institutt for internasjonal forretningsdrift (IIF)

Fakultet for arkitektur og
design (AD)Institutt for design (ID)Fakultet foringeniørvitenskap (IV)

Institutt for bygg og miljøteknologi (IBM)Institutt for bioingeniørfag (IBF)Institutt for marin teknikk (IMT)
Institutt for havromsoperasjoner og
byggteknikk (IHB)

Fakultet for
informasjonsteknologi og elektroteknikk (IE)

Institutt for informasjonssikkerhet og
kommunikasjonsteknologi (IIK)

Det humanistiske fakultet (HF)

Institutt for moderne samfunnshistorie (IMS)

Institutt for elektroniske systemer (IES)

Arbeidsprosessen
Innsamling av data for indikatorsettet ble gjennomført i tredje og fjerde kvartal
2021. Deler av datasettet ble samlet lokalt på instituttnivå, mens andre deler ble
samlet inn sentralt ved hjelp av NTNU TTO og BEVISST (se figur 1). Noen indikatorer ble samlet både lokalt og sentralt (indikator 11 og 12) da det var usikkert hvilke
datakilder som ville gi best resultat.
Figur 1: Arbeidsprosess

Oppstartsmøte
med instituttene

Datafangst

Institutter (indikator 7-18, 25)
Sentral (indikator 0-6, 11, 12, 18-24)
Supplerende spørreskjema

8

AnalyseRapporteringSentrale datakilder

Data for totale antall årsverk ved instituttet i 2019/2020 ble hentet for alle institutter fra Database for statistikk om høyere utdanning (Direktoratet for høyere
utdanning og kompetanse). Vi bruker totale antall årsverk som normaliseringsfaktor, dvs. for å justere tallene (råtall) som rapporteres per institutt i forhold til
instituttenes størrelse. Alternativt kunne vi ha brukt antall UFF-stillinger (årsverk
i faglige forskningsstillinger)2 som normaliseringsfaktor, men vår vurdering er atalle årsverk i et institutt kan muligens bidra til ulike innovasjonsaktiviteter ved instituttet. I rapporteringer av forskningsindikatorer er det derimot etablert å bruke
UFF-stillinger som normaliseringsfaktor. Uansett er valg av normaliseringsnøkkel
for sammenligninger et åpent tema til videre diskusjon.
Økonomidata (indikator 1-6 i Tabell 1) ble hentet ut for alle institutt med bistandfra Økonomiavdelingen/Avdeling for virksomhetsstyring, BEVISST. De definerte
indikatorene innenfor finansiering var ikke lett tilgjengelig og medførte et behov
for til dels manuell uthenting av data. Variasjon i registreringspraksis og definisjon
av finansieringskilde for ulike prosjekter medførte noen utfordringer med uttrekk
av data i det ønskede format for piloten.
NTNU har et sentralt register over inngåtte masteroppgaver med masteravtale.
Det ble hentet inn data fra denne løsningen med bistand fra Avdeling for studieadministrasjon parallelt med innsamling av data fra instituttene (indikator 11
i Tabell 1). Løsningen for registrering av masteroppgaver ble endret i 2021.
Datasettet fra gammel løsning var mangelfullt, og ble derfor ikke benyttet.
Rapportering av tall fra instituttene selv er derfor benyttet i vår analyse. Data forbacheloroppgaver er innhentet fra instituttene siden sentral løsning for registrering av dette ikke er iverksatt ennå.
For indikator 12 var det ikke mulig å finne sentral registrering av data (Stud-ENT
søknader), men Institutt for industriell økonomi og teknologiledelse vedØkonomifakultetet (IØT) registrerer dette i forbindelse med masterprogrammet
Entreprenørskolen og de bredere aktivitetene ved SFU ENGAGE og NTNU Spark*.
For denne indikatoren er det rapportering fra instituttene selv som er benyttet i vår
analyse.
NTNU TTO samlet data for kommersialiseringsindikatorene (18-24) for alle
instituttene i piloten. Dette er data som allerede var tilgjengelig i ønsket format
ved NTNU TTO, med unntak av indikator 18 (ingen egen klassifisering forhelseinnovasjoner) og 19 (antall studentbaserte start-ups). For indikator 19 er det
foreløpig bare IØT og studentforeningen NTNU Spark* i Trondheim som registrerer resultater, og da er det mest naturlig at denne indikatoren registreres på
NTNU-nivå fremfor på instituttnivå.

Forberedelser til datafangst

Prosjektteamet etablerte egen kommunikasjonskanal på Teams for alle de som
hadde en rolle i dataproduksjonen ved de 14 instituttene. Prosjektteamet har utviklet en EXCEL-fil som mal til rapportering av de indikatorene som ikke var mulig
å produsere sentralt (NTNU TTO eller BEVISST). I forkant av dataproduksjonen
har prosjektteamet invitert til et møte på Teams for å drøfte spørsmål knyttet til
EXCEL-malen og for å diskutere eventuelle uklarheter i definisjonene av de enkelte
indikatorene. I etterkant av dette møtet har prosjektteamet utviklet en veiledertil EXCEL-malen. Veilederen presiserte og avklarte de spørsmålene som ble reist
under Teams-møtet.

2

Se her for en definisjon av hvilke stillingskategorier inngår i UFF-stillinger: https://dbh.nsd.uib.no/dokumentasjon/stillingstype.action?stil_id=1

9

Datafangst fra instituttene

Data fra alle instituttene ble mottatt med varierende grad av datamengde og datakvalitet. Noen generelle tilbakemeldinger var at det er enklere å bidra med datafor indikatorene 7-12 (mennesker) enn for indikatorene 13-17 (nettverk). I tillegg
var datafangst gjort manuelt da det ikke foreligger systemer der etterspurte data
var tilgjengelig i ønsket format. For indikator 9 og 10 (sidegjøremål/bistillinger) var
data tilgjengelig i PAGA3, men det er ikke løsninger på plass for lokalt uttrekk av
data. Dermed ble også dette i høy grad en manuell datafangst. Basert på tilbakemeldinger fra instituttene på tidsbruk, var gjennomsnittlig tid brukt på datafangst
12 timer per institutt.

Etterarbeid med kvalitetssikring av data

Instituttene leverte dataene i perioden oktober til desember 2021. Prosjektteamet
organiserte et nytt Teams-møte med alle deltakerne fra instituttene (og fakultetene) for å diskutere erfaringene med datafangsten og for å diskutere kvalitet,
nytte, kostander og automatiseringsgrad for de enkelte indikatorene. Dette
Teams-møte ga verdifull informasjon om de utvalgte indikatorene, men samtidig
oppsto også behovet for en mer systematisk rapportering av synspunkter knyttet
til de fire dimensjonene (kvalitet, nytte, kostander og automatiseringsgrad) per
indikator. Det er årsaken til at prosjektteamet utviklet et spørreskjema som ble
sendt til de 32 personene som har vært involvert i den lokale datafangsten ved de
14 NTNU-instituttene.

Spørreskjema til deltakerne i instituttnettverket

Siste element i datafangsten er dermed spørreskjema. Spørreskjemaet ble sendt i
januar/februar 2022 og er delt inn i 5 deler, der A-D representerte alle de utvalgte
indikatorene som inngikk i datafangsten fordelt på de fire dimensjonene finans,mennesker, nettverk, og kommersialisering, og del E som ønsket å fange denhelhetlige vurderingen av indikatorarbeidet og relevante synspunkter om arbeidet
videre. Hensikten med skjemaet var å fange opp på en mer systematisk måtehvordan instituttene vurderte de individuelle indikatorene sin kvalitet/pålitelighet,
kostnader knyttet til å innhente data, automatiseringspotensial, og viktighet.
Kopi av spørreskjemaet finnes i vedlegg 2. Det er hentet inn 11 besvarelser av 32
mulige (svarprosent på 34 prosent), og resultatene fra spørreundersøkelsen er
rapportert fortløpende i kapittel 2.
Det er viktig å understreke at de 11 svarene vi fikk fra spørreskjemaet og rapporteringen fra disse i kapittel 2 er kun indikative og kan ikke sies at de er representative for populasjonen av alle instituttene ved NTNU eller (enda mer problematisk)
for instituttene i norske UH-sektoren. Spørreskjema supplerer prosjektteamets
erfaringer høstet fra produksjon av indikatorene og de møtene med de datafangstansvarlige fra de 14 NTNU-instituttene.

3

10

NTNUs digitale HR-rapporteringssystem.

Kapittel 2Nærmere vurdering
av de enkelte
indikatorene



11

Som nevnt, i løpet av høsten 2021 har vi samlet tall om de utvalgte indikatorene
som vises i Tabell 1. De utvalgte indikatorene bygger på tidligere analyser (seNTNU 2019a; NTNU 2019b) og på den første fasen i pilotprosjektet (vår 2021)
som inkluderte en intern og en ekstern workshop. Indikatorene er delt i firekanaldimensjoner: økonomiske interaksjoner dokumentert i BOA-inntekter eller
finansieringsindikatorene (heretter omtalt som økonomidimensjon); interaksjon
og kunnskapsutveksling gjennom deling av mennesker (heretter omtalt som menneske-dimensjon); avtaler og interaksjoner som dokumenterer (innovasjonsorientert) nettverksbygging mellom NTNU-institutter og eksterne aktører; og til slutt
utnyttelse av resultater i form av kommersialiseringsdimensjonen som historisk
sett har vært rapportert av NTNU TTO.
Benevnelse av indikator

Produsert på

Produserbar på

instituttnivå

NTNU-nivåIND1

Direkte BOA-inntekter fra næringslivet per total BOA

x

x

IND2

Direkte BOA-inntekter fra off. org. per total BOA

x

x

IND3

Direkte BOA-inntekter fra reg. helsemyndigheter per total BOA

x

x

IND4

Direkte BOA-inntekter fra IPR per total BOA

x

x

IND5

Direkte BOA-inntekter fra innovasjonsrettede virkemidler per total BOA

x

x

IND6

Direkte BOA-inntekter fra innovasjonsaktivitetene i EU per total BOA

x

x

IND7

Antall kandidater i norsk arbeidsliv (ekskl. akademia) per totale årsverk

x

x

IND8

Nærings PhD og offentlig PhD per totale årsverk

x

x

IND9

Antall egne ansatte med sidegjøremålstillinger per totale årsverk

x

x

IND10

Eksterne tilleggsstillinger (professor II-er stillinger) per totale årsverkxx

IND11b Antall arbeidslivssamarbeid i BA og MA-avhandlinger per totale årsverk

x

x

IND12

Antall Stud-ENT-søknader (antall og per totale årsverk)

x

x

IND13

Inngåtte avtaler/MoU-er med samfunnsaktører (eks. DNB, kommuner, mm.)

x

x

IND14

Kontraksfestet samarbeid med eksterne partnere - antall deltakere per totale årsverk

x

x

IND15

Antall innovasjonsarrangementer per totale årsverk

x

x

IND16

Antall kulturarrangementer per totale årsverk

x

x

IND17

Antall lisenser/avtaler av IP som ikke innebærer pengestrømmer (open source)

x

x

IND18

Antall helseinnovasjoner

fremtidig ind.

fremtidig ind.

IND19

Antall studentbaserte start-ups

IND20

Antall innsendte DOFI til NTNU TTO per totale årsverk

x

IND21

Antall prosjekter i NTNU TTO basert på mottatt DOFI

n.a.

n.a.

IND22

Antall kommersielle lisenser per totale årsverk

x

x

IND23

Antall prioritetssøknader patent per totale årsverk

x

x

IND24

Antall ansattbaserte Spin-Offs med IP avtale (råtall)

x

x

IND25

Antall ansattbaserte Spin-Offs uten IP avtale

IND11.a Andel av BA og MA-avhandlinger som involverer arbeidslivssamarbeid (antall og andel)

x

x

x

Tabell 1: Indikatorene som ble valgt ut for videre innhenting av data og uttesting.

Av de 25 indikatorene som er listet i tabellen ovenfor, har vi til slutt samlet data
for alle indikatorene med unntak av indikatorer 18, 19, 21 og 25. Indikator 18
krever samarbeid og videreutvikling av eksisterende datakilder i samarbeid med
og i regi av helseforetakene. MH-fakultetet har allerede etablert et prosjekt forå finne ut hvordan man kan registrere NTNUs bidrag til helseinnovasjoner ved
helseforetakene. Data for indikator 19 er mest hensiktsmessig å rapportere på
NTNU-nivå fra studentorganisasjonene og IØT som samler disse opplysningene
over tid. Nylig er det etablert et eget prosjekt for å jobbe videre med kartlegging
av studentbasert innovasjon ved NTNU4. Indikator 21 hadde som formål å skillemellom inngang av DOFI-ideer til NTNU TTO (indikator 20) og hvor mange av disse
vurderes som interessante nok for videre oppfølging (indikator 21). NTNU TTO
rapporterer imidlertid at p.t. ikke foretas en slik filtrering av DOFI-søknader og
dermed var det ikke hensiktsmessig å beholde denne indikatoren i listen. Til slutt
er indikator 25 (antall ansattbaserte nyetableringer (spin-offs) som ikke tar i bruk
NTNUs IP-avtaler) vurdert som viktig, men hverken NTNU TTO eller instituttene
fører en oversikt over disse tallene.

412

Det er nedsatt et arbeidsutvalg av rektor som skal jobbe med et helhetlig økosystem for studentinnovasjon og studentfrivillighet ved NTNU.

Dimensjon 1Økonomiske indikatorer- BOA-inntekter av mulig direkte relevans
for innovasjonsbidraget
Vi har innhentet informasjon fra alle de 14 deltakende
instituttene om seks finansieringskilder som i hovedsak måler
innovasjonsrettet økonomiske transaksjoner med instituttenes
innovasjonsøkosystemer.

13Indikator 1a og 1b
Bidrags- og oppdragsinntekter (BOA-Inntekter) fra næringslivet
Direkte oppdrags- (1a) og bidragsinntekter (1b) fra næringslivet i NOK(minus inntekter fra IPR-lisenser).
Kvalitet av rapportering: Høy.
Avveining mellom viktighet og produksjonskostnad: Rimelig høy grad av
viktighet og lave produksjonskostnader.
Anbefaling: Analysen av data og kommentarer fra instituttene viser at bådedenne og de andre indikatorene som ser nærmere på kildene fra BOAinntekter er nyttige og viktige for strategiske diskusjoner på instituttnivå,men kanskje ikke for å synliggjøre den økonomiske betydningen som
innovasjonsaktiviteter kan ha for instituttene og NTNU (og for omverden).
Derfor vil vi anbefale å beholde rapporteringen av innovasjonsorientert
BOA-inntekter fordelt på de indikatorene vi har hatt som utgangspunkt, mensamle disse sammen til to indikatorer, nemlig innovasjonsrettet BOA samlet
sett per totale årsverk, og (for sammenligning) BOA per totale årsverk.
Tabell 2 viser nøkkeltall for alle de seks indikatorene vi har fremskaffet datafor under økonomidimensjonen.
Indikator 2a og 2b
Bidrags- og oppdragsinntekter fra offentlige organisasjoner
Dirkete bidrags- (2a) og oppdragsinntekter (2b) fra offentlige organisasjoner i NOK.
Kvalitet av rapportering: Høy.
Avveining mellom viktighet og produksjonskostnad: Rimelig høy grad av
viktighet og med relativt lave produksjonskostnader.
Anbefaling: Inntektsstrømmer direkte fra offentlige organisasjoner kanvære betydelige for institutter og fakulteter som faglig i større grad er rettet
inn mot innovasjon i offentlig sektor enn næringslivet. Dette kan være en
indikasjon på gjensidige koblinger og synergier mellom samarbeidsprosjekter
med næringslivet og offentlig sektor som kan være interessant å undersøke
videre. Hovedanbefaling under indikatorer 1a og 1b ovenfor gjelder også forindikatorene 2a og 2b, se figur 2 for en nærmere analyse av data for denne
indikatoren.
Indikator 3
Direkte BOA-inntekter fra regionale helsemyndigheter
per totale årsverk og som andel av total BOA
Kvalitet av rapportering: Høy.
Avveining mellom viktighet og produksjonskostnad: Rimelig høy grad av
viktighet og lave produksjonskostnader.
Anbefaling: Hovedanbefaling under indikatorer 1a og 1b ovenfor gjelderogså for indikator 3, se figur 2 for en nærmere analyse av data for denne
indikatoren.

14

Indikator 4
Direkte BOA-inntekter fra IPR per totale årsverk og som andel av total BOA5
Kvalitet av rapportering: Høy. Det er et forventet resultat at det rapportereslave inntekter under denne dimensjonen. Det er interessant å notere at det
er mange flere utfylte tall fra 2021. Dette kan være et resultat av revidert IPRpolitikk ved NTNU som trådte i kraft fra 1.1.2021. Det kan derfor være viktig åbeholde denne indikatoren – også som selvstendig indikator - og så gjøre nye
evalueringer.
Avveining mellom viktighet og produksjonskostnad: Rimelig høy grad av
viktighet og lave produksjonskostnader.
Anbefaling: Inntekter fra IPR representerer en resultatindikator på linje
med indikator 22-24. Indikatoren bør beholdes, men den kan inkluderes
som en resultatindikator fremfor som en særskilt indikator for BOA inntekt.
Hovedanbefaling under indikatorer 1a og 1b ovenfor gjelder også forindikator 4.
Indikator 5
Direkte BOA-inntekter fra innovasjonsprosjekter(innovasjonsprosjekter og SFI/FME o.l. fra Forskningsrådet samt midler fra
Innovasjon Norge og SIVA) per totale årsverk og som andel av total BOA
Kvalitet av rapportering: Høy.
Avveining mellom viktighet og produksjonskostnad: Rimelig høy grad av
viktighet og lave produksjonskostnader.
Anbefaling: Hovedanbefaling under indikatorer 1a og 1b ovenfor gjelderogså for indikator 5, se figur 2 for en nærmere analyse av data i denne
indikatoren.
Indikator 6
Direkte BOA-inntekter fra innovasjonsaktivitetene i EUs forskning per totaleårsverk og som andel av total BOA
Kvalitet av rapportering: Høy.
Avveining mellom viktighet og produksjonskostnad: Rimelig høy grad av
viktighet og lave produksjonskostnader.
Anbefaling: Hovedanbefaling under indikatorer 1a og 1b ovenfor gjelderogså for indikator 6, se figur 2 for en nærmere analyse av data i denne
indikatoren.

5

Tall fra denne indikatoren er hentet fra TTO.

15

Resultat fra spørreskjemaundersøkelsen
Figur 2: Resultater fra spørreskjemaundersøkelsen – vurdering av kvalitet og viktighet
av de enkelte indikatorene under dimensjon «økonomi». N=11.

Kvalitet
10
9
8
7
6
5
4
3
2
1
0
IND 1

IND 2

IND 3
Høy

IND 4
Medium

IND 5

IND 6

IND 5

IND 6

Lav

Viktighet
10
9
8
7
6
5
4
3
2
1
0
IND 1

IND 2

IND 3
Høy

MediumIND 4
Lav

Ikke relevant

Resultat fra spørreskjema viser at respondentene i stor grad vurderer kvalitetenog viktigheten av finansindikatorene som høy. Som forventet, er det knyttet lavest
viktighet og relevans til indikator 3, finansiering fra helsemyndigheter, da denne
finanskilden treffer i høyere grad institutt tilknyttet f. eks MH fakultetet.
Instituttene har ikke blitt bedt om å ta stilling til automatiseringspotensial og kostnader knyttet til innhenting av data, siden tall for denne dimensjonen er hentet
sentralt.

16

Resultater av analysen
Nøkkeltall - utvalgte indikatorer på Økonomi /BOA
År

2019

2020

N

Variasjonsbredde

Min.

Maks

Snitt

St. avvik

Totale årsverk

13

347

23

370

132

91

Total BOA

13

126789000

1277000

128066000

49011308

39691874

Innovasjonsrettede BOA-inntekter

1372930000

4000

72934000

25495930

25641027

Totale årsverk

14

350

26

376

127

92

Total BOA

1491640000

2960000

94600000

47385786

34676622

Innovasjonsrettede BOA-inntekter

1464709000

17000

64726000

23777858

22371375

Tabell 2. Nøkkeltall for indikator «Innovasjonsrettede BOA-inntekter» sett i forhold til total
BOA-inntekter for de 14 pilotinstituttene samlet. Indikatoren er summen av de seks mer
detaljerte BOA-indikatorene drøftet ovenfor.

Det er interessant å observere at i gjennomsnitt representerer innovasjonsrettede BOA-inntekter vel halvparten av de totale BOA-inntektene. Dette kan
man si understrekker NTNUs sterke involvering i det nasjonale og de regionale
innovasjonsøkosystemene.
Figur 3: Sammenligning av innovasjonsrettede BOA-inntekter og BOA-inntekter totalt i
2019 og 2020. Oppsummert informasjon fra 13 NTNU-institutter (2019) og 14 NTNUinstitutter (2020). Boksplot, SPSS.

Note: Boksene viser maks og minimum rapportert antall og 25, 50 (median – den svarte strekken) og 75
kvantiler. Innrammet i de grønne boksene vises spredning mellom 25 og 75 kvantil. SPSS.

17

Oppsummering av hovedfunn fra dimensjon «Økonomi– BOA-finansiering»
Denne indikatordimensjonen har høy kvalitet på rapportering og høy grad av
viktighet. Datasettet som er blitt sendt til prosjektteamet er komplett. I utgangspunktet kan man konstatere at produksjonskostnadene for disse indikatorene
er relativt lave, men det tok tid til å samle disse dataene fra sentrale registre. Det
som krevde ressurser var utviklingen av metoden for uttrekk per indikator, mennår denne metoden først var på plass var produksjon av indikatorene relativt
enkel.
Selv om de BOA-indikatorene vi har foreslått er nyttige og viser den relative betydningen som næringslivet, offentlig sektor, helseforetakene, Forskningsrådet, og
EU har for den direkte finansieringen av innovasjonsrettede aktiviteter innenfor
de enkelte instituttene, er hovedfunn fra denne dimensjonen at den største
finansieringen kommer – totalt sett - fra innovasjonsrettede virkemidler i regi av
Forskningsrådet. Herunder inngår bl.a. midler fra SFI-ene og FME-ene. Resultatene
fra analysen av de enkelte indikatorene viser videre at BOA-inntektene innenfor
enkelte indikatorene kan være veldig lave og vi observerer også stor variasjon
mellom instituttene. Enkelte indikatorer er signifikant viktigere for bestemte institutter mens den samme indikatoren anses som mindre viktig for andre institutter.
Den beste måten å vise den brede innovasjonsaktiviteten i økonomidimensjonen
på kan derfor være å summere alle innovasjonsrettede BOA-inntekter (dvs.
summen av indikatorene 1-6), for så å sammenligne disse med totale BOAinntekter (gjerne normalisert per totale årsverk). Dette gir et enkelt og oversiktlig
bilde av hvor stor del av den økonomiske forskningsaktiviteten i en institusjon
kan være rettet inn mot aktiviteter som har innovasjon som viktig formål – slik
det er vist i analysen ovenfor (se Tabell 2 og Figur 3). Siden «innovasjonsrettede
BOA-inntekter» er summen av indikatorene 1-6, innebærer det at denne indikatoren vil også gi muligheten til å følge utviklingen av både nivået, og ikke minst
variasjonen, av de enkelte BOA-kildene over tid – dette på institutt-, fakultet- og
institusjonsnivå.



18

Anbefaling:
Vi beholder datafangsten i alle indikatorene, men vi samler
de ulike inntektskildene inn i en indikator som vi kaller«IND 1: Innovasjonsrettede BOA-inntekter».

Dimensjon 2
Kunnskapsdeling gjennom utveksling
av menneskelige ressurser, samarbeid
i utdanningen, samt studentbasert
entreprenørskap
Vi har innhentet informasjon fra alle de 14 deltakende instituttene
om utveksling av menneskelige ressurser, samarbeid, og studentbasert entreprenørskap. Vi gir en kort omtale og vurdering av
indikatorene som inngår under denne dimensjonen nedenfor.

19

Indikator 7
Antall Ph.d.-kandidater i norsk arbeidsliv (ekskl. akademia) per totaleårsverk
Kvalitet av rapportering: Middels. Det er særlig de store instituttene
som finner det vanskelig å spore og ha oversikt over arbeidsforhold og
sektortilknytning av egne Ph.d.-kandidater, selv kort tid etter disputasen.
Per i dag betyr dette mye manuelt arbeid for instituttadministrasjonen dadet ikke finnes standardiserte metoder for å samle inn og registrere denne
informasjonen på instituttnivå.
Avveining mellom viktighet og produksjonskostnad: Indikatoren har
blitt vurdert som viktig av flere institutt som har deltatt i prosjektet. Den
blir vurdert som viktig fordi den er med på å synliggjøre bidrag til økt
forskningskompetanse hos en ny ikke-akademisk arbeidsgiver. Samtidig har
det vært rapportert vanskeligheter for å få tak i informasjon for å kompilere
data til denne indikatoren. Noen institutter peker på at de har funnet
informasjon om nåværende arbeidsforhold gjennom LinkedIn og andre
kilder på internett.
Anbefalinger: Behold som innovasjonsindikator.
Indikator 8Nærings Ph.d. og offentlig Ph.d. per totale årsverk
Kvalitet av rapportering: Høy. Det kan oppstå en del misforståelser hvismålet er å også telle inn Ph.d.-prosjekter som (del)finansieres direkte av
eksterne aktører (f.eks. helseforetakene) utenfor den offisielle Næringseller Offentlig-Ph.d. ordningen i regi av Forskningsrådet. Det må derfor
avklares om indikatoren dreier seg kun om Forskningsrådets ordning, eller
om indikatoren skal inkludere et større omfang. Sannsynligvis er det mest
interessant å fange alle Ph.d.-prosjekter som involverer stipendiater med
delstilling i medfinansierende organisasjoner.
Avveining mellom viktighet og produksjonskostnad: Indikatoren er relativt
enkelt å produsere på instituttnivå og samtidig viser den instituttets evne tilå inngå bilateralt samarbeid av høyt kunnskapsnivå og spesialiseringsgrad
med andre aktører i arbeidslivet. Selv om instituttene rapporterer lavt volum,
så vil finansieringen av antall nærings- og offentlig Ph.d.-kandidater øke raskti Norge og det vil fortsatt være lett å holde oversikt over denne indikatoren(dvs. lave produksjonskostnader).
Anbefaling: Behold som innovasjonsindikator.

20

Indikator 9
Antall egne ansatte med sidegjøremåls-stillinger i norsk arbeidsliv per totaleårsverk
Kvalitet av rapportering: Middels. Sannsynligvis er det noe underrapportering
av lønnet og ulønnet verv og sidegjøremål per institutt, basert på at det
er opp til de enkelte ansatte å faktisk rapportere inn sidegjøremål. Det
er særlig sidegjøremål som ikke gir økonomisk gevinst som kan væreunderrapporterte. Informasjon er som regel hentet fra PAGA, som ellers kan
indikere høy kvalitet på informasjon som først er registrert.
Avveining mellom viktighet og produksjonskostnad: Instituttene
mener at indikatoren er av middels viktighet og har middels-høye
produksjonskostnader. På den andre siden er denne indikatoren med på å
synliggjøre direkte kunnskapsutveksling med eksterne aktører (relevant forsidegjøremål som skal meldes inn, som f.eks. styreverv og bistillinger), men
som ikke kan synliggjøres via BOA-inntekter. Det forutsettes imidlertid at det
i fremtiden etableres tydeligere rutiner for at alle ansatte rapporterer inn
relevante sidegjøremål for NTNUs bredere innovasjonseffekter.
Anbefalinger: Behold som innovasjonsindikator. Bedre kvalitet ved å øke
fokus og understreke viktigheten av innrapportering av sidegjøremål i hele
institusjonen, samt mulig relevans av disse sidegjøremålene for vanligearbeidsoppgaver (e.g. forskning/publisering og undervisning).
Indikator 10
Eksterne tilleggsstillinger (professor II-er stillinger) per totale årsverk
Kvalitet av rapportering: Høy. Data tilgjengelig i PAGA, men selv om deer tilgjengelige må dataene hentes ut manuelt (uttrekk). Det er spesielt
utfordrende å fordele antall tilleggsstillinger på hvor den aktuelle ansatte har
hovedstillingen sin (dvs. næringslivet, offentlig sektor, forskningsinstitusjoner,helseforetak og utenfor Norge).
Avveining mellom viktighet og produksjonskostnad: Arbeidskrevende å
produsere per underkategori av indikatoren. Anses som høy viktighet fordi
den er med på å synliggjøre direkte kunnskapsoverføring fra eksternevirksomheter (både privat næringsliv/bedrifter og offentlig virksomhet) til
NTNUs forsknings- og innovasjonsaktiviteter, samt kobling til undervisningog studentveiledning. Knyttet lave til middels produksjonskostnader til denne
indikatoren.
Anbefalinger: Behold som innovasjonsindikator.

21

Indikator 11a og 11b
Antall MA- og BA-oppgaver i samarbeid med eksterne aktører (som andel av
alle MA-oppgaver og/eller per totale årsverk)
Kvalitet av rapportering: Kvaliteten på innhentet tall fra sentral NTNU-registerfor årene 2019 og 2020 er relativt lav. Derimot fremstår tall fra sentral
rapportering for 2021 som mest pålitelige fordi de er basert på nye og mer
kvalitetssikrede rapporteringsrutiner og en høyere grad av automatisering.
Det som er rapportert direkte fra instituttene (og som er benyttet i piloten
og i analysen under) er sannsynligvis av dårligere kvalitet og mangelfullt i
forhold til kvaliteten på data fra sentralregister etter 2021. En av årsakene forat vi bruker tallene rapportert fra instituttene, er fordi vi også er interesserti å få tilsvarende (og sammenlignbar) informasjon om bacheloroppgaver.
NTNU har p.t. ikke rutiner for å produsere denne indikatoren forbacheloroppgaver fra sentralt hold.
Avveining mellom viktighet og produksjonskostnad: Generelt settbetraktes denne indikatoren som veldig viktig og som en god indikasjon på
breddekoblinger mellom forsknings- og utdanningsaktivitet og arbeidslivet.
Det var stor variasjon i hva de enkelte instituttene klarte å identifisere, og
dermed rapportere, som andel av oppgaver som involverte samarbeid medarbeidslivet (næringslivet, offentlig sektor, helseforetakene, og andre). Små
institutter synes å kunne få raskere tilgang til en god statistikk enn større
institutter. Men, det er gjennomgående en tilbakemelding fra både sentraltnivå og fra instituttene at dette er en indikator som på sikt kan forbedresbåde når det gjelder automatisering og kvalitet på rapportering.
Anbefalinger: Behold som innovasjonsindikator og på sikt øke kvalitetenog automatiseringsgraden på denne indikatoren betraktelig. Videre kan detvære en idé å etablere et forskningsprosjekt som analyserer mer i dybden
hva slags type samarbeid og involvering som finner sted mellom studentene,
veilederne og samarbeidende part. Her kan man evt. inkludere en evaluering
av kvalitet på samarbeid, identifisere mulige strukturelle hindringer når
det gjelder å skape god kommunikasjon mellom studenter, veiledere, og
samarbeidene part, i tillegg til forbedringspotensial for fremtidig organisering
av denne type samarbeid i oppgavene.
Indikator 12
Antall Stud-ENT-søknader og per totale årsverk
Kvalitet av rapportering: Lav. Dette er informasjon som ikke registreres
systematisk på instituttnivå. Derfor er det flere institutter som melder
at slike søknader ikke er en aktuell indikator. Samtidig er dette en viktigog hensiktsmessig indikator på fakultet- og institusjonsnivå (dvs. NTNU),
og datafangsten her kan sentraliseres (data eksisterer allerede og kan
rapporteres fra NTNUs entreprenørskole – ØK-fakultet). På den andre siden
vil indikatoren på sikt rapporteres også via enkelte institutter ettersom
ordningen gjelder student-basert nyetableringssøknader (start-ups eller
spin-offs) som springer fra prosjektideer initiert etter avsluttet master- og
profesjonsutdanning eller parallelt med Ph.d.-utdanningen.
Avveining mellom viktighet og produksjonskostnad: Indikatoren blir vurdert
med middels viktighet og høye produksjonskostnader da dette ikke er noe
instituttene holder oversikt over. Sannsynligvis lavt volum på denne aktivitet.
Anbefalinger: Ikke behold som innovasjonsindikator på instituttnivå, menbehold som indikator på NTNU-nivå.

22

Resultat fra spørreskjemaundersøkelsen
Figur 4: Resultater fra spørreskjemaundersøkelsen – vurdering av kvalitet, kostnad,
viktighet og automatiseringsgrad av de enkelte indikatorene under dimensjon«Mennesker». N=11.
Kvalitet
9
8
7
6
5
4
3
2
1
0
IND 7

IND 8

IND 9
Høy

IND 10

IND 11_ANDEL IND 11_PER TOTÅRSMediumLav

IND 12

Kostnader
10
9
8
7
6
5
4
3
2
1
0
IND 7

IND 8

IND 9

IND 10
Høy

MediumIND 11_ANDEL IND 11_PER TOTÅRS

IND 12Lav

Automatiseringsgrad
8
7
6
5
4
3
2
1
0
IND 7

IND 8

Lett å automatisere

IND 9

IND 10

IND 11_ANDEL

Krever en del ressurser og tilrettelegging

IND 11_PER TOTÅRS

IND 12

Vanskelig å automatisere

Viktighet
9
8
7
6
5
4
3
2
1
0
IND 7

IND 8

IND 9
Høy

IND 10MediumLav

IND 11_ANDEL IND 11_PER TOTÅRS

IND 12

Ikke relevant23

Resultater fra spørreskjema viser at indikatorene under den menneskelige dimensjonen har gjennomgående høy viktighet, og at disse derfor bør beholdes i viderearbeid og utvikling av indikatorene. Påfallende, så er det flere som reflekterer at
det er knyttet høye kostnader til å hente inn data på disse indikatorene, i tillegg
til at de vurderes som krevende å automatisere. Kvaliteten/påliteligheten til
datafangsten er gjennomgående middels-høy sett på dimensjonen samlet, medflere som rapporterer at datafangsten har vært spredt på alt fra sosiale medier og
samtaler med kollegaer, til sentrale systemer som PAGA.
Det er interessant å observere at kanskje særlig indikator 11 (MA- og BAoppgaver) skiller seg ut både når det gjelder kostnader og automatiseringspotensial. Mange vurderer (overraskende nok) at det er vanskelig å automatisere datafangsten og at det er knyttet høye kostnader til å hente ut data slik som systemeter nå. Vi vurderer det derimot som at det er lett å automatisere datafangsten på
sikt, da det nå er kommet på plass et bedre sentralt system for rapportering i
2021, men foreløpig bare for MA-oppgaver. På sikt kan derfor disse tallene bådebli lettere å fange opp, i tillegg til at de bør sørge for å ha høy kvalitet.

Resultater av analysen
Grunnlaget for vurderinger av denne dimensjonen er basert på mottatt tallgrunnlag fra instituttene. For indikatorene 7 og 10 er det rapportert tall fra defleste instituttene, og for indikator 8, 9 og 11 fra omtrent halvparten. Flere institutter har kommentert manglende data for indikator 11 (masteravtaler) med at
det ikke foreligger lokal registering siden sentral løsning benyttes uten mulighet
for lokalt uttrekk av data for 2019/2020. Tabell 3 gir en oversikt over rapportertetall, høyeste (maks) og laveste (min) rapporterte verdier, samt gjennomsnitt og
standardavvik av disse rapporterte tallene.
Figur 5 viser spredningen (boksplot) av rapporterte tall for år 2019. Det erinteressant å observere at i gjennomsnitt er antall sidegjøremål (slik de nå er
rapportert) og antall professor II-er stillinger av sammenlignbare størrelser, mensnoen institutter synes å ha langt flere professor II-er stillinger enn sidegjøremål.
Av de 25 prosentene av instituttene som rapporterte antall bacheloroppgaver
som involverer samarbeid med eksterne har minst en slik rapportert per ansatt,noe som kan ansees som et høyt tall. Tilsvarende tall for masteroppgaver er noe
lavere, men fortsatt er det 0,25 masteroppgaver som involverer samarbeid med
eksterne per årsverk, som er et relativt høyt tall. Dette er en av årsakene til at vi
anbefaler å gå videre med en analyse av dynamikken som oppstår i samarbeidet
mellom eksterne aktører og master- og bachelorstudentene.

24Mennesker - nøkkeltall
VariasjonsNbreddeAntall PhD-kandidater til arbeidsliv

13

Antall Nærings- og off. PhDer

9

Antall sidegjøremål
Antall II-er stillinger

År
2019

Antall MA-oppgaver i samarbeid med
eksterne
Antall BA-oppgaver i samarbeid med
eksterne
2020

Min.

Maks.

Snitt

St. avvik

28

0

28

10

9,6

9

0

9

2

2,9

10

28

0

28

11

8,3

13

20

1

21

11

6,2

7

81

12

93

32

28,6

5

105

0

105

29

43,5

STUD-ENT søknader

9

1

0

1

0

0,3

Antall PhD-kandidater til arbeidsliv

14

98

1

99

14

25,2

Antall Nærings- og off. PhDer

12

9

0

9

2

2,8

Antall sidegjøremål

12

31

0

31

10

8,9

Antall II-er stillinger

14

21

0

21

11

6,6

8

82

0

82

21

26,5

7

140

0

140

26

51,0

10

0

0

0

0

0,0

Antall MA-oppgaver i samarbeid med
eksterne
Antall BA-oppgaver i samarbeid med
eksterne
STUD-ENT søknader

Tabell 3. Nøkkeltall for indikatordimensjon «Mennesker». Rapporterte tall for 2019 og 2020.
N = antall institutter som oppga tall for indikatoren. Ellers rapporterer vi minimum, maksimum, gjennomsnitt av rapporterte og standardavvik av rapporterte tall.

Det er noen institutter som bare har bacheloroppgaver, mens flertallet av institutter leverer både bachelor- og masteroppgaver.

25

Figur 5: Oversikt over rapportering for indikatorer under dimensjonen «Mennesker»
normalisert per totale årsverk i det respektive instituttet for år 2019. Oppsummert
informasjon fra 13 NTNU-institutter.

Note: Boksene viser maks og minimum rapportert antall og 25, 50 (median – den svarte strekken) og 75
kvantiler. Innrammet i de grønne boksene vises spredning mellom 25 og 75 kvantil. SPSS.

26

Oppsummering av diskusjonen - dimensjon «Mennesker»
Denne dimensjonen vurderes som den mest verdifulle indikatordimensjonen
etter kommersialiseringsindikatorene. Det er tydelig at dimensjonen fanger aspekter av det bredere innovasjonsbidraget som ikke lett lar seg måle i foreksempel økonomiske størrelser.
Enkelte aktiviteter som blir synliggjort via «mennesker»-dimensjonen synes å haen sammenheng med andre innovasjonsdimensjoner, men uten at vi kan klare å
presisere arten av sammenhengen i en dynamisk utvikling og gradvis mer konkretisering av instituttenes ulike former innovasjonsbidrag ut i samfunnet.
For eksempel, mål på korrelasjon (Spearmans korrelasjonskoeffisient) mellom
normaliserte innovasjonsrettede BOA-inntekter og normaliserte antall Ph.d.-er
i arbeidslivet viser positiv og signifikant korrelasjon. Et annet interessant trekk
i dataene er at normaliserte antall sidegjøremål og antall nærings- og offentlig
Ph.d.-er er positivt og signifikant korrelert med antall MA-oppgaver i samarbeid
med eksterne per totale årsverk. Også antall Ph.d.-kandidater i arbeidslivet per
totale årsverk er positiv korrelert med antall DOFI-ideer (indikator 20).
At vi finner slike signifikante sammenhenger i et datagrunnlag som inneholderså få antall observasjoner (og en del «missing values») er interessant, og tyder
på at indikatorene fanger ulike sider av dypere underliggende og muligens sammenvevde kunnskapsprosesser over tid og rom som involverer både økonomi,
utveksling av mennesker og nettverksbyggende virksomhet innenfor de enkelte
instituttene.

Vi konkluderer med at fem av de seks foreslåtte indikatorene
under denne dimensjonen bør produseres videre, mens STUDENT-søknader/innvilgede prosjekter bør rapporteres på NTNU/
institusjonsnivå.

27

Dimensjon 3
Formelle avtaler og ulike typer aktivitetersom fører til sirkulasjon av kunnskap og ideer
mellom instituttene, økonomiske aktører,policyaktører, og med det bredere samfunnet
Vi har innhentet informasjon fra alle de 14 deltakende institutteneom følgende nettverk og sirkulasjon av kunnskap og ideer mellom
instituttene og eksterne aktører innenfor økonomi, policy, og det
bredere samfunnet:

28

Indikator 13Inngåtte avtaler/MoU-er med samfunnsaktører(eks. banker, kommuner, mm.)
Kvalitet av rapportering: Lav-middels. Mangel på lokal oversikt. Indikatoren
har egentlig som formål å kartlegge direkte avtaler med eksterne aktører
uten nødvendigvis at avtalen innebærer økonomiske forpliktelser. Men
flere institutter kan ha misforstått og inkluderte avtaler i forbindelse med
prosjekter som i hovedsak er finansiert av virkemiddelapparatet (somegentlig er ment å fange gjennom indikator 14).
Avveining mellom viktighet og produksjonskostnad: Her har det værtvanskelig å produsere tall på instituttnivå, og krever mye manuelt arbeid
som skaper en del usikkerhet ettersom mange avtaler med eksterne aktører
signeres på institusjonsnivå (NTNU). Derfor er det mer aktuelt å rapportere
denne indikatoren på fakultet- og institusjonsnivå (NTNU).
Anbefaling: Behold, men bare på fakultets- og institusjonsnivå (NTNU).
Indikator 14
Kontraktsfestet samarbeid med eksterne partnere - antall deltakere
Kvalitet av rapportering: Lav-middels. Her er det store sprik i hva som har
blitt rapportert av instituttene. Definisjons- og avgrensingsspørsmål av hva
som er FoU-prosjekter, samarbeid, etc. har vært krevende.
Avveining mellom viktighet og produksjonskostnad: En indikator med høy
viktighet fordi den direkte synliggjør forsknings- og innovasjonssamarbeid
med eksterne aktører og størrelse på f.eks. bedriftsnettverk på instituttnivå.
Indikatoren har blitt evaluert av instituttene som svært arbeidskrevende åhente ut data på, blant annet basert på at definisjonen og avgrensningenav hva indikatoren innebærer ikke har vært tydelig nok avgrenset
fra prosjektteamets side. For institutt med stor prosjektportefølje vil
dobbelttelling være en utfordring uten et underliggende system fordatafangst. Blir vurdert av instituttene som en indikator det er vanskelig åfå automatisert datafangst på. Forskningsrådet kan i fremtiden produsere
denne indikatoren for prosjektavtalene i regi av Forskningsrådet, men neppepå instituttnivå.
Anbefaling: Behold som innovasjonsindikator på instituttnivå, men
kvalitet på data må forbedres og tydeliggjøre definisjonen på indikatoren.
Indikatoren kan etter hvert også hentes fra virkemiddelapparatet, i alle fall på
institusjonsnivå.
Indikator 15
Antall (innovasjons)arrangementer
Kvalitet av rapportering: Lav-middels. Tall må hentes ut manuelt av
instituttene, og det er få som fører oversikt over dette. Det er stor variasjon
av type arrangement, og krevende å skille ut hvilke som spesielt kan knyttes
til et innovasjonsbidrag.
Avveining mellom viktighet og produksjonskostnad: Blir av flere institutt ikke
sett på som en viktig indikator, med unntak to institutter. Kostnader knyttet

29til arrangementer har vært bortimot umulig å få hentet inn informasjon på.
Arbeidskrevende å få ut data, grunnet mangel på rapportering og oversikt
hos instituttene. Vanskelig å automatisere datafangst.
Anbefaling: Ikke behold, men for de instituttene hvor denne aktiviteten
fremtones som viktig, kan man utvikle en mer raffinert og kanskje også mersemikvalitativ beskrivelse av aktivitetene.
Indikator 16
Antall kulturarrangement
Kvalitet av rapportering: Lav-middels. Lav kvalitet på data som fanger opp
kostnader knyttet til arrangement, disse tallene er umulig å hente ut for
instituttene. Det er stor variasjon av type arrangement, og krevende å skilleut hvilke som spesielt kan knyttes til et potensielt innovasjonsbidrag.
Avveining mellom viktighet og produksjonskostnad: Blir ikke sett på som en
viktig indikator av flere institutt, men nevneverdig at institutt som IMS menerat denne indikatoren er viktig for deres innovasjonsbidrag.
Anbefaling: Ikke behold, men for de instituttene som denne aktivitet
fremtones som viktig kan man utvikle en mer raffinert og kanskje også mersemikvalitativ beskrivelse av aktiviteten.
Indikator 17
Antall åpent lisensiert IP
Kvalitet av rapportering: Lav-middels. Mangel på et sentralisert system gjør
det vanskelig å hente ut data på instituttnivå. Vi visste på forhånd at dette
ville bli svaret på datafangsten, da datainnsamlingen bekreftet en hypotese
om at det er ingen systematisk registrering, i tillegg til lav bevissthet rundt
dette.
Avveining mellom viktighet og produksjonskostnad: Enkelte institutt
rapporterer lav viktighet, men Policy for Open Science at NTNU ble vedtatt
i 2020 og er et av NTNUs klare policydokumenter relevant for innovasjon.
Dette og IP policyen definerer policy for pro-aktiv forvaltning av alle våreforskningsresultater. Dette er den eneste indikatoren som kan fange opp
etterlevelse av en Open Science policy, og blir derfor vurdert som viktig av
prosjektteamet og flere institutter.
Anbefaling: Behold. På kort sikt kan indikatoren utgå pga. relativt lavt
volum. Men det er viktig å kartlegge åpen deling aktivitet, i alle fall på
institusjonsnivå og derfor bør denne være en fast indikator på lengre sikt.

30

Resultat av spørreskjemaundersøkelsen
Figur 6: Resultater fra spørreskjemaundersøkelsen – vurdering av kvalitet, kostnad,
viktighet og automatiseringsgrad av de enkelte indikatorene under dimensjon«Nettverk». N=11.
Kvalitet
10
9
8
7
6
5
4
3
2
1
0
IND 13_INSTIND 13_NTNU

IND 14

IND 15Høy

IND 16_PER TOTÅRSMediumIND 16_KOST

IND 17

Lav

Kostnad
8
7
6
5
4
3
2
1
0
IND 13_INSTIND 13_NTNU

IND 14

IND 15Høy

IND 16_PER TOTÅRSMediumIND 16_KOST

IND 17Lav

Automatiseringspotensial
8
7
6
5
4
3
2
1
0
IND 13_INSTIND 13_NTNU
Lett å automatisere

IND 14

IND 15

IND 16_PER TOTÅRSKrever en del ressurser og tilrettelegging

IND 16_KOST

IND 17

Vanskelig å automatisere

Viktighet
9
8
7
6
5
4
3
2
1
0
IND 13_INSTIND 13_NTNU

IND 14
Høy

IND 15
MediumLav

IND 16_PER TOTÅRS

IND 16_KOST

IND 17

Ikke relevant

31

Resultater fra spørreskjemaet (figur 6) illustrerer at det er denne dimensjonensom, sett under ett, minst fanger opp innovasjonsbidrag til instituttene, og derfor
vurderes viktigheten som noe lavere enn hos de andre dimensjonene. Det ersærlig viktigheten til indikator 15 og 16 som vurderes som lav og ikke relevant av
flere institutter. I tillegg er det gjennomgående dårlig kvalitet på datafangsten, da
det er knyttet høye kostnader til innhenting av data, og det er vanskelig å automatisere fremtidig datafangst for denne indikatoren.
Både kvalitet på data, kostnader knyttet til innhenting av data, og automatiseringspotensialet til flere av disse indikatorene blir helhetlig sett på som lav,
krevende, og vanskelig. På den andre siden vurderes særlig indikator 13, 14 og 17
med høy viktighet av flere institutt for å synliggjøre deres innovasjonsbidrag.

Resultater av analysen
Bakgrunnen for vurdering av denne dimensjonen er basert på mottatt tallgrunnlag fra instituttene. I snitt er det mottatt data fra halvparten av instituttene
for indikator 13-15, og svært få tall for indikatorene 16 og 17. Denne dimensjonen
har for mange vært utfordrende å hente informasjon på, og mange har sett pånoen av disse indikatorene, da gjerne særlig 15 og 16, som av lav viktighet og
ikke en prioritert aktivitet av instituttene. Samtidig er det her viktig å reflektereover de definisjonsdilemmaene som IMS-instituttet formulerer på følgende måte:«Indikatorer vi opplever at treffer IMS, er i hovedsak indikatorene som måler nettverk.
Å inngå og delta i et prosjektnettverk er imidlertid ikke ensbetydende med innovasjon,
men heller samarbeid og tverrfaglighet. Igjen ser vi derfor et behov for en tydeligere
definisjon av prosjektledelsens forståelse av innovasjonsbegrepet. Hva slags nettverksaktivitet kvalifiseres til innovasjon?»
Nettverk - nøkkeltall
VariasjonsÅr
2019

Antall MOU på instituttnivå
Antall partnere i prosjektkontrakter

bredde

Min.

Maks.

Snitt

St. avvik

9

156

0

156

20

51,2
100,2

6

258

6

264

72

Antall innovasjonsarrangementer

9

10

0

10

5

3,7

Antall kulturarrangementer

4

44

0

44

11

22,0

(utenom UH-sektoren)

2020

N

Antall open source lisensavtaler

7

2

0

2

1

0,8

Antall MOU på instituttnivå

10

174

0

174

21

54,1

9

189

7

196

71

66,3

Antall innovasjonsarrangementer

10

15

0

15

5

5,3

Antall kulturarrangementer

5

36

0

36

7

16,1

Antall open source lisensavtaler

8

1

0

1

0

0,5

Antall partnere i prosjektkontrakter(utenom UH-sektoren)

Tabell 4. Nøkkeltall for indikatordimensjon «Nettverk». Rapporterte tall for 2019 og 2020. N =antall institutter som oppga tall for den respektive indikatoren. Ellers rapporterer vi minimum,
maksimum, gjennomsnitt av rapporterte og standardavvik av rapporterte tall.

Det er interessant å observere at spredningen mellom de rapporterte (absolutte)tallene (se «Variasjonsbredde» i tabell 4) er stor for nesten alle indikatorene idenne dimensjonen. Motsatt ser vi at for «antall open source avtaler» så rapporteres veldig lave tall, noe som kanskje ikke er uventet. Enkelte institutter rapporterer
et betydelig antall formelle avtaler (MOU-er) med eksterne aktører, mens hos dealler fleste inngår slike avtaler som en del av fakultet eller institusjon. Det kan
hende at enkelte institutter har misforstått og rapportert partnere i prosjektavtaler (se neste avsnitt) som MoU-er.

32

Videre er det i dag krevende – særlig for store institutter – å lage lister overhvor mange unike samarbeidspartnere de samarbeider med i løpende signerte
forsknings- og innovasjonsavtaler i regi av virkemiddelapparatet. En slik oversikt
over tid vil kunne gi en unik innsikt i hva slags typer prosjektsamarbeid institutter
er involvert i og eventuelt hvem de sentrale samarbeidsaktørene (mennesker
og organisasjoner) er. Det kan tenkes at denne type kunnskap er viktig og nyttig
i utvikling av strategiske forsknings- og innovasjonsplaner. Jo større instituttet
er, dess mer nyttig er denne generiske relasjonelle informasjonen. Derfor er det
hensiktsmessig i fremtiden å samle inn og systematisere denne type informasjon
mer regelmessig. Ellers finner vi at antall deltakere i prosjektavtaler per totaleårsverk er signifikant og positivt korrelert med innovasjonsrettede BOA-inntekter
per totale årsverk.
Figur 7: Oversikt over rapportering for indikatorer under dimensjonen «Nettverk»
normalisert per totale årsverk i de respektive instituttene fra år 2019 og 2020.
Oppsummert informasjon fra 13 NTNU-institutter i 2019, og 14 NTNU-institutter i 2020.

Note: Boksene viser maks og minimum rapportert antall og 25, 50 (median – den svarte strekken) og 75
kvantiler. Innrammet i de grønne boksene vises spredning mellom 25 og 75 kvantil. Ekstreme verdier vises
med kulepunkt. SPSS.

33

Mange institutter og respondenter stiller spørsmål til verdien av å registrere«innovasjons»- og «kultur»-arrangementer. Ideen bak denne indikatoren er
å fange aktiviteter som senere skaper grunnlag for et tettere samarbeid med
eksterne aktører og samtidig bidrar til formidling av kunnskap og ideer i relevante møtearenaer. På den andre siden er det lite forskning som underbygger
kunnskap om hvilke indikatorer som kan best fange slike tidlige og diffuse sider
av innovasjonsbidraget (se NTNU 2019, kapittel 3 for en kort diskusjon om denne
problemstillingen). Men hvor mange arrangementer som finner sted i regi av instituttet (eller ansatte ved instituttet), og eventuelt hvordan disse støttes økonomisk
av instituttets egne midler, er en indikasjon på hvor utadvendt og inviterende etinstitutt er samlet sett.

Oppsummering av hovedfunn fra dimensjon «nettverk»
Det er liten tvil om at denne dimensjonen er en av de innovasjonsdimensjonene
som konseptuelt sett er dårligst forstått og kartlagt i litteraturen, og også i dettepilotprosjektet. Dette reflekteres bl.a. i vanskelighetene vi hadde med å gi en klar,
presis og entydig definisjon til de indikatorene vi til slutt benyttet under denne
dimensjonen – dette gjelder spesielt definisjon av de to arrangementstypene vi
benyttet som indikatorer.
Flere fakultet og institutter rapporterer likevel at det er på denne dimensjonen
at deres innovasjonsbidrag kan fanges og måles best (se f. eks IMS). Dette tyder
på at – særlig for disse fagområdene – det er behov for mer forskning for å forstå
innovasjonseffekter fra denne typen nettverksbyggende virksomheter.



34

Oppsummert foreslår vi på kort sikt å kun beholde «antall deltakere iprosjektkontrakter» som den eneste indikatoren fra denne dimensjonen på instituttnivå. Videre foreslår vi å beholde fokus også på antall«open source avtaler» som kan være en viktig kanal for innovasjonsbidragene i fremtiden, men på kort sikt kan denne indikatoren utgå.

Dimensjon 4
Kommersialisering
Vi har innhentet informasjon fra alle de 14 deltakende instituttene
om indikatorer for kommersialisering. Datafangsten er gjort av NTNU
TTO for indikator 20-24, og direkte fra instituttene for 18 og 25.

35

Indikator 18
Antall innovasjoner innenfor helsetjenester
Kvalitet av rapportering: Dette kan være en interessant indikator, men er
mest aktuell for institutter primært knyttet til MH-fakultetet. Helseforetakene
har etablert et eget system for rapportering av helsetjenesteinnovasjoner,men dessverre uten å registrere hvorvidt, og i så fall hvor store, bidrag som
kommer fra UH-sektoren.
Avveining mellom viktighet og produksjonskostnad: Laveproduksjonskostnader da dette ikke er noe instituttene holder p.t. oversikt
over. Gjerne høy viktighet blant instituttene hos MH-fakultetet.
Anbefaling: Ikke behold som en generisk indikator. Samtidig kan indikatoren
over tid gi verdifull informasjon særlig fra instituttene innenfor medisin og
helse, dersom NTNU utvikler samarbeid med helseforetakene med formål
å utvikle eksisterende rapporteringssystem slik at det er mulig å registrere
universitetenes bidrag av helseinnovasjonsaktiviteter i fremtiden. I så fall bør
dette anses som et mulig utviklingsprosjekt som kan gjennomføres i 2022,
og som på sikt kan gi nyttig informasjon innenfor et viktig innovasjonsfelt for
UH-sektoren.
Indikator 19
Antall studentbaserte start-ups
Kvalitet av rapportering: Studentbasert innovasjon finnes det generelt lite
informasjon om, og det finnes få andre aktuelle indikatorer for å registrereog måle denne aktiviteten. En av de lovende indikatorene innenfor
studentbasert innovasjon kan være studentbaserte start-ups, men disse
registreres per i dag ikke på instituttnivå. Det er kanskje ikke så sentralt
å sette søkelys på enkelte institutter i denne indikatoren, siden denne gir
utrykk for hvordan hele innovasjonsøkosystemet er finansiert og organisert
ved de enkelte universitetene (dvs. NTNU). I alle fall på NTNU er datafangsten
for denne indikatoren sentralisert og data kan rapporteres fra NTNUs
entreprenørskole – ØK-fakultet. Samtidig er det viktig og hensiktsmessigogså å finne flere/andre indikatorer som kan måle aktivitet på studentbasert
innovasjon på fakultet- og institusjonsnivå.
Avveining mellom viktighet og produksjonskostnad: Laveproduksjonskostnader da dette ikke er noe instituttene holder p.t. oversikt
over. Har høy prioritering og blir sett på som en viktig indikator for å
synliggjøre innovasjonsbidrag i form av studentbasert innovasjon.
Anbefaling: Behold på institusjonsnivå (NTNU). Det er viktig å utvikle rutinerfor å kunne rapportere jevnlig på denne indikatoren, kanskje også på
instituttnivå. Denne indikatoren har i videre anbefaling blitt delt inn i to deler,der a) er antall studentbaserte start-ups, og b) antall (ansattbaserte) start-ups
uten IP avtale.

36

Indikator 20
Antall innsendte DOFI til NTNU TTO
Kvalitet av rapportering: Høy. Det er gode innarbeidede rutiner for
rapportering fra instituttene.
Avveining mellom viktighet og produksjonskostnad: Rimelig høy grad av
viktighet og lave produksjonskostnader. Indikatoren er en enkelt KPI for
synliggjøring av konkret input fra fagmiljøene til TTO.
Anbefaling: Behold som innovasjonsindikator.
Indikator 21
Antall prosjekter i NTNU TTO basert på mottatt DOFI
Kvalitet av rapportering: Lav. Per i dag har TTO ikke et gjennomarbeidet
system som kan skille mellom registrerte DOFI-er og DOFI-er som er verdt å
forfølge som kommersialiserings-prosjekter. Derfor er tall rapportert under
denne indikatoren identisk med tall for indikator 20.
Avveining mellom viktighet og produksjonskostnad: Dialog med TTO
bekrefter at denne indikatoren i realiteten er sammenfallende med indikator
20 i deres nåværende registreringssystem.
Anbefaling: Ikke behold i dette indikatorsettet. TTO bør vurdere hvorvidt det
er hensiktsmessig å lage en prioriteringsliste over DOFI-ideer som ex ante serlovende ut og DOFI-er som ikke er verdt å satse på i sin daværende form. På
denne måten ville vi fått en indikasjon på variasjon i kvalitet på DOFI-ene som
meldes inn i TTO-systemet.
Indikator 22
Antall kommersielle lisenser
Kvalitet av rapportering: Høy.
Avveining mellom viktighet og produksjonskostnad: Rimelig høy grad av
viktighet og lave produksjonskostnader. Representerer en enkel indikator på
resultater (output) fra NTNU TTO basert på indikator 20.
Anbefaling: Behold, men vi har delt indikatoren i to deler som fanger separat
opp a) totale inntekter fra lisenser og salg av IPR og b) antall kommersielle
lisenser. Dette innebærer at det som er indikator 4 i det opprinnelige
indikatorsettet beholdes, men kategoriseres om som en resultatindikator.

37

Indikator 23
Antall patentsøknader
Kvalitet av rapportering: Medium-høy. Det ble samlet data for antall
patentsøknader basert på data fra TTO. Det ble produsert et overraskende
høyt tall på antall patentsøknader for enkelte institutter. Etter en avklaring
med TTO ble det bekreftet at tallgrunnlaget inneholder alle patentsøknader(prioritetssøknader, EPC og nasjonale søknader). Dette går utover kvalitetenpå dataene. TTO anbefaler å kun benytte prioritetssøknader som indikator i
fremtiden.
Avveining mellom viktighet og produksjonskostnad: Rimelig høy grad av
viktighet og lave produksjonskostnader. Patenter er ikke et direkte mål påinnovasjon, men er relevant som indirekte parameter og som viktig input
i en kommersialiseringsprosess. Videre er indikatoren allerede veletablert
for synliggjøring av universitetenes innovasjonsbidrag nasjonalt og
internasjonalt.
Anbefalinger: Behold, men spesifiser at det kun telles prioritetssøknader.
Indikator 24
Antall ansattbaserte spin-offs basert på NTNU IP-avtale6
Kvalitet av rapportering: Høy.
Avveining mellom viktighet og produksjonskostnad: Rimelig høy grad av
viktighet (direkte synliggjøring av innovasjon i form av nye arbeidsplasser og/
eller verdiskaping) og med lave produksjonskostnader.
Anbefaling: Behold som innovasjonsindikator.
Indikator 25
Antall ansattbaserte spin-offs uten NTNU TTO IP lisensavtale
Kvalitet av rapportering: Lav kvalitet informasjon på instituttnivå, det finnes
ikke rutiner for å registrere denne indikator på de fleste instituttene.
Avveining mellom viktighet og produksjonskostnad: Rimelig høy grad
av viktighet og lave produksjonskostnader. Kvaliteten oppfattes som lavsannsynligvis fordi det er få antall av slike nyetableringer.
Anbefaling: Ikke behold som egen indikator. Et forslag her kan være atantall studentetableringer (indikator 19) inngår i denne kategorien. Disse
har heller ikke IP avtale med NTNU TTO, men har utspring fra NTNU.
Selskapsetableringer av Ph.d.-er og ansatte kan gå under en bredere
definisjon av antall start-ups under indikator 19.

Poenget med indikator 24 er å fange antall nyetableringer tilrettelagt av NTNU TTO, mens indikator 25 fanger nyetableringer av NTNUansatte uten bidrag fra NTNU TTO. Disse to utfallsmulighetene er beskrevet at NTNUs IP-policy.
638

Resultat av spørreskjemaundersøkelsen
Figur 8: Resultater fra spørreskjemaundersøkelsen – vurdering av kvalitet og viktighet
av de enkelte indikatorene under dimensjon «Kommersialisering». N=11.
Kvalitet
10
9
8
7
6
5
4
3
2
1
0
IND 19a_INSTIND 19a_NTNU

IND 18

IND 20Høy

IND 22b
MediumIND 23

IND 24_MED IP
AVT

IND 25_UTEN IP
AVT

IND 23

IND 24_MED IP AVT IND 25_UTEN IP AVT

Lav

Viktighet
10
9
8
7
6
5
4
3
2
1
0
IND 19a_INSTIND 19a_NTNU

IND 18

IND 20
Høy

MediumIND 22b
Lav

Ikke relevant

Kvaliteten og viktigheten av denne indikatordimensjonen vurderes som høy av
instituttene. Som forventet så er det viktigheten av indikator 18 (innovasjoner
innenfor helsetjenester) vurdert som noe lavere, da denne indikatoren gjerne kun
treffer institutter knyttet til MH-fakultetet.
Instituttene har ikke blitt bedt om å ta stilling til automatiseringspotensial og
kostnader knyttet til innhenting av data, da tall fra denne dimensjonen er hentet
sentralt ved hjelp av TTO.

39

Resultater av analysen
Analysen av denne dimensjonen er basert på tall mottatt fra NTNU TTO med unntak av indikator 18, 19 og 25. Dette innebærer at datagrunnlaget er representativt
og komplett for alle institutt. Et hovedtrekk ved datagrunnlaget er at det er stor
grad av dekning mellom instituttene for indikator 20 og 21 (registrerte data > 0
for majoriteten av instituttene, dvs. NTNU TTO mottar DOFI fra hele bredden av
pilotutvalget). For de øvrige indikatorene (22-24) er det registrer resultater i form
av data >0 fra en minoritet av institutter, dvs. teknologioverføring er konsentrert
rundt et mindretall av instituttene (3-5 institutt). Dette synes også både i Tabell 5
og Figur 8.
Videre er antallet som rapporteres her relativt lave sammenlignet med rapportering i de tidligere indikatorene. Vi vet fra tidligere studier (se NTNU 2019 – kapittel
5) at NTNU er den institusjonen i Norge som er mest aktiv i kommersialisering.
Likevel understøtter rapporteringen fra instituttene at kommersialisering bare eren liten del av det totale og mangfoldige innovasjonsbidraget til instituttene.
Kommersialisering - nøkkeltall
N

Variasjonsbredde

Min.

Maks.

Snitt

Antall DOFI til TTO

13

13

0

13

5,8

4,5

Antall lisenser

13

5

0

5

0,6

1,4

Antall patentsøknader

13

24

0

24

3,5

7,5

Antall spinn-offs med IP-avtale

13

1

0

1

0,3

0,5

Antall DOFI til TTO

14

12

0

12

3,4

4,0

Antall lisenser

14

5

0

5

0,6

1,3

Antall patentsøknader

14

10

0

10

1,9

3,4

Antall spinn-offs med IP-avtale

14

1

0

1

0,1

0,3

År
2019

2020

St. avvik

Tabell 5. Nøkkeltall for indikatordimensjon «Nettverk». Rapporterte tall for 2019 og 2020.
N = antall institutter som oppga tall for den respektive indikatoren. Ellers rapporterer vi
minimum, maksimum, gjennomsnitt av rapporterte og standardavvik av rapporterte tall.

40

Figur 9: Oversikt over rapportering for indikatorer under dimensjonen«Kommersialisering» (obs! absolutte tall, dvs. ikke normalisering). Oppsummert
informasjon fra 13 NTNU-institutter i 2019 og 14 NTNU-institutter i 2020.

Note: Boksene viser maks og minimum rapportert antall og 25, 50 (median – den svarte strekken) og 75
kvantiler. Innrammet i de grønne boksene vises spredning mellom 25 og 75 kvantil. Ekstreme verdier vises
med kulepunkt. SPSS.

41

Oppsummering av hovedfunn fra dimensjon«Kommersialisering»
Aktiviteten som rapporteres under «kommersialiseringsindikatorer» er viktig.
Den er betydningsfull sammenlignet med andre UH-institusjoner, og den
tydeligste type resultat som NTNU og andre UH-institusjoner har for å beviselig
dokumentere bidrag til innovasjon. Respondentene gir også denne indikatordimensjonen den høyeste scoren i spørsmålet «Sett under ett, hvor viktig synes dudenne dimensjonen av indikatorene er for å synliggjøre instituttets/fakultetets
innovasjonsbidrag?» sammenlignet med de andre tre dimensjonene (økonomi,
mennesker og nettverk).
Analysen viser at antall DOFI som registreres av TTO er signifikant og positivt
korrelert med både innovasjonsrettede BOA-inntekter per totale årsverk og med
totale BOA-inntekter per totale årsverk og med antall Ph.d.-er i arbeidslivet per
totale årsverk (den sistnevnte gjelder bare for 2019). Videre er antall lisenser signifikant og positivt korrelert med antall MoU-avtaler. Også antall patentsøknader er
positivt korrelert med totale BOA-inntekter per totale årsverk. Selv om usikkerheten i datagrunnlaget er stor og tidsperspektivet vi har data på strekker seg til bareto år, er det å finne slike signifikante sammenhenger et interessant funn.
Dersom det viser seg at korrelasjonene er robuste og holder seg for hele NTNU
over en lengre tidsperiode, kan man konkludere med at kommersialiseringsaktiviteter synes å være en del av den totale helhetlige innovasjonsinnsatsen fra
instituttene, i tillegg til å ha sammenheng med hele orienteringen og forskningsog innovasjonskulturen i et institutt, kanskje til og med i fakultetet. Med andre
ord, de synes ikke å være et resultat av en smalere orientering og strategisk fokus
rettet inn mot å oppnå enkelte «smalere» kommersialiseringsmål.
Men igjen, det er for tidlig å feste tillitt til slike korrelasjonssammenhenger som
vi finner i dette pilotprosjektet. Her trengs mer kvantitativ og kvalitativ forskningfor å utforske mer i dybden om, og i så fall hvordan, koblinger mellom så ulike
innovasjonsdimensjoner som kommersialisering, nettverk og mennesker oppstår.

42

Kapittel 3
Forslag til nytt
indikatorsett



43

Hva forteller utprøving av indikatorene samlet sett?
Gjennomføringen av piloten i form av datafangst fra ulike kilder, dialog og drøfting
med de deltakende instituttene, spørreskjema og dialog med fakultetene og med
NTNUs innovasjonsutvalg tilfører ny kunnskap på tvers av de fire dimensjonene
indikatorsettet representerer. Gjennom de kvantitative og kvalitative analysene og
dialogene er en rekke hovedtrekk ved indikatorsettet identifisert og inkludert i ensamlet vurdering og anbefaling. De viktigste av disse er:
•

•

•

•

44

Et differensiert indikatorsett (fra 1 til 4 dimensjoner) gir et bedre og mer
nyansert bilde av NTNUs samlede bidrag til innovasjon enn hvis vi bareforholder oss til kommersialiseringsindikatorene, slik praksisen er i dag.
Det er imidlertid ulike syn på vektleggingen av de ulike dimensjonene (foreksempel valg av indikator og antall indikatorer i hver dimensjon). Dettekan delvis underbygges av variasjon i mottatt datagrunnlag fra ulike fagmiljøer, og delvis gjennom mottatte kommentarer.
Nytteverdi vil oppleves ulikt avhengig av nivå og eventuelt også faglig
tilhørighet i NTNU. Prioritering av ulike elementer av synliggjøring vilogså variere fra instituttnivå til institusjonsnivå. På instituttnivå kan foreksempel underliggende data som viser mer detaljert informasjon for en
indikator anses som mer relevant enn på institusjonsnivå der aggregerte
data har høyere verdi.
Kostnader knyttet til datafangst kan grovt klassifiseres i noen hovednivå:lavt der data kan hentes ut fra eksisterende datakilder (for eksempel økonomitall og bidrag fra NTNU TTO), medium der datakilder eksisterer men
det ikke er tilrettelagt for kvantifisering av indikatorene (for eksempel
HR data på sidegjøremål, deler av økonomidata, oppgaver i samarbeid
med arbeidsliv), og høyt der det per i dag kreves manuell datafangst (nyttarbeidssted PhD, arrangement og antall ulike samarbeidsavtaler). Med
dagens utgangspunkt vil det kreves tilpasning av eksisterende løsninger
og etablering av nye løsninger for datafangst.
Kostnader knyttet til datafangst bør også sees i sammenheng med samlet
indikatorsett og samlede kostnader. Dette innebærer at antallet av indikatorer i et samlet og endelig indikatorsett bør begrenses.
Normalisering av data er identifisert som et eget tema for vurdering.
Metodologisk vil en normalisering av indikatorer for alle dimensjoner
med felles faktor fremstå som robust praksis. I piloten er det benyttet
en normalisering ut fra totale antall årsverk registrert på instituttnivå.
Alternative normaliseringsfaktorer kan bidra til en mer intuitiv forståelse
av indikatorene. Alternativ normalisering kan for eksempel være en
normalisering i forhold til BOA-omsetning eller per faglige årsverk (UFF). I
tillegg til en teknisk diskusjon av normalisering foreligger det i dag alleredeen praksis for bruk av indikatorer som ikke er normalisert. Eksemplerpå denne type indikatorer som allerede er i bruk er antall ideer (DOFI),
patenter og lisenser. Dette innebærer at det for noen indikatorer vil værehensiktsmessig å skille mellom internt og eksternt bruk av indikatorer(normaliserte og ikke-normaliserte). I en innledende fase vil bruk av nye
indikatorer eksternt representere en kommunikasjonsutfordring siden
uten sammenlignbare data vil informasjonsverdien sterkt reduseres.
Sammenlignbarheten kan forsterkes ved bruk av normaliserte indikatorer.

Nytteverdien av indikatorene
Innovasjon og nyskapingsaktivitetene er ett av NTNUs særtrekk og styrker. NTNU
har ambisjon om å bidra til det grønne skiftet, omstilling i norsk økonomi og til økt
forskningsbasert innovasjonsaktivitet i landet. Dette gjøres gjennom å omsette
mer av kunnskapen og resultatene fra bredden av NTNUs forskningsaktivitet til
nye innovative og bærekraftige løsninger til nytte for både samfunn og arbeidsliv.
Hele UH-sektoren forventes å fremme innovasjon og kommersialisering istørre grad fremover. I denne sammenheng er det viktig at UH-sektoren kan
dokumentere og synliggjøre innovasjonsbidraget sitt utover de eksisterende
kommersialiseringsindikatorene.
Det er en del videreutviklingsarbeid som må finne sted for å dels konsolidere, dels
forbedre og dels automatisere datakildene for indikatorene som foreslås under,og helst før man kan ta indikatorsettet i bruk for strategiske vurderinger og prioriteringer på institutt, fakultet og/eller institusjonsnivå.
Innen Økonomidimensjonen eksisterer datakildene allerede, og mulighetene for
automatisering av datafangsten ligger godt til rette. Videreutvikling av datakilden
her vil være et standardiseringsarbeid ved NTNU slik at de ulike finansieringskildene blir registrert basert på samme arketyp.
Tilsvarende gjelder også for dimensjon 4 Kommersialisering. Her er det for indikator 19 Antall studentbaserte start-ups som krever utvikling av en rutine for registrering i samarbeid med fagmiljøet ved IØT og NTNU SPARK*.
For indikatorene i dimensjonene Mennesker og Nettverk vil det kreve en større
arbeidsinnsats, dvs. kostnader for å utvikle kvalitativt gode datakilder som muliggjør en automatisert datafangst. De fleste datakildene er etablert, men per i dag
eksisterer dataene ikke i et format som gjør det lettvint å hente ut data.
I arbeidet med utvikling/videreutvikling av datakilder er det viktig at disse etableresi et format som kan gjenbrukes i flere sammenhenger, og som kan benyttes til å seutviklingstrender over tid, jfr. Kunnskapsdepartements forventninger til sektoren.
Videre bør datasettene kunne brukes til forsknings- og utviklingsarbeid der man
kan gå dypere inn i spesielle problemstillinger, koble egne datasett opp mot SSB/
Brønnøysund, osv. Med andre ord er det viktig å tenke over hvordan datakildene
blir organisert fra starten av og samtidig tilrettelegge for bruk til både forskning- med formål å bedre forstå eget innovasjonsbidrag - og analyser av innovasjonsstrategier på institutt-, fakultets- og institusjonsnivå.
Det er først når dette videreutviklings- og konsolideringsarbeidet er igangsatt
og gjennomført at vi vil sitte igjen med et indikatorutvalg som gir institusjonene
et bedre grunnlag for å synliggjøre innovasjonsbidraget fra NTNU og tilhørende
sektorer.

45

Anbefalte indikatorer – endelig settTabell 6 neste side viser en sammenfattet anbefaling av indikatorsett basert på
oppsummeringene og analysene fra kapittel 2. Tabellen oppsummerer ogsåvurderingene av enkeltindikatorer, vurdering av sammensetning av indikatorer forde ulike dimensjonene, nytteverdi for ulike interessenter, og en rangering av vurderingene gjort i form av trafikklysvisualisering av indikatorenes viktighet, kvalitet,
kostnader og automatiseringspotensial.
Figur 10 nedenfor plasserer de foreslåtte indikatorene i Tabell 6 i et tiltenkt kartover prosesser og aktiviteter som kobler nettverk, mennesker og forskermobilitet,og finansiering (innsatsfaktorene) sammen med ulike kanaler for innovasjonseffekter i næringslivet, offentlig sektor, og samfunnet mer generelt.
Figur 10: Dimensjoner i innovasjonsøkosystemet som måles av indikatorsettet
Pilotindikatorene i innovasjonsøkosystemet
NTNUs innovasjonsøkosystem
Tjeneste- og teknologiutvikling i SMB-er

IND 13
IND 14

IND 22a og b

IND 7-11

Innovasjon i eksisterende IND 17næringsliv og offentlig sektor

IND 1 og 2

Nettverk

Mennesker

BOAindikatorer

IND 23

Kommersialisering- nytt næringsliv
IND 24

IND 24Studentbasert
entreprenørskap
IND 19a og b

46

Analyser og
case-baserte
beskrivelser av«impact»

Innovasjonseffekter isamfunnet

xx

Eksterne tilleggsstillinger (professor II-er stillinger)

Antall arbeidslivssamarbeid i BA og MA-avhandlinger

Antall (paraply)samarbeidsavtaler/MoU-er med
samfunnsaktører (og analyser)

Antall partnere i kontraksfestete forsknings- og
innovasjonssamarbeid med eksterne partnere (oganalyser)

Antall lisenser/avtaler av IP som ikke innebærer
pengestrømmer (open source)

IND10

IND11

IND13

IND14

IND17

x

x

Antall prioritetssøknader patent

Antall (ansattbaserte) Spin-Offs med IP avtale

IND23

IND24

x

x

x

x

IND22b Antall kommersielle lisenserx

IND22a Inntekter fra lisens og salg av IPR totalt

x

x

x

x

x

x

x

Antall innsendte DOFI til NTNU TTOIND20NTNU TTONTNU TTONTNU TTONTNU TTONTNU TTO

Mangler

SPARK*/IØT

x
x

(x)

Mangler

Mangler

Mangler

Sharepoint

PAGA

PAGA

Mangler

ManglerNivå 1Nivå 1

Datakilde

x

x

x

x

x

x

x

x

x

NTNU-nivå

IND19a Antall studentbaserte start-ups

x

x

x

x

x

x

x

x

x

Instituttnivå

IND19b Antall (ansattbaserte) start-ups uten IP avtale(andel av alle
MA og BAoppgaver)(x)

Beholdning av nærings-PhD og offentlig-PhD

Antall egne ansatte med sidegjøremåls-stillinger

IND8

x

Antall PhD-kandidater til norsk arbeidsliv (ekskl. akademia)

IND7

IND9

x

Total BOA-inntekterxInnovasjonsrettede BOA-inntekter

IND2

Normalisering(x = per totaleårsverk)

IND1

ANBEFALTE INDIKATORERNTNU indikatorsett for innovasjon - Oppsummering

*c

*b

*a

Viktighet Kvalitet Kostnad Automatisering

Tabell 6: Oversikt over anbefalte indikatorer. *a) Her er det åpenbart at på sikt er det mulig
å helautomatisere. Sharepointløsningen vi viser til som datakilde for indikator 11 gjelder
foreløpig bare for masteroppgaver; *b) kan basere oss på tall fra IØT (FRAM, NTNU SPARK);*c) Mulig at denne indikatoren på sikt kan slås sammen med indikator 19a for antall
studentbaserte start-ups.

47

Figur 11: Mulige bruksanvendelser og tilpasninger av indikatorsettet
TotaltFakultetNTNU

KDInstitutt
ANDRE AKTØRER

Indikatorer
Undervisning

Indikatorer
Forskning

Delvis/bearbeidet utdrag

Pilotprosjektet

Indikatorer
Innovasjon(delvis indikatorsett,tilpasset målgruppeog samarbeidsarena)

Trend/utvikling/
analyse

Evaluering og
Endelig løsning» videreutvikling» Komplett
datasettMåling av de indikatorene som benyttes i et endelig indikatorsett kan brukes i
synliggjøring av innovasjonsbidraget og i ledelsesprosesser (se figur 11). En konstruktiv kvalitetstenkning innebærer en kontinuerlig syklus av planlegging, handling,måling og forbedring. Det er derfor viktig at det skjer utvikling og forbedringer
med indikatorsettet og et begrenset antall av disse er allerede foreslått i kapittel
2 og i Tabell 6. Samtidig er det viktig å minne om at indikatorsettet fra piloten
bør kunne etter hvert sees i et mer helhetlig perspektiv og i sammenheng med
indikatorer for utdanning og forskning. Vi minner om at pilotprosjektet har bevisst
tatt en avgrensing og valgte bort indikatorer for forskning og utdanning som
man kan argumentere for at også tilhører sammen med innovasjonsindikatorer.
For eksempel indikatorer som omhandler volum av etter- og videreutdanningsaktiviteter på institutt-, fakultet- og institusjonsnivå har en åpenbar relevans for
institusjonenes bredere innovasjonsbidrag. En annen viktig indikator som ikke
er inkludert kan være antall vitenskapelige publikasjoner i samforfatterskap med
forskere fra ikke-akademiske institusjoner (nasjonale og internasjonale), som kan
belyse innovasjonsbidrag som antall patenter eller antall lisenser ikke kan.
Innenfor innovasjonsledelse er det likevel utviklet en beste praksis i form av
ISO56000 serien for innovasjonsledelse. Det anbefalte indikatorsettet er robust i
forhold til overordnede anbefalinger i denne normative standarden som påpeker
at et sett med kvantitative eller kvalitative prestasjonsindikatorer for innovasjon
kan innebære en balanse mellom indikatorer knyttet til innsatsfaktor, gjennomløp
eller prosess, og resultater, jf. figur 11 ovenfor. Også nyere relevant litteraturom UH-institusjonenes «Third Mission» synes å underbygge tilnærmingen og
dimensjonene som foreslås her (se bl.a. Compagnucci & Spigarelli (2020), og
NTNU (2019)). Det anbefalte indikatorsettet vil på sikt kunne understøtte bådesynliggjøring og ledelsesprosesser gjennom kombinasjon av indikatorer på tvers
av de fire innovasjonsdimensjonene, og som en del av et helhetlig sett av indikatorer som inkluderer forskning og undervisning.
Indikatorsettet skal også kunne tilpasses og anvendes avhengig av samarbeidsarena og målgruppe. Det er åpenbart at aktører i en SFI som ønsker å synliggjøre
deres innovasjonsbidrag bør tilpasse indikatorsettet vi finner i Tabell 6. På dennemåten vil indikatorene kunne gi relevant informasjon til NTNU, men også til virkemiddelapparatet, samt nære samarbeidspartnere som sentrale bedrifter i næringslivet,
helseforetakene, SINTEF og andre aktører i instituttsektoren mm.

48

Kapittel 4
Anbefalinger tilvidere arbeid



49

Anbefalte indikatorer – endelig settI dette kapittelet samler vi konklusjoner fra hele pilotprosjektet, inklusivt funn fra
fase I i pilotprosjektet (januar 2021 – sommer 2021) og analysen av 14 SFI-er som
NTNU deltar i (del 2 i prosjektet).
I tillegg til et bedre faktagrunnlag og en operativ utprøving av et indikatorsett forsynliggjøring av innovasjon, har piloten bidratt til en økt bevisstgjøring av temaetinternt i NTNU og synliggjøring av en rekke behov for videre utviklingsarbeid.

Harmonisering av formål og metodeDen innledende fasen av pilotprosjektet inkluderte dialog med eksterne aktører,mens den avsluttende delen er gjennomført internt i NTNU. UiS har i en parallell
prosess med pilotprosjektet, der de har utviklet et eget indikatorsett. Dette eri hovedsak basert på de fire dimensjonene i det anbefalte indikatorsettet, men
med variasjon i definisjon av enkeltindikatorer og i valg av indikatorer innenfor
de fire dimensjonene. I en anvendelse av indikatorsettet i kommunikasjon med
KD og ulike samfunnsaktører vil det være fordelaktig med en harmonisering av
et nasjonalt indikatorsett for UH-sektoren. En slik harmonisering inkluderer bådemetode og indikatorsett, inklusive valg av parametere for normalisering.
Anbefaling: Resultatene fra prosjektet fremlegges for UHR-Innovasjon som
innspill til utvikling av et nasjonalt indikatorsett.

Utvikling av operasjonell løsning for datafangst

Rapportering fra piloten er begrenset i detaljgrad og det er mottatt en rekke
innspill på blant annet videreutvikling av enkeltindikatorer. For kommunikasjon og
utvidet implementering vil det være behov for en ytterligere detaljering av indikatorsettet, data og kilder, samt roller og ansvar i prosesser for datafangst internt i
NTNU og i og mellom de ulike nivåene. Som presentert i tabell 6, er de anbefalte
indikatorene med høy automatiseringspotensial i et mindretall, noe som antyder
et behov for videre arbeid i raffinering av indikatorbeskrivelse og metoder for
datafangst internt i organisasjonen.
Anbefaling: Basert på grunnlag i funnene fra pilotrapporten etableres etfølgeprosjekt for etablering av spesifikasjon for implementering av måling av
NTNUs bidrag til innovasjon.

Kommunikasjon, forankring internt og videreutvikling

I gjennomføringen av piloten er det underveis erfart en økende bevissthet rundt
temaet og nytteverdi av indikatorsettet. Det er imidlertid kun et mindretall av fagmiljøene ved NTNU som har vært involvert i gjennomføringen av piloten, og det
forventes et tilsvarende behov for introduksjon og bevisstgjøring for en vellykket
forankring på tvers av NTNU i løpet av de kommende årene. Indikatorene for dimensjonene Mennesker og Nettverk oppleves ikke nødvendigvis intuitivt relevante
for synliggjøring av instituttenes eller NTNU sitt innovasjonsbidrag (f.eks. som
indikasjon på relevans, samarbeid og kunnskapsutveksling). Det bør også vurderes om en del av internt kommunikasjonsarbeid skal inkludere en åpning for bruk
av lokale (mer fagområdespesifikke) indikatorer som supplement til et sentralt
indikatorsett (aksept og anbefaling om lokal tilpasning).
Anbefaling 1: Resultatene fra prosjektet presenteres på NTNUs ledermøte
for videre diskusjon og drøfting.
Anbefaling 2: Rapporten fra piloten sendes ut til fakultetene og instituttene
etter behandlingen i innovasjonsutvalget.

50

Anvendelse og indikatorbruk i sentre

De anbefalte indikatorene er delvis relevante også for synliggjøring av innovasjon fra sentre NTNU leder eller deltar i (FME, SFI). Resultatene fra piloten børinngå som en del av samarbeidet mellom NTNU og SINTEF på dette området.
Synliggjøring av innovasjonsbidrag fra sentre bør imidlertid komme tydelig frem
som akkurat dette, og ikke fra NTNU. I et senter med mange deltagere vil flere
partnere bidra til innovasjon, samtidig som NTNUs bidrag i sentre kan forventes åogså inkluderes i en måling/rapportering fra et fagmiljø.
Anbefaling: Etablering av et normativt KPI sett for innovasjonsbidrag fra
sentre legges inn i mandatet for en NTNU/SINTEF-arbeidsgruppe.

Lokale variasjoner av indikatorsettet

Som diskutert ovenfor er det betydelig variasjoner mellom fakulteter og institutternår det gjelder vurdering av relevansen til de indikatorene som foreslås. Dette
tyder på at enkelte fagmiljøer og institutter sitt innovasjonsbidrag ofte tar andre
former og følger andre kanaler enn for flertallet av NTNU-instituttene. Derfor er
det viktig å identifisere indikatorer som fanger «lokale» behov og spesialiseringer.
Anbefaling: Enkelte fakultet og institutt bør vurdere hvorvidt det er
indikatorer som er sentrale for å fange viktige innovasjonsdimensjon i sine
egne fagområder og operasjonsmodus som ikke er synliggjort fullt ut av det
eksisterende indikatorsettet.

Behov for følgeforsking knyttet til de enkelte indikatorene

Som nevnt i tidligere kapitler er det mangel på dybdekunnskap om mange av
de indikatorene vi har foreslått, inklusiv indikatorene for kommersialisering.
Indikatorsettet som er foreslått inneholder mange spennende sammenhengerog koblinger på tvers av indikatordimensjoner som er verdt å utforske videre og
validere med mer problemspesifikk kvantitativ og kvalitativ forskning. Indikatorer
som bør studeres nærmere for å avdekke mekanismene som kan resultere i innovasjonseffekter er bl.a. samarbeid med eksterne aktører i master og bacheloroppgaver, antall (og analyse av typer) sidegjøremål, samt hvilke typer arbeidsoppgaver som Ph.d.-er i arbeidslivet får etter de har disputert. Strategisk sett er detogså interessant å undersøke om gode prestasjoner i enkelte indikatorer virker
som forsterkende faktorer eller som hindringer for prestasjon i andre indikatorer.
For eksempel, det kunne være interessant å undersøke mer i detalj hvorvidt
institutter opplever at forskning og utvikling i samarbeid med næringslivet snarere
substituerer eller komplementerer både ansattes og instituttenes evne til å kommersialisere (se bl.a. Sengpupta og Ray Amit (2017) for en interessant drøfting av
institusjonenes håndtering av slike avveininger i den britiske UH-sektoren). Det
er også en rekke andre strategiske spørsmål som den innbyrdes relasjon mellom
indikatorene inviterer til og som bør undersøkes nærmere. Noen av disse er nevnti drøftingen av indikatorene i kapittel 2.
Anbefaling 1: NTNU finansierer følgeforskning på master og Ph.d.-nivå iprioriterte spørsmål om måling og analyser av NTNUs innovasjonsbidrag iarbeidslivet og det videre samfunnet.
Anbefaling 2: Hvert fakultet identifiserer kunnskapsmangler om egne
innovasjonsbidrag.

51

Kvalitative beskrivelser av innovasjonsbidraget – impact cases

Det er ingen tvil om at evnen til å beskrive potensielle innovasjonseffekter (exante impact) i nasjonale og internasjonale forskningssøknader er en sentral
ferdighet for å lykkes som individuell forsker og som akademisk institusjon. «Exante» beskrivelser av tiltenkte effekter fra et bestemt tiltak (policyvirkemiddel,
et nytt innovasjonsrettet program, mm.) er også ofte påkrevd før et vedtak forfinansiering, særlig innenfor EU.
Ex post impact studier har blitt brukt i mange år nå i Storbritannia og det fore¬ligger et rikt antall studier som også har blitt grunnlag for analyser og evalueringer
av universitetenes innovasjonseffekter. Se Bandola-Gill og Smith (2021) for en
oppdatert diskusjon og klassifisering av denne type ex post impact studier. Reedet al. (2021) presenterer en analyse av litteraturen om hva «impact» fra forskninger, og så foreslår et alternativt metodologiske tilnærming til evaluering av «impact» sammenlignet med tidligere studier.
I konteksten av dette notatet kan vi se for oss tre typer beskrivelser som kan
brukes til ulike formål:1. Mer detaljerte beskrivelser av aktiviteter som her rapporteres som indikatorer
med formål å vise mekanismer og beskrive kanaler for implementering av
innovasjonsbidrag i innovasjonsøkosystemet. Disse er spesielt relevante for å
utdype indikatorer som for eksempel MoU-avtaler med eksterne, innovasjonsarrangementer og deres betydning for innovasjonsbidraget, kulturarrangementer og andre formidlingsaktiviteter mm.
2. Sentra som SFI-er (men også institutter og UH-institusjoner) kan ha behovfor å presentere kvalitative case som presenterer konkrete eksempler påinnovasjoner med betydelige bedriftsøkonomiske og samfunnsøkonomiske
effekter. Disse er «ex post impact case» og de følger ofte en bestemt stil og
fortellingslogikk.
3. Institutter ved NTNU kan ha behov for å beskrive den indre logikken for deres
innovasjonsvirke (for eksempel hvordan enkelte satsinger eller prioriteringer
henger sammen) og hvordan den kan over tid tenkes å ha brede samfunnsøkonomiske og samfunnsmessige ringvirkninger.
Alle tre formene for kvalitative beskrivelser av innovasjonsbidrag har sin funksjon
og kan sørge for å styrke både den interne og eksterne kommunikasjonen til
instituttenes og enhetenes «impact», men også for å spisse det strategiske blikket
og fremtidige planer for økt innovasjonseffekter i forskningsprosjekter og -sentra,
i institutter og UH-institusjoner.
Anbefaling: Det etableres et nytt prosjekt med formål å kartlegge hvilke
typer «impact cases» og på hvilket nivå ved NTNU det er et utviklingsbehov.
Prosjektet må inkludere behovene i alle fakultetene og bør komme fram med
forslag til god praksis og arketyp for gode impact-rapporteringer.

52

Executive summary- recommendations



53

One of the first recommendations we would like to make regarding the future indicator set of innovation contributions at NTNU (and possibly for national HEIs) isa question of method for measuring innovation performance, namely, the processof identifying key performance indicators and normalization factors which may
benchmark the innovation work at specific institutes and across the institution.
To be sure, this effort to standardization is not to be confused with static oversimplification and reductionism of the innovation process as linear. Rather, it should
be just an attempt to enter an iterative process of interplay between factors ofquantification and, conversely, nuancing and triggering for deeper quantitativeand qualitative exploration of emerging performance indicators.
In a similar train of thought with this question of method for broader innovation
performance, a second recommendation for further work on innovation indicators
would be the establishment of methodological protocols for each specific indicator, with a renewed and commonly agreed description of the data definition
for each indicator, its significance, potential for automatic generation of data, itsreliability, data quality standards, and its normalization standards. In that way,each indicator could be more critically reexamined and gain further depth andreplicability across institutes and, eventually, institutions.
Third, one of the prospects for the amelioration of this set of innovation indicators, as per Chapter 3 Table 6, would be the further development and tailoringof existing data sources (from central administration/economy/HR and NTNU´s
TTO). In that way, each data source would gradually gain lower costs, greatertransparency, and ease of processing, for current and future data collection. In
parallel, a recommendation for the development of data collection would be theassignment of the curation for the local data collection by a newly appointed
advisor who would be precisely mandated to curate this kind of data, both withregards to the range and the detail of resource-intensive datasets (such as e.g.,human capital monitoring and networking activities). This kind of advisor/ data
curator would report centrally to an institution and allow also potentially for thesurfacing of further connections between datasets.
As a further corollary of this data set curation, a potential role for ameliorating theinnovation indicators would be the strengthening and consolidation of existingdata sources through information campaigning and explicit information requirements from all institutional members. A focus on information collection such as
the registering additional professional activities (sidegjøremål), the establishmentof collaboration agreements of master students with industry, the establishmentof registered collaborations for BA thesis writing, as well as the data collection
about the labor market placement of PhD students are all very good potential
candidates for consolidating data collection and vital strategic information flow
for NTNU. Moreover, the development of a newly-minted central data collection
solutions could significantly expedite the processing and communication of suchinnovation data.
Additionally, by means of also connecting the work conducted at NTNU-related
centers of research, one potential solution would be development and eventual
identification of key performance indicators (KPIs) which also can be of use to centers where NTNU has partial of full ownership. In that way, NTNU could establish
a more advanced and reflective way of measuring and managing its innovation
performance, in a proactive fashion.
Last, but not least, the eventual identification of emergent indicators for notions
that progressively gain prominence in the landscape of innovation in higher education, such as interdisciplinarity or sustainability, could be promising avenues forthe establishment of further pioneering work with innovation indicators.

54

Referanser
Bandola-Gill J, K. E. Smith. (2021). Governing by narratives: REF impact casestudies and restrictive storytelling in performance measurement, Studies in Higher
Education, DOI: 10.1080/03075079.2021.1978965
Cai Y., N. Mountford. (2021). Institutional logics analysis in higher education research, Studies in Higher Education, DOI: 10.1080/03075079.2021.1946032
Kaloudis A.(red.), A. Aspelund, P.M. Koch, T. Lauvås, M. Tuft Mathisen, Ø. Strand,
R. Sørheim, T. Aadland (2019). How Universities Contribute to Innovation: A Literature
Review-based analysis. NTNU-report (NTNU 2019).
Compagnucci L., F. Spigarelli. (2020). The Third Mission of the university: A systematic literature review on potentials and constraints, Technological Forecasting andSocial Change, vol.161. https://doi.org/10.1016/j.techfore.2020.120284.
Klofsten, M., Fayolle, A., Guerrero, M., Mian, S., Urbano, D., & Wright, M. (2019).
The entrepreneurial university as driver for economic growth and social change Key strategic challenges. Technological Forecasting and Social Change, 141, 149–158.
https://doi.org/10.1016/j.techfore.2018.12.004
Reed, M. S., Ferre, M., Martin-Ortega, J., Blanche, R., Lawford-Rolfe, R., Dallimer,M., & Holden, J. (2021). Evaluating impact from research: A methodological framework. Research Policy, 50(4), 104147. https://doi.org/10.1016/j.
respol.2020.104147
Sengupta, A., & Ray, A. S. (2017). University research and knowledge transfer:
A dynamic view of ambidexterity in British universities. Research Policy, 46(5),881–897. https://doi.org/10.1016/j.respol.2017.03.008

55

Vedlegg 1
Liste over institutter
som deltok ipilotprosjektet



56

Kode

Institutt

Forkortelse

Fakultet

MottatA

Institutt for sirkulasjon og
billeddiagnostikk

ISB

MH

Ja

B

Institutt for nevromedisin og
bevegelsesvitenskap

INB

MH

Ja

C

Institutt for helsevitenskap(Gjøvik)

IHG

MH

Ja

D

Institutt for kjemisk
prosessteknologi

IKP

NV

Ja

E

Institutt for bioingeniørfag

IBF

NV

Ja

F

Institutt for lærerutdanning

ILU

SU

Ja

G

Institutt for internasjonal
forretningsdrift

IIF

ØK

Ja

H

Institutt for design

ID

AD

Ja

I

Institutt for bygg og
miljøteknologi

IBM

IV

Ja

J

Institutt for marin teknikk

IMT

IV

Ja

K

Institutt for havromsoperasjoner
og byggteknikk

IHB

IV

Ja

L

Institutt for informasjonssikkerhet og kommunikasjonsteknologi

IIK

IE

Ja

M

Institutt for elektroniske systemer

IES

IE

Ja

N

Institutt for modernesamfunnshistorie

IMS

HF

Ja

57

Vedlegg 2
Spørreskjema til
respondenter fra
instituttnettverket



58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73