Informasjon virker: tilskudd til informasjons- og veiledningsarbeid i regi av brukerorganisasjoner for personer med nevrologiske skader og sykdommer (2015)

Tilskudd til informasjons- og veiledningsarbeid i regi av brukerorganisasjoner for personer med nevrologiske skader og sykdommer. En Evalueringsrapport

## **– Informasjon virker**

Tilskudd til informasjons- og veiledningsarbeid i regi av brukerorganisasjoner for personer med nevrologiske skader og sykdommer. En Evalueringsrapport

# – Informasjon virker

Senter for omsorgsforskning, øst

Jim Åke Skarli og Maren Sogstad

Tilskudd til informasjons- og veiledningsarbeid i regi av brukerorganisasjoner for personer med nevrologiske skader og sykdommer. En Evalueringsrapport

# – Informasjon virker

© Forfatterne/Senter for omsorgsforskning Omslagsbilde: © Jim Åke Skarli

Senter for omsorgsforskning, rapportserie nr. 11/2015

Tittel: Tilskudd til informasjons- og veiledningsarbeid i regi av brukerorganisasjoner for personer med nevrologiske skader og sykdommer

Forfattere: Jim Åke Skarli og Maren Sogstad

Rapporten er kvalitetssikret av: professor Aud Obstfelder, SOF øst

Satt med Adobe Caslon 10,5/12,5 (Helvetica)

ISBN (trykt utgave): 978-82-8340-026-7 ISBN (digital utgave): 978-82-8340-025-0 ISSN (trykt utgave): 1894-4213 ISSN (digital utgave): 1892-705X Rapportserien finnes også digitalt: www.omsorgsforskning.no

## FORORD

Helsedirektoratet har som et av tiltakene i Nevroplan 2015 forvaltet et tilskudd til informasjons- og veiledningsarbeid i regi av brukerorganisasjoner for personer med nevrologiske skader og sykdommer.

Senter for Omsorgsforskning, Østlandet har på oppdrag fra Helsedirektoratet evaluert tilskuddsordningen. Resultatet av evalueringen presenteres i denne rapporten.

Vi takker Helsedirektoratet for oppdraget og god dialog underveis i prosessen. En takk rettes også til alle representanter for brukerorganisasjonene som velvillig har stilt opp til intervju.

Gjøvik, 18.06.15 Jim Åke Skarli og Maren Sogstad

## INNHOLD

| FORORD                                                      | V  |
|-------------------------------------------------------------|----|
| 1 INNLEDNING                                                | 3  |
| 1.1 PROBLEMSTILLINGER OG FORMÅL                             | 4  |
| 1.2 DATAGRUNNLAG OG METODISK TILNÆRMING                     | 5  |
| 2. RESULTATER                                               | 7  |
| 2.1 OM PROSJEKTENE                                          | 7  |
| 2.1.1 TILTAKSTYPER                                          | 7  |
| 2.1.2 MÅLGRUPPER                                            | 8  |
| 2.1.3 IMPLEMENTERINGSFORMER 2.1.4 BAKGRUNN FOR VALG AV TYPE | 8  |
| INFORMASJONSMATERIALE                                       | 9  |
| 2.1.5 KVALITETSSIKRING                                      | 10 |
| 2.1.6 HVORDAN MÅLES EFFEKT OG NYTTE?                        | 11 |
| 2.1.7 MÅLOPPNÅELSE OG SUKSESSKRITERIER                      | 12 |
| 2.2 OM BRUKERMEDVIRKNING                                    | 13 |
| 2.3 OM SAMHANDLING 2.3.1 SAMARBEID MELLOM TJENESTEYTERE OG  | 15 |
| BRUKERORGANISASJONER 2.3.2 SAMARBEID MELLOM DE ULIKE        | 15 |
| BRUKERORGANISASJONENE                                       | 16 |

|                                 | 2.3.3 SAMARBEID MELLOM SENTRALT OG LOKALT |
|---------------------------------|-------------------------------------------|
| NIVÅ I BRUKERORGANISASJONENE    | 17                                        |
| 2.4 OM TILSKUDDSORDNINGEN       | 18                                        |
| 2.4.1 VIKTIGHETEN AV TILSKUDDET | 18                                        |
| 2.4.2 OPPFØLGING OG FORVALTNING | 19                                        |
| 3. DISKUSJON                    | 21                                        |
| 4. KONKLUSJON                   | 25                                        |
| REFERANSER                      | 27                                        |

## 1 INNLEDNING

Helsedirektoratet har som et av tiltakene i Nevroplan 2015 forvaltet et tilskudd til informasjons- og veiledningsarbeid i regi av brukerorganisasjoner for personer med nevrologiske skader og sykdommer.

Målet for tilskuddet har vært å øke kunnskap og bevissthet blant beslutningstakere, omsorgstjenestens ytere, brukere og pårørende om nevrologiske skader og sykdommer. Med nevrologiske skader og sykdommer menes skader og sykdommer i det sentrale nervesystemet, som eksempel multippel sklerose, cerebral parese, parkinsons sykdom, hjerneslag, epilepsi og hjerneskader etter ulykker, kreft med videre.

Tilskuddet skulle benyttes til å styrke informasjons- og veiledningsarbeid i regi av aktuelle brukerorganisasjoner for å gi brukere, pårørende og tjenesteytere i kommunen mer kunnskap om nevrologiske skader og sykdommer, spesielt hvordan det er å leve med nevrologiske tilstander.

Styrking av bruker- og pårørendeorganisasjonenes informasjons- og veiledningsarbeid kan fremme brukermedvirkning gjennom økt bevissthet om hvordan brukergruppen selv definerer hva som er viktigst å formidle. Det kan igjen påvirke utforming av tilbud og tjenester til målgruppen.

Tilskuddet har rettet seg mot bruker- og pårørendeorganisasjoner som måtte være:

- Av eller for personer som primært har en nevrologisk skade eller sykdom.
- Representativ for den gruppen den organiserer.
- Åpen for medlemmer fra hele landet.

Alle kriteriene måtte være oppfylt og målgruppen for bevilgningen har vært brukere og pårørende.

Fra 2010 til 2014 har 16 organisasjoner mottatt tilskudd. Mange av organisasjonene har fått tilskudd gjennom flere år og til ulike prosjekter. Det er gjennomført i overkant av 30 ulike prosjekter.

#### 1.1 PROBLEMSTILLINGER OG FORMÅL

Det overordnede formålet med denne evalueringen er å se på i hvilken grad prosjektene som er gjennomført har ført til økt kunnskap og bevissthet om nevrologiske skader og lidelser. Dette belyses gjennom følgende problemstillinger:

Om prosjektene:

- Hvilke ulike tiltak er utviklet og utprøvd gjennom prosjektene?
- Hvilke målgrupper er valgt i de ulike prosjektene og hvordan er valget begrunnet?
- Det er utarbeidet ulike typer informasjonsmateriale;
  - filmer, brosjyrer, veileder, kampanjer osv. Hva er bakgrunnen for valget av type informasjonsmateriale? På hvilken måte kvalitetssikres det faglige innholdet i informasjonsmaterialet?
- Hvordan implementeres materialet både på system- og individnivå?
- Hvordan måles effekt og nytteverdi av det utarbeidede materialet i prosjektene?

#### Om brukermedvirkning:

- I hvilken grad har satsningen bidratt til å styrke brukermedvirkningen?
- Om samhandling:
- I hvilken grad er det samarbeid mellom de ulike organisasjonene?
- I hvilken grad er det samarbeid mellom tjenesteytere og brukerorganisasjonene?
- Er det behov for, og ønske om, en møteplass for informasjonsdeling mellom organisasjonene?
- Overføringsverdi:
- Er det tiltak og prosjekter som har overføringsverdi til andre?

#### 1.2 DATAGRUNNLAG OG METODISK TILNÆRMING

Denne undersøkelsen kan betegnes som en programevaluering. Med en programevaluering forstås en undersøkelse hvor man samler inn og analyserer data og informasjon om hvor effektivt eller nyttig et program har vært, eller hvilke verdier det har produsert. Samtidig er det sentralt å vurdere hva man kan gjøre for å optimalisere mål og resultater i tillegg til eller istedenfor det som allerede er oppnådd (Sverdrup 2014:61).

Datagrunnlaget i denne undersøkelsen består av en kombinasjon av dokumenter og intervjudata. Dokumentgrunnlaget består av alle tilskuddssøknader og prosjektrapporteringer med vedlegg, i perioden 2010- 2015. Intervjudataene er samlet inn via telefonintervjuer med kontaktpersoner for prosjektene som er tildelt midler fra tilskuddsordningen. Totalt er det gjennomført 16 intervjuer, hvilket utgjør 100 prosent av tilskuddsmottakerne.

Det ble utarbeidet og benyttet en intervjuguide bestående av en kombinasjon av åpne spørsmål og lukkede (prekodede) spørsmål. Det ble tatt notater under samtlige intervjuer, som ble utfylt og renskrevet umiddelbart i etterkant av samtalene.

Den metodiske tilnærmingen til datamaterialet består således av en kombinasjon av dokumentanalyse og analyse av intervjudata. Dokumentanalyse forstås her som en metode der en gir visse tekster status av kilder eller data for selve undersøkelsen (Repstad 1993:77). I analysene er det benyttet både kvalitative og kvantitative teknikker. Det er altså benyttet triangulering av både data og metoder i undersøkelsen, i den forstand at det er kombinert ulike data og metoder på en systematisk måte (Sverdrup 2014:126)

## 2. RESULTATER

#### 2.1 OM PROSJEKTENE

#### 2.1.1 TILTAKSTYPER

Datamaterialet som er lagt til grunn for undersøkelsen illustrerer at det er utviklet og utprøvd en rekke ulike tiltak gjennom prosjektene. I noen av prosjektene er det utviklet ett enkelt tiltak, mens andre har utviklet en rekke av ulike tiltak. I tabell 2.1 gis en oversikt over tiltakene som er benyttet. Som det fremgår her er de hyppigst benyttede tiltakene kurs/konferanser/seminarer/ workshops, samt brosjyrer/fagartikler/medlemsblad. Også film og utvikling av nettside er mye benyttet.

*Tabell 2.1 Tiltakstyper.*

| Type tiltak                         | Antall | % andel av prosjektene (N=32) |
|-------------------------------------|--------|-------------------------------|
| Kurs/konferanse/Seminarer/Workshops | 14     | 44                            |
| Brosjyrer/fagartikler/medlemsblad   | 14     | 44                            |
| Film                                | 9      | 28                            |
| Utvikling nettside                  | 6      | 19                            |
| Annet                               | 4      | 13                            |
| Telefonrådgivning                   | 2      | 6                             |
| Veileder/retningslinjer             | 2      | 6                             |

#### 2.1.2 MÅLGRUPPER

I tabell 2.2 gis en oversikt over målgruppene som er oppgitt i prosjektene. Som det fremgår her rettet prosjektene seg mot en rekke ulike målgrupper. I de fleste av prosjektene ble det oppgitt mer enn en målgruppe. Brukere, pårørende og fagpersoner/ tjenesteapparat var målgruppene som prosjektene hyppigst var rettet mot. Med fagpersoner/ tjenesteapparat menes her spesialisthelsetjeneste og omsorgstjeneste, samt ansatte i disse tjenestene. Kategorien «andre» omfatter her bl.a. prosjekter hvor målgruppen ble oppgitt som «samfunnet for øvrig» og «folk flest».

Valg av målgrupper ble begrunnet med bakgrunn i flere faktorer. Generelt fremheves mangel på kvalitativt god informasjon tilpasset angitte målgrupper. Andre påpeker at det finnes mye informasjon tilgjengelig, blant annet på internett, men at det er vanskelig for mottakerne å skille mellom hva som er god og dårlig informasjon.

Det ble også beskrevet at valget av målgrupper ble gjort med bakgrunn i en vurdering av hvilke grupper som har størst behov for informasjon, hvordan en kunne få mest mulig ut av tilskuddet, samt de kriterier som ligger til grunn for tildeling av tilskuddet.

*Tabell 2.2 Oppgitt målgruppe.*

#### 2.1.3 IMPLEMENTERINGSFORMER

Med tiltak forstås her den eller de typene informasjonsmateriale som er utviklet. Med implementeringsform menes hvordan informasjonsmaterialet spres og distribueres for å nå de tiltenkte målgruppene. Eksempelvis kan tiltakstypen være

| Oppgitt målgruppe            | Antall (N=32) | % andel av prosjektene |
|------------------------------|---------------|------------------------|
| Brukere                      | 24            | 75                     |
| Fagpersoner/ tjenesteapparat | 21            | 66                     |
| Pårørende                    | 17            | 53                     |
| Andre                        | 8             | 25                     |
| Beslutningstagere            | 4             | 13                     |
| Barnehage                    | 4             | 13                     |
| Utdanningsinstitusjoner      | 1             | 3                      |

film, mens implementeringsformen er via organisasjonens hjemmeside på internett. Skillet mellom tiltakstype og implementeringsform er dog i noen tilfeller overlappende og derfor problematisk å skille fra hverandre. Dette gjelder for eksempel når det er gitt tilskudd til å utvikle en hjemmeside, hvor da tiltak og implementeringsform vil være den samme.

Implementeringen av tiltakene kan deles i fire hovedformer, hvor den første er publisering på internett og i sosiale medier. Den andre kunnskapsspredning via konferanser, kurs eller lignende. Videre er det benyttet direkte distribusjon til medlemmer, husstander og aktuelle deler av tjenesteapparatet. Den siste formen for implementering er publisering i medlemsblad, magasiner og tidsskrifter. Som det fremgår av tabell 2.3 var implementering via konferanser/kurs/ seminarer/foredrag, sammen med publisering via internett/ sosiale medier, de hyppigst benyttede formene. I denne sammenheng bør det bemerkes at mange av prosjektene benyttet flere former for implementering. Eksempelvis kunne informasjonsmaterialet både bli distribuert til medlemmer og bli publisert på internett.

#### *Tabell.2.3 Implementeringsformer.*

#### 2.1.4 BAKGRUNN FOR VALG AV TYPE INFORMASJONSMATERIALE

Gjennomgangen av søknader og rapporter viste at organisasjonene hadde ulike begrunnelser for valg av type informasjonsmateriale. Disse begrunnelsene kan deles inn i tre hovedkategorier. I noen av prosjektene ble et generelt behov for informasjon og økt kunnskap og kompetanse vektlagt, snarere enn konkrete vurderinger rundt den aktuelle typen informasjonsmateriale. Et eksempel på dette er:

| Form for implementering                                   | Antall | % andel av prosjektene (N=32) |
|-----------------------------------------------------------|--------|-------------------------------|
| Konferanse/kurs/seminarer/foredrag                        | 19     | 59                            |
| Nettside/sosiale medier                                   | 16     | 50                            |
| Distribusjon til medlemmer, husstander og tjenesteapparat | 12     | 38                            |
| Publisering i medlemsblad/ magasiner/fagtidsskrifter      | 7      | 22                            |
| Telefonrådgivning                                         | 1      | 3                             |

«Det er et generelt behov for større kompetanse og økt kjennskap til behandlingsalternativer.»

Andre prosjekter begrunnet valget av type informasjonsmateriale i egne eller andres positive erfaringer med den aktuelle informasjonstypen. Følgende sitater er illustrerende for dette:

«Prosjektet vil drives etter modell av våre nære samarbeidspartner- Afasiforbundets søsterorganisasjon i Hjernesagen i Danmark […] Den norske arbeidsformen vil ligge tett opp dette, basert på gode erfaringer fra kampanjen i Danmark.»

«CP- foreningen har brukt en del film i sitt informasjonsarbeid og opplever at dette er en effektiv måte å spre budskap på.»

Den tredje kategorien var begrunnelser som relaterte seg til egenskaper ved den valgte informasjonstypen. Et godt eksempel på sistnevnte er som følger:

«Film har en helt spesiell evne til å binde sammen fakta og følelser på en unik måte. Dette betyr at informasjon formidlet gjennom film når ut til et bredt publikum uavhengig av faktorer som alder, kjønn, språk, kultur og leseferdighet. Informasjonsfilm om dette temaet gjør komplisert informasjon langt mer tilgjengelig og presenterer ikke-tematiserte aspekt knyttet til medisinske, pedagogiske og emosjonelle sider av det å leve med denne sykdommen. I et land som Norge der folk bor spredt og ofte langt unna pedagogisk og medisinsk ekspertise, er det spesielt viktig å tilby samme informasjonstilbud til alle, uavhengig av alder og geografi. Filmer distribuert på internett og sosiale medier er i så måte med å garantere lett tilgjengelighet til denne informasjonen».

#### 2.1.5 KVALITETSSIKRING

Tre hovedtyper av kvalitetssikringstiltak ble beskrevet i søknadene og rapportene. Disse var økonomiske/ regnskapsmessige tiltak, kvalitetssikring av faglig innhold og tiltak relatert til utarbeidelse, produksjon og layout av informasjonsmaterialet.

Førstnevnte kategori følger av spesifikke krav til regnskapsrapportering, revisorkontroll og attestasjon, angitt i regelverket for tilskuddsordningen og er ikke vektlagt her.

En rekke av tilskuddsmottakerne beskriver et omfattende samarbeid med spesialisthelsetjenesten, eller andre relevante fagmiljøer. Samarbeidet med relevante og sterke fagmiljøer beskrives som viktig for å kvalitetssikre informasjonsmaterialet. Samtidig fremgikk det at spesialisthelsetjenesten i flere tilfeller både var en viktig mottaker av, og samarbeidspartner når det kom til distribusjon og implementering av informasjonsmaterialet.

En rekke av tilskuddsmottakerne har også samarbeidet med profesjonelle aktører i forbindelse med utarbeidelse, produksjon og layout, hvilket flere beskrev som nyttig og viktig for å oppnå god kvalitet i informasjonsmaterialet.

Gjennomgående er prosjektene kvalitetssikret i samarbeid med faglige (spesialist-)miljøer og bruk av profesjonelle aktører i utforming.

#### 2.1.6 HVORDAN MÅLES EFFEKT OG NYTTE?

I datamaterialet fremkom det at organisasjonene har ulike innfallsvinkler til måling av effekt og nytte av prosjektene. Flere av prosjektene benyttet beskrivelser av gjennomførte aktiviteter og omfang av distribusjon som indikatorer på effekt og nytte. Følgende er illustrerende eksempler på dette:

«Norsk Epilepsiforbund har gjennom 2011 sikret distribusjon av informasjonsmapper til nydiagnostiserte mennesker med epilepsi gjennom nærmere 60 sykehusavdelinger i Norge, og videreført vårt informatørtilbud gjennom tydelig annonsering og gjennomføring av 113 foredrag/kurs».

«Litt tidlig å si om virkningen på lengre sikt. Det som likevel foreløpig er klart, er at filmene på MS-forbundets egen You Tube-kanal har per 20. mars 2012 (etter 2 mnd) fått 2.824 genuine treff. Ut fra disse tallene kan vi konkludere med at filmene sannsynligvis har blitt sett av mange nordmenn som lever med MS i dag. Da filmene har tatt for seg temaer som fram til nå ikke har blitt behandlet ved hjelp av film, kan vi med relativ stor sannsynlighet gå ut fra at de har ført til økt kunnskap og bevissthet om MS blant mennesker med MS, pårørende og helsepersonell».

I andre prosjekter ble det vist til tilbakemeldinger fra brukerne/ mottakerne som effekt- og nytteindikator. Det bør i denne sammenhengen påpekes at det var varierende presisjon i beskrivelsen av disse tilbakemeldingene. Under presenteres noen eksempler på effekt og nyttevurderinger på bakgrunn av slike tilbakemeldinger:

«Deltagerne gav gode tilbakemeldinger. De hadde fått langt bedre forståelse av Parkinson sykdom og hva den innebærer for både pasient og pårørende».

"I evalueringen av kursserien har vi konkludert med at tilbakemeldingene i aller høyeste grad tyder på at den bør videreføres».

«Flere gir uttrykk for at dette er et positivt bidrag og noe som behøves.»

«MSforbundet har fått en rekke henvendelser angående de sentrale problemstillingene som ble belyst i rapporten».

I enkelte prosjekter ble effekt og nytte satt i en større samfunnsmessig sammenheng. De to eksemplene gjengitt under illustrerer dette. I det første eksempelet argumenteres det for samfunnsøkonomisk nytte. I det andre beskrives nytte blant annet i sammenheng med realisering av overordnede politiske føringer.

«Nytteverdien i prosjektet ligger i at lett tilgjengelig og god informasjon gir mulighet til å forebygge komplikasjoner, samt gi raskere og riktig hjelp. Kostnader til informasjonsmateriell vil derfor kunne tjenes inn ved at det bidrar til økonomiske besparelser for samfunnet.»

«Gjennom prosjektet bidrar LFS til økt kunnskap og bevissthet om hjerneslag blant helsepersonell, slagrammede, pårørende og offentlig forvaltning. Videre så bidrar prosjektet til at intensjonen i Samhandlingsreformen kan bli oppfylt og at Helsedirektoratets faglige nasjonale retningslinjer for behandling og rehabilitering ved hjerneslag (2010) blir gjort "allment" kjent og tatt til følge av helsepersonell, kommune og spesialisthelsetjenesten, politikere og utd.institusjonene.»

#### 2.1.7 MÅLOPPNÅELSE OG SUKSESSKRITERIER

I de gjennomførte intervjuene fremkom det at tilskuddsmottakerne i stor grad oppfattet prosjektgjennomføringen som vellykket og måloppnåelsen som svært høy.

Tabell 2.4 gis en oversikt over grad av måloppnåelse i prosjektene, slik tilskuddsmottakerne selv har vurdert denne. Svarene er angitt på en skala fra 1 til 5, hvor 1 er i ingen grad og 5 er i stor grad. Som det fremgår her vurderte 14 av 16 tilskuddsmottakere måloppnåelsen i egne prosjekter til 4 eller 5. En tilskuddsmottaker ønsket ikke å besvare dette spørsmålet på bakgrunn av at prosjektet ikke var ferdigstilt. En informant vurderte måloppnåelsen til 2. Bakgrunnen for denne vurderingen var at størrelsen på det innvilgede tilskuddet kun tillot gjennomføring av deler av den opprinnelige prosjektplanen. De tiltakene som ble gjennomført, ble vurdert som vellykket.

*Tabell 2.4 Selvrapportert grad av måloppnåelse*

På spørsmål om hva som har vært viktig for å lykkes i prosjektene, viste svarene en bred variasjon. Noen av tilskuddsmottakerne vektla god planlegging og gode prosjektbeskrivelser. Altså faktorer relatert til kvalitativt god og hensiktsmessig prosjektstyring. Andre vektla sterk brukerrepresentasjon i prosjektene, da dette bidro til at informasjonen ble godt tilpasset målgruppene. Andre momenter som ble trukket frem var utpreget dugnadsarbeid og samarbeid med profesjonelle aktører i utforming av materialet.

#### 2.2 OM BRUKERMEDVIRKNING

I Stortingsmelding nr. 26 (2014- 2015:46), heter det at pasientog brukerinvolvering bør skje på minst tre nivå:

- Individuelt når det gjelder valgfrihet og innflytelse over egen helse og tjenestetilbud.
- På gruppenivå når det gjelder å møte,

| Grad av måloppnåelse Antall |    |
|-----------------------------|----|
| Ingen grad 1                | 0  |
| 2                           | 1  |
| 3                           | 0  |
| 4                           | 6  |
| Stor grad 5                 | 8  |
| Ikke besvart                | 1  |
| N=                          | 16 |

| Grad av måloppnåelse Antall |    |
|-----------------------------|----|
| Ingen grad 1                | 0  |
| 2                           | 1  |
| 3                           | 0  |
| 4                           | 6  |
| Stor grad 5                 | 8  |
| Ikke besvart                | 1  |
| N=                          | 16 |

bistå og stå sammen med andre pasienter/

brukere i samme situasjon.

- På kommune- og samfunnsnivå gjennom brukerrepresentasjon.

Dokumentanalysen og intervjudata underbygger at de gjennomførte prosjektene har bidratt til å styrke brukermedvirkning. Som tidligere beskrevet er det variasjoner i prosjektene når det kommer til målgrupper og tiltakstyper. Hvilket til en viss grad påvirker hvordan, og på hvilket nivå prosjektene har styrket brukermedvirkning. Styrking av brukermedvirkning er her først og fremst relatert til individ- og gruppenivå og i mindre grad til kommune- og samfunnsnivå.

Den individuelle tilnærmingen handler om tiltak som øker valgfrihet og brukerinnflytelse, bedrer tilgjengelighet og styrker informasjon og kommunikasjon mellom pasient og behandler. Tiltakene skal gi mulighet til å gjøre egne valg, påvirke behandlingsforløpet, ta medansvar og være involvert i å gjennomføre rehabilitering og behandling. Gjensidig opplæring basert på dialog mellom behandler, pasient og eventuelt pårørende blir viktige elementer.

God sykdomsmestring forutsetter at pasienter og pårørende har tilstrekkelig kunnskap og praktiske ferdigheter til å endre livsstil i tråd med egne mål, vurdere forandringer i sykdomstilstanden og gjennomføre egen behandling (Ibid:46).

Grad av måloppnåelseAntallIngen grad 10213046Stor grad 58 Ikke besvart1N=16

Gjennomgående ble styrking av brukermedvirkning på individnivå gjennom økt kunnskap og kompetanse om egen sykdom, rettigheter og muligheter fremhevet av de fleste tilskuddsmottakerne. Brukerdeltagelsen i prosjektene har vært omfattende. Flere av tilskuddsmottakerne har bevisst benyttet brukere (for eksempel ungdom) i informasjonsmaterialet, som målgruppen kan identifisere seg med. Hvilket beskrives som å styrke informasjonsmaterialet vesentlig.

Flere av de gjennomførte prosjektene har også bidratt til å styrke brukermedvirkningen på gruppe/systemnivå. Dette blant annet gjennom å utarbeide informasjonsmateriell, bistå i arbeidet med å utarbeide retningslinjer og lignende som benyttes av spesialisthelsetjeneste og andre relevante deler av tjenesteapparatet. Slik igjennom altså en styrking av brukermedvirkning på selve helse- og omsorgstjenestene, gjennom deltagelse i utformingen av føringer for tjenesteutøvelsen.

En av tilskuddsmottakerne illustrerer viktigheten av denne formen for brukermedvirkning på følgende vis:

«Det er tydelig politisk uttalt at erfaringskompetansen pasientene selv sitter med er en viktig stemme i organiseringen av helsetjenestene, og retningslinjer vil få sterke føringer for helsetilbudet vår pasientgruppe vil motta i fremtiden. Det er derfor svært viktig at vi har ressurser til å følge dette arbeidet tett så vi i tilstrekkelig grad får synliggjort og ivaretatt pasientenes behov i retningslinjene.»

Flere av tilskuddsmottakerne trekker også frem at prosjektene har hatt en svært positiv effekt på likemannsarbeid og omfang av dette. Videre poengterte flere at det utarbeidede informasjonsmaterialet var godt egnet for å styrke dette arbeidet. Følgende sitat fra en av brukerorganisasjonene illustrerer dette:

«Vi tenker å bruke det så mye som mulig fremover. Mye av dette materiellet kan brukes i likemannsarbeidet. Vi skal få vist det frem enda tydeligere på nettsiden. Når vi jobbet med dette materiellet dukket det opp nye ideer, spin- off. Vi tenker at vi spisser tilbud i tråd med hva medlemmene etterspør.»

#### 2.3 OM SAMHANDLING

#### 2.3.1 SAMARBEID MELLOM TJENESTEYTERE OG BRUKERORGANISASJONER

Datamaterialet som er lagt til grunn for denne undersøkelsen viser at det har vært et utstrakt samarbeid mellom brukerorganisasjonene og tjenesteytere i prosjektgjennomføringene. Først og fremst gjelder dette i forhold til spesialisthelsetjenesten. Men også andre relevante fagmiljøer, skoleverk og utdanningsinstitusjoner er eksempler på tjenesteytere som det har blitt samarbeidet med. Dette avhengig av type tiltak og målgruppe for prosjektene. Samarbeidet med tjenesteytere har foregått på flere ulike områder. Som tidligere beskrevet har relevante fagmiljøer, fortrinnsvis innenfor spesialisthelsetjenesten, bistått med å kvalitetssikre informasjonsmaterialet i mange av prosjektene. I noen prosjekter har det også blitt samarbeidet tett i hele utformingsprosessen. Et annet område det er samarbeidet på er implementering og distribusjon av materialet, hvor blant annet spesialisthelsetjenesten har distribuert materiellet til brukerne.

Et godt eksempel på samarbeid om distribusjon og implementering er beskrevet i en av rapportene på følgende måte:

«ABC om ryggmargsskader legges inn som lenke i epikriser fra spinalenhetene for eksempel til pasientenes fastleger, ved utskrivelse.»

Viktigheten av dette samarbeidet ble blant annet beskrevet som dette:

«Det som retter seg mot tjenesteapparatet retter seg også mot sluttbrukeren. Brukeren skal ha skriftlig materiale som er medisinsk kvalitetssikret, informasjon om hvem som kan kontaktes, rettigheter også videre. Poenget er at tjenesteapparatet deler det ut til brukerne, at informasjon skal være tilgjengelig der brukerne er. Tilgjengelighet og lavterskel.»

I de prosjektene som har benyttet kurs/konferanse/seminarer/ workshops som tiltak, har tjenesteytere vært representert i form av foredragsholdere og lignende.

#### 2.3.2 SAMARBEID MELLOM DE ULIKE BRUKERORGANISASJONENE

Samarbeid mellom de ulike brukerorganisasjonene i forbindelse med prosjektgjennomføringen er i svært liten grad beskrevet i det foreliggende datamaterialet. Flere av tilskuddsmottakerne beskriver at de samarbeider med hverandre på ulike arenaer, men dette samarbeidet beskrives som av mer generell karakter, enn direkte relatert til de aktuelle prosjektene. Unntaket fra dette er Hjernerådet, som har involvert flere av de andre brukerorganisasjonene i prosjektgjennomføring.

Brukerorganisasjonene ble i intervjuene spurt om i hvilken grad det er behov for en møteplass for informasjonsdeling for brukerorganisasjonene. De fleste organisasjonene beskriver at dette hadde vært nyttig og noe det er behov for. En av tilskuddsmottakerne beskriver det som følger:

«Det er noe av det viktigste som er. Nevrologiske lidelser rammer på lik måte. Mange fellestrekk. Hvorfor ikke gå i sammen i noe felles. Rollen til de pårørende er like fortvilt med mye av de samme tingene, som personlighetsendringer. Det å ha fått en møteplass hvor en kunne samhandlet, utviklet kurs sammen. Innenfor nevrologiske lidelser og pårørendearbeid er det 95% likheter. Når de er på habilitering, er de mye på samme stedene. Det er akkurat de samme utfordringene. Her tror jeg vi har mye å lære av hverandre.»

Noen av brukerorganisasjonene beskriver dog at de ikke ser behov for en slik møteplass, blant annet med bakgrunn som beskrevet under:

«Vi har tidvis fått henvendelser fra paraplyorganisasjoner, det ønsker vi ikke. Grunnen til det er at sykdomsgruppen er så spesiell at vi neppe vil ha noen fordel av å være en del av en større organisasjon.»

De fleste av tilskuddsmottakerne er medlemmer i Hjernerådet. Gjennomgående ble det gitt uttrykk for at denne organisasjonen fyller en viktig rolle for å løfte feltet. Noen av tilskuddsmottakerne beskrev også at organisasjonen ivaretar rollen som en møteplass for informasjonsdeling. Hovedtendensen i svarene er dog at viktigheten av Hjernerådet i større grad er knyttet til en rolle som samlende politisk interesseorgan, enn som en møteplass for informasjonsutveksling for brukerorganisasjonene. Det ble også påpekt at Hjernerådet i større grad bør bli tydeligere på hvilken form og rolle det ønsker å ha.

Følgende sitat fra en av tilskuddsmottakerne er illustrerende for dette:

«Hjernerådet er en fantastisk viktig organisasjon for å løfte feltet. Deres hovedarbeid bør ligge på politisk påvirkning og fremming av feltet fremfor å ha fokus rettet mot brukerne. Det er absolutt behov for et Hjerneråd som kan jobbe på et overordnet nivå.»

#### 2.3.3 SAMARBEID MELLOM SENTRALT OG LOKALT NIVÅ I BRUKERORGANISASJONENE

I intervjuundersøkelsen ble tilskuddsmottakerne spurt om i hvilken grad de hadde samarbeidet med lokalforeninger i forbindelse med søknadene om tilskudd, samt implementering og distribusjon av prosjektene. Det fremkom her at søknadsprosessene i all hovedsak ble håndtert av organisasjonene sentralt. I implementering, distribusjon og spredning ble lokalforeningene derimot benyttet i svært utstrakt grad.

#### 2.4 OM TILSKUDDSORDNINGEN

#### 2.4.1 VIKTIGHETEN AV TILSKUDDET

Tilskuddsmottakerne ble i intervjuene spurt om hvor viktig tilskuddet fra Helsedirektoratet har vært for å få gjennomført prosjektet. De ble bedt om å gradere svaret på en skala fra 1 til 5, hvor 1 var uviktig og 5 var svært viktig. Som det fremgår av tabell 2.5 svarte samtlige av de intervjuede 5 eller 4 på dette spørsmålet, altså at tilskuddet har vært svært viktig.

*Tabell 2.5 Tilskuddets viktighet for å få gjennomført prosjektet.*

Tilskuddets viktighet ble begrunnet i flere faktorer. Flere av brukerorganisasjonene beskriver at de er små organisasjoner med begrensede økonomiske midler, men med stor gjennomføringsevne. Videre poengteres det at tilskuddsordningen har fylt et tomrom, hvor det er vanskelig å finne alternativ finansiering. Det ble også påpekt at tilskuddet fra Helsedirektoratet gav prosjektene tyngde i forhold til andre aktører, gjennom å styrke prosjektenes legitimitet. Et annet moment som ble fremhevet som svært sentralt av flere, var at tilskuddsordningen har muliggjort langsiktighet og kontinuitet i informasjonsarbeidet. Dette ble blant annet beskrevet som følger:

«Tingen er at vi ville nok kanskje kunne funnet alternative midler til noe av disse tingene sånn på år til år basis. Men nå har vi på en 5 års basis kunne vært relativt sikre på at vi har fått midler. Det har gitt oss muligheten til å holde i gang prosjektene over tid og bygge videre og planlegge langsiktig.»

«Potten er veldig liten, men fleksibiliteten i midlene er

| Oppgitt grad av viktighet Antall | % andel |     |
|----------------------------------|---------|-----|
| Uviktig 1                        | 0       | 0   |
| 2                                | 0       | 0   |
| 3                                | 0       | 0   |
| 4                                | 1       | 6   |
| Svært viktig 5                   | 15      | 94  |
| N=                               | 16      | 100 |

det gode her, fordi vi kan videreføre prosjekter i stedet for å finne på nye tiltak.»

Et sentralt moment som ble trukket frem i denne sammenhengen, var at tilskuddsmidlene har stimulert til en vesentlig frivillig innsats og derigjennom bidratt til å skape betydelige verdier ut over det størrelsen på tilskuddsbeløpet skulle tilsi. Brukerorganisasjonene gav også uttrykk for et behov og ønske om at tilskuddsordningen skulle videreføres.

#### 2.4.2 OPPFØLGING OG FORVALTNING

I intervjuundersøkelsen ble brukerorganisasjonene spurt om hvilke forventninger de hadde til Helsedirektoratets oppfølging av tilskuddsmottakerne. De fleste gav her uttrykk for at de ikke hadde forventninger til oppfølging utover søknadsbehandling, samt tilgjengelighet ved spørsmål. Noen av organisasjonene beskrev dog at de hadde ønsket en tettere oppfølging og en sterkere involvering i både planleggings- og gjennomføringsfasen. Flere av brukerorganisasjonene beskrev at de hadde ønsket et større tilskudd, samtidig som de gav uttrykk for forståelse for at de samlede midlene var begrenset. Det ble av flere uttrykt ønske om at det ble gjennomført erfaringssamlinger med alle brukerorganisasjonene, hvilket ble beskrevet som et nyttig tiltak. Følgende sitater illustrerer flere av momentene som ble trukket frem:

«Oppfølgingen av informasjonsmidlene har vært tilfredsstillende. Man kan alltid være mer offensiv, vært flinkere til å trekke frem de gode erfaringene. Fremtid: Håper at direktoratet ser at disse pengene har skapt mye og det er like stort behov for disse midlene fremover. Behovet vil være like stort fremover. Vi har stor fokus på å komme inn tidlig.»

«Nei, vi forventet jo ingen ting, men vi ble jo invitert til Helsedirektoratet og det var jo veldig interessant.»

«Hadde en erfaringskonferanse i 2013, det var veldig interessant. Ringte et par ganger og fikk alltid svar»

«Erfaringskonferansen var veldig positivt. Fikk bedre kjennskap til de som jobber med det, lettere å ringe og sånn senere».

«Vi håper jo på at vi skal få det vi har søkt om. Men vi

har forståelse for at vi ikke får det vi har søkt om. Vi har ikke fått noen tilbakemelding fra direktoratet og hatt liten dialog».

Tilskuddsmottakerne ble i intervjuene også spurt om det var andre tilbakemeldinger eller erfaringer rundt tilskuddsordningen de vurderte som viktige. Et illustrerende utvalg av disse er gjengitt nedenfor.

«Generelt er det et problem at en får tilskudd så sent på året. Det gjør at vi får veldig forskyvning i forhold til fremdriftsplanen, da vi bla må ansette noen for å gjennomføre prosjektet. Vi har ikke ansatte som kan ta dette.»

«Vi skulle gjerne hatt en påminnelse om ordningen og informasjon og påminnelse om at tilskudd blir utlyst og frister.»

«Vi synes dette har vært viktig og at vi skulle gjerne sett at denne ordningen ble videreført. Mange møter uforstand og mangel på kunnskap.»

«Vi ønsker at den skal fortsette. Kanskje spesielt viktig for oss som har små og sjeldne diagnoser, hvor det finnes lite informasjon. Fagfolk på kommunenivå har ofte lite informasjon om sykdommene, derfor er det viktig at det er lett tilgjengelig forståelig og god informasjon tilgjengelig. Infomateriellet er viktig i forhold til dette og i forhold til familie og pårørende.»

«Det er en bra tilskuddsordning. Det er mange ordninger som vi ikke kommer innunder, derfor er dette en viktig ordning. Vi har mange prosjekter som ikke har mulighet til å få støtte andre steder.»

«Det er svært viktige midler for oss, de går inn og tetter et gap det er vanskelig å finne midler til ellers. Derfor er det veldig viktig at ordningen videreføres.»

«Bare understreker at disse midlene har vært veldig viktige for at prosjekter kan videreføres over tid. Og vi håper at det kan være rom for en videre satsning på nevrofeltet.»

«Ut i fra intensjonene kunne de tent mye på å stimulert til samhandling. Bedre utnyttelse av midlene, fått mye mer igjen for å tvinge oss til å gå litt utenfor boksen og tenke samhandling. Det kunne de stimulert ved enda mer eller enda mer og bedre aktivitet. Det er så mange likheter på tvers av feltet.»

## 3. DISKUSJON

Tilskuddet til informasjons- og veiledningsarbeid i regi av brukerorganisasjoner for personer med nevrologiske skader og sykdommer er som tidligere beskrevet et av tiltakene i Nevroplan 2015. Målet for tilskuddet har vært å øke kunnskap og bevissthet blant beslutningstakere, omsorgstjenestens ytere, brukere og pårørende om nevrologiske skader og sykdommer.

I Nevroplan 2015 understrekes det at informasjon er en forutsetning for medvirkning. Her heter det at:

«Mange opplever det vanskelig å orientere seg om helseog omsorgstjenestens tilbud. Manglende informasjon og kunnskap kan medføre unødvendig stigmatisering av personer med nevrologiske skader og sykdommer. Det er en stor utfordring å sikre tilgang til informasjon som er kvalitetssikret og gyldig, og bidra til informasjons- og kunnskapsspredning til brukere, pårørende, ansatte og til samfunnet for øvrig. Dette krever varierte virkemidler, og et nært samarbeid med brukerorganisasjoner og kompetansemiljøer. Brukerens kompetanse om egen situasjon er avgjørende for å bevare og styrke egne ressurser og mestringsevne, og beholde eller gjenvinne kontrollen over eget liv (Helse- og omsorgsdepartementet 2011:10).

Som det fremgår av de presenterte resultatene har 16 brukerorganisasjoner mottatt tilskudd til i overkant av 30 ulike prosjekter i perioden 2010 til 2015. Det er gjennom disse prosjektene utviklet en rekke tiltak rettet mot ulike målgrupper. Prosjektene favner altså vidt både i form og hvem de er rettet mot. Brukere og pårørende utpeker seg som viktige målgrupper. Gjennom prosjektbeskrivelsene kommer det frem en tydelig empowerment tankegang. Ved hjelp av informasjonsmateriell ønsker organisasjonene å gjøre brukere og pårørende bedre rustet til å medvirke i egen oppfølging og behandling. Empowerment bygger på et positivt syn på mennesket som et aktivt og handlende individ, som kan og vil sitt eget beste om forholdene legges til rette for det (Askheim 2012). Gjennom økt kunnskap om egen lidelse og bedre kjennskap til ulike muligheter og rettigheter ønsker brukerorganisasjonene å medvirke til myndiggjorte brukere og pårørende, med gode forutsetninger for å være aktive i samhandling med helsetjenestene.

Det beskrives et betydelig samarbeid med spesialisthelsetjeneste og andre relevante fagmiljøer. Dette også knyttet til implementering og distribusjon av informasjonsmaterialet.

I intervjuene rapporterer tilskuddsmottakerne om høy grad av måloppnåelse, noe som underbygges av funnene i dokumentanalysen. Datagrunnlaget som er lagt til grunn for denne undersøkelsen viser at brukerorganisasjonene har hatt ulike tilnærminger til måling av effekt og nytte av de gjennomførte prosjektene. I prosjektrapportene beskrives i mange tilfeller omfanget av gjennomførte aktiviteter, distribusjon og implementering i større grad enn reelle effekter. Dette kan blant annet ha sammenheng med at effekter er vanskelige å måle, samt at det kan ta enn viss tid fra prosjektet gjennomføres til effekter blir observerbare. Det betyr således ikke at effekter er fraværende. I intervjuundersøkelsen fremkom også i større grad beskrivelser av effekter, blant annet på omfanget av likemannsarbeid.

Det observerte omfanget av gjennomførte tiltak er stort, graden av kvalitetssikring god og distribusjon og implementering omfattende. Dokumentanalysen indikerte også at prosjektgjennomføringene i vesentlig grad samsvarte med faktorer som predikerer suksess i prosjektstyring. Slike faktorer er blant annet klare prosjektmål, ledelsesmessig forankring, detaljert prosjektplan, brukersamarbeid, tilgjengelig teknologi og kompetanse til å benytte denne, aksept hos mottakere, tilstrekkelige kvalitetssikrings- og kontrolltiltak, god kommunikasjon og evne til problemløsning underveis (Pinto & Slevin 1988, Meredith & Mantel 2006).

Disse forholdene styrker antagelsen om at prosjektene har oppnådd effekter i tråd med intensjonene i prosjektbeskrivelsene. Dette underbygger også at mange av prosjektene kan ha overføringsverdi for andre.

Den overordnede problemstillingen for denne undersøkelsen har vært å se på i hvilken grad prosjektene som er gjennomført har ført til økt kunnskap og bevissthet om nevrologiske skader og lidelser.

For å påvise en endret tilstand hos brukerne eller i samfunnet som kan tilskrives tilskuddsordningen må det sannsynliggjøres at det finnes et årsak- virkningsforhold mellom tilskuddet og den endringen i tilstand som har oppstått. Det er vanlig å kreve at tre forutsetninger er oppfylt, for at årsak-virkningsforholdet skal anses som reelt. Disse er at det er samvariasjon mellom tildelt tilskudd og endring i observert tilstand, at tilskuddet (årsak) må komme før virkning (endret tilstand) i tid. I tillegg må en operere med en virkningsperiode som er realistisk, gitt den type av prosesser som man står overfor. I tillegg må vi ha oversikt over andre kjente relevante forhold som kan påvirke den endrede tilstanden som forsøkes forklart (Senter for statlig økonomistyring 2007:20).

Datagrunnlaget i denne undersøkelsen viser at tilskuddsordningen har bidratt til å styrke

informasjons- og veiledningsarbeidet i regi av aktuelle brukerorganisasjoner. Og derigjennom gitt brukere, pårørende og tjenesteytere mer kunnskap om nevrologiske skader og sykdommer. Dette gjennom å øke brukerorganisasjonenes muligheter for å utvikle og distribuere kvalitetssikret informasjon gjennom en rekke ulike kanaler. Datagrunnlaget indikerer at omfanget av disse informasjonstiltakene ville vært betydelig lavere uten denne tilskuddsordningen. Som det påpekes av Helsedirektoratet (2015) fremmer også styrking av bruker- og pårørendeorganisasjonenes informasjons- og veiledningsarbeid brukermedvirkning, gjennom økt bevissthet om hvordan brukergruppen selv definerer hva som er viktigst å formidle. Det kan igjen påvirke utforming av tilbud og tjenester til målgruppen. Undersøkelsen gir også indikasjoner på at tilskuddsordningen har skapt verdier utover det størrelsen på de bevilgede beløpene skulle tilsi, gjennom å stimulere til en vesentlig frivillig innsats i prosjektene.

I denne sammenhengen bør det anføres at datagrunnlaget som er lagt til grunn for undersøkelsen er basert på selvrapportering fra brukerorganisasjonene. For å kunne si noe endelig om effekten av tilskuddet ville det vært nødvendig med en større undersøkelse, der en samlet inn data fra mottakerne av informasjonstiltakene. Det har ikke latt seg gjøre innenfor rammene av dette prosjektet.

I tillegg til å se på hvilke verdier tilskuddsordningen har skapt, har et av siktemålene ved denne undersøkelsen vært å vurdere hva man kan gjøre for å optimalisere mål og resultater i tillegg til, eller istedenfor det som allerede er oppnådd. Av momenter som er påpekt av tilskuddsmottakerne er blant annet at det er problematisk at tilskuddet kommer så sent på året og flere har etterlyst informasjon om at tilskuddet blir utlyst, søknadsfrister og annen praktisk informasjon. Noen har også påpekt et ønske om at Helsedirektoratet i større grad er involvert i planleggingsprosessen og gjennomføringen av prosjektene. Som tidligere beskrevet har fleksibiliteten i ordningen muliggjort kontinuitet i prosjekter over flere år, og tilskuddet forstås å ha stimulert til en omfattende frivillig innsats og betydelig aktivitet og verdier utover det størrelsen på tilskuddsbeløpene skulle tilsi. Det kan i denne sammenheng tenkes at en kan stimulere til ytterligere aktivitet og verdiskapning, ved å ha enda større fokus på samhandling mellom brukerorganisasjonene. Gjennomføring av jevnlige erfaringssamlinger kan være et nyttig tiltak i denne sammenheng.

For i større grad å kunne vurdere effekter av ordningen kan et nyttig tiltak være å gjennomføre brukerundersøkelser som en del av tilskuddsforvaltningen, for slik igjennom å systematisk kartlegge erfaringene til målgruppene som informasjonsmateriellet er rettet mot.

## 4. KONKLUSJON

Helsedirektoratet har som et av tiltakene i Nevroplan 2015 forvaltet et tilskudd til informasjons- og veiledningsarbeid i regi av brukerorganisasjoner for personer med nevrologiske skader og sykdommer.

Målet for tilskuddsordningen har vært å øke kunnskap og bevissthet blant beslutningstakere, omsorgstjenestens ytere, brukere og pårørende om nevrologiske skader og sykdommer. Tilskuddet skulle benyttes til å styrke informasjons- og veiledningsarbeid i regi av aktuelle brukerorganisasjoner for å gi brukere, pårørende og tjenesteytere i kommunen mer kunnskap om nevrologiske skader og sykdommer, spesielt hvordan det er å leve med nevrologiske tilstander.

Formålet med undersøkelsen som er presentert i denne rapporten har vært å se på i hvilken grad prosjektene som er gjennomført har ført til økt kunnskap og bevissthet om nevrologiske skader og lidelser. Dette gjennom å belyse en rekke ulike problemstillinger.

Undersøkelsen viser at tilskuddsordningen har bidratt til å styrke de aktuelle brukerorganisasjonenes veilednings- og informasjonsarbeid i betydelig grad og derigjennom også bidratt til å styrke brukermedvirkning i tråd med målene for ordningen.

## REFERANSER

Askheim, O.P (2012): Empowerment i Helse- og sosialfaglig arbeid, Floskel, styringsverktøy eller frigjøringsstrategi. Oslo: Gyldendal Akademisk. Helsedirektoratet (2015): Informasjons- og veiledningsarbeid i regi av brukerorganisasjoner for personer med nevrologiske skader og sykdommer. https://helsedirektoratet.no/tilskudd/ informasjons-og-veiledningsarbeid-i-regi-av-brukerorganisasjoner-for-personer-med-nevrologiske-skader-og-sykdommer Helse- og omsorgsdepartementet (2011): Nevroplan 2015. Delplan til Omsorgsplan 2015. Meld. St. 26 (2014- 2015): Fremtidens primærhelsetjenestenærhet og helhet. Helse- og omsorgsdepartementet. Meredith, J.R. & S.J. Mantel, jr (2006): Project Management. A Managerial Approach. Hoboken, NJ: John Wiley & Sons, Inc. Pinto, J.K and D.P Slevin (1988): "Project Success: Definitions and Measurement Techniques" i Project Management Journal, februar 1988. Repstad, Pål (1993): Mellom nærhet og distanse. Kvalitative metoder i samfunnsfag. Oslo: Universitetsforlaget. Senter for statlig økonomistyring (2007): Evaluering av statlige tilskuddsordninger. Veileder. Sverdrup, Sidsel (2014): Evaluering. Tilnærminger, modeller og eksempler. Oslo: Gyldendal Norsk Forlag AS

www.omsorgsforskning.no