sou · GSB358 · 2005-01-01 00:00:00 — De programansvarigas plats i internationella nätverk visar också att de befinner sig på forskningsfronten inom sitt ämnesområde. Måhända kunde man förvänta sig att programledningen, nu när programmet satt sig och utfört ett relativt stort antal studier avseende såväl flera typer av kriser som krishantering i flera länder, skulle kunna bidra med ini- tiativ vad gäller utveckling av ett komparativt teoretiskt ramverk. Ett sådant arbete har inletts, genom jämförelse av transitionsländers erfaren- heter, men här återstår – enligt min bedömning – en hel del att göra. Jag återkommer till detta i mina allmänna slutsatser. Programmet har också som forsknings- och kompetensuppbyggnads- miljö varit framgångsrikt. Fyra medarbetare har tagit doktorsexamen, och ytterligare sex har antagits till forskarutbildning och skriver sina avhandlingar med inriktning mot krishantering. En medarbetare har fått oavlönad docentur. Programmet är aktivt inom svensk grund- utbildning och producerar magisterstudenter, och därmed potentiella forskare, inom sitt forskningstema. Forskargrupper har etablerats i en rad länder, framförallt i central- och . Medarbetare i pro- grammet medverkar i flera internationella forskningsnätverk. Särskilt kan här nämnas det forskar-praktikernätverk som startats i samarbete med kollegor i och programmets amerikanska nätverk. Del- tagandet på internationella konferenser är utbrett, vilket för att programmets resultat får spridning men också för att programdel- tagarna håller sig à jour med forskningsutvecklingen på området. Pro- grammets avsevärda internationella kontakter, och kvaliteten på dessa, utgör en betydande akademisk pluspost. Som framgår av sammanfattningen är det en grundlig genomgång av programmet och det är en utvärdering som bör vara till stor nytta både för den beställande myndigheten och för forskarna. har också beställt en extern utvärde- ring av ramforskningsprogrammet /CM-Europé. Den är av liknande karaktär och behöver inte diskuteras närmare här. De exempel som visats indikerar att sätt att anlita externa utvärderare för uppföljning är ett alternativ till andra modeller som bygger huvudsakligen på interna system. De senare kan utvecklas betydligt och satta i system med professiona- lism kan de mycket väl bli både tillförlitliga, effektiva och ha hög användbarhet. Men på kort sikt är det enklare att utveckla utvärde- ringen så som gjort, och det ger till- förlitlig, användbar information till en kostnad som inte är alltför hög. Användarnas syn på forskningen I syfte att få en något bättre förståelse för hur de potentiella använ- darna av forskningen ser på den kunskap som produceras vid För- svarshögskolan sände utredningen ut en enkät till ett urval perso- ner inom Försvarsmakten, på Försvarsdepartementet och bland myndigheter inom totalförsvaret. Enkäten sändes till befattnings- havare som genom sin tjänstgöring skulle kunna tänkas ha intresse och nytta av forskningen, även om de är placerade i linjebefatt- ningar inom högkvarteret, vid skolor och förband. Enkäten sändes ut till drygt 60 personer och har inkommit med svar. Enkäten ställde inledningsvis några frågor om bakgrund och tjänst- , samt vad man haft för samröre med . Därefter kom frågor om kunskap om res- pektive intresse/användning för fem forskningsprojekt. Samma frå- gor ställdes om vart och ett av projekten. Därefter ställdes frågor om hur man kommit i kontakt med information om projekten. Slutligen fanns några öppna frågor om spridning och användning av resultat från forskningen. Utvärderingen valde att fråga om fem specifika projekt eftersom allmänna frågor om intresse och användning skulle vara svårtolkade. vet man i alla fall exakt vad ett svar refererar till, men å andra sidan är det något osäkert hur generaliserbara svaren är och hur de skall tolkas jämfört med annan information.. De projekt som valdes är: 1.ROLF – rörlig, operativ ledningsfunktion 2.CRISMART – crisis management research and training, ett nationellt centrum för krishanteringsstudier 3.Internationella insatser – som avser uppföljning och utvärdering av de svenska FN-bataljonernas verksamhet 4.Command concepts – som avser planeringsmetoder och plane- ring under tidspress 5.Brödrafolkens väl – som handlar om i svensk säkerhets- politik Tillförlitligheten i enkätundersökningar beror till stor del på svars- frekvensen. Efter tre påminnelser har av svaren kommit in och det är tillräckligt. Trots det kan de återstående ha en viss betydelse. Det är en relativt stor andel som har positiva svar, dvs. de känner till forskningen, har tagit del av resultat, tycker det är intressant och användbart. Kanske är det så att de som inte svarat är mera fjärran från forskningen och har mindre positiva erfarenheter. Om hälften av de som svarat är positiva, innebär det att en tredje- del av hela populationen är positiv och det får konsekvenser för hur man bedömer svaren. man kan inte veta vad de som inte svarat egentligen anser, men det finns stor risk att de inte vet något om forskningen, och det bör läsaren hålla i minnet när resultaten dis- kuteras. Kunskap om forskningens mål och resultat Tabell 1 på nästa sida visar svaren på frågan Känner du till forsk- ningens mål och syfte?, ställd för vart och ett av de fem projekten. Det är som inte alls känner till , som inte kände till forskningen om internationella insatser, som inte kände till forskningen om CRISMART, något större andel som inte kände till forskningen om Command concepts, samt som inte kände till forskningen om i svensk säkerhetspolitik. Det kan se ut som en stor andel som inte känner till forskningsprojekten, men det är också faktiskt som har åtminstone någon kunskap om , som känner till något om de tre övriga då oräknat forskningen om i svensk säkerhetspolitik. Det är lite grann av det klassiska dilemmat om glaset skall betraktas som till hälften fyllt eller halvtomt. Svar på frågan Känner du till forskningens mål och syfte? (n = 40) Absolut, helt och hållet, de flesta Om man skulle genomfört samma undersökning på utrikespoliti- kens område, valt fem forskningsprojekt på Utrikespolitiska Insti- tutet och vid några av de forskningsorgan som arbetar med utrikes- politik, och sänt ut enkäten till chefstjänstemän på utrikesdeparte- mentet, vad kunde man då förväntat? Eller om man tagit projekt på och , och sänt enkäten till chefer i näringslivet? Eller vänt oss till läkare och frågat om forskningen vid ? Eftersom det gjorts under- sökningar i de miljöerna kan man ha en aning om svaren, och det är att de flesta inte känner till forskningen. Det är helt enkelt inte så stor chans att de som är praktiskt verksamma i organisationerna känner till de projekt som forskarna arbetar med. Förutom den sistnämnda studien – Brödrafolkens väl – verkar det som om de svarande här är ovanligt väl informerade om forskningen i jämför- else med hur det är i andra system av praktiker/forskare. Därmed inte sagt att det är bra; det vore givetvis önskvärt att forskningen var bättre känd än den är. Eftersom det är ett snävt urval är chanserna att man känner till forskningen sannolikt är hög. Så det finns anledning för både Försvarsmakten som beställare och Försvarshögskolan som producent att informera mera om det arbe- te man utför. Det bör tilläggas att man inte skall jämföra de fem forskningsprojekten med varandra. har pågått länge och många som utbildats eller varit på Försvarshögskolan bör ha kommit i kontakt med det. Brödrafolkens väl är ett avhandlingsarbete av mera traditionell karaktär, som inte kan eller ska ha samma genomslagskraft. Svar på frågan Har du tagit del av några resultat från forskningsprojektet? (n = 40) Absolut, helt och hållet, de flesta Nästa fråga gäller om man har tagit del av resultaten från forsk- ningen. Det är en naturlig förskjutning i siffrorna. De som svarat att de inte känner till forskningen alls har naturligtvis inte heller tagit del av några resultat, men en del av de som känner till den har inte heller tagit del av resultat. Så det är av de till- frågade som har åtminstone viss kunskap om resultaten, men om- kring som säger sig ha tagit del av resultaten i hög grad. Vad gäller är det så mycket som som säger sig ha tagit del av resultaten i hög grad. Det är få av de svarande som har känner till flera projekt. Det är snarare så att många av dem känner till ett eller två projekt, som ligger nära deras eget verksamhetsområde. Det är inte så att det är en handfull som håller sig informerade om forskningen medan de resterande (de i den vänstra kolumnen) inte gör det. Tvärtom är svaren ganska lika, de flesta känner till några projekt ganska väl, har hört talas om något annat, och känner inte till de andra. Från kännedom till användning Att man känner till resultaten är också något av en förutsättning för att man skall kunna ha en uppfattning om de är användbara. Tabell 3 visar på hur ett antal beslutsfattare i beställarorganisa- tionen ser på användbarhet, frågan är personligt ställd, om just den tillfrågade tror sig ha nytta. Man skulle kanske svarat annorlunda om frågan gällde om Försvarsmakten har någon användning av forskningen. Men det skulle också riskera att bli ett undanglidande och artigt svar – man kan ju aldrig veta om det faktiskt kan komma till nytta någonstans. Det här sättet att ställa frågan har en tydlig referenspunkt och ger därmed, naturligen, ganska många som sva- rar nekande. Men det kan förklaras i och förstås i organisatoriska termer. En annorlunda ställd fråga skulle ge fler jakande svar, men skulle inte kunna tolkas lika klart. Det är faktiskt ganska intressant att tror sig komma ha en viss konkret användning av avhandlingen om i svensk säkerhetspolitik under efterkrigs- tiden. Det är mindre förvånande att tror sig få minst viss användning av forskningsprojektet . Som vi ser är det unge- fär hälften som tror sig få någon användning av de övriga tre pro- jekten. Även det är förhållandevis mycket. Det bör tilläggas att det är en mycket stark korrelation mellan de olika svaren. Svar på frågan Tror du att du kommer att ha någon konkret användning av forskningsresultaten? (n = 40) Absolut, helt och hållet, de flesta Vi ställde också en öppen fråga om hur användbara forsknings- resultaten från Försvarshögskolan är. Några representativa exempel på svar är: det är svårt att etablera kontakt med FHS mycket p.g.a. att de inte sänder ut sina rapporter som FOI gör ... inga hinder att följa kun- skapsutvecklingen inom sina arbetsområden. Bättre kontakt med utvecklingssektionen på HKV (FM) samt på förbandsnivå behövs för att FHS kan nå ut med sina forskningsresultat bättre. En ökad/bättre spridning av rapporter inom HKV behövs. FHS skulle kunna nå ut med sina resultat bättre genom att infor- mera genom garnisonsbesök forskningsresultat inom ledningsvetenskap är för smalt, splittrat, grund nivå och beslutsinriktning. En del ROLF-resultat är intressanta, liksom visst arbete med uppdragstänkande och taktik. Det finns också ett flertal intressanta resultat inom militärhistorieområdet samt ledar- skapsområdet det finns hinder i form av tid och egna resurser för att följa kun- skapsutvecklingen inom arbetsområden, vilket gäller samtliga FoT om- råden utom Ledarskap där FMV inte har verksamhet. kan nå ut bättre med sina resultat genom att koppla resultaten mot slutsatser för övriga teknikområden och ge underlag för t.ex. lednings- systemet och MSI. att FHS kommer med användbara forskningsresultat inom fram- förallt ledarskapsområdena vidare att det finns vissa hinder att följa kunskapsutvecklingen inom arbetsområden, nämligen att hitta rätt rapporter och att forskningen världen runt är omfattande, har inte all- tid tid att scanna av vad som produceras FHS kan nå ut med sina resultat bättre genom att skicka ut sam- manfattningar i likhet med FOI till FM enhetschefer. FHS kan nå ut bättre med sina resultat om t.ex. MSS står med på deras sändlista. är de närmare 50 st. officerare som arbetar på heltid med utvecklingsarbete inom markstridsområdet. Detta omfattar studier, materielutveckling, organisationsutveckling, metodutveckling och särskilda utvecklingsprojekt Tiden är den faktor som gör att han inta hinner med att följa all kunskapsutveckling det vore konstigt om det inte gick att förbättra (FHS nå ut med sina resultat bättre)! Varför inte ge ut en årspubli- kation där alla forskningsresultat sammanfattades och där det framgår var man kan få tag på rapporterna om man vill fördjupa sig ... er sällan FHS-rapporter i HKV, större spridning av resultaten önskas. FHS forskningsresultat har fått en ökad användbarhet för FM , t.ex. den myndighetsvisa sammanställningen som görs inom området Ledning utifrån de olika projektens resultat. Det enda hindret att följa kunskapsutvecklingen är att disponera tillräckligt med tid. Resultatspridning i nätverk är mycket viktigt. FHS bör fokusera mer på kunden och när FHS rapporterar forskningsresul- tat bör de lägga mer kraft på användarperspektivet. Det gäller även att identifiera och hålla god kontakt med de intressenter som kan be- dömas ha störst intresse av resultaten. Det är många som svarat på de öppna frågorna, och det tyder på engagemang och intresse för forskningen – även bortom de fem projekt vi frågat specifikt om. De allra flesta anser att Försvarshög- skolan bör bli betydligt bättre på att informera om forskningen, men det är också många som säger att Försvarsmakten själv bör göra mer for att tillgodogöra sig investeringarna i kunskap. Hur når forskningen ut? Som man ser i de öppna svaren ovan kommer man i diskussionen om användning snart in på hur kunskapen sprids i Försvarsmakten. I enkäten frågades hur de svarande hade kommit i kontakt med forskningen. Utvärderingen hade en hypotes att de informella sys- temen för kunskapsspridning skulle vara relativt starka, medan de mera formella kring vetenskaplig publicering osv. inte skulle vara så framträdande. Eftersom kontaktytorna mellan Försvarsmakten och Försvarshögskolan är många och relativt täta (flera kurser, åter- kommande kurser, förordnande som lärare), borde man komma i kontakt med forskningen via vad kollegor berättar, hur de förmed- las i undervisningen, och genom att i största allmänhet vara i den miljö där forskningen bedrivs. Resultaten av enkäten beskrivs i tabell 4. Svar på frågan Genom vilka kanaler har du fått kännedom om forskningen? (n = 200, dvs. redovisat i förhållande till alla de fem forskningsprojekten) Som del av utbildningen Genom att kollegor berättar Det visar sig att hypotesen både bekräftas och var fel. Det infor- mella samtalet, genom att kollegor berättar och genom att det före- kommer en professionell dialog om forskning och utveckling i organisationen, är det vanligaste sättet att få information. Det var totalt som fått information om projekten den vägen. Därefter var det vanligast att man tagit del av något föredrag/seminarium, men efter det var forskningsrapporter det vanligaste. Påfallande få hade läst om forskningen i fackpress – man kunde tro att det skulle vara vanligare att läsa om forskningen där än att ta del av den genom den vetenskapliga rapporteringen. Det är också något för- vånande att det är som hört talas om forsknings- projekten vid utbildning på Försvarshögskolan, men det förklaras av att det är en relativt liten andel () av de som besvarat frågan som deltagit i någon kurs där . Det är en viss skillnad mellan projekten, och i tabellen nedan redovisar vi svaren avseende . Svar på frågan Genom vilka kanaler har du fått kännedom om forskningen? (n = 40, avseende forskningsprojektet ) Som del av utbildningen Genom att kollegor berättar I sin helhet visar dock svaren på att forskningen inte når ut så bra som den rimligtvis kunde och borde göra. Frekvensen av svar i kategorin inte alls är ju alltid en mycket stor majoritet. Frågan är då vems ansvar det är att föra ut forskningen och se till att den blir känd och kommer till användning? Enkäten hade också en öppen fråga om hur informationen når ut, och här ges några exempel på svar: . . har inte delgivits några forskningsresultat från FHS och anser att bristande informationsdelning är ett hinder att följa kunskapsutveck- lingen inom hans arbetsområden. . . vet inte hur FHS kan nå ut bättre med sina resultat eftersom . . . inte vet hur det fungerar . . har inte varit involverad i annat än , men anser att inom det projektet kommer FHS med användbara forskningsresultat . . . anser att det är svårt att hänga med i en utveckling som skenar snabbt och ibland okontrollerat . . har ingen uppfattning om FHS kommer med användbara forsk- ningsresultat, och är inte särskilt väl insatt i forskningsområdet. SOU 2004:58 Bilaga 4 finns inga hinder för att följa kunskapsutvecklingen inom arbets- områden . . tror att FHS kan nå ut bättre med sina resultat genom att presen- tera dem som konkreta och användbara Det enda hindret att följa kunskapsutvecklingen är att disponera till- räckligt med tid. Resultatspridning i nätverk är mycket viktigt. FHS bör fokusera mer på kunden och när FHS rapporterar forsknings- resultat bör de lägga mer kraft på användarperspektivet. Det gäller även att identifiera och hålla god kontakt med de intressenter som kan bedömas ha störst intresse av resultaten. I den civila högskolevärlden är det i regel forskarna som har det ansvaret – även om det är en uppgift som kanske inte prioriteras så högt som den borde. Vid uppdragsforskning blir rollfördelningen annorlunda. Genom att det finns en klar och tydlig beställning är det kanske lätt för forskarna att se arbetet som klart när man väl levererat och fått betalt. Då tar uppdragsgivarens ansvar vid. Försvarsmakten har utvecklat sin beställarkompetens under se- nare år. Organisationen med FoT-grupper ger framförhållning och struktur åt styrprocessen. Uppföljningen av leveranserna och av produktionsprocessen verkar också väl utvecklad. Men det återstår arbete att göra för att följa forskningsresultaten vidare till använd- ning. Ett bra utvärderingssystem för att ge sådan kunskap skulle kunna vara en god hjälp. Den här studien har behandlat hur uppdragsgivarna utvärderar den kompetens i form av utbildning och forskning som de tillförs från Försvarshögskolan. Det visar sig att uppdragsgivarna är mycket nöjda med kvaliteten på såväl utbildning som forskning. I studien konstateras att forskningen når ut, och den enkät som gjorts bland potentiella användare visade att en oväntat stor andel både kände till, var intresserade av och trodde sig få användning av resultaten. Dock finns alltid en klyfta mellan praktik och forskning, och det finns mer att göra för att få full effekt av forskningen. Frågan är då hur den positiva bilden formats, och vad utvärde- ringar har för roll i det. Bland uppdragsgivarna kan man särskilja två principiellt olika förhållningssätt till utvärdering. Å ena sidan finns det system som bygger på nära kontakter mellan utförare och beställare, utvärdering genom personliga besök, intervjuer, dialog med utförare, instrument som enkäter vid kursavslutning – internt framtagna, sammanställda och analyserade. I den här modellen, om man kan kalla den så, görs utvärderingen oftast med egna resurser och utspritt i tiden. Den appliceras både på alla nivåer av utvärde- ring av utbildning, och även på utvärdering av forskningen – avseende veteskaplig kvalitet och användning. Utvärderingen avser oftast hela verksamheter, görs urval är det tillfälligheter som styr snarare än vetenskaplig kontroll. Den andra modellen bygger på en mera systematiserad utvärde- ringsverksamhet, t.ex. med hjälp av vetenskapliga råd, konkurrens- utsatta ansökningsprocesser, extern upphandlad utvärderingsexper- tis, och ofta med större metodologisk medvetenhet. Utvärderingen avser då sällan hela verksamheter, utan sker genom stickprov, t.ex. en ordentlig utvärdering av hur ett urval deltagare på en kurs an- vänder kunskaperna i sin dagliga gärning. Utvärderingar kan bedömas med avseende på användbarhet, till- förlitlighet, genomförbarhet och etik i arbetet. Den första model- len som skisserades ovan anses ofta kunna bidra till att utvärde- ringsresultat blir använda. Den här undersökningen kunde också se att det system som t.ex. Försvarsmakten har, för fram information som omsätts i beslut, t.ex. inför ny dialog med Försvarshögskolan, ändringar i kursprogram, förnyelse av forskningen, osv. En annan fördel är att kostnaderna är låga, även om mycket av kostnaderna inte syns eftersom informationsinhämtningen är spridd på många instanser. Däremot måste tillförlitligheten bedömas som låg; ur- valsprocesser, kunskapen kring hur man frågar och om vad, hur svaren behandlas och tolkas, m.m. är inte väl utvecklad. Det är ock- så en risk att etiska utvärderingsfrågor inte uppmärksammas så väl som de borde Den andra modellen skapar mera tillförlitlig information; både den vetenskapliga bedömningen och de utvärderingar av använd- ning som gjorts har byggt på god utvärderingsmetodik. Svagheten med externa system för utvärdering är dock att det kan finnas en tendens att de inte kommer till användning. I de organisationer som studerats här har det dock funnits en koppling mellan utvärde- ringar och beslut, så även användningen har varit hög. Externt gjorda utvärderingar kan vara kostsamma, men det finns knappast någon anledning att tro att de externa utvärderingar som diskute- rats ovan varit dyrare än summan av det interna arbete som lagts ned enligt den första modellen. Båda modellerna har sina fördelar och nackdelar, både rent generellt och som de tillämpas inom Försvarsmakten och Plikt- verket (den första modellen) och inom Krisberedskapsmyndig- heten och (den andra modellen). Skillnaderna för- storas här så det blir tydliga, det finns givetvis inslag av den första modellen på de senare myndigheterna, och av den andra modellen på de första. Hur man tar sig an utvärderingen beror på organisa- tionernas historia, omfattningen av den forskning och utbildning som beställs, och vad det är för typ av utbildning och forskning. Det är skillnad på hur man utvärderar ett- och tvååriga program jämfört med tredagarskurser, och hur man utvärderar forskning som har ett tydligt användningsområde inom t.ex. urvalsprocesser, och hur man utvärderar uppbyggnad av forskarmiljöer. På kort sikt kan kunskapen om utbildningarnas värde stärkas mest av att introducera ett tillförlitligt och stringent betygssystem. Det borde vara en prioriterad åtgärd. Därefter skulle externt genomförda användarutvärderingar kunna bidra till att skapa en tillförlitlig kunskap om hur, när och varför utbildningens innehåll kommer till nytta. I tredje hand kan det direkta genomförandet stärkas genom att utveckla de system för deltagarutvärdering som finns ; dvs. stärkas avseende enkätmetodik, och genom att göra användbara sammanställningar av informationen. Utvärderingen av forskning kan stärkas genom att i större ut- sträckning tillsätta externa granskningar av vetenskaplig kvalitet och av användning, på samma sätt som är brukligt i andra delar av högskolevärlden och bland forskningsfinansiärer. Exemplen i stu- dien visar att några av myndigheterna har väl avvägda och tillför- litliga system för uppföljning och utvärdering, vid andra fungerar de informella systemen väl med tanke på forskningens omfattning och karaktär, vid andra behöver utvärderingssystemen förstärkas.