sou · GSB358 · 2005-01-01 00:00:00 — Försvarshögskolan utvecklas ständigt, och de senaste årens om- ställningar av försvaret har givetvis fått konsekvenser för innehållet i utbildningen. En väl underbyggd uppfattning om måluppfyllelse och om hur utbildningen kommer till användning har alla förutsätt- ningar att vara användbart. Det är inte säkert att utvärderingsverk- samhetens potential utnyttjas till fullo. Informationen borde sam- manställas på en mera aggregerad nivå för kunna tillföra diskussio- nen såväl allmängiltiga som mångfacetterade slutsatser. Som det är tenderar den att vara väl fragmentarisk för att vara riktigt använd- bar. Den utvärderande kunskap som uppdragsgivare såväl som För- svarshögskolans personal och ledning besitter är i stor utsträckning formad genom personliga erfarenheter av utbildningen, och genom att man relativt nära följer den. Man har mycket kunskap om det substantiella innehållet i utbildningen. Det gör att informationen från utvärderingssystemet kommer in i ett sammanhang där det redan finns starka och fast förankrade värdeomdömen och upp- fattningar. Det är bra på det sättet att det finns ett stort intresse för frågorna, och det finns starka drivkrafter att utveckla utbildningen och höja kvaliteten. Det bör skapa goda förutsättningar för att utvärderingen kommer till användning. Det här kvalitetskriteriet avser att utvärderingar måste bedrivas med respekt för personlig integritet. De individer som kommer till tals i utvärderingar skall kunna lämna uppgifter och synpunkter utan att behöva frukta några konsekvenser av det, och deras iden- titet skall – ibland – skyddas (det finns en omfattande teori om hur, när och varför datainsamling skall ske under anonymitet). En annan aspekt av etik är att samtliga åsikter skall komma till tals, det får t.ex. inte vara så att kritiska röster systematiskt blir uteslutna, eller att bara de mest talföra uppmärksammas. Ytterligare en aspekt av etik är att de som lämnar uppgifter i en utvärdering skall få veta hur deras synpunkter kommer till användning och vad det får för konsekvenser. De etiska frågorna i utvärdering är inte särskilt uppmärksam- made i det ovan skildrade utvärderingssystemet. Det finns heller inte några stora problem, man bör dock vara observant på använ- darutvärderingen som diskuterades ovan. Till skillnad från många utvärderingar – och utvärderingssystem – verkar de som bör bli tillfrågade också få komma till tals. Utvärderingen har inte mött några övertramp vad gäller personlig integritet eller liknande vad gäller att lämna uppgifter. Med det här kvalitetskriteriet menas att utvärderingar skall vara praktiskt genomförda, till en så låg kostnad som möjligt. De skall vara kostnadseffektiva. Det innebär t.ex. att man inte skall samla in mer data än nödvändigt, att man skall utnyttja enkla och tillförlit- liga sätt att samla in information, mm. Som utvärderingen visat samlas det in mycket information som inte aggregeras, det blir där- med inte användbart som avsett och var delvis onödigt. I detta avseende är den största förtjänsten med det ovan beskriv- na utvärderingssystemet att man arbetar med egna resurser. Det hade med största sannolikhet varit betydligt dyrare att upphandla extern hjälp med utvärderingen. När man samlar information om flera förhållanden , som man gör vid samtalen om användning, kan man också sänka kostnaderna. Om en extern konsult skulle offerera att göra en an- vändarutvärdering skulle det säkert handla om åtskilliga veckors arbete för att genomföra de nödvändiga intervjuerna, men när det görs inom organisationen och utspritt på många personer, kan kostnaderna bli låga (men också svåra att bedöma). Kanske är den personliga närvaron vid stabsövningar och syntes- veckor ett av de dyraste inslagen i utvärderingen. Det tar åtskilliga dagar av de högsta chefernas tid, och den har väl en mycket hög alternativkostnad. är det uppskattat och värdefullt, och det har andra effekter än att just ge utvärderingsinformation. Deras närvaro stärker säkert deltagarnas motivation, det betyder mycket att uppdragsgivarna så tydligt markerar intresse (och förståelse) för utbildningen. Användbarhet är sannolikt den starkaste sidan i utvärderingssyste- met; dvs. det ser ut som om den information som kommer från ut- värdering också kommer till nytta i diskussionen om utbildningens syfte och innehåll. Det finns dock flera anledningar att vara tvek- sam avseende tillförlitligheten, bland annat eftersom: Det inte sker något medvetet urvalsförfarande, vilket gör att de informella samtalen beträffande attitydnivån respektive kun- skapsnivån kanske inte är representativa.. Det är risk att informationen i samtal om användning blir till- rättalagda både vad den intervjuade och den intervjuande avser, eftersom det kan finnas andra intressen avseende karriärutveck- ling, ny utbildning, mm. som påverkar innehållet. Förutom vad gäller enkäterna vid kursavslutning är inte utvärde- ringsinformationen systematiserad, och den är heller inte doku- menterad och sammanställd. Det gör att den inte är tillgänglig för kvalitetsbedömning – även om den skulle vara tillförlitlig finns det ingen möjlighet att bekräfta det. Instrumenten för att bedöma effekter på kunskapsnivå är för trubbiga för att ge relevant utvärderande information. Eftersom de flesta instrumenten inte är systematiserade är inne- hållet i dem inte jämförbart, och därför går det inte heller att dra slutsatser på en mera övergripande nivå om t.ex. användbarheten vad gäller utbildningens innehåll. Det är också viktigt att hålla isär rollerna i utvärderingssamman- hang, särskilt avseende leverantörsintressen men även i beställar- rollen. Det är absolut inte allena saliggörande med externa och opartiska utvärderingar. Det finns många anledningar att vara skeptisk och tveksam till det, och att istället betona värdet av deltagande utvärdering. Men det ställer krav på metodologisk medvetenhet och systematik, annars riskerar tillförlitligheten att bli lidande. Det utvärderingssystem som beskrivits ovan har en del starka sidor, liksom en del svagheter. Dess främsta styrka ligger i den nära kopp- lingen till användning. Det finns ett stort intresse för utvärderings- information, ett starkt omvandlingstryck på utbildningen, och en beredskap att använda all kunskap man kan få för detta. Dess svag- heter ligger i tillförlitligheten, särskilt då den relativt svagt utveck- lade systematiken. Kunskapen om utvärderingsmetodik kunde ock- så utvecklas mera. Utvärderingen tar inte mycket resurser i anspråk, och det är en stor förtjänst. Med tanke på utbildningens omfattning – i pengar räknat – kan man dock anse att utvärdering borde få kosta mer, särskilt med tanke på bristerna i tillförlitlighet. Det är vanligt att säga att av en verksamhets budget bör kunna användas för utvärdering, men i det här systemet avsätts betydligt mindre än så för utvärdering om man ser till de kostnader för tid som perso- nal på olika nivåer använder för det ändamålet. På samma sätt som ovan utvärderas nu uppdragsgivarnas utvärde- ring av forskningen vid . Återigen ligger tonvik- ten på Försvarsmaktens utvärderingssystem. Först görs en kort beskrivning av hur utvärdering sker, och därefter diskuteras om ut- värderingssystemet är bra. Samma kvalitetskriterier som ovan kom- mer då till användning. Därefter redovisas de åsikter om forsk- ningen som utredningen tagit fram genom den enkät vi riktade till beslutsfattare inom Försvarsmakten . Utvärdering av forskning besvarar andra frågor än utvärdering av utbildning. Det är främst två frågor som står i centrum: 1.Är forskningen tillräckligt bra? 2.Kommer forskningen till användning? Hur ser då Försvarsmaktens utvärdering ut i dessa avseenden? När den frågan besvaras bör man hålla i minnet att Försvarsmakten är en av de största beställarna av forskning i , med en total omslutning av . Försvarsmaktens forskningsuppdrag går i huvudsak till tre organisationer: FMV, FOI och Försvarshögskolan. Jämfört med de övriga två är För- svarshögskolans andel av forskningen mycket liten. Det är som huvudsakligen läggs på två område:; ledning med IT-systemteknik, samt ledarskap. Utvärdering av vetenskaplig kvalitet En första rapport har behandlat hur Försvarsmakten beställer forskning från Försvarshögskolan. De s.k. FoT grupperna har en nyckelfunktion vad gäller att utveckla och pröva idéer och leda dessa fram till färdiga forskningsprojekt samt att därefter ta fram en offertförfrågan och bedöma offerten. FoT grupperna har också en viktig roll i uppföljning och utvärdering. När Försvarsmakten har accepterat offerten och avtal ingåtts, följer parterna de överens- kommelser om rapportering som specificerats. Inom varje forsk- ningsprojekt har man då definierat ett antal milstolpar, dvs. kon- kreta leveranser av forskningsresultat som Försvarsmakten kan förhålla sig till. Fakturering och betalning är knutet till dessa mil- stolpar; om Försvarsmakten inte har några invändningar från att leveransen skett, sänder Försvarshögskolan sin faktu- ra för uppdraget. Vid mottagandet av en milstolperapport sker därigenom en första prövning; Om rapporten innehåller vad Försvarsmakten beställt och om den är tillräckligt bra, godkänns betalningen. Detta är ett viktigt inslag i utvärdering. Frågan är då vem som gör värderingen. Det är en person i FoT gruppen som har huvudansvar för beställ- ningen, och det är den personen som har ett huvudansvar att god- känna milstolperapporten, eller begär ändringar/tillägg från fors- kargruppen. FoT-gruppen sammanträder en gång , men har många ärenden att ta ställning till. Milstolperapporten skall godkännas . Även om rapporten sprids i FoT- gruppen är det inte säkert att den hinner behandlas på ett sammanträde och då blir det beroende på enstaka ledamöters tid och engagemang om de hinner reagera. Frågan är också vad gruppen kan ta ställning till. Det är ingen i de två FoT-grupper som beställer forskning från Försvarshögskolans som har någon vetenskaplig grundutbildning (förutom Försvarshögskolans representanter i grupperna). Det är inte någon i de två grupperna som slutfört vetenskaplig grund- utbildning, dvs. avlagt forskarexamen, och inte heller någon som bedrivit eget vetenskapligt arbete. Företrädare för Försvarsmakten betonade också vid intervjuerna att de inte själva besitter den veten- skapliga kompetensen att göra en bedömning av forskningens kvalitet. Frågan är då vad man bedömer när man tar emot milstolpe- rapporten och vad det egentligen är man reagerar på när man god- känner respektive begär kompletteringar? För att besvara den frå- gan måste man gå in i själva rapporterna och se vad de innehåller. I sammanfattning påverkas Försvarsmaktens bedömningen av: Att det inte rör sig om forskning i traditionell bemärkelse, utan om studier, framtagning av modeller, underlag för undersökningar, m.m. Det är inte vetenskaplig kompetens som är avgörande för att bedöma om leveransen står i överens- stämmelse med beställningens syfte. Inom förlitar man sig på att Försvarshögskolan själv gör den vetenskapliga kvalitetsgranskningen. Bedömningen av milstolperapporten är då främst en prövning av användbarheten i det framtagna materialet, och om det syfte kunskapen/studierna är avsedda för kan uppnås. Milstolperapporterna är att betrakta som delrapporter inom forsk- ningsprojekten. De är avsedda att ge uppdragsgivaren information om man är inne på rätt spår och att kontrollera produktions- processen i samband med betalning. De som intervjuats anser att rapporteringssystemet fyller sitt syfte. Det finns ingen anledning att betvivla det, men systemet med milstolperapporter är inte att betrakta som utvärdering – vare sig av användning eller av veten- Möjligtvis kan man betrakta det som en prognos att användbarheten kan komma att bli hög när man godkänner rapporterna. Uppdragsgivaren anser med andra ord att det är Försvarshögskolan själv som kan och bör stå för bedömningen av den vetenskapliga kvaliteten i sitt arbete. Man pekar på förekoms- ten av professurer som en garanti för att den kontrollen sker. Det är visserligen sant att professorerna vid en institution har att leda och kontrollera det vetenskapliga arbetet och det gör man givetvis. Samma förtroende visar de flesta organisationer som beställer forskning från akademiska miljöer. Men i andra sammanhang ser man det som naturligt att komplettera (och underbygga) detta för- troende med inomvetenskapliga kontroller och utvärderingar. Hög- skoleverket genomför regelbundet utvärderingar av det vetenskap- liga arbetet på universitet och högskolor4. Man brukar tillsätta obe- roende arbetsgrupper, som regel med forskare från andra länder, som granskar kvaliteten i böcker, artiklar, working papers, m.m. Något sådant görs inte på initiativ av Försvarsmakten, och det fram- står som något otillräckligt att enbart utnämningen av ett antal professorer skulle borga för kvaliteten i den samlade forskningen. Försvarshögskolan egen kvalitetssäkring bygger i stor utsträck- ning på att publicera forskningsrön i andra sammanhang. Vid institutionen för ledarskap och management har man två rikt- värden; en artikel i en internationell vetenskaplig tidskrift, utsatt för granskning av andra forskare, samt en populärvetenskaplig artikel i någon svensk facktidskrift. Båda aspekterna av kvalitets- granskning är bra, men man kan också ha synpunkter på dem. Att skriva populärvetenskapligt är bra, det tränar upp förmågan att förmedla kunskap och det är en god prövning av om kunskapen bedöms som relevant i ett något annat sammanhang. Rent allmänt är det alldeles för få forskare som väljer att publicera sig i populär- vetenskapliga tidskrifter. Forskarna på Försvarshögskolan gör klokt i att satsa på det. Däremot är det inte en garanti för att forskningen håller en hög vetenskaplig kvalitet. Ett populärvetenskapligt arbete bedöms på andra grunder än just den vetenskapliga kvaliteten. Det är många som beklagar att forskare fäster alltför stor vikt vid att publicera artiklar i vetenskapliga tidskrifter. 4 utvärderingar skräddarsys för det frågeställningar som bedöms vara rele- vanta i varje specifik utvärdering. Det finns inte någon modell att standardiserat använda från gång till gång. Varje uppdragsbeskrivning är unik, men kan för jämförelsens skull hämtas från de utvärderingar som offentliggjorts. kritiken ligger bland annat att det inte alltid säger så mycket om kvaliteten i arbetet. Det finns tidskrifter som har en mycket god kvalitetskontroll, och där det verkligen är svårt att publicera sig. Det finns andra som ropar efter material och där kvalitetskontrol- len är rudimentär. På Försvarshögskolan har man säkert kunskap om hur mycket det egentligen står för att vara publicerad i vissa tidskrifter, men det lär inte vara många av uppdragsgivarna som kan bedöma detta. Forskarutbildningen är ett viktigt inslag i den vetenskapliga pro- duktionen, inte minst då doktorandernas avhandlingsarbete. Betygs- nämnderna utlåtande över en avhandling kan läsas som mycket mera än just ett betyg på avhandlingen. Det är ett omdöme som återspeglar den vetenskapliga debatten på en institution, som ger indikationer på handledningen, debattklimatet och den intellek- tuella nyfikenheten i forskarmiljön. Förutom att värdera den veten- skapliga produktion som avhandlingen är, kan det ses som en indi- kator på kvaliteten hos organisationen. Försvarsmaktens såväl som andra uppdragsgivare har ett klart ut- talat praktiskt syfte med att beställa forskning från . Det finns alltid en tänkt nytta, en tänkt användning för den kunskap som produceras. De beställer inte forskning för kunska- pens egenvärde. Forskningen beställs för att åstadkomma ett resul- tat, för att kunna användas i organisationen, helst så direkt som möjligt. Vad händer när forskningsrapporter (eller hur nu kunskapen doku- menteras) kommer till organisationen? Följer man upp använd- ningen? Vad den här utvärderingen kunnat se sker det inte någon sådan uppföljning inom Försvarsmakten. Enligt intervjuuppgift har man inte utvecklat några system för att dokumentera hur forsk- ningen används, och vad organisationen i så fall vinner på det. Det finns helt enkelt ingen utvärdering av användning, det finns inte någon samlad bild av vilka erfarenheter organisationen har av sina beställningar, om forskningen kommit till nytta, vilka faktorer som i så fall bidragit till det, eller vilka hindren har varit. Detta är inte platsen att utveckla rekommendationer om hur man utvärderar nyttan, eller användningen av forskning. Det är ingen ny fråga, och det finns en omfattande litteratur på området, många utvärderingar i och internationellt. Som ett exempel har MISTRA, , rutiner där varje beslut om forskningsprojekt föregås av såväl en vetenskaplig värdering som en nyttoutvärdering, och där varje avslutat projekt bedöms med sådana måttstockar. MISTRA har även en enkel manual5 för nyttoutvärderare – vilket i deras terminologi är detsam- ma som användning. Det nämns här för att understryka att det inte är en omöjlig uppgift att systematiskt utvärdera användning av forskningsresultat och många andra organisationer har rutiner för det. Kanske skulle någon invända att det ändå är ganska små belopp som Försvarsmakten beställer forskning för och det är kanske inte värt att genomföra utvärderingar av både kvalitet och användning på alla forskningsprojekt. Det kan vara sant, men är 30 miljoner en inte föraktlig summa pengar, och är det betyd- ligt mer. Då bör man nog ha kunskap dokumenterad och tillförlit- lig kunskap om användning – inte minst för att vara säker på att den investering man gjort i kunskap faktiskt varit lönsam. Det vet man inte . Det här resonemanget gäller bara Försvarshögskolan, men om Försvarsmakten inte heller utvärderar användningen av sina andra forskningsbeställningar vore det mera allvarligt. På samma sätt som vad gäller utvärdering av utbildning kan man ställa frågan om det som beskrivits ovan är bra utvärdering av forskningen, dvs. om utvärderingssystemet ger information som är tillförlitlig och användbar, på ett effektivt sätt, och med hänsyn taget till etik i utvärderingsarbetet. Eftersom det är så lite utvärdering som görs måste nog svaret på frågan vara att det vare sig är tillförlitligt eller användbart. Försvars- högskolans egen kontroll genom disputationer och publicering, och genom det ledarskap professorer och andra forskare utgör, kan ge skolan självt en god bild av kvalitet. Men den säger knappast något om kvalitet för de organisationer som beställer forskning och ger ingen specifik kunskap om just de forskningsprojekten. Kost- naderna är låga, men man har å andra sidan ingen effekt att ställa dem i förhållande till. 5 MISTRA:s nyttoutvärderingar och annat material kan hämtas från hemsidan . Alternativa modeller för utvärdering av forskning och utbildning Avsnitten ovan behandlade Försvarsmaktens utvärdering av utbild- ning och forskning. Hur gör då andra myndigheter? Krisbered- skapsmyndigheten kan tas som ett exempel. Även där får man kursutvärderingar på attitydnivå från Försvarshögskolan. Det är inte riktigt samma frågeinstrument som det ovan refererade. En- käten består av 12 frågor. I box 5 på nästa sida ges exempel på några av frågorna. Svarsalternativen är i regel ett ja eller ett nej. kan man ge ett mellanalternativ som i stort sett. Det är en mindre användbar skala, och den har uppenbara reliabilitetsbrister. och Försvarshögskolan ställer sam- man svaren för varje kurs i ett samlat poängtal som ger en form av kvalitetsmått för varje kurs. Man har tidsserier och täcker med det åtta kurser. Man kan tydligt se hur värdena går upp och ner. Enligt intervju leder detta till uppföljningar och analyser, som i sin tur leder till förändringar i kurserna. Exempel på frågor i enkät om grundkurs 1; högre chefsutbildning. Mot den ovanstående beskrivningen av målet för kursen, anser du att målet uppnåtts? (alternativ ja, i stort sett, nej) 2.Har de olika delmålen för kursen uppfyllts? (alternativ ja eller nej) 3.Har kursen motsvarat dina förväntningar? Om inte varför? (alternativ ja eller nej) 4.Har uppläggningen på kursen gynnat deltagarnas inlärning? (alternativ ja eller nej) 5.Hur tycker du tempot på kursen varit? (alternativ för högt, lagom, för lågt) 6.Jag anser att kurslängden för att nå målet är: (alternativ för högt, lagom, för lågt) 7.Kursen har med hänsyn till uppläggning och innehåll varit. (alternativ mycket bra, bra någorlunda, dålig) Vidare har beställt en extern utvärde- ring av kurserna. Denna byggde på en genomgång av åsikter om kursinnehåll och inlärning under utbildningens gång, men den innehöll även ett uppföljningsmoment där utvärderarna uppsökte kursdeltagarna efter avslutning och diskuterade använd- barhet och nytta. Utvärderingen kom därmed att täcka in använd- ningsnivån på ett tillförlitligt sätt. Andra enheter inom Försvarsmakten, FM-Log t.ex. följer upp på samma sätt som Försvarsmakten, dvs. genom kursutvärderingarna och genom de utvecklingssamtal som bedrivs. Det verkar inte före- komma externa utvärdering av ovan nämnda slag. och har delvis annorlunda sätt att utvärdera forskningen än Försvarsmakten har, men principerna är liknande. Den stora skillnaden är att det inte finns någon FoTgrupp. Istället har man avtal om hur forskningsrapporter skall publiceras och seminariebehandlas i vetenskapliga miljöer. Sådana avtal regle- rar utvärderingen av den projektfinansierade forskningen. Rädd- ningsverket ger också stöd till forskarmiljöer, och där har man inte samma avtal. Utvärderingen av miljöstödet har inte fått någon fast form, utan man anser sig ha den nödvändiga kunskapen genom nära kontakter mellan beställare och utförare. Detsamma gäller , men här kan man ha en omedelbar kunskap om an- vändningen av forskningen, och det behövs knappast någon for- mell. Forskningssamarbetet handlar om psykosometriska tester för urval i samband med mönstringen och kommer till användning direkt. Dessutom leder tillämpningen oftast till följdforskning för att validera resultaten. är ett undantag även vad gäller ut- värdering av forskning. Dels får man kvartalsrapporter av samma karaktär som Försvarsmaktens milstolperapporter, dvs. i princip ett fakturaunderlag, dels finns referensgrupper som följer forskningen och bedömer kvalitet och användbarhet. Det vetenskapliga rådet kan användas för att bedöma produkterna. Man tillsätter externa utvärderingar, två stycken för att bedöma forskning som bedrivits vid . En utvärdering avsåg forskningsprogrammet veten- skapliga kvalitet Utvärderingsrapporten inleds med en övergripande bedömning av programmets produktivitet och kvalitet samt av dess funktion som forsknings- och kompetensuppbyggnadsmiljö. Där- efter värderas det insända forskningsmaterialet, verk för verk. Genomgången leder till några allmänna slutsatser och funderingar avseende programmets styrka, svagheter och utvecklingsmöjligheter. Den avslutas med en slutbedömning som är värd att citera: Kvantitativt sett måste produktiviteten i programmet bedömas som god. Den egna rapportserien består av 24 volymer. En studie har publicerats av ett amerikanskt förlag och avtal har slutits om publicering av flera böcker om krishantering i transitions- länder. Glädjande nog har programmet också avsatt ett relativt stort antal artiklar i kvalitetsbedömda internationella tidskrifter, ett för mig viktigt kvalitetskriterium. Positivt är också att det inte bara är projekt- ledningen, utan flera medarbetare, som lyckats publicera sig på detta sätt. På ett övergripande kvalitativt plan kan programmets vetenskapliga alster hävdas utgöra ett väsentligt teoretiskt bidrag till forskningen om kriser och krishantering. I Sundelius m.fl. bok svenska (1997), och i Sterns avhandling (1999) frammejslades ett analysschema som konstituerar ett betydande teoretiskt tillskott till existerande forskning. Detta schema ligger med sina vetenskapliga utgångspunkter till grund för programmets fortsatta produktion.