sou · GSB358 · 2005-01-01 00:00:00 — Men denna bedömning säger knappast något om kvalitet för de organisationer som beställer forskning och ger ingen specifik kunskap om just de forskningsprojekten. Kostnaderna är låga men man har å andra sidan ingen effekt att ställa dem i relation till. Enligt uppgift från FM framgår att FHS planerar sin forskning så att den inte skall dubbleras inom olika områden. Enligt uppgifter från FM definieras ett antal milstolpar inom varje forskningsprojekt inom ramen för FoT-arbetet, dvs. leveran- ser av forskningsresultat som FM bedömer vara bra eller inte. bedömer att rapporten innehåller det som är beställt så god- känns leveransen och FHS fakturerar för uppdraget. Därefter gör FM betalning av uppdraget. Enligt konsultrapporten saknar de som ingår i de berörda FoT- grupperna och som beställer forskning, vetenskaplig grundutbild- ning. Av uppgifter från FM framgår att beställd forskning ofta utgör studier, inte forskning i traditionell betydelse, och att det finns ett gränsdragningsproblem mellan FoT och bestäl- lda studier. Utredningen finner att FM förlitar sig på FHS granskning av forskningsresultaten och att FM kan behöva förstärka sin egen kompetens för att avgöra om forskningsresultaten är av hög kvali- tet eller inte. Utvärdering av uppdragsgivarnas egen utvärdering Den av utredningen anlitade konsulten har använt en modell för en heltäckande utvärdering i fyra steg (nivåer) för att bedöma upp- dragsgivarnas, i första hand FM, sätt att utvärdera utbildningen vid FHS. Attitydnivå – deltagarnas åsikter om utbildningen, Kunskapsnivå – vad deltagarna har lärt sig, dvs. Användningsnivå – hur och i vilken utsträckning deltagarna tillämpar vad de lärt sig, Organisationsnivå – hur arbetsplatsen, gruppen eller organisa- tionen förändras. FM får information om deltagarnas åsikter om utbildning (attityd- nivå), på tre sätt: kursutvärderingar genom enkät, s.k. syntesvecka och informella kontakter. Enkät tillställs alla som deltar i utbildning när utbildningen är slutförd. Enkäten tas fram gemensamt av FM och FHS. FM ansva- rar för sammanställning och analys av resultaten som visar hur väl man når de beställda övergripande målen för utbildningen. Enkäten innebär en värdering av hur man når de övergripande målen för utbildningen, så som FM fastställt dem i sin beställning av utbild- ningen. Däremot ger den ingen direkt kunskap om de olika utbild- ningsmomenten. Varje utbildningsomgång avslutas med en syntesvecka som ger FM mer detaljerad information om kurserna med utvärderings- samtal. Representanter för FM, bl.a. Utbildningsinspektören, bru- kar delta. Högkvarteret får också kunskap om deltagarnas attityder genom informella kontakter med deltagarna under pågående utbildning. Hur bedömer FHS vad kursdeltagarna har lärt sig (kunskaps- nivå)? Efter varje delkurs inom en större kurs, framförallt stabs- programmet och chefsprogrammet, får deltagarna betyg. Utvärdering av uppdragsgivarnas egen utvärdering också betyg efter det att hela kursen har avslutats. Betygsskalan har två värden: godkänd och icke godkänd. De flesta deltagarna får betyget godkänd. Det är mycket ovanligt att någon får icke god- känd som avgångsbetyg. Mindre kurser och kurser som beställts av andra uppdragsgivare än FM är sällan betygsatta. Ett viktigt inslag i bedömningen av inlärning är de observationer som uppdragsgivare gör genom att närvara vid centrala moment i utbildningen. Representanter från Högkvarteret brukar vara när- varande vid de stabsövningar som ingår i stabs- och chefs- programmen och får då en bild av hur kursdeltagarna tar till sig kunskapsinnehållet i utbildningen. Frågan om hur och i vilken utsträckning deltagarna tillämpar vad de lärt (användningsnivån) kommer enligt konsultrapporten upp vid de uppföljningssamtal som man håller vid förbanden efter det att kurserna har avslutats. Samtalen protokollförs, underteck- nas av förbandschefen och skickas till Högkvarterets utbildnings- avdelning. Informationen ställs dock uppenbarligen inte samman- fattande omdöme om användningen av kunskapsinnehållet på en hel kurs. FM har också ambitionen att följa upp utbildningens effekter på organisationsnivån, dvs. hur utbildningen bidrar till att lösa orga- nisationens uppgifter. Att utvärdera en utvärdering brukar kallas metautvärdering. Vilka är kriterierna för bra utvärdering av uppdragsgivarnas utvär- dering av FHS utbildning? Utredningens utvärderingskonsult har använt de kvalitetskriterier för utvärdering som godkänts av Ame- rican . Dessa kriterier är att utvärde- ringen skall vara användbar, tillförlitlig, etiskt riktig och genom- förbar. Konsulten ställer frågan om FM:s utvärdering lever upp till dessa krav. Han ger följande sammanfattande svar. Utvärderingssystemet har båda starka och svaga sidor. Dess främsta styrka ligger i den nära kopplingen till användningen av utbildningen. Svagheterna ligger i tillförlitligheten och utvärderingsmetodiken. En stor för- tjänst är att utvärderingen inte tar mycket resurser i anspråk. Utvärdering av uppdragsgivarnas egen utvärdering Samordningsavtal mellan FM och FHS Av gällande samordningsavtal mellan FM och FHS framgår att FM skall ha möjlighet att göra olika slags uppföljning, bl.a. av: Verksamheten, dvs. FM har rätt att följa utbildningen på plats vid FHS, Beställningar, dvs. löpande händelser genom milstolpesrapporter och slutliga rapporter, kvartals- och delårsrapporter för lagda beställningar och offerter, kostnadsuppföljning genom fakture- ringsprognoser, verksamhetens resultat. Avtalet reglerar också de ekonomiska relationerna såtillvida att alla betalningar skall kunna hänföras direkt till beställningar och redo- visas mot milstolpesrapporter. FHS skall också ansvara för en pris- sättning enligt nollresultat, dvs. enligt vanliga gällande principer i staten för avgifter, nämligen fullkostnadstäckning. KBM:s och andra uppdragsgivares utvärdering FHS genomför systematiskt utvärderingar av beställda utbildningar, t.ex. kurs i högre chefsutbildning. I detta fall får KBM en kurs- utvärdering på attitydnivå från FHS. KBM och FHS ställer samman svaren och får en form av kvalitetsmått för varje kurs. Man har tidsserier och kan göra uppföljningar och analyser som leder till förändringar i kurserna. KBM har också genomfört en extern ut- värdering av kurserna. Denna täckte även frågan om utbildningar- nas användbarhet. KBM har ett ramavtal med FHS som avser beställning av utbild- ning. Det framgår av avtalet vad gäller uppföljning och återrappor- tering, bl.a. att: KBM har rätt att följa utbildningarna på plats vid FHS, FHS skall redovisa för aktuell information om läget i varje beställning, Parterna träffas för regelbunden uppföljning i form av kvartals- och delårsrapporter, där delresultat, prognoser för ev. leverans- och/eller prisavvikelser, verksamhetsresultat, fakturerings- prognoser osv. Utvärdering av uppdragsgivarnas egen utvärdering FM-Log följer upp på samma sätt som FM i övrigt, dvs. genom kursutvärderingar och utvecklingssamtal. Extern utvärdering tycks inte förekomma. Utvärdering av forskning handlar om att bilda sig en uppfattning om forskningen är bra och om den kommer till användning, t.ex. i FHS:s utbildningar eller på annat sätt. FM beställer forskning inom ramen för FoT-arbetet (forskning och teknikutveckling) i huvudsak hos följande myndigheter: (), () och FHS. Beställningar av forskning styrs i sin helhet av den totala FoT-planen och strategin för denna. Beställningarna från FHS ut- gör inom områden för framförallt ledning, ledarskap och logistik. Detta är en mycket liten del av FM:s årliga beställningar av forskning för . En utförlig beskrivning av rutinerna kring beställningar och upp- följning finns i den bilagda konsultrapporten. Uppföljning görs kvartalsvis genom milstolpesrapporter från varje enskild FoT-grupp vilket också innebär att omförhandling av inriktningen av forskningen kan göras löpande. Enligt är milstolparna kvalitetssäkrade av FHS innan leverans, dvs. varje en- skild forskares resultat granskas av FHS innan återrapportering till FM. KBM:s och andra uppdragsgivares utvärdering Enligt överenskommelse mellan framgår att KBM beställer forskning inom där ett ramforskningsprogram skall genomföras avseende kris- hantering i och skall vara färdigt . En styrgrupp bestående av personal från båda myndigheterna skall sammanträda och ansvara för att följa upp arbetet i programmet så att den huvudsakliga inriktningen enligt beslutad programplan följs samt följa upp den ekonomiska budgeten. Utvärdering av uppdragsgivarnas egen utvärdering KBM får kvartalsrapporter av samma karaktär som FM:s mil- stolpesrapporter (i stort ett fakturaunderlag). Det finns också refe- rensgrupper som följer forskningen och bedömer kvalitet och användbarhet. Det vetenskapliga rådet kan användas för att bedöma produkterna. KBM har tillsatt två externa utvärderingar för att bedöma forskning som bedrivits vid FHS. De avsåg den vetenskapliga kvali- teten i två forskningsprogram. och utvärdering av forskning lik- nar FM:s. Men någon motsvarighet till FoT-grupperna finns inte. I stället har man avtal som reglerar utvärderingen av forskningen. Utvärderingen har inte alltid en fast form eftersom Räddnings- verket och har omedelbar kunskap om användningen av forskningen och nära kontakt finns mellan beställare och utförare. Regeringen (Försvarsdepartementet) gör ingen utvär- dering av beställd forskning från FHS. 9.3.3Utvärdering av användningen av FHS forskning Enligt konsultrapporten görs inte uppföljning av användningen av den beställda forskningen hos FM på ett systematiskt sätt. Utred- ningen har därför valt att sända ut en enkät till olika användare av forskning hos FHS för att bilda sig en uppfattning om användarnas syn på forskningen. I den bilagda konsultrapporten redovisas metod, urval och frågeställningar i enkäten samt resultatet av den. Sammanställningen av enkätsvaren visar att kunskapen om forsk- ningens syfte och mål är god i jämförelse med hur det är i andra system av praktiker/forskare. När det gäller frågan om man har tagit del av forskningsresultaten känner de flesta av de tillfrågade till några projekt ganska väl, har hört talas om något annat och känner inte till de övriga. Av de som svarade tror sig få minst viss användning av forskningsprojektet – rörlig, operativ ledningsfunktion. tror att de kommer att ha en viss konkret användning av avhandlingen om i svensk säkerhetspolitik under efterkrigs- tiden. Ungefär hälften tror sig få någon användning av de övriga tre forskningsprojekten i enkäten. Utredningen ställde också en öppen fråga om hur användbara forskningsresultaten från FHS är. Några representativa exempel på svar finns redovisade i den bilagds konsultrapporten. Utvärdering av uppdragsgivarnas egen utvärdering på engagemang och intresse för forskningen. Många anser att FHS bör bli betydligt bättre på att informera om forskningen men att FM också bör göra mer för att tillgodogöra sig den beställda forsk- ningen. Det vanligaste sättet att få information om forskningen är genom kollegor och dialog om forskning och utveckling i organisa- tionen. Därefter var föredrag och forskningsrapporter det vanli- gaste. Påfallande få hade läst om forskningen i fackpress. hade hört talas om forskningsprojekten vid sin utbildning vid FHS. I sin helhet visar svaren att forskningen inte når ut särskilt bra. De som i sina svar säger att de inte alls har fått kännedom om forskningen är alltid i stor majoritet. Utredningen vill lyfta fram ett antal förslag avseende användbar- heten av forskningen som kom fram från enkäten, bl.a. att FHS bör systematiskt skicka ut sina forskningsrapporter som FOI gör, för att nå ut bättre med resultaten, FHS bör synas mer inom och informera vid garnisonsbesök, Högkvarteret och FHS bör ha bättre och mer frekventa kontakter, FHS kan publicera sina resultat i Framsyn, och/eller på sin hemsida med relevanta länkar, diskussioner och presentationer av forskningsresultat kan också presenteras vid seminarier, Användarna generellt inte ansåg sig ha tillräckligt med tid att regelbundet följa kunskapsutvecklingen på sitt specifika om- råde, Enligt den utskickade enkäten med frågor om forskningen vid FHS visar att de tillfrågade anser att samverkan mellan FHS och andra aktörer inom totalförsvaret kan öka eller förbättras. Konsulten konstaterar att uppdragsgivarna är mycket nöjda med kvaliteten på såväl utbildning som forskning vid FHS. Forskningen når ut. Den enkät som gjorts bland potentiella användare av forsk- ningen visade att en oväntad stor andel kände till, var intresserad av och trodde sig få användning av resultaten. Konsulten ställde frågan om hur den positiva bilden har formats och vilken roll utvärderingar kan ha i det sammanhanget. Utvärdering av uppdragsgivarnas egen utvärdering FHS uppdragsgivare kan man särskilja två olika förhållningssätt till utvärdering. Den ena modellen, som tillämpas framförallt av FM och Plikt- verket, bygger på nära kontakter mellan utförare och beställare, personliga besök, intervjuer, enkäter vid kursavslutning m.m. Ut- värdering görs ofta med egna resurser och utspritt i tiden. Den avser oftast hela verksamheten. Den andra modellen, som tillämpas framförallt av KBM och , bygger på en mer systematiserad och metodolo- giskt medveten utvärderingsverksamhet, t.ex. med hjälp av veten- skapliga råd och extern utvärderingsexpertis. Utvärderingen sker då oftast genom stickprov. Den första modellen anses ofta kunna bidra till att utvärderings- resultaten kommer till användning. FM har kunnat omsätta sin ut- värdering i beslut om ändringar i kursprogram och förnyelse av forskning. En annan fördel är att kostnaderna är låga. Däremot måste tillförlitligheten bedömas som låg och utvärderingsmetodi- ken mindre väl utvecklad. Den andra modellen ger mer tillförlitlig information. Risken med externa system för utvärdering är dock att resultaten inte kommer till användning. De kan också vara dyra. Båda modellerna har enligt konsulten sina fördelar och nack- delar. Hos var och en av de uppdragsgivande myndigheterna finns inslag av båda modellerna. Det är ju skillnad på hur man utvärderar ett- och tvååriga program jämfört med tredagarskurser och hur man utvärderar forskning med ett tydligt användningsområde jäm- fört med uppbyggnad av forskarmiljö. Konsulten föreslår tre åtgärder för att stärka utvärderingen av utbildningen. Den första är att införa ett tillförlitligt och stringent betygssystem. För det andra skulle externa användarutvärderingar kunna bidra till att ge tillförlitlig kunskap om hur, när och varför utbildningens innehåll kommer till nytta. I tredje hand bör enkät- metodiken förbättras och användbara sammanställningar göras av informationen från utvärderingarna. Utvärderingen av forskning kan enligt konsulten stärkas genom fler externa granskningar av vetenskaplig kvalitet hos och använd- ning av forskningen. Han framhåller att några av uppdragsmyndig- heterna har väl avvägda system för utvärdering. Vid andra fungerar informella utvärderingssystem väl med tanke på forskningens om- fattning och karaktär. 10Förändringar i Försvars- högskolans omvärld Utredningen föreslår att FHS gör prognoser för att bilda sig en uppfattning om de framtida utbildningsvolymerna, analyserar konsekvenserna för skolans verksamhet av de beslutade ändringarna i officersförordningen, gör en bedömning av hur skolan skall möta en ökad efterfrågan på utbildning och forskning inom områdena fredstida krishante- ring och civil beredskap. FHS verksamhet är av stor betydelse för den pågående föränd- ringen av försvaret. FHS utbildar nya högre officerare som skall leda förändringsarbetet och FHS tar i sin forskning fram ny kunskap som behövs för att klara nya uppgifter. Utredningens bedömning av behovet av verksamhetsförändringar är färre officerare på långa program kan behöva utbildas, men fler militära och civila specialister kommer att behöva utbildas, ökad efterfrågan på civil utbildning för militärt bruk, ökad efterfrågan på militär utbildning för den fredstida kris- hanteringens behov, större krav på snabbhet och flexibilitet i anpassning av FHS kursutbud, Förändringar i Försvarshögskolans omvärld fortsatta krav på hög kvalitet men ökade krav på uppföljning och utvärdering. förslag och de gjorda ändringarna i officersförordningen kan få stora konsekvenser för FHS utbild- ningsverksamhet, även om man undantar akademiseringsfrågan. Hur stora konsekvenserna blir beror dock på hur förslagen genom- förs. Om kopplingen mellan stabs/chefsutbildning och befordran tas bort kan utbildningsvolymen komma att variera i högre grad mellan åren än vad som är fallet. T.ex. kan ett besparings- program för försvaret medföra att den högre utbildningen minskas kraftigt av ekonomiska skäl. Det är också möjligt att ut- bildningen tidigareläggs för vissa och senareläggs för andra. I några fall kanske man bedömer att utbildningsbehovet för en viss person kan tillgodoses genom FHS kurser eller genom annan utbildning utanför FHS, t.ex. vid ett universitet eller internt inom FM. Detsamma gäller om det tekniska basåret och fackutbildningen görs om till fristående kurser som kanske beställs och betalas av respektive förband. Volymen kan komma att variera kraftigare om man tar bort den block-beställning av Högkvarteret som hitintills styrt utbildningsvolymen. Efterfrågan på olika typer av kurser kan också komma att variera och här kanske FHS måste känna av samtliga förband i stället för att få ett utbildnings- uppdrag från högkvarteret Sammantaget bedömer utredningen att förslag och ändringarna i officersförordningen kommer att ställa stora krav på flexibilitet i utbildningsvolymen och att FHS roll i den högre officersutbildningen förändras. För FHS kan denna ut- veckling vara positiv om myndigheten kommer att efterfrågas på grund av sin kompetens och beroendet till några få beställare minskar. FHS driver ett målmedvetet arbete med ett internationali- sera utbildningen vid skolan. Detta arbete bör fortsätta. Utred- ningen återkommer till frågan om samverkan med andra länders försvarshögskolor i kapitel 12. Förändringar i Försvarshögskolans omvärld 10.3.1Omvärldsförändringar som påverkar verksamheten Flertalet västliga försvarsmakter befinner sig i en omställnings- process, även om det svenska försvaret kanske har krav på sig att göra särskilt stora förändringar avseende kostnader, volym och verksamhet. Årsrapporten från Högkvarterets perspektivplanering1 innehåller en beskrivning av utvecklingen i västliga försvarsmakter. Utvecklingen kan sammanfattas i följande punkter kompetens för väpnad strid skall behållas, krav på ökad reaktionsförmåga gör underrättelser viktigare, krav på ökad lednings- och beslutsförmåga, krav på interoperabilitet (med förband från andra länder), breddad hotbild inkluderande terrorism, satsning på kvalitet framför kvantitet, traditionell värnplikt frångås. Det svenska försvaret befinner sig fortfarande i en stor omställ- ningsprocess som påverkar inriktning, organisation och resurstill- gång. Återverkningarna på FHS verksamhet har varit tydliga, framförallt när det gäller innehållet i utbildningen och forskningen, men har varit relativt begränsade när det gäller orga- nisation, styrning och resurser. I ett krympande försvar har FHS kunnat expandera sin verksamhet genom att kundernas efterfrågan på kompetensstöd har ökat. FM nyttjas i ökad utsträckning som ett verktyg i den internatio- nella krishanteringen. Försvarsberedningen gör exempelvis bedöm- ningen att omfattningen av svensk medverkan i fredsfrämjande insatser, i och dess närhet men även globalt, över hela konfliktskalan från civila förebyggande åtgärder till militära fredsframtvingande insatser, bör öka.2 1Årsrapport från perspektivplaneringen 2002–2003; Målbildsinriktningar inför Försvarsbeslut – rapport 7, HKV skr bet 23 210:63182, s. 30–31. 2Säkrare grannskap – osäker värld, Rapport från Försvarsberedningen, Ds 2003:8, s. 28. Förändringar i Försvarshögskolans omvärld Regeringen har också i en proposition3 konstaterat att militära verksamhet utomlands är av stor betydelse och den kompetensuppbyggnad och det internationella utbyte som pågår bör fortgå. Dessutom anser regeringen att denna verksamhet bör formali- seras ytterligare gentemot de länder där utbytet är av störst omfattning och betydelse. Eftersom är ett land med begränsade resurser kommer vår medverkan i internationella insatser alltid att ske i samverkan med andra länder, ofta NATO-länder. Denna samverkan ställer ökade krav på interoperabilitet. För FHS innebär detta att utbildning måste ges för att kunna uppträda tillsammans med andra nationers förband och i multi- nationella staber. Sättet att leda verksamheten behöver oftast an- passas till NATO-standard och stödsystem ordergivning, uppfölj- ning m.m. måste fungera i en internationell miljö. Detta betyder i sin tur att svenska officerare måste ha förståelse för NATO:s planeringsprocess () och den militärteori som ligger bakom denna och ha en militärteoretisk kunskap på jämbördig nivå med NATO (PFF). FHS har kommit långt i sin utbildning av officerare som skall delta i internationella operationer. Om kommer att skicka ut mer kvalificerade förband (t.ex. för luftförsvar m.m.) kommer än högre krav att ställas på ledning och samverkans- förmåga. I arbetet inför Försvarsbeslut 20044 har HKV sammanfattat några avgörande punkter för förändringsarbetet övergången till ett insatsförsvar tillsammans med teknikutveck- lingen kräver färre människor, men med mer kvalificerad och specialiserad kompetens, djupare specialistkunskaper kommer att krävas inom områden som inte är unikt militära (ekonomi, teknik, juridik etc.) och som i större utsträckning kan lösas av civil personal, 1999/2000:30. 4Ibid, s. 61–66. Förändringar i Försvarshögskolans omvärld officerare bör främst nyttjas i befattningar där kompetens för väpnad strid krävs. I budgetunderlaget för anger FM att särskilda utbildningsinsatser och förändringar i utbildningen vid ordinarie kurser skall ske för att snabbt öka kompetensen inom områden viktiga för utveckling av ett nätverksbaserat försvar, skolsystemet skall säkerställa att personalutbildning i ökad utsträckning kvalitetssäkras och bibehålls på en hög nivå. Genomförd utbildning samt målen för personalutbildning skall kontinuerligt utvärderas och analyseras och ge underlag till årlig revidering, kompetensutveckling av yrkesofficerare skall tydligare styras av de faktiska behoven. Yrkesofficerares deltagande i internationell verksamhet skall uppmuntras och ges ökat meritvärde. 10.3.4Det militära skolväsendets reformering har lämnat sitt slutbetänkande5 och utred- ningens förslag bereds nu av . Regeringen beslu- tade om ändringar i officersförordningen som trä- der ikraft . I denna utredning föreslås bl.a. följande som berör FHS utbild- ning de program som bedrivs på FHS, stabsprogrammet och chefsprogrammet föreslås kvarstå som program med i huvudsak den inriktning de har . Kopplingen till befordringsgången (som s.k. nivåhöjande utbildning) bör dock försvinna, den tekniska utbildningen för officerare på alla nivåer bör byg- gas ut och förnyas. De tekniska delarna i chefsprogrammet (det tekniska basåret om 40 poäng) bör brytas ut och läggas som separata kurser och bli en del av det allmänna kursutbudet, språkutbildningen bör förstärkas på alla nivåer, FHS blir en sektorshögskola med Försvarsdepartementet som huvudman och med anslagsfinansierad utbildning alternativt en civil högskola (särskild inrättning) med uppdragsfinansiering, 5 Ett reformerat skolsystem för Försvarsmakten (SOU 2003:43). Förändringar i Försvarshögskolans omvärld samarbetet mellan FHS och FM:s skolor, universitet, högskolor och forskningsinstitut intensifieras utbildning just in time bör vara en styrande princip och en specialistinriktning skall ske tidigt av för vissa befattningar. 10.3.5Totalförsvarets behov och framtida utbildningsvolym