sou · GSB358 · 2005-01-01 00:00:00 — Men eftersom det är ett rullande system behöver inte konsekvenserna av det vara så allvarliga. Dessutom har avtalsparterna erfarenhet av hur det fungerar och har rimligtvis utformat andra rutiner för att passa med detta. Kompetensen i beställningarna kan dels bedömas i ett system- perspektiv, dels utifrån innehållet i förfrågningsunderlag respektive beställning. Som den här utvärderingen kan bedöma det har syste- met med FoT-grupper en klar och tydligt struktur, vilket bör göra det enkelt för parterna att förhandla fram innehållet i forskningen. När det gäller de mera detaljerade målen för forskningen är det svårt uttala någon värdering av det, eftersom det inte funnits något konkret exempel att analysera avseende hur mål och forsknings- planer uttrycks. När det gäller forskningen inom området ledar- skap bör nog de flesta med en ekonomisk eller statsvetenskaplig forskarutbildning kunna uttala sig om dem och vad de säger om beställarkompetens, men man måste ha dokumenten framför sig. Även om den grundläggande strukturen för en funktionell be- ställarkompetens finns på plats är det sannolikt en svaghet att det finns få forskarutbildade handläggare på Högkvarteret. Även om det aldrig skulle gå att ha specialistkompetens ens inom de forsk- ningsområden som Försvarshögskolan arbetar med, så är en grund- läggande vetenskaplig utbildning viktig för att förstå vad det är för processer som beställs och vilka krav som bör ställas. Vas utvärde- ringen kunnat se har dock kontinuiteten på berörda avdelningar varit god, men däremot kan personalomsättningen inom FoT- grupperna ha varit högre, vilket kan påverka detaljerna i beställning och i dialogen kring offerter. Styrningen från andra myndigheter Försvarshögskolan genomför utbildning och forskning på uppdrag av andra myndigheter inom totalförsvaret, och styrs därmed även från dem. Både och har ramavtal liknande det som Försvarsmakten har med högskolan. Utvärderingen har analyserat ram- avtal. Det är kortare och mera precist än Försvarsmaktens. Nedan citeras några aspekter av avtalet som kan jämföras med motsvaran- de moment i Försvarsmaktens ramavtal ovan. Som producent ansvarar FHS för att skriftligt utvärdera genomförda utbildningar. KBM har rätt att, om myndigheten så önskar, komplet- tera utvärderingsformulären med beställarrelaterade frågeställningar. KBM ansvarar för att i den omfattning myndigheten anser att det be- hövs, genomföra en effektutvärdering av utbildningarna. Relationen mellan parterna skall präglas av långsiktighet, öppenhet. Förtroende och insyn. Parterna skall sträva efter en bra dialog och ett fungerande samspel. Ansvars- och rollfördelningen skall vara klarlagd för varje prestation och skall spegla ansvarsfördelningen. Respekt skall upprätthållas för gjorda överenskommelser. Formuleringarna är rakare, och trasslar inte in sig i komplicerade begrepp som affärsmässighet. Det är naturligt att det senare dokument som i allt väsentligt bygger på det tidigare (Försvars- maktens ramavtal), blir bättre i en del detaljer och i formuleringar- na. Kanske borde man dela med sig av förbättringarna, så att även det ursprungliga dokumentet kunde skärpas. Mål för utbildning kan skrivas på flera sätt. Försvarsmakten ut- gick från funktionella krav och från begreppen förmåga och god förmåga. beställer både grundkurser och fördjupningskurser om totalförsvaret, samt påbyggnadskurser och även särskilda kurser. Målen för grundkursen uttrycks så här: Målet med kursen är. Kursdeltagarna skall efter genomförd utbildning ha ökad kompetens att verka i ledande befattningar inom krishante- ringssystemet/totalförsvaret för situationer över hela hotskalan. Delmål: Kursdeltagarna skall ges: (1) goda kunskaper om svensk och europeisk säkerhetspolitik; (2) kunskap om samhällets sårbarhet och möjligheter att skapa ett robust samhälle; (3) förståelse för behovet av samverkan och samordning vid olika typer av kriser; samt (4) goda kunskaper om svenskt totalförsvar och det svenska krishanterings- systemet. Kursdeltagarna skall även ges ett rett kontaktnät. Det faktum att kurserna är relativt nya kan bidra till att målen verkar klarare. Det är lätt att se vad innehållet bör vara, och mål- uppfyllelse kan bedömas med traditionella utvärderingsmetoder. Man skall dock inte dra för stora växlar på en jämförelse med Försvarsmakten, eftersom de program jag tagit upp där är betydligt större och mera komplexa. Det är naturligt att Krisberedskapsmyn- dighetens styrning ser klarare ut, eftersom det är en mera begrän- sad insats som styrs. Både och beställer forskning från Försvarsmakten. Deras styrning är dock av en prin- cipiellt annan karaktär. Båda myndigheterna utlyser ansökningstill- fällen. Alla forskarmiljöer kan komma med förslag på forsknings- program, och Försvarshögskolan agerar på samma arena som andra högskolor. har en forskningsbudget på , och finansierar tre projekt hos Försvarshögskolan. Den årliga budgeten för dessa forsk- ningsbudget är på och fördelas vid ett ansökningstillfälle . Även här kan Försvarshögskolan lämna in ansökningar på samma sätt som andra aktörer. Båda organisationerna använder vetenskapliga råd för att bedöma ansökningarnas kvalitet. Efter bedömningen kan en viss begränsad dialog inledas om en i för övrigt intressant ansökan behöver kompletteras. har en disputerad fors- kare som handläggare av forskningsansökarna, som komplement till det vetenskapliga rådet. När projekt beviljas tillsätts referens- grupper där organisationerna finns med. Det händer även att de ser till att andra berörda organisationer blir representerade. Det är med andra ord en konventionell arbetsfördelning mellan finansiär och forskare, som tillämpas på många andra hål av forskningsråd och andra finansiärer av forskning och utveckling. å andra sidan tillämpar en modell som mera liknar Försvarsmaktens beställningar. Man har där en direkt dialog och förhandling kring en beställning. Det är inte en ansökan, utan är mera likt en förhandlingsupphandling. Beloppen är dock mindre; under vart och ett av omfattande 750 000 kro- nor, ingenting, och bör det fortsatta . Styrning sett från Försvarshögskolans horisont Från Försvarshögskolans perspektiv är de styrsignaler som når organisationen av skiftande karaktär. Som helhet betraktat är de ibland motsägelsefulla, i en del fall vaga, och de varierar över tiden på ett sätt som organisationen har svårt att förhålla sig till. För- svarshögskolan kan inte sägas vara hårt styrd, och ledningen upp- fattar inte heller styrningen så. Bristen på samstämmighet vad gäller styrsignaler från omvärlden ger organisationen ett stort utrymme att själv forma sin framtid. har verksamheten vid ex- panderat. Kostnaderna har ökat kraftigt Det borde vara resultatet av styrning, men det finns inte någon styrsignal som ger uttryck för en sådan vilja. Visserligen består största delen av expansionen i att utbildning beställts av Försvarsmakten och andra uppdrags- givare, men dialogen verkar närmast antyda att den senare velat hålla tillbaka kostnadsutvecklingen. Kan man då hävda att det är en utveckling som är styrd i och med att utvecklingen kunnat följas i årsredovisningar och annan rapportering? Knappast, eftersom information och ett godkännande av kostnadsutveckling i efter- hand knappast är att jämställa med styrning. Försvarshögskolan har en styrelse med fullt ansvar för verksam- heten. Styrelsen utgör skolans högsta ledning och är ytterst ansva- rig för den totala verksamheten inför regeringen. Rektorn ansvarar för den löpande verksamheten enligt styrelsens direktiv och fattar beslut i de frågor som styrelsen delegerat till honom. Vilken enhet är det då som kringliggande organisationer riktar sina styrsignaler mot? Ännu så länge verkar det som om mottagaren för styrsignaler i första hand ses som högskolans rektor och ledning. Styrelsen kanske delvis uppfattar sig som en styrande enhet, som riktar styr- signaler till Försvarshögskolan, liksom andra gör. Det finns inte någon enhetlig bild av styrelsen plats i styrningen av Försvarshög- skolan och inte heller en allmänt förstådd och accepterad bild av vilket det styrda objektet faktiskt är, dvs. hur gränsen skall dras kring styrelse och operativ ledning. Försvarsmaktens styrning av Försvarshögskolan Genom beställar- och utförarmodellen förväntas Försvarsmakten styra utformningen av kursutbudet på Försvarshögskolan. Det har enligt tidigare utredningar varit svårt för Försvarsmakten att ut- forma tydliga krav på utbildningens omfattning och innehåll. Genom förändringar verkar det som om strukturen för beställningar har stramats upp avsevärt, både vad gäller forskning och utbildning. Målen för utbildningen är för det mesta klara och tydliga. I några fall förutsätter det dock mycket tyst kunskap och att man har en tradition av samarbete kring vad man gör. Offert- underlaget skulle inte kunna vara underlag för en konkurrensutsatt upphandling – och är heller inte tänkt att var det. En viktig del av Försvarsmaktens styrning av Försvarshögskolan sker genom att en del av de officerare som undervisar förordnas från Försvarsmakten. De tar med sig sina åsikter om vad som skall förmedlas till lektionssalen. Det lär ut vad de själva kan, och vad de anser en officer behöver kunna. Man kan dock inte säga att det styrs av Försvarsmakten, det är snarare ett uttryck för den starka organisationskulturen i försvaret och den kåranda som präglar officersyrket. Den kan i sig utgöra en mycket stark styrning, och kan göra det svårt för andra styrsignaler att få det genomslag man annars skulle förvänta. Även om den informella styrningen på så sätt kan bli stark, riskerar den att bli fragmenterad. Kunskapsåter- föringen och utvärderingen kan bli anekdotisk, mer beroende på tillfälliga observationer, än på systematiskt genomförda undersök- ningar. Eftersom Försvarsmaktens styrning har en inriktning på kurs- program, kursplaner, kostnadsutveckling, och dito avseende forsk- ning, innehåller den inte styrsignaler i övergripande frågor om För- svarshögskolan som organisation och hur Försvarshögskolan skall förhålla sig strategiska omvärldsfrågor. Är det ett problem? Ja, eftersom Försvarsmaktens styrning ger de starkaste, mest direkta signalerna, så är frågan om vad de inte innehåller minst lika väsent- lig som vad de innehåller. Regeringens styrning av Förvarshögskolan Den tydligaste styrsignalen avseende Försvarshögskolan utgörs av de utnämningar som skett av styrelseordförande, styrelseledamöter och rektor. Det markerar att regeringen gärna ser en utveckling mot en fristående högskola för totalförsvaret, med examinationsrätt och oberoende forskning. Genom att utse personer med en bakgrund och kompetens som gör dem särskilt lämpliga att driva den utvecklingen vidare har man gjort ett val. Det är inte svårt att se att andra utnämningar hade kunnat sända helt andra signaler i dessa frågor. Det är en styrsignal som är tydligast i just den kanalen men den kompletteras i de andra styrkanalerna. Styrsignalerna i reglerings- breven har avsett sakfrågor som kvalitetssäkring, personalens kompetens och utveckling, samt miljöpolicy, jämställdhets- och genusfrågor. Även om de frågorna inte säger något direkt om akademiseringen, så är det frågor vars substantiella lösning också är sådant som skulle stärka Försvarshögskolans strävan att få exami- nationsrätt. är tunna dokument, relativt lika . Dock är det viss variation mellan åren vad avser innehållet och omfattningen av uppdrag, återrapporteringskrav, och vad som betonas i texterna. Där finns kontinuitet, men också skillnad i en del avseenden. Det stora problemet med regleringsbreven som styrinstrument är att de inte förhåller sig tydligt till de övergripande frågor som rör Försvarshögskolan. Eftersom logiken i styrmodellen bygger på att Försvarsmakten vet bäst hur officersutbildning skall genomföras, skall Försvarsmakten utöva direkt operationell styrning genom beställarfunktionen. styrning borde då behandla ramarna för den styrningen och förhålla sig till övergripande strate- giska frågor (vilket den gör vad gäller utnämningar), men innehållet i regleringsbreven är i en del fall på en mera detaljerad operationell nivå eller ger andra signaler avseende den övergripande frågan om examensrätt. Anslaget till Försvarshögskolan är litet, men det har förändrats . Det har ökat med . Texten i regleringsbrevet preciserar inte några avsikter eller motiv med ökningen, så det är svårt att utläsa någon styrande avsikt. I princip borde den finansiella styrningen vara ett starkt instrument att t.ex. underlätta en förändring mot en fristående högskola, eller att defi- nitivt sätta punkt för debatten och behålla den organisation som finns . Den finansiella styrningen har fått ett innehåll som endast till del stärker utvecklingen mot en högskola med examinationsrätt. Dialogen kring regleringsbrev och årsredovisning sker en gång . Det finns en dagordning men mötena protokollförs inte. Det är uppenbart att en del av styrningen inte har avsedd effekt. Trots återkommande krav på kvalitetssäkring och indikatorer av- seende kostnadseffektivitet och kvalitet har Försvarshögskolan inte redovisat sådana – och det är heller inte svårt att förstå varför. Det är ett metodologiskt svårt arbete och kraven i regleringsbreven talar om kvalitetsmått som egentligen inte kan ha någon hög validitet. Det verkar dock som om dialogen inte används för att diskutera igenom dessa frågor, utan är relativt bunden till innehållet i doku- menten. Tillsammans gör det att styrningen från regeringen är relativt vag i övergripande och strategiska frågor, men tydlig i detaljfrågor. I det senare varierar den över tiden. är en ganska att granska styrningen över, och frågan är om t.ex. miljöfrågor, jäm- ställdhet, kvalitetssäkring är modeflugor eller om de kommer att vara centrala instrument i styrningen framöver? Miljö- frågor har förekommit i regleringsbreven , och jämställdhets- frågor . Under alla omständigheter lär frågorna vara väsentliga, men styrning även på dessa områden kunde ha startat tidigare och drivits mera konsekvent genom samtliga styrkanaler (kanske kraft- fullast med finansiell styrning, men även genom styrelsearbetet). Styrningen får sannolikt en större effekt om den samordnas mellan kanalerna. Regeringens styrning uppfattas inte som tydlig från det styrda objektets sida, och inte heller från andra styrande organisa- tioner. Regeringen kan styra Försvarshögskolan även genom att ställa krav på andra myndigheter att beställa viss utbildning och forsk- ning hos Försvarshögskolan. I viss utsträckning har regeringen gjort det genom regleringsbreven till och även till Kris- beredskapsmyndigheten. till Försvarsmakten , 1999 och 2000, preciserar att myndigheten måste köpa högre chefsutbildning för . Med några få undantag har regeringen dock valt att inte använda den styrmöjligheten, men den finns och skulle kunna används mer. Slutsatser om styrningens kvalitet Inledningsvis beskrevs att bra styrning kunde kännetecknas av att vara relevant, effektiv, konsekvent och tydlig. Hur ser det då ut? En del av styrningen är relevant i förhållande till det omvärlds- tryck och de utmaningar organisationen står inför. Det före- kommer osäkerhet och dubbla budskap kring frågan om hög- skolan ställning. Med all respekt för att det är mycket svåra frågor både tekniskt och principiellt, så har det ändå gått reformtrycket började göra sig gällande och en klarare mera konsekvent styrande vilja borde komma till uttryck från såväl regeringen som från Försvarsmakten. Det råder knappast någon tvekan om att styrningen skulle kun- na vara mera effektiv om det var riktigt klart hur rollfördel- ningen mellan de styrande enheterna skulle se ut, vilka nivåer de ska inrikta sig på, hur Försvarshögskolans egen styrelse skulle utnyttjas, samt om det var fullt klart vad man vill uppnå med styrningen. Då de förutsättningarna inte gäller förbrukar styr- ningen mera tid och resurser. kan det verka som om den förbrukar alltför mycket av den knappa tiden inom regerings- kansliet och Försvarsmakten. Styrningen är relativt tydlig i sak, men. många begrepp som används i kommunikationen kan verka klara – som kvalitetssäk- ring – men är problematiska och kan tolkas på många sätt om de inte följs upp med mera detaljerade anvisningar. Det har även visat sig att även om avsikten med styrsignalerna är klara, kan olika delar av departementet kan ge uttryck för skilda ambitio- ner. Slutligen förekommer olika signaler från de organisationer som styr Försvarshögskolan. Styrningen är inte alltigenom konsekvent. För det första varierar styrningen över tiden. För det andra varierar det styrande inne- hållet i skilda kanaler. Utnämningar utrycker inte alltid samma avsikter som regleringsbreven, den finansiella styrningen är neu- tral och har begränsad genomslagskraft. Det är tveksamt om den informella dialogen förstärker budskapen från utnämningar eller vad som uttrycks i regleringsbreven, eller kopplas till problem som tas upp i årsredovisningarna – och hur långt den i så fall för respektive ämnen. Utvärdering av uppdragsgivarnas egen utvärdering och användning av den kompetens och den forskning Försvarshögskolan tillför dem. En studie beställd av 12/3 2004 Utvärdering av utbildning.................................................. Ett heltäckande system för att utvärdera utbildning..................... Försvarsmaktens utvärdering av utbildningen vid Etik i utvärderingsarbetet ...................................................... Utvärdering av forskning ................................................... Utvärdering av vetenskaplig kvalitet .............................................. Utvärdering av användning ............................................................. Alternativa modeller för utvärdering av forskning och Användarnas syn på forskningen ........................................ Kunskap om forskningens mål och resultat................................... Från kännedom till användning ...................................................... Hur når forskningen ut? Kommittédirektiven för översynen av Försvarshögskolan ger ut- redaren tre uppgifter, att utvärdera regeringens och uppdragsgivar- nas styrning av Försvarshögskolan, att utvärdera Försvarshög- skolans organisation, samt att utvärdera uppdragsgivarnas egen utvärdering och användning av den kompetens och den forskning Försvarshögskolan tillför dem. Den här studien behandlar den sista av de tre frågorna. Vad innebär det då att utvärdera uppdrags- givarnas egen utvärdering och användning av den kompetens och den forskning Försvarshögskolan tillför dem? I den här rapporten behandla kompetens som synonymt med utbildning, dvs. först undersöks hur uppdragsgivarna utvärderar den utbildning de be- ställer från Försvarshögskolan. Vidare behandlas utbildningen och forskningen var för sig. Det är nämligen två helt olika saker att som beställare utvärdera forskning och att utvärdera utbildning, och det är också helt olika processer som styr användningen av de två pro- dukterna. Först behandlas utbildningen. Frågan är om de utvärderingssys- tem uppdragsgivarna förfogar över för att ta reda på om utbild- ningen de beställt är bra, om utbildningen har eftersträvade kvali- teter och når de mål som uttrycks i beställningar. Det är en rimlig tolkning av den i kommittédirektivet formulerade uppgiften. Upp- draget skulle också kunna tolkas som att man borde undersöka vad uppdragsgivarna egentligen anser om utbildningen de tillförs från Försvarshögskolan. Det senare skulle då avse innehållet i utvärde- ringen snarare än formerna för den. Eftersom utvärderingen inte fullt ut är systematiserad är det en nyttigare och mera intressant diskussion att se hur de olika fragment av utvärdering som görs kan ses som en helhet, utvecklas och tolkas som ett informations- system, än att undersöka vad uppdragsgivarna faktiskt anser om utbildningen. Efter utbildningen behandlas forskningen. På samma sätt under- söks de system för utvärdering som uppdragsgivarna förfogar över. har genomfört en enkätundersök- ning till ett urval personer som kan sägas vara representativa för uppdragsgivarna. I enkäten ställdes frågor om hur man tagit del av forskningen, om och hur den kommer till användning, samt hur de svarande bedömer forskningens användbarhet och intresse. Där- igenom har den här studien gått längre i att undersöka innehållet snarare än formerna för utvärdering vad gäller forskningen, än vad gäller utbildningen. Tonvikten i den här rapporten ligger på Försvarsmaktens utvär- dering och användning av den kompetens och den forskning För- svarshögskolan tillför. Försvarsmakten än den i särklass störta upp- dragsgivaren på båda dessa områden och därför är det särskilt intressant att se hur den utvärderar utbildning och forskning. Eftersom Försvarsmakten är så stor som beställare får dess system för utvärdering – kvalitetskontroll om man så vill – sannolikt genomslag på hur andra uppdragsgivare utvärderar vad Försvars- högskolan tillför dem, samt inte minst vad de faktiskt anser om kompetens och forskning. Är den största kunden mycket nöjd med kvaliteten på Försvarshögskolans forskning, blir sannolikt de mindre kunderna också nöjda – och samma gäller kanske utbild- ningen. Ett heltäckande system för att utvärdera utbildning Vid intervjuer med företrädare för Försvarsmakten, med Försvars- högskolan, och andra uppdragsgivare, har den all- männa bilden av utbildningen vid varit att den fungerar mycket bra. De flesta säger sig vara nöjda med kunskaps- innehåller i utbildningen; där finns både bredd och djup. Det skiljer sig mycket från tidigare utvärderingar av Försvarsmaktens utbild- ningssystem, t.ex. inom ramen för , (SOU 2001:23). Då fanns det ganska stor tveksamhet kring utbild- ningens kvaliteter, inte minst befarade många att breddningen till flera civila ämnen och samarbetet med universitet och civila hög- skolor kunde urholka de grundfärdigheter som en officer måste besitta. Det var relativt vanligt att man uttryckte farhågor att de som avslutat stabsprogrammet inte fullt ut uppnådde de mål För- svarsmakten hade för utbildningen. Det verkar som om de flesta så- dana farhågor sopats bort och efterträtts av en betydligt mera positiv syn på utbildningen. Frågan är då vilket underlag som finns för en sådan bedömning? För att få en heltäckande bild av hur bra en utbildning är, finns det flera saker som behöver bedömas. För det första är det intres- sant att veta vad deltagarna egentligen tycker om utbildningen; de bör t.ex. få tillfälle att uttala sig om: De tror sig ha uppnått utbildningsmålen Om kursinnehållet var vad de förväntat sig Om lärarna var kompetenta och kunde förmedla innehållet i kurserna på ett lämpligt sätt Om kurslitteraturen var väl avvägd och av hög kvalitet Hur utbildningsmiljön var; tillgång till bibliotek, konsultationer med lärare, datorstöd, mm. Balansen mellan ämnen och den ordning som olika moment införs i kursen Med mera, med mera . . . Men det räcker givetvis inte att konstatera om deltagarna var nöjda med utbildningen. För det andra bör en heltäckande utvärdering belysa vad man lärt, dvs. i vad mån deltagarna tillägnat sig kun- skapsinnehållet, besitter de färdigheter, eller anammat de värde- ringar och attityder som undervisningen avsåg att förmedla. Den informationen får man vid de betyg som ges under utbildningen, men man kan också få den genom att observera utbildningstill- fällen, eller genom intervjuer med lärare. Den första typen av infor- mation, om deltagarnas åsikter, får man vanligtvis genom enkäter direkt efter kursen eller genom utvärderingssamtal vid kursernas slut. Men det räcker inte som underlag för en utvärdering att veta om deltagarna uppskattade kursen och om de lärde något. För det tredje bör en heltäckande utvärdering också besvara frågan om del- tagarna tillämpar utbildningens innehåll – om utbildningen på något sätt leder till förändrat beteende på arbetsplatserna.