sou · GSB358 · 2005-01-01 00:00:00 — Attityder och kunskap kan bedömas efter det att utbildningen genom- förts, eller till och med den genomförs. För att utvärdera om kunskapen kommer till användning bör dock ha förflutit. Det kan vara lämpligt att bedöma tillämpningen mellan ett och upp till efter det att utbildningen genomförts. Desto längre man väntar, desto större blir chansen att kunskaperna kom- mit till användning. ökar svårigheten att hänföra föränd- ringar i beteende på arbetet till just utbildningen. Exakt hur länge man skall vänta med utvärdering beror bland annat på hur omfat- tande programmet varit. Kortare kurser bör man nog utvärdera . Längre program, som det tvååriga chefsprogrammet, kan man vänta två till med att utvärdera (vad avser till- lämpning). Men det räcker fortfarande inte att bedöma de tre steg som skildrats ovan om man vill ha en heltäckande utvärdering av utbild- ning. Det gäller också att bedöma om utbildningen har någon effekt i organisationen. Om en organisation investerar i utbildning för sina medarbetare, görs det i syfte att organisationen skall fungera bättre. Om t.ex. ett företag bekostar utbildning i personalvård för ett antal chefer förväntar man sig effekter i form av bättre trivsel, minskad personalomsättning, lägre sjukfrånvaro, mm. Det räcker inte med att de som varit på utbildning uppskattat utbildningen, lärt något och tillämpat detta – man bör också kunna se en effekt i organisationen. De fyra stegen i utvärdering av utbildning sammanfattas i figuren nedan. För att utveckla modellen är det ytterligare tre variabler som behöver diskuteras. Den första är vilka utvärderingsmetoder som kan och bör användas. En utvärdering har i princip fyra olika sätt att samla in datamaterial; genom intervjuer (vilket kan vara enskilda intervjuer eller gruppintervjuer), enkäter, observation, eller doku- mentanalys. I vart och ett av de fyra stegen ovan kan man tillämpa en eller flera av metoderna, man kan t.ex. få kunskap om attityder- na till en utbildning genom enkät, gruppintervjuer, eller eventuellt genom observation. Den andra variabeln gäller när man skall samla information; viss information samlas lämpligen in direkt i anslut- ning till utbildningstillfället, annan information kanske . Den tredje variabeln gäller vem man samlar information från; de som deltagit står givetvis i fokus, men man kan också samla information från lärare, chefer, eller arbetskollegor. Modell för utvärdering av utbildning Attitydnivå – deltagarnas åsikter om utbildningen Kunskapsnivå – vad deltagarna lärt sig Användningsnivå – hur och i vilken utsträckning deltagarna tillämpar vad de lärt Organisationsnivå – hur arbetsplatsen, gruppen eller organisationen förändras Försvarsmaktens utvärdering av utbildningen vid Vad gör då Försvarsmakten för att belysa de här frågorna om ut- bildningen? För det första har utvärderingen inte observerat någon helhetssyn på utvärdering av utbildning som liknar den här redo- visade modellen, och det är knappast heller att förvänta. Modellen är ett instrument för att bedöma och förstå vad Försvarsmakten faktiskt gör och kunde göra. Modellen är ett teoretiskt verktyg, till hjälp att strukturera information från intervjuer och genom att läsa rapporter, utredningar och planeringsdokument. Försvarsmakten får information om deltagarnas åsikter om utbild- ningen på tre sätt. För det första görs kursutvärderingar med hjälp av en enkät som tillställs alla som deltar i utbildning precis i slutet av denna. Enkäten framtagen av Försvarsmakten och Försvars- högskolan tillsammans men administreras till kursdeltagarna genom Försvarshögskolans försorg. Det är dock Försvarsmakten som stäl- ler samman och analyserar resultaten. Detta är en värdering av hur man når de övergripande målen för utbildningen, så som de fastställts genom beställningen. Man får med andra ord en direkt återkoppling till målen. Enkäten består av 15 frågor som de svarande kan ta ställning till på en skala från 1 till 6, där 1 innebär nej, inte alls och 6 innebär ja, helt eller ja, till fullo. Frågorna 1 till 9 återges i box 2 på nästa sida. I samband med varje fråga ombeds den svarande att motivera sitt svar. Enkäten avslutas med 2 frågor som besvaras med ja eller nej; om kursen bidragit till personlig utveckling och mognad, samt om det är några utvecklingsmål den deltagande vill förändra. Slutligen finns det utrymme för övriga kommentarer. Enkätens starka sida är just dess koppling till utbildningsmålen. Försvarsmakten får en direkt feedback på om deltagarna anser målen är nådda – vad gäller dem själva. Enkäten ger dock ingen direkt kunskap om olika utbildningsmoment, t.ex. om litteraturen varit väl vald, föreläsningarna bra, osv. ; den operationella kritiken får fångas upp på annat sätt. Det är ju möjligt att de som besvarar enkäten, om de inte anser att målen är uppfyllda, då pekar på svag- heter i själva kursinnehållet genom att utnyttja möjligheten till öppna svar. Enkätens omfattning är lämplig; sammanlagt 17 frågor är en överskådlig mängd, och det bör gå snabbt för de som besvarar en- käten att förhålla sig till värderingsskalan, och därmed är det också möjligt att fler väljer att ge fördjupande kvalitativa omdömen. Det är också bra med den sex-gradiga skala som används för att besvara frågorna. Den är nyanserad, men inte så finjusterad att det är blir svårt att bedöma om olika svarande faktiskt uppfattar skillnaderna mellan skalans värde på olika sätt. Det är en praktisk, tillförlitlig och lätt användbar skala. Som exemplen i box 2 visar är en del frågor så konstruerade att man besvarar två frågor , eller till och med sex frågor . För att klargöra, se på fråga 1: Anser du att Du har för- värvat god förmåga i svensk säkerhetspolitik och totalförsvarets funktioner i fred, kris och krig. Det är tänkbart att den som besvarar frågan tycker sig ha fått god förmåga vad gäller total- försvarets funktioner i krig, men kanske inte så god förmåga vad gäller dess funktioner i fred och kris. Samma bedömningar gäller säkerhetspolitik, och kan skilja sig på samma sätt. Den som be- svarar enkäten får själv göra en avvägning och tar sannolikt ett snitt på sin förmåga över dessa sex ämnen. Precisionen i svaret och vär- det av bedömningen blir dock lidande. Eftersom målen är uttryckta i ett block kan det ändå vara rimligt att förhålla sig till hela formu- leringen på en gång. Men det har sina nackdelar. Exempel på frågor i enkät för kursutvärdering Anser Du att Du förvärvat god förmåga i: 1.Svensk säkerhetspolitik och totalförsvarets funktioner i fred, kris och krig? 3.Utbildningssäkerhet och riskanalys? 4.Sveriges och andra nationers militärtekniska system så att Du på eget förbands nivå har förståelse för teknikens inverkan på stridstekniken? Informationsteknologin skall särskilt beaktas. 5.Internationell rätt (folkrätt) så att Du som officer kan leda och utbilda förband på egen nivå+ 6.För att i fred och under kris kunna verka som utbildare/systemledare vid det förband Du skall tjänstgöra? 7.Att inom insatsorganisationens förband kunna verka som officer och chef vid det förband Du kommer att tillhöra? 8.Att planlägga, utbilda och genomföra verksamhet för att bygga upp och vidmakt- hålla fysiskt stridsvärde/prestationsförmåga vid eget förband samt att personligen genomför FM baskrav? 9.Individens/gruppens beteende och behov? Sedan är det alltid en fråga om hur man tolkar och använder svaren. I det här nämnda fallet ställde Försvarsmakten samman svaren och presenterade utfallet i frekvenstabeller. Svaren på varje fråga redo- visas, och därefter ges ett sammanfattande omdöme på två sidor. Det är i sig utmärkt; det är viktigt att man förhåller sig till enkät- svaren och tydligt deklarerar om man anser att de signalerar att utbildningen har tillräckligt god kvalitet. I just detta fallet (med den enkätsammanställning utvärderingen fick tillgång till) kan dis- kussionen föras något längre. I sammanfattningen sägs t.ex. att ut- bildningen har nått goda resultat avseende Försvarsmaktens upp- gifter, Utbildningssäkerhet och riskanalys . . . Individens/gruppens beteende och behov.. (jämför frågorna ovan). Om man nu ser till svaren, visar det sig att medelvärdet på svaren var 5.4, 4.5, och 4.8, på respektive fråga. Eftersom det är en sexgradig skala är medel- värden över 5 givetvis bra, men om de är under 5 är det en hel del av de svarande som bedömer sin förmåga som långt ifrån fullgod. Det skulle sannolikt förtjäna ett något mera kritiskt slutomdöme om kursen. Det här formatet för kursutvärdering är nytt, så man har än så länge inte så mycket att jämföra med. kom- mer man sannolikt att kunna jämföra utfallet över tiden, och man kan också se vilka kurselement som behöver förstärkas. Man skall hålla i minnet att de här utvärderingarna görs i slutet av ett längre kursprogram. Under kursens genomförande har lärar- na också använt enkäter för en mera direkt återkoppling på olika kursavsnitt. Det är i alla fall, enligt utsago, en del lärare som an- vänder enkäter för utvärdering. Andra förlitar sig på samtal med deltagarna. Som box 2 visar, behandlar enkäten inte så många av de frågor som normalt tas upp i deltagarundersökningar på attityd- nivå. Det är inget krav att så skall ske, och i just det här fallet fångar Försvarshögskolan själv upp mer detaljerade och operationella syn- punkter, medan Försvarsmakten främst är intresserad av del- tagarnas bedömning om huruvida de uppnår kursmålen. Det finns andra kanaler som förser Försvarsmakten med mera detaljerad information om kurserna. Förutom enkäten så avslutas varje kurs med en syntesvecka. Då har man även utvärderings- samtal, och vid dem brukar representanter från Försvarsmakten delta, från Högkvarteret för , Utbild- ningsinspektören, samt andra som arbetar med personal- och utbildningsfrågor. Totalt sägs det vara cirka 15 personer från Hög- kvarteret närvarande under syntesveckorna vid stabs- och chefs- programmen. Genom att lyssna till elevernas synpunkter, ha möj- lighet att ställa frågor till både Försvarshögskolans ledning och lärare, samt till informella samtal , får representan- terna från Försvarsmakten en god insyn i utbildningen och tar sannolikt till sig dess starka och svaga sidor. Andra vägar som kunskap om deltagarnas attityder når Försvars- makten är genom de informella kontakterna mellan deltagarna och deras kollegor i Högkvarteret och ute på förbanden. Den fysiska närheten samt den öppna inställningen gör att deltagare hör av sig direkt till Utbildningsavdelningen vid Högkvar- teret under pågående kurs. Det bidrar till en god insyn i kursernas genomförande. Slutsatsen är att de som beställer utbildningen från Försvarsmakten har mycket god kunskap om hur deltagarna upp- fattar kurserna, först och främst genom informella kontakter och närvaro under centrala utbildningsmoment, men också genom de formella utvärderingsinstrumenten. Det är självklart att deltagarnas egen bedömning av hur väl de upp- nått målen inte behöver överensstämma med en mera kritisk be- dömares åsikter. Få av de som underkänns i en högre utbildning håller själva med om att de är så dåliga, även om de villigt kan er- känna att de kan vara gränsfall och långt ifrån perfekta. Vilka bedömningar görs då av deltagarnas kunskaper, förutom deras egna åsikter om saken? Efter varje delkurs inom en större kurs, t.ex. stabsprogrammet och chefsprogrammet, får deltagarna ett betyg. De får också betyg efter det att hela kursen avslutats. På kurserna används en betygs- skala med två värden; godkänd respektive icke godkänd. De allra flesta deltagarna får betyg godkänd; enligt uppgift är det extremt ovanligt att någon får avgångsbetyg icke godkänd. Då skall del- tagaren i princip ha bestämt sig för att hoppa av och göra något annat; dvs. Sjukdom kan också vara en anled- ning att man avbryter utbildningen. Hur skall man se på det att så gott som alla avslutar kurserna med betyget godkänd? För det första ger det dålig information till Försvarsmakten om hur bra man lyckats uppnå målen. Visserligen kan deltagarnas egen utvärdering ge mer nyanserad information, men lärarnas betyg bör ju vara en mera tillförlitlig källa än deltagarnas egna värderingar. För det andra undrar man om alla borde få godkänt; om de som antagits verkligen är så lämpliga och bedriver studierna så fram- gångsrikt. Kanske är det så, och en av anledningarna till att utbild- ningen är relativt dyr är att varje deltagare får mycket gott och nära individuellt stöd i sina studier. För det tredje, den bästa utvärdering av kunskapsnivån, vad del- tagarna lärt under kursen, är att de kursansvariga lägger upp ett betygssystem, att lärarna tillämpar det, och att sammanställningar av betyg används i återrapportering till uppdragsgivarna. Men för att sådan information skall vara användbar krävs en mera distinkt betygsskala. Inom några delkurser används betygen VG, G och IG. Det ger bättre information om vad deltagarna lär, men dessa betyg används inte i återrapporteringen till Försvars- makten. Det borde vara så att elevernas värdering av sin egen mål- uppfyllelse stod i överensstämmelse med det mera detaljerade bety- get på den delkurs det var fråga om (delkurserna har rubriker som ligger nära), men vad den här utvärderingen kan se har man inte undersökt korrelationen mellan elevernas egen bedömning av mål- uppfyllelse och lärarnas bedömning av hur de inhämtat kunskap. är det i och för sig inte uppdragsgivarna som sätter betyg, men det hindrar inte att man kunde tänka att de använde betyg mera konsekvent i sin egen utvärdering, och att de i så fall också försäkrade sig om att betygssättningen är tillförlitlig. Man kunde också tänka sig att använda tester och betygsstandard som är centralt framtagna och som används av andra än Försvarshögskolans lärare. I det sammanhanget får man inte glömma att många av lärarna är förordnade från Försvarsmakten. De kan ha god kunskap om vilka krav Försvarsmakten vill ställa, och kan tillämpa dessa krav direkt när de sätter betyg. De kan också föra med sig kunskapen om del- tagarnas reella kunskapsinhämtning tillbaka till Försvarsmakten när deras förordnande avslutats. Diskussionen här rör främst stabs- och chefsprogrammen, som är de två största programmen. Mindre kurser, och kurser som ges för andra uppdragsgivare, är sällan betygssatta. Det är svårt att sätta betyg på vuxna deltagare, och lärare som är lika mycket kollegor som resurspersoner kan vara obenägna att värdera deltagarna. vet man som lärare ofta mycket väl hur det budskap man velat förmedla nått fram. Det är synd att inte att använda den kunskapen i utvärderingssamman- hang, det är billigt att samla in, det kan bidra till skärpa lärpro- cesserna och ge deltagarna återföring på sina prestationer. Det är uppdragsgivarnas ansvar att även beställa en bedömning av del- tagarnas prestationer när man beställer kursen. Detta med betyg är en central fråga vid de flesta utbildnings- institutioner, och något som alltid hålls levande i diskussionen mellan lärare, studerande, och eventuella uppdragsgivare. Det finns många andra aspekter att beakta än de som tas upp här. Men det finns förmodligen inte något mera relevant mått på en utbildnings kvalitet än det som ett tillförlitligt betygssystem ger. Attitydunder- sökningar i all ära, liksom undersökningar av tillämpning (kommer mer om det nedan), men om många deltagare får höga betyg, och man kan lita på att betygen avspeglar en reell kunskapsinhämtning – då finns det anledning att tro att utbildningen är bra.1 1 Det kommer sannolikt förslag att använda sig av ECTS systemet(European ) för poäng och betyg på svenska högskolor. Det är en del av den så kallade processen som strävar efter att öka tydligheten i de europeiska systemen för högre utbild- ning. Det bygger för övrigt på en sex-gradig betygsskala. Ett viktigt inslag i bedömning av inlärning är de observationer som uppdragsgivare gör genom att närvara vid centrala utbildnings- moment. Det viktigaste av dessa är de stabsövningar som ingår i stabs- och chefsprogrammen. Där brukar personer från Hög- kvarteret delta. Genom inspektion och samtal med lärare och elever skapar de en bild av kunskapsinnehållet i utbildningen. Försvarsmakten gör en uppföljning av utbildningen efter det att kurserna avslutats. Det innebär att ute på ett förband är det någon som utsetts att svara för uppföljning; oftast är det utbild- ningsansvarig. Denne sammankallar de som deltagit i en kurs och för ett samtal om hur nyttigt kursinnehållet varit för deras arbete, och hur de använder kunskaperna. Samtalen protokollförs, under- tecknas av förbandschef och sänds till Högkvarterets utbildnings- avdelning. Enligt intervjuer täcker de här samtalen in mer om arbetsvillkor, kunskaps- och personlig utveckling än vad en strikt utvärdering av användningsnivån skulle göra. De är inte heller avsedda att enbart utvärdera kurserna, men de ger ändå användbar information om hur kurserna kommer till nytta, och – inte minst – vad man kan göra för att stärka användningen av kunskapen. Det är svårt att bedöma hur bra de här utvärderingarna är. Det kan alltid vara en risk att sammanställningen blir en upprepning av självklarheter, och innehållet kan säkert variera mycket mellan de som deltar i samtalen och dessutom beroende på den som leder samtalen. Om man tänker sig att en extern utvärderare skulle genomföra sådana här uppföljningssamtal för att undersöka om ut- bildningen kommer till användning, skulle man; Noga överväga frågan om anonymitet för de som besvarar frågorna Använda ett strukturerat intervjuprotokoll, med ett femtontal väl avvägda öppna frågor mycket noga med ordningsföljd mellan frågorna och exak- ta formuleringar så att de inte blir ledande Antingen genomföra alla intervjuer som enskilda samtal, eller som gruppintervjuer, men inte låta det bero på omständigheter- na noga med att den som svarar inte står i något beroende- förhållande till den som intervjuar (direkt olämpligt om t.ex. en förbandschef skulle göra utvärdering av de underlydande som deltagit i utbildning). Om man nu genomför en uppföljning av användning genom inter- vjuer, som Försvarsmakten faktiskt gör, är det också viktigt att man ställer samman den informationen. Vad utvärderingen fått veta kommer protokoll från intervjuer från förbanden in till Högkvar- terets utbildningsavdelning, men utvärderingen har inte sett att svaren sammanställs till ett sammanfattande omdöme om använd- ningen av kunskapsinnehållet på en hel kurs. Det är inte enkelt att ställa samman ett antal – sannolikt ganska olika – intervjuprotokoll till en enhetlig bedömning, men det är inte omöjligt. För att det fulla värdet av datainsamlingen skall realiseras måste man ta det steget – annars kan man lika gärna låta bli att påbörja en under- sökning. Försvarsmaktens mål med framför allt stabs- och chefsprogram- men är uttryckta i termer som återspeglar förväntningar på hur organisatoriska enheter skall lösa sina uppgifter bättre. När man följer upp hur deltagarna använder kunskaperna kommer man ock- så att tala om hur organisationerna fungerar. Även här är det För- svarsmakten som har ambitionen att följa upp effekter på organisa- tionsnivån, och delvis gör det med samma instrument som när man följer upp användningsnivån. Återigen har utvärderingen inte tagit del av protokollen från samtalen, så det är svårt att säga hur tillförlitliga de är som bedöm- ningar av utbildningens värde. Det är en grannlaga bedömning att göra eftersom det som händer i organisationen är resultatet av en rad olika faktorer – bland dem kanske utbildningen. Att göra en bedömning av effekter på organisationsnivån kräver metodologisk medvetenhet såväl som väldigt goda insikter i organisationens verk- samhet. Det krävs också att den som gör värderingen inte har något intresse av att vare sig tillskriva utbildningen för stor, eller för liten, effekt. Försvarsmakten har ett långt utvecklat systemtänkande; det är naturligt att definiera mål i termer av hur brigader, bataljoner och kompanier löser sina uppgifter. tiga bedöms i hur man får enheter inom försvarets grundorganisa- tion att fungera. Det borde därför vara ett mera naturligt steg att nå fram till en bedömning av de organisatoriska effekterna av utbild- ning inom Försvarsmakten än vad det är i de flesta andra organi- sationer. I figuren nedan visas de metoder Försvarsmakten använder för att utvärdera utbildningen vid , med inriktning på stabs- och chefsutbildningen. Förutom distinktionen mellan vilken typ av frågor som avses (kolumnen till vänster) och vilka metoder som används (översta raden), finns en distinktion mellan vem som är ansvarig för utvärderingen. Röd färg innebär att det är Försvars- högskolan som står för utvärdering, blått att det är Försvarsmak- ten. Man skulle också kunna tänka sig en grön färg, för att markera att det är extern expertis som står för utvärderingen. Som beskriv- ningen ovan visats har det inte funnit några exempel på extern utvärdering av utbildningen. Sammanställning av utvärdering av utbildning ten deltar i öv- efter det att kursen avslutats. Beroende på hur många från för- bandet som deltagit, kan det an- tingen bli fokusgrupp eller enstaka Görs ute på förband. Kan delvis och ibland täckas genom Till den här sammanställningen kan man lägga två metodologiska kommentarer; först avseende urval (tre alternativ: om det görs något, om det är tillfälligheter som styr, eller om samtliga tillfrå- gas), och för det andra om man använder ett strukturerat format, t.ex. specificerade frågor, underlag för observationer, eller liknande. Eftersom utvärdering brukar beskrivas som systematisk under- sökning kan det vara rimligt att ställa krav på systematik i data- insamlingen för att det hela skall kallas utvärdering. Det är enkät- undersökningen till deltagare vid kursslut som är systematiskt genomförd, och som baseras på ett explicit urval (fråga alla). uppdrag är att utvärdera uppdrags- givarnas utvärdering . Det vi sett ovan är en beskrivning, med en del kritiska kommentarer i marginalen. Att utvärdera en utvär- dering brukar kallas för metautvärdering. Det är angeläget att dis- kutera om utvärderingar är bra; de kostar och det är inte ovanligt att de får konsekvenser i praktiskt arbete. Om inte utvärderingarna är bra är det ju bortkastade pengar, och de beslut som fattas på grund av dem kan leda fel. Frågan är då när utvärdering är bra? Vilka är kvalitetskriterierna? Istället för att tänka ut dem själv kan det vara klokt att använda de kvalitetskriterier som branschen tagit fram. I mitten av 1980- talet uppmuntrade the att en kommitté bildades för det ändamålet. Den bestod av forskare inom utvärderingsområdet, konsulter och andra som lever på att göra ut- värderingar, samt företrädare för stora beställarorganisationer (dvs. utvärderingsenheter i statliga myndigheter). De arbetade fram kri- terier på vad som är bra utvärdering och dessa kriterier har även godkänts av som Standard (JCSEE PR 1994.) Kvalitet på en utvärdering är med andra ord standardiserat på samma sätt som för en brödrost eller en flytväst. Här används dessa standard för att utvärdera uppdragsgivarnas utvärdering2. Kriterierna presenteras i box 4:3 2Man kan använda samma standard för att utvärdera den här utvärderingen av utvärderingen, osv. 3Min översättning av The Program Evaluation Standards: How to Assess Evaluations of Educational Programs. for Educational Evaluation. Användbar (utility) Tillförlitlig (accuracy) Genomförbar (feasibility) Lever uppdragsgivarnas utvärdering upp till de kraven? Det finns en positiv inställning till utvärderingsarbete, både inom Försvarsmakten, bland andra uppdragsgivare, och på Försvarshög- skolan. Det finns ett stort intresse för de utvärderingar som görs. Det finns redan klart uttalade uppfattningar om utbildningens kvaliteter, och det pågår en fortlöpande diskussion om dess utveck- ling. Den kunskap som utvärderingsverksamheten ger föder in i den diskussionen, och används åtminstone till del.