rfr · H20WRFR5 · 2015-04-15 00:00:00 — Autonomireformen har tydliggjort att makten delegeras från rektor och ned genom organisationen Autonomireformen har först och främst lett till en omfördelning av hanteringen av de olika uppgifterna Autonomireformen har lett till ett mer aktivt deltagande i kvalitetssäkringsarbetet från ledningens sida Autonomireformen och den konkreta kvalitetsutvärderingen har lett till strategiska överväganden i fråga om Även om enskilda medarbetare förhåller sig på ett genomtänkt sätt till autonomireformen och dess inverkan på universitets- och högskolepraxis är den starkt övervägande tendensen att medarbetarna längre ned i systemet tycks ha svårt att förhålla sig till reformen. Det avspeglar sig för det första genom att det på alla frågor om autonomireformens effekter var mellan av de utbildningsansvariga, som deltog i enkätundersökningen, som valde att svara ”vet inte” (jfr tabell 1). För det andra verkar benägenheten att relatera till autonomireformen bli svagare längre ned i organisationens hierarki hos de medarbetare som intervjuades i samband med de nio specifika fallen i Delredovisning 4, som citaten här exemplifierar. Det här [autonomi, red.] är verkligen ingenting som jag har satt mig in i, eller så, har några synpunkter om, helt enkelt. Det är långt utanför min sfär, på nåt sätt. Vi får bara, liksom, ett brev med en information om att nu har man tagit det beslutet, och det beslutet. Och jag lägger inte så stor vikt vid det, egentligen, i mitt arbete ... Jag lever i vår lilla värld här på [närmare angivet, red.] fakulteten, och så ner på min programnivå, och så reder vi oss rätt så bra. Vi kan ändå aldrig påverka det där va, ... vi får bara rätta in oss i ledet när det dyker upp nån ändring. Så det är inget jag lägger mycket energi på. När man kommer så här, ända ner i utbildningsleden, då märker man väl inte sådär fruktansvärt mycket av det. Inte heller hos avnämare, alumner och studerande, som intervjuas i Delredovisning 4, är reformnivån något som man relaterar till. Även om både alumner, studerande och avnämare fann det berikande att delta i intervjuer eller fokusgrupper i samband med Delredovisning 4, eftersom det satte igång en självreflexion och diskussion om deras expertroll och ämnesspecifika kvalitetskriterier, hade de i allmänhet inte någon kännedom om autonomireformen. Detsamma gäller i fråga om kvalitetsreformen. Här var det dock en del studerande och avnämare som hade hört talas om antingen ett bedömningsresultat för en viss utbildning eller om den kvalitetsutvärderingsprocess som kommer av kvalitetsreformen. Autonomireformen riktar sig i första hand till ledningsnivån på lärosätena och har därför inte samma synlighet som kvalitetsreformen, som är mer konkret och handgriplig på studieledningsnivå. går autonomireformen hand i hand med en rad institutionella och överinstitutionella utmaningar och kontextförändringar, som gör det svårt för medarbetarna på lärosätena att peka ut vilka förändringar som kan tillskrivas autonomireformen och vilka som har att göra med något annat. En utbildningsansvarig tolkar tendensen som ett resultat av att beslutsprocesserna på högskolor och universitet har blivit mer specialiserade och komplexa att sätta sig in i. Det betyder att det är en betydligt mer krävande uppgift för den enskilda forskaren eller läraren att sätta sig in i vad som beslutas och vad det innebär än det har varit tidigare (jfr Delredovisning 4). Rektorerna understryker dessutom att autonomireformen – samt för övrigt också kvalitetsreformen – bara är enskilda delar i en större forsknings- och utbildningspolitisk kontext. Reformerna kan inte betraktas isolerat utan måste förstås i ett sammanhang med beslut om resurser samt avvägningar mot regionala, nationella och internationella hänsyn. Dessutom är båda reformerna uttryck för en större förändringsvåg som har historiska rötter och både nationell och internationell genklang (jfr Delredovisning 1). Detta kapitel sammanfattar de resultat från delundersökningarna som är kopplade till implementeringen och effekterna av kvalitetsreformen. Inledningsvis redogörs för reformens innehåll och syfte. 3.1 Kvalitetsreformens innehåll och syfte Kvalitetsreformen markerade ett skifte i tillvägagångssättet vid kvalitetssäkring av svenska högskoleutbildningar. var fokus riktat mot hur universiteten och högskolorna arbetade med kvalitet i utbildningarna, medan man med den nya reformen slog in på en kurs som riktade fokus mot de studerandes lärandeutbyte mätt utifrån de uppställda lärandemålen för en given utbildning. och därefter () hade i uppgift att utvärdera högskoleutbildningar i . Det gjorde i sex omgångar, där man varje halvår valde ut en grupp utbildningar som utvärderades . Kvalitetsbedömningssystemet använder tre betyg på de utbildningar som utvärderas: bristande kvalitet, hög kvalitet och mycket hög kvalitet. Resultaten offentliggörs löpande på () webbplats. Om en utbildning får omdömet bristande kvalitet riskerar lärosätet att förlora examensrätten till denna utbildning. UKÄ skriver bland annat följande om bedömningarna: UKÄ beslutar om vilket samlat omdöme varje utbildning ska få med utgångspunkt i bedömargruppens yttrande. Utbildningar med det samlade omdömet mycket hög kvalitet eller hög kvalitet uppfyller kvalitetskraven för högre utbildning. Utbildningar som inte uppfyller kvalitetskraven för högre utbildning får det samlade omdömet bristande kvalitet. ifrågasätter i dessa fall lärosätets tillstånd att utfärda den aktuella examen. En uppföljning av de utbildningarna kommer att ske . Därefter kan UKÄ besluta om att återkalla examenstillståndet.5 När en utbildning får omdömet bristande kvalitet ska lärosätet ta fram en handlingsplan för hur man ska höja kvaliteten. Handlingsplanen utgör grunden för en omvärdering senast efter den första bedömningen. Utbildningar som får omdömet mycket hög kvalitet belönas med en bonus. När bonussystemet är genomfört fullt 2015 kommer det att finnas en pott på ca som delas ut till dessa utbildningar.6 5http:///utbildningskvalitet/sagarutvarderingarna- till.4.782a298813a88dd0dad800010458.html. 6http:///utbildningskvalitet/sagarutvarderingarna- Det är som sagt () som organiserar utbildningsutvärderingarna. Standardproceduren för utvärderingarna beskrivs i figur 2. Utbildningarna utvärderades i sex omgångar och startade med omgång 1 och omgång 6 genomfördes . Som framgår är fokus riktat mot de studerandes resultat, och huvudunderlaget i utvärderingarna är de avslutande skriftliga arbetena, men också självvärderingar och intervjuer ingår i utvärderingsprocessen. Figur 2 Utvärderingsprocessen, justeringarna och resultaten Anm.: Baserat på figur framtagen av (ningskvalitet/sagarutvarderingarnatill.4.782a298813a88dd0dad800010458.html) och kompletterad med värden för resultaten av utvärderingar och omvärderingar per : . Som framgår av figur 2 har man efter de första utvärderingsomgångarna gjort justeringar av utvärderingsprocessen. Ursprungligen var det meningen att man som en del av bedömningen också skulle genomföra enkätundersökningar med alumner. Men det visade sig mycket svårt att få tag i alumnerna, så detta bedömningsunderlag togs av praktiska skäl bort efter den första utvärderingsomgången . När systemet kom igång så var det ju tydligt att det från alla parter var försöksverksamheten. Men, varken i omgång ett eller omgång två, då satt det ju inte riktigt, hur det skulle fungera. 2012 tog fram en ny systembeskrivning med en utvidgad instruktion som tydliggjorde dokumentationskraven i samband med utbildningsutvärderingarna. Den innehöll också en rad justeringar av systemet 7, däribland att endast utbildningar med minst fem självständiga avslutande examensarbeten kunde utvärderas. fick de sista av de sammanlagt 2 092 utbildningar som bedömdes svar på sina kvalitetsutvärderingar. Sammanlagt har av utbildningarna fått omdömet mycket hög kvalitet. har bedömts hålla hög kvalitet, medan av utbildningarna i första omgången fick omdömet bristande kvalitet. har detta dock inte lett till att lärosätena har blivit fråntagna examensrätten till någon av dessa utbildningar. Vid omvärderingarna har alla de utbildningar som i första omgången fick omdömet bristande kvalitet fått omdömet hög kvalitet. hade 354 av de utbildningar som i första omgången hade fått omdömet bristande kvalitet ännu inte blivit omvärderade, medan 43 av utbildningarna med bristande kvalitet hade lagts ned av lärosätena själva.8 3.3 Effekterna av kvalitetsreformen Här går vi igenom effekterna av kvalitetsreformen. Först ser vi närmare på de positiva effekterna av reformen, och sedan redogörs för kvalitetsreformens negativa effekter. 3.3.1 Högre kvalitet och mer lärande Kvalitetsreformen har enligt respondenterna i detta uppföljningsprojekt varit kvalitetsdrivande. Denna bild är utbredd bland rektorerna och bekräftas i viss mån av de utbildningsansvariga och i de nio utvalda utbildningsmiljöerna. Kvalitetsreformen har tvingat lärosätena att i högre grad än tidigare sätta fokus på utbildningarnas innehåll och kvalitet, och man har särskilt arbetat med kvaliteten på de utbildningar som har fått omdömet bristande kvalitet. Till skillnad från dom här input- och processorienterade modellerna, där man anställer en disputerad lektor, och så faller allting på plats plötsligt alldeles oavsett om den här lektorn fungerar i undervisningssalen eller inte [...] – har vi nu faktiskt gjort innehållsmässiga förändringar: hur ska vi bedriva metodutbildning, hur ska vi få in ämnets kärna och så i undervisningen? Så min bild är att det har varit kvalitetsdrivande, det har förbättrat kvalitén på kandidatutbildningen. 7http:///download/18.8b3a8c21372be32ace80007240/1215R-hogskoleverkets- system-kvalitetsutvardering.pdf. 8http:///nyheter/allautvarderingarklaraover2000utbildningarharfattsinaomdo- Vi fick många utbildningar, eller många examina, med bristande kvalitet ... Och det här var ett, tror jag, kraftfullt uppvaknande, och [...] det har blivit en väldig energi internt, att ta tag i en del saker som man kanske faktiskt kände till redan innan, men i och med att det har utvärderats nu så har det fått en väldigt stark effekt. Som framgår av tabell 2 har kvalitetsreformens utvärderingar också lett till en lång rad nya åtgärder på utbildningarna. Mer än var tredje utbildningsansvarig anger att kursplanerna har reviderats till följd av utvärderingarna, och många utbildningar har gett de studerande tydligare information om utbildningens krav och förutsättningar. Man har också infört mer metodundervisning på många utbildningar och försökt stärka forskningsanknytningen av utbildningen på flera ställen. Tabell 2 Andelen utbildningar som har vidtagit någon av de angivna åtgärderna efter utvärderingen. Andelen ja-svar, i procent Fler obligatoriska delar i utbildningen Färre vägar till examen Precisering av ansvar för utbildningskvalitet Revidering av kursplaner Ökad undervisningskompetens och undervisningskapacitet Ökad pedagogisk och undervisningsdidaktisk insats Systematisk involvering av interna och externa intressenter Tydligare information till studerande om krav och förutsättningar Ser vi närmare på de studerandes lärandeutbyte, verkar det som om utvärderingarna har haft effekt även här. Tabell 3 visar således hur utvärderingarna enligt de utbildningsansvariga har inverkat på de tre centrala lärandemålen kunskap och förståelse, färdighet och förmåga samt värderingsförmåga och förhållningssätt. Av de utbildningsansvariga anser att de studerande har förbättrat sin kunskap och förståelse, pekar på att deras färdighet och förmåga har blivit generellt bättre, medan nästan en tredjedel säger att de studerandes värderingsförmåga och förhållningssätt har förbättrats. Tabell 3 Utvärderingen av utbildningen har förändrat de studerandes lärandeutbyte, i procent Färdighet och förmåga 30 Som beskrivits ovan under avsnitt 3.1 får de utbildningar som får omdömet mycket hög kvalitet i UKÄ:s utvärderingar en ekonomisk bonus. Bland rektorerna råder det dock enighet om att det inte är denna morot som har varit kvalitetsdrivande. Däremot bedöms ”piskan” i form av risken att förlora examenstillståndet och bli ”uthängd” på UKÄ:s webbplats i högre grad ha bidragit till att driva kvalitetsarbetet och höja kvaliteten. Alltså den här pengen man får för mycket hög kvalitet, den har vi nästan inte nämnt, det är ingen som diskuterar den, det är inget viktigt på något vis. Det är som en liten extra peng som kanske kommer. Det viktiga är ju … Och det är ju kvalitetsdrivande, att man kan ta in examenstillstånd och sånt, det är ju hårt arbete, det är mycket viktigare. Alltså, moroten är definitivt ingenting värd i det här. Alltså, det är inte ett incitament för något av det här arbetet. Utvärderingssystemets möjliga sanktioner inverkar i hög grad också på de ansvariga medarbetarna på de lärosäten som ingår i den fallstudiebaserade undersökningen (Delredovisning 4). Det finns ingen riktig poäng att ifrågasätta ett system [...] du har två alternativ. Antingen åtgärdar du det, eller så lägger vi ner. [...] När man ställs i den frågan, då blir det väldigt lätt. [...] det handlar om överlevnad, också. Större fokus på det avslutande skriftliga arbetet och mer förståelse för examensbeskrivningar och examensmål Som nämnts ovan spelar det avslutande skriftliga examensarbetet en huvudroll i de utvärderingar av utbildningarnas kvalitet som UKÄ genomför, och rektorerna bedömer generellt att detta har riktat ett större fokus mot det skriftliga arbetet. Här på högskolan så hade vi ett kvalitetssystem, ett internt kvalitetssystem, som innebar att vi hade en procedur för hur vi följer upp utbildningar och hur vi återkopplar eventuella brister till dom som ger utbildningarna, och ändringen som inträdde var väl det att vi insåg, förstås, att vi behöver koncentrera oss på att titta på examensarbetena. Så att, vi fick införa i vårt kvalitetssystem en process där vi också la till det här med att läsa examensarbeten. Vi har blitt mycket mer noggranna med just det här med examinationen av examensarbetet, och lagt om dom processerna. [...] Och det har inneburit att kraven har höjts. Av de utbildningsansvariga instämmer i hög eller mycket hög grad med rektorernas bedömning att reformen har riktat ett större fokus på examensarbetet (jfr tabell 36 i Delredovisning 3). Som framgår av tabell 4 har det ändrade fokuset också inneburit att det på en del av de utvärderade utbildningarna läggs mer resurser på det avslutande skriftliga arbetet, samt att det i många fall också har införts nya kvalitetssäkringsprocesser för detta arbete. Tabell 4 Andelen utbildningar som har vidtagit någon av de angivna åtgärderna efter utvärderingen. Andelen ja-svar, i procent Ny kvalitetssäkringsprocess för det avslutande skriftliga arbetet Mer resurser till det avslutande skriftliga arbetet En annan påtaglig effekt av reformen märks när det gäller examensbeskrivningar och examensmål. Av de utbildningsansvariga förklarar sig således i hög eller mycket hög grad instämma i att kvalitetsreformen har skapat större uppmärksamhet på och förståelse för examensbeskrivningar och examensmål (jfr tabell 36 i Delredovisning 3). Denna effekt av reformen nämns också av flera rektorer. Reformen ser således ut att ha bidragit till en djupare implementering av Bolognaprocessen inom det svenska högskoleväsendet. Systemet, som vi lever i , det har framför allt varit en viktig del för att manifestera Bolognareformens, ska vi säga, ideologi kring lärandemål. [...] det tror jag är en väldigt stor påverkan som det har haft, att vi faktiskt nu resonerar om utbildningarna i förhållande till dom lärandemål som dom har. Ett mer systematiskt tillvägagångssätt i kvalitetsarbetet Respondenterna bedömer också att kvalitetsreformen generellt har fört med sig ett mer systematiskt tillvägagångssätt i kvalitetsarbetet. Det gäller särskilt rektorerna. Men att arbeta systematiskt med kvalitet är inte något nytt inom utbildningarna. av alla utbildningar arbetade enligt de utbildningsansvariga i hög eller mycket hög grad systematiskt med kvalitet redan innan kvalitetsreformen genomfördes (jfr tabell 20 i Delredovisning 3). Som framgår av tabell 5 bedömer av de utbildningsansvariga dock att kvalitetsreformen har lett till ökad uppmärksamhet på vikten av kvalitetsarbete, medan bedömer att det i hög eller mycket hög grad arbetas mer strategiskt och systematiskt med kvalitetsarbetet än innan reformen trädde i kraft. Tabell 5 Andelen utbildningsansvariga som i hög grad eller mycket hög grad instämmer, i procent Kvalitetsreformen har lett till ökad uppmärksamhet på vikten av Det arbetas mer strategiskt med kvalitetsarbetet i utbildningarna nu än före reformen Det arbetas mer systematiskt med kvalitetsarbetet i utbildningarna nu än före reformen Av de utbildningsansvariga anger vidare att de i förlängningen av arbetet med utvärderingarna av utbildningarna i hög eller mycket hög grad har etablerat en strategi för framtida utvärderingar (jfr tabell 21 i Delredovisning 3). De utbildnings- och kvalitetsansvariga från de nio utvalda utbildningsmiljöer som ingår i fallstudien pekar dessutom på att kvalitetsutvärderingsprocesserna har gett en förbättrad dokumentation av utbildningarnas kvalitetsarbete. Det gör det enklare att förmedla och vidareutveckla detta arbete internt på lärosätet, mellan dem som undervisar på området och i kommunikationen med de studerande, samt externt, och då särskilt i förhållande till jämförbara utbildningar på andra lärosäten. En effekt av utvärderingarna har också varit en starkare programorientering av många utbildningar. Det innebär att det blir fler obligatoriska och förutbestämda kurser i en utbildning. Många utbildningar, inte minst yrkesutbildningar, är redan uppbyggda som program (jfr tabell 24 i Delredovisning 3). Men även om av yrkesutbildningarna redan bedömdes vara programorienterade i hög eller mycket hög grad av de utbildningsansvariga, pekade av de utbildningsansvariga ändå på att man kan förvänta sig en ännu tydligare programorientering. De övriga utbildningstyperna – kandidat, magister och – hade en lägre andel utbildningar som redan i hög eller mycket hög grad var programorienterade, men ungefär samma andel som ansåg att utbildningarna skulle bli mer programorienterade. I fallstudien (Delredovisning 4) gav de utbildningsansvariga på samma sätt uttryck för att de upplevde kvalitetsreformen som en väsentlig orsak till att det i ökad omfattning fokuserades mer på program på bekostnad av kursstrukturen. Detta upplevs ge bättre möjligheter att styra de studerandes lärandeutbyte och progression – och därigenom säkerställa en hög kvalitet på deras slutexamen. 3.3.2 Nackdelar med kvalitetssystemet Under denna punkt ser vi närmare på de nackdelar och negativa effekter som respondenterna upplever att kvalitetsreformen har fört med sig. Från process till resultat Det nya svenska kvalitetssäkringssystemet, som såg dagens ljus i och med kvalitetsreformen 2011, skiljer sig genom sitt primära fokus på resultatet väsentligen från andra skandinaviska och europeiska kvalitetssäkringssystem för högre utbildning. Enligt många av högskolerektorerna läggs det dock för stor vikt vid resultaten. Rektorerna pekar på att man före 2011-reformen mätte kvaliteten på högskoleutbildningarna genom att i första hand granska procedurer och processer, medan man nu har gått i motsatt riktning. I stället för ett system som uteslutande har fokus på resultaten önskar de svenska rektorerna ett system där man både ser till processen och resultaten när man bedömer kvaliteten på de olika utbildningarna. Jag tycker ju inte att det svenska kvalitetssystemet ställer dom krav man kan ställa när man mäter kvalitet. Om jag jämför med när man tillverkar en bil, och bilen är undermålig, så måste man ju titta på: vad stoppar man in för råvaror till bilen, hur såg processen ut, är det nån brist där, och då blev resultatet … man kan ju inte förstå bristerna i bilen om man inte tittar på hela steget. Ett av problemen med att uteslutande fokusera på slutresultatet är enligt rektorerna att man på det viset inte kan mäta hur mycket den enskilda studerande har avancerat . Studerande som vid studiestarten redan är duktiga kommer, under i övrigt lika förutsättningar, att klara sig bättre än de studerande som inte är lika duktiga, och därför måste man också ta hänsyn till kunskapsnivån för de studerande som börjar på en given utbildning om man vill mäta kvaliteten på utbildningen. Hur mycket en utbildning förmår de studerande att avancera är således en central fråga som det nuvarande kvalitetsmätningssystemet inte lyckas fånga. Ett annat problem med det nuvarande utvärderingssystemet är enligt rektorerna att det inte är lika väl lämpat att bedöma alla typer av utbildningar. Sy- stemet anses vara bäst på att mäta kvaliteten på de traditionella akademiska utbildningarna, medan yrkesutbildningar och tvärvetenskapliga utbildningar kan komma i kläm i detta utvärderingssystem, där vikten huvudsakligen läggs på det avslutande skriftliga examensarbetet. Rektorerna anser dock att de långa yrkesutbildningarna som till exempel läkarutbildningen eller civilingenjörsutbildningen kan hanteras bättre i detta kvalitetsbedömningssystem än kortare utbildningar som sjuksköterskeutbildningar eller högskoleingenjörsutbildningar. Ett exempel på vad det nuvarande utvärderingssystemet med fokus på det avslutande skriftliga arbetet har svårt att fånga när det gäller yrkesutbildningarnas lärandemål kommer fram i Delredovisning 4: Många utav våra mål går ju absolut inte att hitta i en uppsats ... att informera patient och närstående och sånt – hur ska man kunna läsa det i uppsatsen? De utbildningsansvariga delar i stor utsträckning rektorernas bedömning att kvalitetssäkringssystemet är sämre när det gäller att bedöma yrkesutbildningar och tvärvetenskapliga utbildningar än traditionella akademiska utbildningar. Som tabell 6 visar anser av de utbildningsansvariga att systemet i hög eller mycket hög grad är dåligt på att bedöma yrkesutbildningar och tvärvetenskapliga utbildningar. Ser man isolerat på de utbildningsansvariga för yrkesutbildningarna, är detta tal ännu högre, nämligen . Tabell 6 Användbarhet: Påståenden om kvalitetsreformen. Andelen som instämmer i hög grad eller mycket hög grad, i procent Kvalitetssäkringssystemet är dåligt på att bedöma yrkesutbildningar och tvärvetenskapliga utbildningar när tyngdpunkten läggs på det avslutande examensarbetet Kvalitetssäkringssystemet är bäst på att bedöma de traditionella I de nio utbildningsmiljöer som ingår i Delredovisning 4 finns det en klar föreställning om att kvalitetsutvärderingarna favoriserar traditionella akademiska utbildningar. Bedömningen är att detta kommer att leda till en anpassning av utbildningarna i mer akademisk riktning på bekostnad av det yrkesinriktade fokuset och samverkan med det omgivande samhället. Hur rätt träffar utvärderingssystemet? En central fråga i bedömningen av varje kvalitetssystem måste vara hur rätt systemet träffar – hur exakt det lyckas bedöma kvaliteten på de utbildningar som bedöms. Här bedömer flera rektorer att det nuvarande systemet träffar mitt i prick i av fallen. Det är alltså i av fallen som det inte råder överensstämmelse mellan rektorernas uppfattning av kvaliteten på utbildningarna och kvalitetsbedömningarna. Enkätundersökningen bland de utbildningsansvariga bekräftar i stort sett detta 80/20-förhållande. Som tabell 7 visar var av de utbildningsansvariga generellt i hög eller mycket hög grad överraskade över bedömningsresultatet – detta tal var lägst hos de utbildningsansvariga för masterutbildningarna () och högst bland dem som hade ansvaret för yrkesutbildningarna (). Tabell 7 Andelen av de utbildningsansvariga som i hög eller mycket hög grad var överraskade över bedömningsresultatet, i procent I hög eller mycket I viss eller lägre Anm.: Alla som för undersökningen ännu hade okänt resultat har inte svarat på denna fråga.