rfr · H10WRFR22 · 2014-07-28 00:00:00 — En effekt av reformen, som flera rektorer upplever, är dessutom att den har skapat större uppmärksamhet på – och förståelse för – examensbeskrivningar och examensmål. Ser man på hur kvalitetsarbetet genomförs på olika högskolor och universitet, noteras mycket stora skillnader. På många ställen har man dock, som en följd av kvalitetsreformen, från centralt håll gått mer aktivt in i kvalitetsarbetet. Intervjuerna pekar också på att kvalitetsreformen och de konkreta kvalitetsutvärderingarna på många ställen leder till centrala, strategiska överväganden beträffande utbildningsutbudet. Rektorerna är generellt mycket skeptiska till det nya kvalitetsutvärderingssystemet. De pekar på att systemet lägger alltför stor vikt vid resultat och för lite vid processer. Man ger uttryck för att man har gått från ett system, som primärt tittade på processen, till ett system som först och främst ser på resultatet. De flesta rektorer menar att man bör se på både process och resultat när man utvärderar kvaliteten i utbildningar. Det nuvarande kvalitetsutvärderingssystemet bedöms favorisera de traditionella akademiska utbildningarna och de utbildningar och lärosäten som är i stånd att dra till sig de bästa studenterna. Systemet är således bäst på att bedöma de traditionella akademiska utbildningarna, medan yrkesutbildningar och tvärvetenskapliga utbildningar kan komma i kläm i detta utvärderingssystem, där huvudvikten läggs på det avslutande examensarbetet. På motsvarande sätt kommer utbildningar och lärosäten, som drar till sig de svagaste studenterna – studenterna med de lägsta betygen och de sämsta förutsättningarna för att studera – att ha sämre möjligheter att klara sig bra i detta utvärderingssystem, där det läggs vikt vid det faktiska slutresultat som uppnås och inte vid den process som den enskilde studenten gått igenom. Häri ligger också en potentiell konflikt mellan det sätt man bedömer kvalitet på och önskemålet om att utbilda många studenter. 2011-reformens kvalitetsutvärderingssystem, med huvudfokus på det avslutande skriftliga arbetet, bedöms varken vara valitt eller pålitligt. Som ett minimum behövs flera indikatorer för att kunna säga något klokt om kvaliteten i utbildningarna. Men i stället för att lappa på det nuvarande systemet – genom att öka antalet indikatorer, se mer till processen osv. – pekar flera rektorer på att det finns ett behov av att tänka nytt om hela systemet. De efterfrågar en förstärkt och bättre dialog med regeringen och UKÄ för att finna ett nytt kvalitetsutvärderingssystem som har större legitimitet i sektorn. Flera rektorer pekar, inte överraskande, på att det förslag som SUHF har lagt fram skulle vara en god utgångspunkt för en sådan dialog. Enligt SUHF:s förslag bör universitet och högskolor ha huvudansvaret för att löpande undersöka kvaliteten i utbildningarna och utveckla kvaliteten, medan UKÄ:s roll i högre grad bör vara att kontrollera lärosätenas överordnade kvalitetsarbete och kvalitetsprocedurer samt att vara den instans som tilldelar – och fråntar – lärosätena granskningsrätten. 4 SLUTSATSER 2013/14:RFR22 Vad gäller själva kvalitetsutvärderingssystemet och dess förmåga att vara kvalitetsdrivande vid svenska universitet och högskolor, opererar systemet med tre betygssteg för de utbildningar som bedöms: bristande kvalitet, hög kvalitet och mycket hög kvalitet; resultaten offentliggörs på UKÄ:s webbplats. Utbildningar som bedöms att inte leva upp till kvalitetskraven får betyget bristande kvalitet och lärosätet har på sig att rätta till utbildningen. Sker det inte en tillräcklig förbättring , kan lärosätet förlora examenstillståndet för utbildningen. Får en utbildning bedömningen mycket hög kvalitet medför det en ekonomisk bonus till lärosätet. Trots sitt snäva fokus på resultat och speciellt på det avslutande skriftliga arbetet bedöms kvalitetsreformen dock ha varit kvalitetsdrivande, i det att reformen har tvingat universitet och högskolor att i ännu högre grad än tidigare sätta fokus på utbildningarnas innehåll och kvalitet. Bland rektorerna råder enighet om att det har varit risken för att förlora examenstillståndet och bli uthängd på UKÄ:s webbplats – snarare än den ekonomiska bonusen till utbildningar med mycket hög kvalitet – som har varit kvalitetsdrivande. Det har speciellt gällt arbetet med kvaliteten på de utbildningar som fått betyget bristande kvalitet. Om det är en god idé att lärosätena får bonuspengar för utbildningar som bedöms vara av mycket hög kvalitet, råder det delade meningar om bland rektorerna. Men generellt är man inte särskilt positiv till bonuspengar och pekar på att det handlar om relativt små summor. Trots kvalitetsutvärderingssystemets brister, finns det enligt rektorerna ändå en relativt hög överensstämmelse mellan bedömningarna från UKÄ:s bedömargrupper och lärosätenas egna upplevelser av kvalitetsnivån i utbildningarna – särskilt när det gäller de utbildningar som fått betyget bristande kvalitet. Flera rektorer nämner 80–20-regeln: förväntade resultat och överraskningar. Tjugo procent oöverensstämmelse bedöms dock att vara alltför mycket i ett system, där konsekvenserna av att få betyget bristande kvalitet kan bli att man förlorar examenstillståndet och därmed får lägga ned utbildningen, med de ekonomiska och personalmässiga konsekvenser det medför. Vad gäller bildningsfrågan och frågan om hur samarbetet med det omgivande samhället, speciellt med näringslivet, påverkats av kvalitetsreformen, råder det generellt enighet om att kvalitetsreformen inte haft någon stor betydelse, varken för bildningen eller för samarbetet med det omgivande samhället. frågan om den internationella kritiken av det svenska kvalitetssäkringssystemet. Rektorerna bedömer generellt att det är ett allvarligt problem för att ha ett kvalitetssystem för högre utbildning som inte kan godkännas av ENQA och som därmed inte har internationell legitimitet. Många rektorer uppfattar att det internationella perspektivet på det hela taget blivit nedprioriterat i de senaste årens universitets- och högskolepolitik. 4.3 Reformerna i sitt sammanhang Rektorerna ger i intervjuerna uttryck för att autonomireformen och kvalitetsreformen inte kan ses som isolerade objekt. Dels bör de ses som de senaste skotten på stammen av en lång rad av reformer, dels bör de ses i en större helhet. Det är således inte bara autonomireformen och kvalitetsreformen som skapar ramen för kvalitet i svensk högre utbildning: reformerna bör förstås som en del i en större forsknings- och utbildningspolitisk kontext. Rektorerna pekar i intervjuerna på att det råder oklarhet om de politiska visionerna för sektorn. Det handlar t.ex. om förhållandet mellan regionala och nationella hänsyn, inklusive det framtida antalet universitet och högskolor samt ett eventuellt behov av fusioner. Men det handlar också om fördelningen av resurser till både forskning och utbildning mellan de olika universiteten och högskolorna – speciellt mellan de stora universiteten och högskolorna och de övriga lärosätena. Och slutligen handlar det om förhållande till resten av världen inom detta område. 5.1 Appendix 1: Metodbeskrivning I det följande beskrivs den metod som användes vid intervjuundersökningen med rektorer från universitet och högskolor i uppföljningsprojektet om implementeringen och effekterna av autonomi- och kvalitetsreformerna i . Intervjuundersökningen har haft till syfte att klargöra, hur man vid svenska högskolor och universitet har arbetat med implementeringen av autonomireformen och kvalitetsreformen – och hur rektorerna bedömer de hittillsvarande effekterna av de två reformerna. Undersökningen började och avslutades med denna delredovisning, som är utarbetad . I det följande beskrivs den metod som använts i intervjuundersökningen. I intervjuundersökningar har man som regel endast möjlighet att tala med ett mycket litet urval av totalpopulationen. Detta har inte varit fallet med denna intervjuundersökning, där vårt urval har motsvarat totalpopulationen. Vårt urval har således varit definierat som ledare av högskolor och universitet, som omfattas av autonomireformen och/eller har haft minst en utbildning som bedömts med det nya kvalitetsutvärderingssystemet. Det ger ett urval på totalt 30 lärosäten10 för intervjuundersökningen (se tabell 1 nedan). Med ledare av 30 lärosäten i vårt sample har vi haft möjlighet att arbeta med en metod, där vi långsamt och systematiskt kunnat arbeta oss fram till en bild av hur högskolor och universitet i tagit emot de två reformerna och bedömer de hittillsvarande effekterna av dem. Vi valde att indela våra informanter i tre grupper – och göra olika typer av intervjuer med de tre grupperna: pilottestintervjuer med den första gruppen, semistrukturerade intervjuer med den andra gruppen och analystestande intervjuer med den sista gruppen. Efter de inledande intervjuerna med de 5 utvalda lärosätena – som representerar såväl högskolor som universitet och har en viss geografisk spridning – delade vi in de resterande 25 högskolorna och universiteten i två grupper. Sorteringen skedde utifrån tre kriterier: Storlek, geografi och typ av lärosäte. De två sista grupperna – den första på 15 lärosäten, den andra på 10 – liknar varandra med hänsyn till de tre kriterierna (se tabell 1). Tabell 1 De 30 institutionerna delades upp i tre grupper *Privata institutioner som inte omfattas av autonomireformen. 5.1.4 De tre intervjuomgångarna I det följande beskrivs de tre intervjuomgångarna mer utförligt. 5.1.4.1 Första intervjuomgången: Fem pilottestande intervjuer Fem pilottestintervjuer face-to-face med rektorer från utvalda universitet och högskolor genomfördes . Intervjuerna hade ett dubbelt syfte: Å ena sidan önskade vi inhämta de första data om hur man på universiteten och högskolorna hade arbetat med implementeringen av reformerna och upplevde effekterna av dem. Å andra sidan önskade vi att testa vår egen förförståelse av reformerna som de kom till uttryck i val av ämnen och frågor. Vi var därför också intresserade av informanternas bedömning av frågornas relevans i relation till det överordnade uppföljningsprojektet beträffande reformerna. Vi frågade också därför om vi i våra frågor kom in i de mest väsentliga ämnena och om vilka ytterligare ämnen och frågeställningar vi eventuellt också borde sysselsätta oss med i de efterföljande intervjuerna. Övriga teman som behandlades vid dessa inledande pilotintervjuer framgår av textbox 1. 5 BILAGOR 2013/14:RFR22 Textbox 1: Följande teman behandlades under pilotintervjuerna: Vilka konkreta förändringar har autonomireformen medfört på ditt lärosäte? (Till exempel i förhållande till organisation, rekrytering, befattningsstruktur.) Hur utnyttjar ni det utökade ledningsutrymme, som följer med autonomireformen? Har autonomireformen haft konsekvenser i relation till lärosätets beslutsorgan? Hur påverkar autonomireformen såväl ledningsförhållanden som förhållanden omkring medarbetar- och studentinflytande på ditt lärosäte? Vilka debatter och diskussioner har denna reform gett upphov till på ditt lärosäte? Vilka positiva såväl som negativa effekter har reformen haft? Har autonomireformen gjort det lättare att nå lärosätets överordnade målsättningar? Vilka långsiktiga positiva och/eller negativa effekter bedömer du att reformen potentiellt kommer att ha? Vilka konkreta förändringar har kvalitetsreformen medfört på ditt lärosäte? Hur har kvalitetsreformen och det nya nationella systemet för kvalitetsutvärdering påverkat kvalitetssäkringssystem och kvalitetsarbete på ditt lärosäte? Vilka positiva såväl som negativa effekter har reformen haft? Har kvalitetsreformen haft konsekvenser för prioriteringen av utbildningsutbudet på ditt lärosäte? Vilka debatter och diskussioner har kvalitetsreformen gett upphov till på ditt lärosäte? (Till exempel beträffande lärosätets samspel med övrigt samhälle, kvalitetsreformens sammankoppling av evaluering och resursallokering, det ökade fokuset på de studerandes lärande?) Vilka långsiktiga positiva och/eller negativa effekter bedömer du att kvalitetsreformen potentiellt kommer att ha? Medför kvalitetsreformen och autonomireformen samlat sett ökad kvalitet i det svenska högre utbildningssystemet? Vad förstår du med kvalitet i högre utbildning? Hur relaterar de två reformerna sig till internationell utveckling inom högre utbildning? 5.1.4.2 Andra omgången: 12 semistrukturerade intervjuer med institutioner från grupp 2 Intervjuerna från den första rundan blev därefter transkiberade av svensktalande studentmedhjälpare och analyserade i relation till om våra hittillsvarande frågor var täckande. Analysen bildade bakgrund för utarbetandet av en utvidgad intervjuguide till andra omgångens intervjuer: Intervjuguide till semistrukturerade intervjuer med 15 rektorer Uppföljningsprojekt om kvalitetsreformen och autonomireformen i det svenska högre utbildningssystemet. Intervjun inleds med en generell presentation av (), uppföljningsprojektet och intervjuundersökningen med de svenska rektorerna. Vilka konkreta förändringar har autonomireformen lett till på ditt lärosäte? Har den medfört nedläggning av existerande beslutsorgan? Har den fört till inrättande av nya beslutsorgan och/eller rådgivande organ? Vilka motiv har legat bakom dessa förändringar? Varför har det varit viktigt för dig att få dessa förändringar genomförda? Har förändringarna varit inspirerade av kvalitetsreformen/hänsyn till kvaliteten i utbildningen? Vilken betydelse har dessa förändringar haft för följande gruppers beslutsmässighet? Rektor och övrig ledning? Hur har reformen påverkat samarbetsklimatet på ditt lärosäte? Vilka ändringar har autonomireformen medfört i förhållande till befattningsstrukturen och befattningskategorierna på ditt lärosäte? Vilken betydelse har autonomireformen haft för medarbetarnas karriärrörlighet på ditt lärosäte respektive mellan lärosätena? Har autonomireformen lett till förändringar beträffande medarbetarnas karriärvägar på ditt lärosäte? (Till exemplel tenure track.) Gör autonomireformen enligt din mening det lättare att attrahera och hålla kvar duktiga medarbetare? Vilken är din bedömning av reformens konsekvenser för rekrytering av nationella och internationella medarbetare på ? 5 BILAGOR 2013/14:RFR22 Hur bedömer du förhållandet mellan autonomi och kontroll i relationen mellan staten, UKÄ och högskolorna? Upplever du att ditt lärosäte på grund av autonomireformen har fått mer autonomi än det hade tidigare? Har reformen enligt din mening haft betydelse för den akademiska friheten? –Vilka konkreta förändringar har kvalitetsreformen medfört på ditt lärosäte? Har det införts en ny praxis för kvalitetsarbetet på ditt lärosäte? Om ja, vilken? Hur organiserar ni kvalitetsarbetet? Har det skapats nya forum eller organ på ditt lärosäte? Ligger ansvaret för kvalitetsarbetet centralt eller spritt? –Vilka motiv har legat bakom dessa ändringar? Vad hoppas ni att uppnå genom dessa förändringar? Har kvalitetsreformen varit kvalitetsdrivande på ditt lärosäte? Vad sker på ert lärosäte när en utbildning får betyget bristande kvalitet? Vilka aktiviteter startar ni? Bidrar kvalitetsreformen till att säkerställa att dåliga utbildningar läggs ned eller läggs om, så att kvaliteten blir högre? Stärker kvalitetsreformen de utbildningar, som i förväg har en hög eller mycket hög kvalitet? Har ni överraskats av de betyg som enstaka utbildningar har fått? Har kvalitetsreformen haft konsekvenser för prioriteringen av utbildningsutbudet på ditt lärosäte? Leder kvalitetsreformen till högre kvalitet för enstaka utbildningar? Har kvalitetsreformen varit kvalitetsdrivande på ert lärosäte? Är det lämpligt att uteslutande bedöma kvalitet utifrån resultatet? Man kan mäta kvaliteten i utbildning på olika sätt – man kan lägga vikt vid resultatet av utbildningen, på kvalitetssäkringsprocedurer eller bägge delar. I det nya svenska systemet läggs primärt vikt på resultatet. Vad tänker du om det? Om informanten menar att det är en god idé, följ upp med denna fråga: Vad tänker du då om de indikatorer som man bedömer resultatet utifrån – det avslutande examensarbetet t.ex.? Om bedömningen är att det saknas indikatorer: Vilka andra indikatorer menar du att man ska se på för att få en tillfredsställande bild av utbildningens kvalitet? (Does one size fit all?) Kan man använda samma utvärderingssystem på alla lärosäten – och för alla typer av högre utbildningar? Det har diskuterats om man kan använda samma indikatorer för att mäta såväl yrkesutbildningarnas som de mer akademiska utbildningarnas kvalitet. Vad tänker du om det? Det har också diskuterats om man kan använda samma indikatorer för att mäta kvaliteten i utbildningar på tvären av yrkesmässiga discipliner (t.ex. naturvetenskapliga utbildningar gentemot humanistiska utbildningar). Vad tänker du om denna fråga? Kvalitetssäkringsarbete i form av procedurer – hur har det gått med det? Man kan som nämnts mäta kvalitet i utbildningar på olika sätt – man kan lägga vikten vid resultatet av utbildningen, vid kvalitetssäkringsprocedurer eller vid bägge delar. I det nya svenska systemet läggs primärt vikt vid resultatet – medan man tidigare såg mer på procedurerna. Har detta fokusskifte haft betydelse för det dagliga kvalitetsarbetet med utbildningarna på ditt lärosäte? (Har fokus flyttats från processen till resultatet – eller kanske från hela utbildningen till den avslutande skriftliga uppgiften?) Betyder kvalitetsreformen att ni använder fler eller färre resurser på kvalitetsarbete? I relation till pengar, tid, medarbetare Kvalitetsutvärderingen är sammankopplad med en resursomfördelning (bonus till utbildningar med mycket hög kvalitet). Är det förnuftigt? Vad tycker du om tankarna med en ny stiftelsemodell – att högskolorna kanske ska ombildas till privata stiftelser? Strategi för högre utbildningar Någon har pekat på att man kanske i högre grad borde tänka mer på att koordinera utbildningsutbudet, forskningsinsatsen m.m. mellan de svenska högskolorna i stället för att låta dem konkurrera med varandra – vad tänker du om det? Borde man göra fler uppdelningar mellan olika typer av högskolor – t.ex. universitet och högskolor? 5 BILAGOR 2013/14:RFR22 Svensk högre utbildning i ett internationellt perspektiv Vad betyder det att fått gult kort av ENQA? Bör sträva mer efter att harmoniera sitt tankesätt om kvalitet med andra länder i ? Eller är ett föregångsland, som andra länder borde luta sig emot? Gör kvalitetsreformen det lättare eller svårare att attrahera internationella studerande till utbildningar vid de svenska lärosätena? Är det ändamålsenligt att UKÄ fördelar de studerande via ett kvotsystem? Bör man ta regionala hänsyn när man tänker på antalet universitet och högskolor i – eller ska man snarare låta konkurrensen avgöra vilka och hur många universitet och högskolor som ska finnas i ? Näst sista frågan: Medför reformerna samlat sett en ökad kvalitet i det svenska högskolesystemet? En sista fråga: Om du skulle bedöma reformernas kvalitet samlat sett – och endast bedöma dem utifrån de resultat de har medfört, vilket av följande tre betyg skulle du ge dem: bristande kvalitet, hög kvalitet eller mycket hög kvalitet? Finns ytterligare något du vill tillfoga? Avrundning, där vi tackar för intervjun och kort berättar om det fortsatta arbetet med intervjuerna – och när resultatet av vår undersökning är klar och förväntas bli offentliggjord. Dessa intervjuer genomfördes som semistrukturerade intervjuer via Skype och per telefon. I allt genomfördes 12 intervjuer.11 Intervjuerna blev efteråt transkriberade av svensktalande studentmedhjälpare – och transkriberingarna blev kvalitetssäkrade av två andra studentmedhjälpare (en svensktalande, som tog hand om de svenska delarna och en dansktalande, som tog hand om de danska delarna). Efter transkriberingarna blev intervjuerna analyserade tillsammans med de fem första pilotintervjuerna. Analyserna är genomförda av seniorforskarna . Sørensen från for Forskningsanalyse, , som också har genomfört intervjuerna. 11 När vi landar på 12 intervjuer och inte 15, beror det på att 3 av de 15 institutionerna från denna grupp av olika skäl inte hade möjlighet att delta. Det gäller Gammelkroppa skogsskola, och . Det bör i övrigt betonas att Gammelkroppa skogsskola skiljer sig från övriga universitet och högskolor, men då rektor vid Gammelkroppa skogsskola inte ingår i informantgruppen påverkas inte studiens resultat av detta. Analysen gjordes med en delvis öppen kodning i Nvivo som grund. Ut- ifrån en läsning av intervjuerna skapades ett antal koder (18 totalt), som de totalt 17 transkriptionerna kunde kodas i förhållande till. Härefter blev innehållet i de 18 koderna närläst och det gjordes en kondensering. Denna kondensering blev därefter ytterligare kondenserad, och det skapades ett antal tillfälliga huvudkonklusioner om hur autonomireformen och kvalitetsreformen har implementerats på de svenska universiteten och högskolorna och vilka effekter rektorerna för tillfället upplever att reformerna har haft. 5.1.4.3 Tredje omgången: Nio strukturerade analystestade intervjuer De för tillfället totalt elva huvudkonklusionerna testades i en tredje och avslutande omgång strukturerade intervjuer med nio informanter från ledningen för den sista gruppens universitet och högskolor.12 Dessa analystestade intervjuer genomfördes via Skype och per telefon . I anslutning till intervjuerna frågades det också om reformernas eventuella effekter på bildning respektive samarbete med det omgivande samhället. Intervjuguiden för dessa intervjuer ser ut på följande sätt: Intervjuguide till strukturerade intervjuer med nio rektorer i tredje omgången av rektorsintervjuundersökningen, Först vill vi gärna säga tack för att du tar dig tid att medverka i denna intervju. Vi har under loppet av oktober, intervjuat en rad av dina kolleger om deras upplevelse av kvalitetsreformen och autonomireformen och vi har mot bakgrund av deras svar gjort en tillfällig analys av universitets- och högskolerektorernas upplevelse av de två reformernas implementering och hittillsvarande effekter. I dagens intervju önskar vi att du förhåller dig till huvudkonklusionerna i vår hittillsvarande analys. Huvudfrågan är således: Känner du igen nedanstående beskrivningar – och kan du berätta mer om hur detta kommer till uttryck vid ditt lärosäte? Du får gärna ge exempel. Vi börjar med kvalitetsreformen, talar därefter om autonomireformen och avslutar med att se på reformerna i ett större sammanhang. Intervjun tar 45– . Den hittillsvarande analysens huvudslutsatser: 1.1 Kvalitetsreformen har generellt medfört större uppmärksamhet på betydelsen av kvalitetsarbete i högskolan. Det arbetas mer systematiskt och strategiskt med kvalitetsarbete och används större resurser än före reformen. 12 Det gäller åtta rektorer och en universitetsdirektör. hade inte möjlighet att delta i en intervju. 5 BILAGOR 2013/14:RFR22 Det avslutande examensarbetet har speciellt kommit i fokus, men det fästes också mer uppmärksamhet på det samlade utbildningsutbudet, examensmålen och frågan om forskningsanknytning. 1.2UKÄ:s kvalitetsutvärderingssystem lägger alltför stor vikt vid resultaten och särskilt vid det avslutande skriftliga arbetet. Det finns också behov av att utvärdera processer, t.ex. när det gäller det löpande kvalitetsarbetet och de studerandes progression under utbildningen. Det finns också behov av fler och bättre indikatorer för utbildningarnas kvalitet. Kvalitetsutvärderingssystemet är inte lyckat för att mäta tvärvetenskapliga utbildningar – systemet är t.ex. mindre lämpat för att mäta kvaliteten i de yrkesorienterade utbildningarna. 1.3Trots kvalitetsutvärderingssystemets brister har kvalitetsreformen varit kvalitetsdrivande. Kvalitetsreformen har tvingat universitet och högskolor att i ännu högre grad sätta fokus på utbildningskvaliteten.