rfr · H10WRFR22 · 2014-07-28 00:00:00 — Flera rektorer fäster uppmärksamhet på att det används större resurser på kvalitetsarbete . Det bedöms också att det – som en effekt av kvalitetsreformen – arbetas mer systematiskt och strategiskt med kvalitetsarbete än före reformen. En effekt av reformen som flera nämner är att den har lett till större uppmärksamhet på och förståelse för examensbeskrivningar och examensmål. Reformen har alltså fört med sig en djupare implementering av Bolognareformen i den svenska högre utbildningen: [] det sista systemet, som vi lever i , det har framför allt varit en viktig del för att manifestera Bolognareformens, ska vi säga, ideologi kring lärandemål. Och det har blivit uppmärksammat. Och det ska jag säga, att det har vi som svenskt system vi har liksom gått över det där med lärandemålen ganska lätt, fram till det här systemet, som verkligen, liksom, satte det på Så det tror jag är en väldigt stor påverkan som det har haft, att vi faktiskt nu resonerar om utbildningarna i förhållande till dom lärandemål som dom har. (Informant nr 4) Ser man på hur det konkret arbetas med kvalitet på de olika lärosätena, griper man sig an detta arbete på mycket olika sätt. På många ställen har man från centralt håll gått mer aktivt in i kvalitetsarbetet, genom att t.ex. sätta en prorektor i spetsen för ett koordinerat arbete eller genom att skapa en stödstruktur omkring egenutvärderingsarbetet och det generella kvalitetsarbetet ute i utbildningsmiljöerna. Ett exempel på detta kommer från ett stort universitet, där utvecklingen bl.a. beskrivs på detta sätt: Vi har ju varit otroligt decentraliserade tidigare, och allt kvalitetsarbete har ju i princip fått drivas lokalt. Men vi har centraliserat just det här, och det är helt enkelt för att det har behövts [] Den här utvärderingsmodellen har varit väldigt svårgenomskådlig för många ute i verksamheten [] Efter den första omgången, där vi insåg att det här kommer inte att fungera, så har vi inrättat en central dels en central stödfunktion med, alltså, tjänstemän som arbetar med kvalitet centralt, men också, faktiskt, en organisation där områdena, alltså våra fakulteter, har verksamhetsföreträdare som är med och ger stöd och ställer upp. (Informant nr 1) Slutligen pekar intervjuerna också på att kvalitetsreformen och UKÄ:s kvalitetsutvärderingar medför strategiska överväganden om utbildningsutbudet vid lärosätena. Informant nr 8 säger exempelvis om kvalitetsreformen att den [] hjälper oss att strukturera om, förändra utbildningsutbudet, identifiera svaga områden, sträcka upp strategiskt viktiga områden, arbeta proaktivt. Vi har en arbetsordning där varje ämne som ska utvärderas, utvärderas formellt internt före UKÄ:s utvärdering. 3.2.2 Det nya kvalitetsutvärderingssystemet Som vi beskrivit ovan, skiljer sig det nya kvalitetsutvärderingssystemet från tidigare system i genom att lägga tyngdpunkten på utbildningens resultat. Högskoleverket3 som vid reformens ikraftträdande fick i uppdrag att genomföra kvalitetsvärderingarna, sammanfattade systemet på följande sätt: har i uppdrag att utvärdera högskoleutbildningarnas resultat. Med resultat avses hur väl den aktuella utbildningen uppfyller kraven i högskolelagen och i examensbeskrivningarna i de förordningar som ansluter till lagen. utvärderingar granskar i vilken utsträckning studenternas faktiska studieresultat motsvarar de förväntade studieresultaten. 3 blev nedlagt /13, varefter uppgiften att göra kvalitetsutvärderingarna övergick till (). Utvärderingarna genomförs av externa sakkunniga där såväl ämnesexperter som studenter och arbetslivsföreträdare finns representerade. Det underlag som de grundar sina bedömningar på är studenternas självständiga arbeten (examensarbeten), lärosätets egenvärdering, enkäter till tidigare studenter samt studenternas uppfattning om utbildningens resultat i förhållande till målen i examensbeskrivningarna. Studenternas självständiga arbeten ska tillsammans med de utbildningsresultat som redovisas i egenvärderingen utgöra det huvudsakliga underlaget för ett samlat omdöme. Det samlade omdömet ges på en tregradig skala och kan utgöra underlag till regeringen för en mindre del av resurstilldelningen. De utbildningar som inte uppfyller kvalitetskraven för högre utbildningar får sitt examenstillstånd ifrågasatt. följer upp ifrågasättandet och kan då besluta att återkalla examenstillståndet.4 Det framgår av intervjuerna att det bland rektorerna råder bred enighet om att utvärderingssystemet lägger för mycket vikt på resultat och för lite vikt på processer, när det försöker mäta kvaliteten av högre utbildning. Det ges uttryck för att man gått från ett system som primärt tittade på processen till ett system som först och främst ser till resultatet. Pendeln bedöms dock ha svängt för långt över till andra sidan. Det råder allmän enighet om att man bör se på både process och resultat när man utvärderar kvalitet i högskoleutbildningar. Informant nr 12 uttrycker det på detta sätt: Jag tycker ju inte att det svenska kvalitetssystemet ställer dom krav man kan ställa på när man mäter kvalitet. Om jag jämför med när man tillverkar en bil, och bilen är undermålig, så måste man ju titta på: vad stoppar man in för råvaror till bilen, hur såg processen ut, är det nån brist där, och då blev resultatet man kan ju inte förstå bristerna i bilen om man inte tittar på hela steget. Det nuvarande utvärderingssystemet med huvudfokus på det avslutande skriftliga arbetet bedöms således vara varken valitt eller pålitligt: Systemet är inte bra, det är alltför osäkert, det är alltför mycket gissning. Och det är väldigt rättsosäkert, tycker jag, i förhållande till, så att säga alltså, om man tänker såhär, det kan hänga på ett enda examensarbete, egentligen, skillnaden mellan om det fått hög kvalitet eller bristfällig kvalitet. Och, i förlängningen, mellan att man då kanske lägger ner ett program, eller att man får indragen examenstillstånd, och man förlorar massa pengar därför att regeringen flyttar pengar, och enskilda medarbetare – man är tvungen att göra sig av med dom. För ett enda examensarbete. Alltså, det är inte proportionerligt. Det är inte professionellt på det sättet. (Informant nr 9) Även om flera rektorer erkänner att det kan komma något gott ur att fokusera mer på utbildningens resultat bedömer de att man inte kan mäta resultatet enbart utifrån det avslutande examensarbetet. Det behövs många fler indikatorer. Informant nr 3 pekar t.ex. på följande: 4 Jfr s. 7 i rapporten för kvalitetsvärdering 2011–2014. Ex- amina på grundnivå och avancerad nivå: hogskoleverkets-system-kvalitetsutvardering.pdf. [] hur ser kompetensen ut på lärosätet, hur mycket tid har studenterna för sina arbeten, vad läser dom för litteratur, hur kvalificerade uppgifter har dom, hur ser läroprocessen ut, vilka typer av tentamina har dom, vilka övriga kvaliteter – ansvar, självständighet, kritiskt tänkande – utvecklar dom ? Hur ser samverkan ut med offentlig sektor, eller privat sektor? Hur förankrar dom sina utbildningar i en kommande yrkespraktik ? Det finns ett trettiotal såna frågor som också är viktiga. Flera rektorer pekar också på att man bör göra större skillnad på råmaterialet i form av de studerande som kommer in på en utbildning, för att kunna säga något om kvaliteten i utbildningen. När man mäter resultatet, kan man mäta det faktiska resultatet (som man gör i det svenska systemet) och/eller mäta hur mycket den studerande har utvecklats under utbildningsförloppet. Det sistnämnda läggs det, enligt rektorerna, alltför liten vikt vid i det svenska utvärderingssystemet. De högskolor och universitet (utbildningar) som tar emot de sämsta studenterna – studenter med låga betyg och dåliga studieförutsättningar – får det därför svårare att klara sig bra i detta utvärderingssystem. Informant nr 2 uttrycker det på följande sätt: [] om man ska mäta kvaliteten på utbildningen så måste man ju också veta ingångsvärdet [] titta på det rent vetenskapligt. Om man mäter utgångsvärdet, kvaliteten i det självständiga arbetet, om man då ska avgöra kvaliteten på utbildningen så måste man också veta ingångsvärdet. Vad har hänt med studenten under utbildningen? Och det vet man inte , man mäter ju bara utgångsvärdet, och är man och då kan man säga, kanske mäter man då först och främst studentens kvalitet. I alla fall med dom allra bästa studenterna så är det ju så att det spelar egentligen ingen roll vad du gör med dom under utbildningen, dom kommer att vara högpresterande när dom lämnar ändå. Medan för andra studenter kan utbildningen vara oerhört viktig, att göra en resa, och utvecklas – kunskapsmässigt och på andra sätt. Ett annat stort problem med det nuvarande utvärderingssystemet är enligt rektorerna att det inte lämpar sig lika bra för att utvärdera alla typer av utbildningar. Systemet fungerar bäst för utvärdering av de traditionella akademiska utbildningarna, medan yrkesorienterade och tvärvetenskapliga utbildningar kan komma i kläm i detta utvärderingssystem. Informant nr 13 uttrycker det på följande sätt: På yrkesutbildningarna är det naturligtvis väldigt svårt använda den här metoden, att se examensarbetena som kronan på verket, därför att det är så många andra kompetenser och färdigheter som är viktiga, men som inte tar sig uttryck i examensarbetena. Man måste ha en annan metod. [] Jag tycker mig se att nyskapande, mångvetenskapliga utbildningar med stark tillämpningsanknytning har svårt att hävda sig och komma till sin fulla rätt med den här utvärderingsmetoden. Det finns en risk när man använder en såhär ensidig metod att man tvingar in utbildningar i ämnesdisciplinfållor, så vi får ... vi backar bandet tillbaka kanske 5, 10, i – att man inte kan jobba mer nyskapande, gränsöverskridande. Så jag ser en stor risk för detta. Flera rektorer uppmärksammar också att man bör göra åtskillnad mellan korta och långa utbildningar som leder till yrkesexamina. Systemet är mindre skevt för långa utbildningar, som t.ex. läkarutbildningen eller civilingenjörsutbildningen, än det är för kortare utbildningar som sjuksköterskeutbildningar eller högskoleingenjörsutbildningar. pekar flera rektorer på att man behöver en förstärkt och bättre dialog med regeringen och UKÄ för att finna ett nytt kvalitetsutvärderingssystem som både har legitimitet i sektorn (och internationellt, se 3.2.6) och kan tillfredsställa statsmaktens legitima behov av att säkerställa kvaliteten i utbildningarna. Det talas bland rektorerna om att det nuvarande systemet har en mycket låg grad av legitimitet och många menar att de fick systemet tryckt ned över sig. I förlängningen av detta hänvisar flera rektorer till SUHF:s förslag till ett nytt kvalitetsutvärderingssystem. I stället för att lappa på det gamla systemet önskar många rektorer att man tänker om beträffande systemets grundstruktur och skapar en ny rollfördelning mellan lärosätena och UKÄ. Universitet och högskolor bör enligt SUHF:s förslag ha huvudansvaret för att löpande kontrollera kvaliteten i utbildningarna och för att utveckla kvaliteten, medan UKÄ:s roll i högre grad bör vara att kontrollera lärosätenas överordnade kvalitetsarbete och kvalitetsprocedurer samt vara den instans som tilldelar – och eventuellt fråntar – lärosätena en granskningsrätt5. Informant nr 5 uttrycker det på detta sätt: [] om man tittar på det stora systemet i stort så kan man väl ställa sig frågan: Vad ska staten kontrollera? Och vad är det viktigt att det kontrolleras i systemet, men som kanske inte behöver ligga i det statliga utvärderingssystemet. Och när den här har införts, den här reformen, så har den ju införts ganska brutalt – mot sektorns vilja, och vi tyckte dessutom att systemet var dåligt riggat på många sätt. Vi har problem med validiteten i underlaget och hur det genomförs och sådär, och det orsakade en stor debatt mellan oss lärosäten om vilken typ av kvalitetsarbeten – då pratar jag om hela kvalitetssystemet, inte bara den här lilla biten – som är gott för oss att ha i den svenska universitets- och högskolesektorn på lång sikt, och om hur vi ska se på kvalitetssystem. Och har vi ju inom SUHF, alltså , haft ett ganska gediget arbete där vi tittat på andra länders sätt att se på kvalitetssystem, alltså hela systemet, och kommit fram vid ett beslut här till att vi skulle vilja arbeta för ett system där det stora kvalitetsarbetet, det stora kvalitetssystemet, egentligen rullar i botten på lärosätena, som det gör i många andra länder, och att UKÄ:s del är att titta på en delmängd av detta, och att den rollfördelningen ska vara tydlig och klar, och vara ett väl sammanhängande system. 3.2.3 Har kvalitetsreformen varit kvalitetsdrivande? Flera rektorer pekar på att kvalitetsreformen trots sitt snäva fokus på resultat och speciellt det avslutande skriftliga arbetet faktiskt har förmått att vara kvalitetsdrivande. Kvalitetsreformen har tvingat universitet och högskolor till att i högre grad än tidigare sätta fokus på utbildningarnas innehåll och kvali- 5 Jfr s. 10–12 i slutrapporten från för kvalitetsfrågor 2012–2013, : . Exempelvis säger informant nr 14 (med utgångspunkt i deras kandidatutbildning i företagsekonomi): Ja, min bild, och prefekten på institutionens bild, är att det har varit väldigt kvalitetsdrivande, och det är en stor skillnad mot tidigare. Sen är inte det här systemet perfekt på nåt sätt, men det är en stor skillnad, därför att det vi faktiskt har gjort på kandidatutbildningen, det är att vi har ändrat innehållet i utbildningen [i företagsekonomi], lagt till innehållsmässiga delar för att öka kvaliteten. [] Till skillnad från dom här input- och processorienterade modellerna, där man anställer en disputerad lektor, och så faller allting på plats plötsligt – alldeles oavsett om den här lektorn fungerar i undervisningssalen eller inte [] – har vi nu faktiskt gjort innehållsmässiga förändringar: hur ska vi bedriva metodutbildning, hur ska vi få in ämnets kärna och så i undervisningen? Så min bild är att det har varit kvalitetsdrivande, det har förbättrat kvaliteten på kandidatutbildningen. Det har särskilt gällt arbetet med kvalitet på de utbildningar som fått betyget bristande kvalitet. Här har det ofta i förlängningen av utvärderingen förekommit strategiska diskussioner om man skulle fortsätta med utbildningen – om den var viktig för lärosätet – eller om man skulle lägga ned den. Om man bedömde att utbildningen var viktig för lärosätet, har det ofta startat ett omfattande arbete för att lyfta utbildningens kvalitet. På en högskola hade man t.ex. i första omgången många utbildningar med bristande kvalitet och enligt rektor, informant nr 2, har det lett till ett omfattande kvalitetsarbete. Informanten säger bl.a.: [] kvalitetsarbete har vi ju alltid bedrivit, naturligtvis va, och men det och det har du säkert hört från många av mina kollegor, att det här nya systemet, som då infördes också, och som var en väldig top- down-produkt ifrån på myndigheterna, och som ju därmed blev väldigt impopulärt bland universitet och högskolor, har ändå inneburit en väldigt drastisk förflyttning i tänkandet – ifrån ett tänkande kring hur man arbetar med kvalitet till att verkligen titta på resultat, det är utan tvekan så att det har haft en stor effekt. Och för [oss] så var detta ett väldigt brutalt uppvaknande, skulle jag nästan vilja säga, i dom första utvärderingsomgångarna, när vi fick väldigt dåliga resultat, vi fick många utbildningar, eller många examina, med bristande kvalitet, den här lägsta Och det här var ett, tror jag, kraftfullt uppvaknande, och det är utan tvekan så att det här systemet sen kan man kritisera det för att det inte täcker hela kvalitetsspektret, det mäter bara vissa saker, men det har haft väldigt kvalitetsdrivande effekter internt, och gradvis i dom här utvärderingsomgångarna har vi nu kommit allt bättre ut. Och är vi inte längre nu ligger vi nånstans i mittfältet av svenska lärosäten, och ligger ganska bra till bland högskolorna, till och med. Och det har haft en väldigt alltså, det har blivit en väldig energi internt, att ta tag i en del saker som man kanske faktiskt kände till redan innan, men i och med att det har utvärderats nu så har det fått en väldigt stark effekt. Kvalitetsreformen har inte minst medfört ett ökat fokus på det avslutande examensarbetet. Flera rektorer bedömer att det därigenom kan finnas en risk för att andra delar av utbildningen negligeras i kvalitetsarbetet. Frestelsen att lägga kvalitetsarbetets tyngdpunkt på det avslutande examensarbetet är lockande men långt ifrån önskvärd, som informant nr 15 påpekar: Skulle vi satsa på verkligen högkvalitativa sjuksköterskor enligt det här systemet, som kvaliteten nu utvärderas, så skulle vi ju ersätta praktiken med vetenskapligt skrivande. Och, tillägger informanten: Det vore ju katastrof om vi gjorde det! På det hela taget är det flera rektorer som påpekar att man får det man mäter och att tyngdpunkten på examensarbetet kan få den konsekvensen att man i kvalitetsarbetet kommer att överfokusera på den delen av utbildningarna. Det väcker också frågan om vad kvalitet i utbildning egentligen är – och om reformen ger högre kvalitet eller bara gör universiteten och högskolorna bättre på att leverera det som UKÄ efterfrågar, dvs. det man mäter i det nuvarande kvalitetsutvärderingssystemet. Bland annat därför efterfrågar flera rektorer också ett kvalitetsutvärderingssystem med större legitimitet i sektorn. Informant nr 13 säger det på detta sätt: [] hade vi haft ett utvärderingssystem som hade en större legitimitet, som använde en metod som var bredare och som också hade ett fokus och ett syfte att vara utvecklingsdrivande, så kunde vi åstadkommit så mycket mer och bättre saker, och fått bättre effekter av det. Självklart så finns det saker och ting som sker här som man kan säga är utvecklingsdrivande. Absolut, för står man under hot att få indragen examenstillstånd så gör du vad som helst för att kunna behålla den, såklart att det finns nån utveckling i det. Men genom att ha ett bättre system så kunde vi höja kvaliteten och använda våra resurser på ett mycket bättre sätt i . 3.2.4 Vad driver kvalitetsarbete – piskan eller moroten? Kvalitetsutvärderingssystemet opererar med tre betyg för de utbildningar som utvärderas: bristande kvalitet, hög kvalitet och mycket hög kvalitet – och resultaten offentliggörs på () webbplats. UKÄ skriver om proceduren bl.a. att UKÄ beslutar om vilket samlat omdöme varje utbildning ska få med utgångspunkt i bedömargruppens yttrande. Utbildningar med det samlade omdömet mycket hög kvalitet eller hög kvalitet uppfyller kvalitetskraven för högre utbildning. Utbildningar som inte uppfyller kvalitetskraven för högre utbildning får det samlade omdömet bristande kvalitet. ifrågasätter i dessa fall lärosätets tillstånd att utfärda den aktuella examen. En uppföljning av de utbildningarna kommer att ske . Därefter kan UKÄ besluta om att återkalla examenstillståndet.6 Har en utbildning fått betyget mycket hög kvalitet medför det en bonus till lärosätet i form av extra ekonomiska resurser. 2012 och 2015, när systemet är fullt utbyggt, kommer att fördelas till de utbildningar som får betyget mycket hög kvalitet.7 Bland rektorerna råder dock bred enighet om att det inte är denna morot, utan snarare sanktionerna i form av risken att minsta examenstillståndet och bli uthängd på UKÄ:s webbplats, som driver kvalitetsarbetet och höjer kvaliteten. Belöningsmekanismen i form av en bonus till utbildningar med en mycket hög kvalitet bedöms däremot ha en mycket begränsad kvalitetsdrivande effekt. Informant nr 16 säger t.ex. det på följande sätt: Alltså den här pengen man får för mycket hög kvalitet, den har vi nästan inte nämnt, det är ingen som diskuterar den, det är inget viktigt på något vis. Det är som en liten extra peng som kanske kommer. Det viktiga är ju Och det är ju kvalitetsdrivande, att man kan ta in examenstillstånd och sånt, det är ju hårt arbete, det är mycket viktigare. Medan informant nr 5 är ännu skarpare: Alltså, moroten är definitivt ingenting värd i det här. Alltså, det är inte ett incitament för något av det här arbetet. Däremot är jag skulle inte vilja kalla det piska, för jag tycker det är värre än så. Det är kniven mot strupen. Informant nr 5 förklarar vidare att hotet om att mista examenstillståndet ger en skev dialog mellan sektorn och UKÄ, där universitet och högskolor är tvungna att rätta in sig: [] vi har haft politiska uttalanden, att förlorar vi examenstillståndet förlorar vi också finansieringen för den utbildningen, vilket gör att vi inte ens har möjlighet att söka om examenstillståndet. Så för oss har det verkligen varit en överlevnadsfråga, med kniven mot strupen, vilket har gjort att när resultaten väl Alltså, vi har kritiserat systemet hårt innan systemet levererar resultat, när vi tittar på hur det skulle fungera och såna saker. Men när man väl sitter med resultaten i knät så kan man egentligen inte ens gå in i en vettig, konstruktiv diskussion om dom brister systemet har, för att vi måste helt enkelt spela spelet. Och även om vi kanske inte ens håller med om resultatet så kan vi inte gå in i en diskussion om det, utan vi måste bara acceptera resultatet, analysera resultatet oavsett om vi tycker att det är sant, vi måste komma på en vettig åtgärdsplan för att åtgärda det här resultatet oavsett om vi tycker det var fel eller inte, och göra det trovärdigt, för annars överlever inte det ämnet vid vårat lärosäte, och det kan få konsekvenser. Och har vi då många hot om indragningar vi har ju ändå haft nästan en fjärdedel av svenska utbudet med hot om indragen examenstillstånd, så det handlar inte om konsekvenser på marginalen, det handlar om ett slag i hjärtat på lärosätena. Så jag skulle vilja säga att det är ett otroligt skarpt system som också I och med att vi då tvingas leva upp till det, vi har inget val i det hela, så kan man från UKÄ:s sida och från politiskt håll säga att det fungerar, för vi anpassar oss till det, vi har inget annat val. Själva det faktum att UKÄ utvärderar utbildningarna – med de konsekvenser ett dåligt utvärderingsresultat kan ha för ett lärosäte – kan vara en extra motor för kvalitetsarbetet. Som en av rektorerna uttrycker det: Det tvånget som dom här granskningarna innebär är användbara för en rektor. (Informant nr 7) Det ger rektorerna ett verktyg i det dagliga strategiarbetet. En av de andra rektorerna stöder denna poäng och uttrycker det på detta sätt: Alltså, ett kvalitetssystem hjälper ju ledningen att fatta en del obekväma beslut. Man får liksom styrka uppifrån att lägga ner sånt som man redan själv kanske har identifierat, men inte riktigt mäktat med att avveckla. (Informant nr 17) Bland rektorerna råder det delade meningar om huruvida det är en god idé att lärosätena får bonuspengar för de utbildningar som får betyget mycket hög kvalitet. Denna fråga engagerar dock inte rektorerna i särskilt hög grad. Man tror generellt inte att det har någon stor betydelse för kvalitetsarbetet med en sådan bonus. Man pekar på att det är tal om relativt små summor. Men en del rektorer nämner dock också att det kan vara fint med en liten bonus till ett enskilt program för att göra ett bra arbete. Det finns i övrigt mycket olika strategier för hur man använder bonuspengarna. På några ställen går huvudparten till den fakultet eller det program som har fått en utbildning med betyget mycket hög kvalitet. På andra ställen behåller rektor en stor del av pengarna centralt för användning på strategiska eller kvalitetsmässiga satsningar. 3.2.5 Hur precist är UKÄ:s utvärderingssystem? Trots kvalitetsutvärderingssystemets brister finns det enligt rektorerna ändå en relativt hög grad av överensstämmelse mellan utvärderingarna från UKÄ:s bedömargrupper och lärosätenas egna uppskattningar av kvalitetsnivån i utbildningarna – särskilt när det gäller de utbildningar som fått betyget bristande kvalitet.