rfr · H20WRFR6 · 2015-03-26 00:00:00 — – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i Denna delredovisning är utarbetad av och i samarbete med , , , , , , och . Sørensen. Delredovisningen har översatts till svenska. vid svarar för innehållet (metod, resultat och slutsatser) i delredovisningen. Riksdagstryckeriet, , 2015 Det övergripande målet för svensk utbildningspolitik är enligt beslut att ska vara en ledande kunskaps- och forskningsnation som kännetecknas av hög kvalitet. För den högre utbildningen är målet att utbildning och forskning vid universitet och högskolor ska hålla en internationellt sett hög kvalitet och bedrivas effektivt. och regeringen beslutade att genomföra två reformer för att höja kvaliteten i den högre utbildningen. Den ena handlar om mindre styrning av universitet och högskolor (autonomireformen) och den andra om kvalitetssäkring av utbildningen (kvalitetsreformen). En viktig uppgift för utskott är att följa upp och utvärdera riksdagsbeslut inom utskottens ämnesområden. Den delredovisning som publiceras i denna rapport ingår i utbildningsutskottets uppföljnings- och utvärderingsarbete. Syftet med det projekt som redovisningen ingår i är att följa genomförandet och effekterna av autonomi- och kvalitetsreformerna och på så sätt kunna dra lärdomar för framtiden. Den övergripande frågeställningen är om de båda reformerna främjar en ökad kvalitet i svensk högre utbildning . Projektet utförs av () vid och kommer att belysa genomförandet och effekterna av reformerna ur flera olika perspektiv. har inrättat en styrgrupp med ledamöter från samtliga partier som ska följa projektet, men det är CFA som svarar för innehållet (metod, resultat och slutsatser) i respektive redovisning. Autonomi- och kvalitetsreformerna är de senaste stora reformerna av svensk högre utbildning och ingår, som den första delredovisningen visar, i en utveckling av det svenska högskoleväsendet som har pågått . Sedan utbildningsutskottet gav CFA uppdraget att följa implementeringen av reformerna har utvecklingen fortsatt ytterligare. remitterade regeringen en departementspromemoria med ett förslag om att införa en ny verksamhetsform – högskolestiftelser – för att öka lärosätenas autonomi och handlingsfrihet. Eftersom remissvaren visade att vissa frågor behövde utredas vidare sköt regeringen dock fram planerna på en stiftelsereform. tillsatte regeringen en utredning som bl.a. ska föreslå om och i så fall vilka övergripande förändringar av utbildningsutbudet som behöver göras för att bättre möta framtida behov. Regeringen tillsatte även en utredning om ledarskapet vid universitet och högskolor. redovisade regeringens särskilda utredare sitt uppdrag att utreda hur kvalitetssäkringssystemet ska organiseras . Frågan bereds inom (). I denna rapport publiceras den tredje delredovisningen som innehåller en enkätundersökning till studieansvariga för vissa utbildningar vid svenska uni- 2014/15:RFR6 FÖRORD versitet och högskolor. Andra intressenters syn på autonomi- och kvalitetsreformerna beskrivs i två andra delredovisningar (rektorer i rapporten /14:RFR22 och studenter, alumner och avnämare i rapporten /15:RFR7). Av förklarliga skäl ger varje delredovisning i sig endast en begränsad bild av hur reformerna har implementerats i högskolesektorn, och det är först när redovisningarna från alla delstudier i projektet läggs samman i en kommande huvudrapport som en mer komplett bild av reformernas effekter kan skönjas. styrgrupp för uppföljning och De utvärderade utbildningarna ............................................................. Respondenterna kan vara ansvariga för mer än en utbildning .............. Tids- och intressentavgränsning ........................................................... 3 Resultat av enkätundersökningen .............................................................. Kvalitetssäkringssystemet – bedömningsunderlag ............................... Förväntningar på utvärderingens resultat ............................................. Uppfattning om utvärderingskriterierna ............................................... Effekter av ”bristfällig” kvalitet som utvärderingsresultat ................... 3.5.1 Omvärderade utbildningar .............................................................. Effekter för de akademiska miljöernas organisering av Effekter för de akademiska miljöernas prioritering i Effekter för utbildningarnas lärandemål............................................... Effekter på utbildningarnas bildningsinnehåll och 3.10 Effekter för utbildningarnas samarbete med det omgivande 3.11 Effekter av autonomireformen............................................................ 3.12 Rektorernas påståenden om kvalitets- och autonomireformerna ........ Appendix 1: Metodbeskrivning ............................................................ 6.1.4 Metodiska val.................................................................................. 6.1.5 Svarsprocent och respondentinformation ........................................ Appendix 2: Enkät till studieansvariga................................................. Den här rapporten är den tredje delredovisningen i en uppföljning av genomförandet och effekterna av de autonomi- och kvalitetsreformer som infördes i det svenska högskolesystemet 2011 för att höja kvaliteten på svensk högre utbildning. I rapporten presenteras resultaten av en enkätbaserad undersökning med studieansvariga från utbildningar vid svenska universitet och högskolor som –2014 utvärderades av () inom ramen för de kvalitetsutvärderingsomgångar som genomfördes (se vidare avsnitt 2.1 och Kalpazidou , 2014). Syftet med undersökningen har varit att redovisa de studieansvarigas erfarenheter och upplevelse av genomförandet och effekterna av autonomireformen och framför allt kvalitetsreformen. Enkätundersökningen ingår i ett större uppföljningsprojekt som () vid genomför på uppdrag av utbildningsutskott. I uppföljningen har man redan genomfört en skrivbordsstudie och en intervjuundersökning bland rektorerna. Uppföljningen omfattar också en delstudie som bygger på individuella intervjuer och fokusgruppintervjuer med en rad universitetsintressenter. Den enkätundersökning som ligger till grund för den här rapporten redovisar i första hand hur de studieansvariga inom högskoleväsendet har upplevt själva genomförandet och effekterna av de båda reformerna. Undersökningens respondenter är samtliga utsedda som studieansvariga på lärosätena. Respondenterna har endast tillfrågats om en utbildning i de fall de ansvarar för flera (se avsnitt 2). Hälften av de studieansvariga besvarade enkäten och de fördelade sig proportionellt över utbildningstyp och lärosätestyp och bedöms utgöra ett tillräckligt material för undersökningen. Eftersom några respondenter ansvarade för fler än en utbildning, är undersökningens material inte representativt för specifika utbildningar eller enskilda lärosäten. Trots att det rådde stor diskrepans mellan de bedömningsunderlag som faktiskt användes i utvärderingarna av utbildningarna och de underlag som de studieansvariga ville skulle användas, ansåg de studieansvariga i övervägande grad att utvärderingarna av deras utbildningar gav ett rättvisande resultat. Även om i stort sett alla studieansvariga förväntade sig att deras utbildningar skulle bli godkända, blev tre av fyra studieansvariga överraskade över det omdöme som utbildningen fick. De studieansvariga ville också att självvärderingar skulle användas som bedömningsunderlag i högre grad. SAMMANFATTNING 2014/15:RFR6 Utbildningarna utvärderades successivt i sex omgångar med cirka en sjättedel av utbildningarna i varje omgång. Utvärderingarna inleddes med omgång 1 och slutade med omgång 6 (se vidare avsnitt 2.1). Utbildningar med omdömet ”bristfällig” kvalitet kunde omvärderas året efter det att det första omdömet blivit känt. När denna enkätundersökning avslutades var bara resultaten av omvärderingarna kända, det vill säga resultaten från omgång 1 och 2. Bara ett fåtal av utbildningarna med omdömet ”bristfällig” kvalitet från omgång 1 och 2 lades ned före omvärderingen, och samtliga omvärderade utbildningar från omgång 1 och 2 blev godkända vid omvärderingen 2013, så ingen av dessa utbildningar lades ned på grund av låg kvalitet. Före omvärderingen hade utbildningarna genomgått stora förbättringar i form av en starkare styrning av utbildningens innehåll, dess metodtyngd, de avslutande självständiga arbetena och inte minst avstämningen av de studerandes förväntningar. Allt detta är åtgärder som inriktar sig mot en bättre matchning mot kvalitetsreformens resultatorienterade fokus. De godkända utbildningarna hade infört många åtgärder och förbättringar av samma typ, vilket tyder på att kvalitetsreformen har lett till ökade kvalitetsfrämjande insatser bland alla typer av utbildningar oavsett vilket utvärderingsresultat de fick. Exempelvis bedömde av de studieansvariga att deras utbildning var tvärvetenskaplig (se tabell 2). Svaren från de utbildningar som bedömdes vara tvärvetenskapliga avvek emellertid inte i förhållande till de utbildningar som bedömdes vara yrkesutbildningar eller traditionella akademiska utbildningar. Insatserna och åtgärderna var fokuserade på att stärka kvaliteten inom kvalitetssystemets mätområden lärande, metod och kvalitetssäkring, och en stor del av de studieansvariga ansåg i linje med detta att förberedelse- och kvalitetssäkringsarbetet i samband med utvärderingen hade ökat kvaliteten på deras utbildning. hade redan en hög grad av systematiskt kvalitetssäkringsarbete före reformen, medan hade en lägre grad av systematiskt kvalitetssäkringsarbete. Så även om i stort sett alla utbildningar redan hade någon form av systematiskt kvalitetssäkringsarbete innan kvalitetsreformen genomfördes, gjorde kvalitetsreformen det möjligt att förstärka detta ytterligare. Lärandet har stått i fokus som en av kvalitetsreformens centrala mätindikatorer, och de studieansvariga var eniga om att utvärderingen faktiskt hade lett till ett fokusskifte från undervisning till lärande. Det gällde såväl intellektuellt som socialt och personligt utbyte i fråga om lärande för de studerande på utbildningarna. En annan viktig del i de långa universitetsutbildningarna har varit deras bildningsinnehåll, där i stort sett alla studieansvariga uppgav att deras utbildning hade ett betydande bildningsinnehåll. Här bedömde de studieansvariga att bildningsinnehållet hade ökat efter utvärderingen, och att det skulle komma att öka ytterligare . En annan prioriterad del i de långa universitetsutbildningarna är samverkan med det omgivande samhället, där nästan varannan studieansvarig angav att 2014/15:RFR6 SAMMANFATTNING de hade en omfattande samverkan med det omgivande samhället. förväntade sig av de studieansvariga en ökad samverkan, medan drygt hälften förväntade sig en oförändrad samverkan med det omgivande samhället. De studieansvariga hade svårt att förhålla sig till hur autonomireformen hade inverkat på deras egen utbildning eftersom den reformen inte genomförs på utbildningsnivå utan på nivåer högre upp i lärosätenas organisation. En mindre del av de studieansvariga upplevde emellertid effekter på sådana områden som kvalitetsarbetets organisering, utbildningens uppbyggnad, prioriteringen av utbildningens innehåll och struktur och, i mindre grad, rekrytering och tjänstestruktur i fråga om de personer som undervisar på utbildningen. Intervjuundersökningen bland rektorerna (se Sørensen och Mejlgaard, 2014) resulterade i en rad slutsatser om kvalitetsreformens och autonomireformens effekter. I enkätundersökningen tillfrågades de studieansvariga i vilken utsträckning de instämde i dessa. Här fanns det en relativt stor överensstämmelse, såtillvida att de studieansvariga i allmänhet instämde i de slutsatser man hade kommit fram till i rektorsundersökningen, till exempel att kvalitetsarbetet vid utbildningarna hade fått en högre prioritet. Enkätundersökningen visar således att de studieansvariga har varit bekymrade över kvalitetsreformens innehåll, fokus och implementering och att en del av de studieansvariga gärna ville att andra bedömningsunderlag skulle användas. visar enkäten också att de studieansvariga generellt menar att kvalitetssäkringssystemet har medfört en bättre kvalitet i utbildningarna liksom en större uppmärksamhet på de studerandes lärande och utbildningarnas lärandemål. De studieansvariga menade att utbildningsutvärderingarna hade varit mycket resurskrävande men också mycket lärorika. Undersökningen visar således att kvalitetsreformens implementering har främjat de önskade förbättringarna av utbildningskvaliteten på svenska universitet och högskolor. I kapitel 4 i den här rapporten finns en mer detaljerad redovisning av resultaten av enkätundersökningen och i kapitel 3 finns en omfattande och komplett genomgång av resultaten. () vid Institut for Statskundskab på genomför uppföljningen av genomförandet och effekterna av autonomi- och kvalitetsreformerna på uppdrag av utbildningsutskott. I den här rapporten behandlas den tredje delstudien i uppföljningen. Den första delstudien består av en bakgrundsundersökning där man jämförde de svenska autonomi- och kvalitetsreformerna med generella tendenser och utvecklingar i . Den delstudien är klar (se delredovisning 1, Kalpazidou , 20141). Den andra delstudien byggde på intervjuer med ledningarna för svenska universitet och högskolor. I den delstudien dokumenteras ledningarnas arbete med och prioriteringar för genomförandet. Den är också klar (se delredovisning 2, Sørensen och Mejlgaard, 20142). Den här rapporten tar upp resultaten av den tredje delstudien som bygger på enkätfrågor till de studieansvariga om hur de har upplevt genomförandet och effekterna av det nya nationella systemet för kvalitetsutvärderingar. Den sista delen i uppföljningen är en fallstudie som omfattar ett visst antal utbildningar . Denna del redovisas också nu i en fjärde delredovisning och i en huvudrapport om fallstudien . För utbildningsutskott är syftet med den aktuella studien att undersöka hur de studieansvariga för de enskilda utbildningarna upplever genomförandet och effekterna av autonomi- och kvalitetsreformerna, bland annat om de upplever att reformerna har främjat kvaliteten i svensk högre utbildning. Reformerna av högskolesektorn i genomfördes och innehåller följande delar:3 Autonomireformen: Frihet att bestämma en egen intern organisation (dock inte styrelse och rektor), egna tjänstekategorier, egna anställningsförfaranden och egna interna befordringsmöjligheter. Kvalitetsreformen: Införande av ett nytt kvalitetssäkringssystem som fokuserar på resultat framför processer och procedurer, som mäter kvaliteten utifrån om de studerande uppnår utbildningarnas examensmål och som riktar särskilt fokus på de studerandes avslutande skriftliga arbete. Man ger bonus till utbildningar med omdömet ”mycket hög” kvalitet och inför en risk för att Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i . Delredovisning 1: Skrivbordsstudie om autonomi- och kvalitetsreformerna. Rapporter från 2013/14: RFR21. 2 . Sørensen och . Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i . Delredovisning 2: Intervjuundersökning med rektorer. Rapporter från 2013/14: RFR22. 3 En omfattande redogörelse för innehållet i de båda reformerna finns i delredovisning 1 (jfr fotnot 1). examensrätten kan gå förlorad för utbildningar med omdömet ”bristfällig” I den här rapporten behandlas resultaten från enkätundersökningen bland studieansvariga för de utbildningar vid svenska lärosäten (universitet och högskolor) som utvärderades –20144. Syftet har varit att ta reda på hur de studieansvariga upplever genomförandet och dokumentera deras upplevda effekter av autonomi- och kvalitetsreformerna på utbildningsnivå. De båda första delstudierna i uppföljningen har fokuserat på riksnivån och den högsta ledningsnivån vid universitet och högskolor, medan den tredje delstudien alltså fokuserar på de enskilda utvärderade utbildningarna och effekterna av reformerna på lokal nivå. Enkätundersökningens huvudteman och struktur är, enligt vad som överenskommits med projektets styrgrupp, bland annat inriktade på följande tolv teman (A–L). Avsnitten i kapitel 3 om enkätundersökningens resultat följer samma struktur, liksom själva enkäten, som finns i appendix 6.2. B.Förväntningar på utvärderingens resultat E.Effekter av ”bristfällig” kvalitet som utvärderingsresultat F.Effekter för de akademiska miljöernas organisering av kvalitetssäkringsarbetet G.Effekter för de akademiska miljöernas prioritering i kvalitetssäkringsarbetet H.Effekter för utbildningarnas lärandemål I.Effekter på utbildningarnas bildningsinnehåll och bildningsprioritering J.Effekter för utbildningarnas samarbete med det omgivande samhället L.Överensstämmelse med rektorsintervjuundersökningens resultat om kvalitetsreformen och autonomireformen För att kunna undersöka och analysera konkret praxis på lärosätena är undersökningen inriktad mot den vetenskapliga personal som ansvarar för kvaliteten hos de enskilda utbildningarna och gärna för förberedelsen och genomförandet av utvärderingen av utbildningarna, det vill säga i första hand studieansvariga, studieledare, programledare och studierektorer. Dessa personer omtalas i rapporten under den gemensamma benämningen ”studieansvariga”. 4 Ett stort tack till de många studieansvariga som tog sig tid att besvara de många enkätfrågorna. Det gjorde att ett relevant och omfattande datamaterial kunde samlas in (se också appendix 6.1 och 6.2). 2.1 De utvärderade utbildningarna Högskoleutbildningar över en viss storlek har utvärderats – 2014.5 Varje halvår –2013 utvärderades en delgrupp i en 12–18-månaderscykel och vid utgången av 2014 hade alla svenska högskoleutbildningar blivit utvärderade och bedömda på en skala med tre steg: ”bristfällig”, ”hög” eller ”mycket hög” kvalitet. De utbildningar som bedömdes ha en ”bristfällig” kvalitet har fått möjlighet till en förnyad utvärdering året efter det att resultatet av den ordinarie utvärderingen blev känt. Alternativet till en förnyad utvärdering var att utbildningen lades ned. I denna delstudie avslutades datainsamlingen och då var resultatet av utvärderingen av en del utbildningar (huvudsakligen i omgång 6) eller omvärdering (omgång 3 och 4) ännu inte känt. Utvärderingen av alla utbildningar i de två sista omgångarna (det vill säga omgång 5 och 6 som inleddes ) hade inte avslutats, medan utbildningarna med omdömet ”bristfällig” kvalitet i de två första omgångarna (omgång 1 och 2 som inleddes ) redan var omvärderade, eller nedlagda, med känt resultat . Utbildningar med omdömet ”bristfällig” kvalitet från de mellersta omgångarna (omgång 3 och 4 som inleddes ) var antingen nedlagda eller på väg att bli omvärderade . Sekvensen av utvärderingar, utvärderingsresultat och omvärderingar har inneburit en lärandeprocess för lärosätena och gett dem en möjlighet att utveckla kvalitetssäkringsarbetet eller införa handfasta eller kända åtgärder i samband med utvärderingsresultaten, till exempel genom att utbildningar har prioriterats upp och tillförts resurser och uppmärksamhet eller tvärtom genom att de lagts ned. En undersökning av effekterna för lärosätenas handlingsutrymme, strategier och åtgärder har därför varit ganska komplex och utsträckt och rum i fråga om utvärderingen av den enskilda utbildningen, men också i fråga om lärosätenas egna lärdomar om utvärderingarnas mål och syfte under loppet av de sex utvärderingsomgångarna.6 Den aktuella enkätundersökningen och analysen försöker därför ta hänsyn till att respondenterna befinner sig i olika stadier av utvärderingen av utbildningarna. I denna delstudie undersöks inte huruvida autonomi- och kvalitetsreformerna är önskvärda eller inte vid de enskilda utbildningarna. Här hänvisas i stället till delredovisning 2 (Sørensen och Mejlgaard, 2014). 5Storleken på en utbildning mäts genom antalet avlagda examina. Är det färre än fem utvärderas utbildningen på annat sätt och ingår då inte heller i denna enkätundersökning. 6Exempelvis minskar andelen utbildningar som får omdömet ”bristfällig” kvalitet under de Lärosätena blir förmodligen bättre på att dokumentera utbildningskvaliteten i takt med att de lär av de kravspecifikationer som tillämpats i de tidigare utvärderingsomgångarna. Bland flera andra kritiserar () bristen på genomskinlighet och kunskap i fråga om dokumentationskraven i de första omgångarna av utbildningsutvärderingarna, och systembeskrivning reviderades 2012 med bättre förklaringar och anvisningar (jfr Rapport 2012:15 R och Rapport 2011:3 R). 2.2 Respondenterna kan vara ansvariga för mer än en utbildning Det har visat sig att många studieansvariga är, eller har varit, ansvariga för arbetet med utvärderingen av mer än en utbildning. För att inte belasta dessa respondenter orimligt mycket med upprepade identiska enkätundersökningar har man slumpmässigt valt ut en utbildning som den studieansvariga ombads att besvara enkätundersökningen för. Övriga unika respondenter, som bara ansvarade för en utbildning i samplet, ombads att besvara enkätundersökningen för denna utbildning. Av de nästan 1 900 identifierade utvärderade utbildningarna kunde undersökningen identifiera nästan 900 unika respondenter. Bland de återstående 1 000 handlade det först och främst om personer som ansvarade för utvärderingen av flera utbildningar och som därför förekom dubbelt. En mindre grupp av utbildningar, mestadels från omgång 6, där det inte har varit möjligt att identifiera utbildningen har utelämnats i undersökningen. Svarsprocenten bland de unika respondenterna blev (för en mer detaljerad metodbeskrivning, se appendix 6.1). Respondenterna i undersökningen omfattar alla angivna ansvariga personer från lärosätena. De har identifierats genom en flerstegsprocess, där UKÄ först har kontaktats för respondentinformation. Detta gav bruttolistor med alla utbildningar och personkontakter för omgång 4, 5 och 6, inklusive utbildningar som var för små för att bli utvärderade eller som av andra skäl inte skulle utvärderas. Härifrån har de utvärderade utbildningarna från för omgång 4 och 5 hämtats och angetts per lärosäte. För de utvärderade utbildningarna från för omgång 1, 2 och 3 har de tidigare HSV-medarbetarna med ansvar för de enskilda utvärderingsgrupperna identifierats. Dessa kontaktades för att få information om lärosätenas kontaktpersoner för de utvärderade utbildningarna i omgång 1, 2 och 3. Dessa uppgifter för omgång 1 till 5 samlades slutligen ihop och skickades till UKÄ:s kontaktpersoner på de enskilda lärosätena med en förfrågan om att verifiera listan samt utöka den med kontaktpersoner för utvärderade utbildningar i omgång 6 samt eventuellt utbildningar som saknades från omgång 5. Bland de insamlade kontaktuppgifterna fanns som redan nämnts en del personer som var ansvariga för utvärderingen av mer än en utbildning. Dessa respondenter fick bara en enkät för en slumpvis utvald utbildning bland de utbildningar som respondenten ansvarade för. Om man räknar bort dessa som återkom identifierades 893 unika respondenter som var och en kunde svara för utvärderingen av en utbildning. Tabell 1 visar respondenternas fördelning på olika utbildningar och svarsprocenten för varje utbildning. Svarsprocenten är genomgående med undantag för yrkesutbildningarna, som ligger något under de övriga utbildningstyperna. Sammanlagt 446 unika respondenter besvarade enkätundersökningen. Tabell 1 Unika respondenter, svarsprocent och utbildningstyp. Antal och i procent 2.3 Tids- och intressentavgränsning Enkätundersökningen, inklusive framtagningen av enkäten, identifieringen av respondenterna och själva datainsamlingen i e-enkäten, genomfördes januari–. Enkätundersökningen handlar om vilka effekter de studieansvariga upplever att utvärderingen har haft på deras egen utbildning.