rfr · H20WRFR5 · 2015-04-15 00:00:00 — En felmarginal på bedöms av rektorerna att vara mycket högt. Det kan nämligen få allvarliga ekonomiska och personalmässiga konsekvenser om en utbildning felaktigt bedöms ha bristande kvalitet och lärosätet mot bakgrund av detta förlorar examenstillståndet. Är det fel så är det för mycket fel i ett system som har såna allvarliga konsekvenser. Behövs andra eller kompletterande utvärderingskriterier? Bland rektorerna finns det en skepsis till att endast bedöma kvaliteten på utbildningar utifrån de kriterier som man använder i det nya kvalitetsbedömningssystemet. En del anser att man helt måste kassera det nya systemet till förmån för ett system med större legitimitet inom sektorn – ett system som blir till i en dialog mellan sektorn, regeringen och UKÄ9 – medan andra bedömer att man åtminstone måste komplettera de nuvarande bedömningskriterierna med andra och fler kriterier när man bedömer kvaliteten på en utbildning. Hur ser kompetensen ut på lärosätet, hur mycket tid har studenterna för sina arbeten, vad läser dom för litteratur, hur kvalificerade uppgifter har dom, hur ser läroprocessen ut, vilka typer av tentamina har dom, vilka övriga kvalitéer – ansvar, självständighet, kritiskt tänkande – utvecklar dom ? Hur ser samverkan ut med offentlig sektor, eller privat sektor? Hur förankrar dom sina utbildningar i en kommande yrkespraktik ? Det finns ett trettiotal såna frågor som också är viktiga. av de utbildningsansvariga pekar också på att det i hög eller mycket hög grad finns ett behov av fler indikatorer för att kunna säga något tillförlitligt om kvaliteten hos utbildningarna (jfr tabell 38 i Delredovisning 3). av alla utbildningsansvariga vill också att självvärderingarna i högre grad ska 9 Flera rektorer hänvisar till universitets- och högskoleförbunds (SUHF) förslag till ett nytt kvalitetsbedömningssystem. Universiteten och högskolorna bör enligt SUHF:s förslag själva ha huvudansvaret för att löpande kontrollera och vidareutveckla kvaliteten på sina utbildningar, medan UKÄ:s framtida roll bör vara att kontrollera lärosätenas övergripande kvalitetsarbete och kvalitetsprocedurer samt att vara den instans som tilldelar – och eventuellt återkallar – lärosätenas granskningsrätt. Jfr Slutrapport från för kvalitetsfrågor 2012–2013, : . tas med i utbildningsutvärderingarna än vad som har varit fallet (jfr tabell 16 i Delredovisning 3). Rektorernas skepsis i fråga om bedömningskriterierna återfinns i hög grad också bland de utbildningsansvariga. Som tabell 8 visar är det av alla utbildningsansvariga som anser att kvalitetssäkringssystemets delar i hög eller mycket hög grad mäter om utbildningen håller hög kvalitet.10 Det är också bara drygt hälften som bedömer att deras utbildning i hög eller mycket hög grad har utvärderats i fråga om tillräckligt relevanta under- och delmål. Vidare anser att det självständiga skriftliga examensarbetet i hög eller mycket hög grad är en bra kvalitetsindikator för utbildningen.11 Som framgår av tabellen är det särskilt de utbildningsansvariga för utbildningar som har fått omdömet bristande kvalitet som är skeptiska till bedömningskriterierna. Tabell 8 Utvärderingskriterierna och bedömningsresultatet. Andelen som instämmer i hög grad eller mycket hög grad, i procent mäter om utbildningen håller hög Utbildningen har utvärderats i fråga om tillräckligt relevanta under- och examensarbetet är en bra Anm.: *) Alla med ännu okänt resultat ingår också under kategorin Alla. Denna skepsis bekräftas av värdena i tabell 9, som visar hur rättvisande bedömningsunderlaget bedöms ha varit för utvärderingsresultaten fördelat på de tre omdömena mycket hög kvalitet, hög kvalitet och bristande kvalitet. 10 Det fanns sex olika svarsmöjligheter (avrundad andel i procent av alla studieansvariga inom parentes): I mycket hög grad (), I hög grad (), I viss grad (), I mindre grad (), Inte alls () och Vet inte (). 11 Också här fanns det sex svarsmöjligheter (avrundad andel i procent av alla studieansvariga inom parentes): I mycket hög grad (), I hög grad (), I viss grad (), I mindre grad (), Inte alls () och Vet inte (). Tabell 9 Det använda bedömningsunderlaget gav ett rättvisande utvärderingsresultat. Andelen som instämmer i hög grad eller mycket hög grad, i procent Anm.: Varken kolumner eller rader ger summan . Kvalitetsresultaten är från den första utvärderingen, om de redan är kända. Bara mellan av de ansvariga för utbildningarna som har fått omdömet bristande kvalitet anser således att bedömningsunderlaget har gett ett rättvisande utvärderingsresultat. Men också andra tal sticker ut och bidrar till att ge en bild av att man i utbildningsmiljöerna upplever att utvärderingsunderlaget är otillräckligt. av de ansvariga bedömer att bedömningsunderlaget i hög eller mycket hög grad gav en rättvisande bild av deras kandidatutbildningar, även om dessa fick omdömet hög kvalitet. Bland masterutbildningarna är detta tal också mycket lågt, , medan bara hälften av de utbildningsansvariga för de magisterutbildningar som fick omdömet mycket hög kvalitet fann att bedömningsunderlaget i hög eller mycket hög grad gav en rättvisande bild av utbildningens kvalitet. Rent allmänt måste det sägas att kvalitetssäkringssystemet både hos rektorerna och de utbildningsansvariga upplevs ha stora problem med tillförlitligheten. Systemet är inte bra, det är alltför osäkert, det är alltför mycket gissning. Och det är väldigt rättsosäkert, tycker jag, i förhållande till, så att säga … alltså, om man tänker såhär, det kan hänga på ett enda examensarbete, egentligen, skillnaden mellan om det fått ”hög kvalitet” eller ”bristfällig kvalitet”. Och, i förlängningen, mellan att man då kanske lägger ner ett program, eller att man får indraget examenstillstånd (Rektor) Både rektorerna och de utbildningsansvariga pekar på att man har lagt ned stora resurser på genomförandet av kvalitetsreformen. Således var av de utbildningsansvariga överraskade över omfattningen på arbetet med självvärderingarna (jfr tabell 16 i Delredovisning 3). Intervjuerna som genomfördes i de nio särskilt undersökta utbildningsmiljöerna visade i förlängningen av detta att genomförandet av kvalitetsreformen har medfört stora omkostnader för de berörda medarbetarna på de tre lärosätena, och på en del ställen har utvärderingsprocessen också skapat oro för den enskildes anställning. Det har varit jättejobbigt. Jag tror alla är jättetrötta, faktiskt. [...] Det upplevs som en ganska jobbig process, där alla är lite osäkra. Det som kanske inte har varit helt lyckat är den effekten att [...] utvärderingar stjäl en massa energi. Man blir så upptagen av utvärderingar att man nästan helt glömmer det som man egentligen skulle [...] fokuset hamnar på examensresultaten snarare än på undervisning och lärande. upplever medarbetarna att kvalitetsreformen ställer krav på en mer direkt koppling mellan forskning och undervisning, vilket i praktiken kan innebära en risk för anställningen för de medarbetare som inte har en doktorsexamen. har det vart såhär [...] att dom som forskar har forskat, och dom som har undervisat har undervisat [...] Och är det mer integrerat. [...]Skiftet har skett, för våran del. Alla ska forska. Adjunkter har vi inte kvar här, om . Hade inte det här hänt, den här reformen, så hade vi inte vart här, utan då hade vi levt vidare med att adjunkter undervisar, och forskare, dom bara forskar. Association for in Higher Education (ENQA), som är en paraplyorganisation för de nationella kvalitetssäkringsorganisationerna (i , därefter UKÄ), uttalade i sin senaste utvärdering av det svenska kvalitetssäkringssystemet 2012 en skarp kritik mot detta system. ENQA fann inte att det svenska systemet levde upp till organisationens riktlinjer för extern kvalitetskontroll av högre utbildning, alltså till The Standards and in Higher Education Area (ESG).12 ENQA kritiserar i första hand det svenska systemet för två saker, för det första för att systemet inte tar hänsyn till lärosätenas interna kvalitetsarbete och för det andra för bristande oberoende av regeringen. Det heter bland annat i slutrapporten: The present Swedish system is fundamentally at odds with ESG. ESG’s first principle is that external quality should build on the results of internal quality , but the Swedish system takes no account of HEIs’ arrangements for internal quality , except at the very . A basic principle of ESG is that quality systems should lead to enhancement. In the Swedish system there are no recommendations for improvement. Though the Review Panel could get no authoritative statement of the aims of the system, the word used most stakeholders inteviewed was ‘control’. Staff and students involved in the first phase of evaluations stated that the purpose was described to them as ‘ranking’. ESG are about quality as much as standards, but the Swedish system is interested in standards almost exclusively. It is a fundamental requirement of the ENQA criteria that agencies should be ‘independent’, in terms of the ‘definition and operation of [their] procedures and methods’. HSV cannot be considered ‘independent’, due to the extent to which their procedures and methods, as well as overall aims and objectives have been dictated by Government.13 12The Standards and in Higher Education Area (ESG)’ beskrivs här: . 13Jfr s. 23 i for Higher Education: Review of ENQA Membership Även om rektorerna har olika hållningar till ENQA:s förståelse av kvalitetssäkring – en del rektorer uttrycker farhågor för att det genom ENQA:s tillvägagångssätt kan bli för mycket fokus på input och process och för lite fokus på output – upplevs den bristande internationella acceptansen av det svenska systemet som ett problem. Rektorerna bedömer att den bristande acceptansen kan få negativa följder för synen på svenska universitets- och högskoleutbildningar i resten av . Kritiken från ENQA har också fått inflytande på genomförandet av kvalitetsutvärderingssystemet. ENQA:s kritik skapar osäkerhet om systemet och om huruvida det kan vara värt att göra den stora insats som krävs för att genomföra det nuvarande systemet. En medarbetare återger övervägandena om arbetsinsatsen med frågan: ”Hur mycket ska vi göra med tanke på att det här systemet ändå har blivit underkänt av ENQA?” införde man i det svenska högskoleväsendet två nya reformer: autonomireformen och kvalitetsreformen. Reformerna hade till syfte att förstärka kvaliteten inom svensk högre utbildning. På uppdrag av utbildningsutskott påbörjade vid Institut for Statskundskab på ett uppföljningsprojekt som skulle se närmare på genomförandet och på vilka effekter som de båda reformerna hade haft så långt. Detta har resulterat i fyra delredovisningar (Kalpazidou , 2014; Sørensen och Mejlgaard, 2014; och , 2015; Haase och , 2015), och i den här rapporten finns huvudresultaten från dessa fyra delredovisningar sammanfattade. När det gäller autonomireformen kan man dra slutsatsen att även om den har gett rektorerna och den högsta ledningen på universitet och högskolor en ökad formell makt anser rektorerna att den i praktiken bara i viss utsträckning har lett till en ökning av den faktiska makten på lärosätenas ledningsnivå. Utåt upplever rektorerna sig således fortfarande vara underställda en rad externa dokumentations- och kvalitetskrav samt budgetramar, som begränsar deras faktiska makt. Inåt gentemot sin egen organisation har rektorerna och den högsta ledningen fått större makt, vilket de dock använder sig av i varierande omfattning. Lokal lärosätesspecifik kultur och tradition verkar ha en avgörande betydelse för hur autonomireformen har omsatts i praktiken, till exempel i organisatoriska förändringar. I det samlade högskolelandskapet har de största och mest inflytelserika organisationerna varit återhållsamma med att göra större förändringar mot bakgrund av reformen. Detta har haft en smittsam effekt på övriga högskolor och universitet. Dock har en del rektorer använt sig av den möjlighet som autonomireformen har gett att ändra fakultetsnämndernas arbetsuppgifter och befogenheter samt att skapa en tydligare linjär ledning. I överensstämmelse med de lokala skillnaderna i hur stora förändringar som autonomireformen har gett upphov till varierar också bilden av reformens effekter längre ned i systemet. Generellt verkar autonomireformen inte ha haft särskilt stor betydelse på studieledningsnivå. Många utbildningsansvariga svarar därför ”vet inte” på enkätfrågor om reformens effekter. De utbildningsansvariga som förhåller sig direkt till autonomireformen upplever dock att den har lett till ökad toppstyrning på deras lärosäte, vilket innebär att centraliseringen av makt på ledningsnivån har skett på bekostnad av det kollegiala beslutsfattandet. uttrycker en del informanter både på rektors- och studieledningsnivå farhågor för att autonomireformen skulle kunna resultera i ett anställningssystem med så stor lokal variation att det kan leda till hinder för medarbetarrörligheten mellan de olika lärosätena. Kvalitetsreformen innebar ett fokusskifte från processer och procedurer till resultat i förhållningssättet gentemot kvalitetssäkringen av svenska högskoleutbildningar. Med reformen fick () och senare () till uppgift att införa ett nytt kvalitetssäkringssystem som fokuserade på de studerandes lärandeutbyte mätt i förhållande till utbildningens lärandemål. Detta mäts i praktiken först och främst utifrån de studerandes avslutande skriftliga examensarbeten. Men också högskolornas och universitetens självvärderingar, intervjuer med och besök på lärosätena, intervjuer med studerande samt i mindre omfattning underlag från alumner, har legat till grund för bedömningen av utbildningarnas kvalitet i de 2 092 utvärderingar som har gjorts . Utbildningarna har tilldelats ett av tre omdömen: mycket hög kvalitet, hög kvalitet eller bristande kvalitet. De utbildningar som har fått omdömet bristande kvalitet ska omvärderas . Om en utbildning vid omvärderingen återigen får omdömet bristande kvalitet återkallas lärosätets examenstillstånd för denna utbildning. Omvänt tilldelas de utbildningar som får omdömet mycket hög kvalitet en ekonomisk bonus. Av de 2 092 utvärderingar som genomfördes har fått omdömet mycket hög kvalitet, hög kvalitet, medan av utbildningarna i första omgången bedömdes ha bristande kvalitet. 43 av dessa utbildningar har de ansvariga lärosätena själva valt att lägga ned, medan alla utbildningar med bristande kvalitet som har omvärderats har fått omdömet hög kvalitet. Den främsta slutsatsen i fråga om kvalitetsreformen är enligt informanterna att den har lett till höjd kvalitet inom högskolesystemet. Kvalitetsreformen har lett till att högskolorna och universiteten i ännu högre grad än har satt fokus på utbildningarnas innehåll och kvalitet. Man har särskilt arbetat med kvalitet på de utbildningar som i den första omgången fick omdömet bristande kvalitet. Mot bakgrund av utvärderingarna har man således vidtagit en rad nya åtgärder för att höja kvaliteten. Det handlar exempelvis om revideringar av kursplaner, ytterligare information till de studerande om utbildningarnas krav och förutsättningar samt införande av mer metodundervisning. En annan markant positiv effekt av kvalitetsreformen har enligt de utbildningsansvariga varit att de studerandes lärandeutbyte har ökat. Detta gäller alla de tre centrala lärandemålen: kunskap och förståelse, färdighet och förmåga samt värderingsförmåga och förhållningssätt. Kvalitetsreformen har också skapat större uppmärksamhet kring och förståelse för examensbeskrivningar och examensmål, och reformen har därför hjälpt till att säkerställa en djupare implementering av Bolognaprocessen inom det svenska högskolesystemet. En tredje effekt av kvalitetsreformen har varit att det har blivit mer fokus på det avslutande skriftliga examensarbetet. En del utbildningar har tilldelats mer resurser till detta arbete, och på många ställen har man infört nya kvalitetssäkringsprocesser för detta. Flera respondenter bedömer dessutom att kvalitetsreformen generellt har lett till ett mer systematiskt tillvägagångssätt i arbetet med kvalitet. Det som har drivit kvalitetsutvecklingen har enligt respondenterna i första hand varit risken att ett examenstillstånd återkallas. Denna risk har betytt mycket mer för de utbildningsansvariga än den ekonomiska bonus som delas ut till utbildningar med mycket hög kvalitet. har dock också funnit en rad nackdelar och negativa effekter hos det nya kvalitetssäkringssystemet. Det nya kvalitetssystemet har för det första en mycket låg legitimitet inom sektorn. Det har också kostat stora ekonomiska och mänskliga resurser att genomföra kvalitetsreformen på läro- Ett av problemen med det nya systemet är enligt rektorerna att det lägger för stor vikt vid resultatet och för lite vikt vid procedurer och processer, vilket bland annat betyder att den studerandes utveckling under utbildningens gång hamnar utanför blickfånget. Ytterligare ett problem med det nya kvalitetsbedömningssystemet är enligt respondenterna att detta system med sitt starka fokus på det avslutande skrift- liga examensarbetet är bättre på att bedöma traditionella akademiska utbild- ningar än yrkesutbildningar och tvärvetenskapliga utbildningar. viktiga praktiska lärandemålen för yrkesutbildningarna är det till exempel inte möjligt att utläsa av det avslutande skriftliga arbetet. På det hela taget bedöms det nya systemet av rektorerna och de utbildnings- ansvariga inte vara tillräckligt tillförlitligt för att kunna bedöma kvaliteten på svensk högre utbildning. De bedömer således att det är för många felaktigheter Detta beror enligt informanterna på att utvärderingarna bas- eras på ett bristfälligt underlag. Informanterna pekar på att det både behövs fler indikatorer än de som tas med nu och en annan viktning av de indikatorer som tas med, för att man på ett meningsfullt sätt ska kunna bedöma kvaliteten De utbildningsansvariga efterlyser bland annat att man läg- ger större vikt vid lärosätenas självvärderingar i bedömningarna. Det nya svenska kvalitetssäkringssystemet är med sitt fokus på slutresultatet också mycket annorlunda än andra europeiska system, och The (ENQA) har kritiserat det svenska systemet för att inte ta hänsyn till lärosätenas interna kvalitetsarbete. I sin utvärdering av det svenska systemet pekade ENQA vidare på att bristande oberoende av regeringen var ett problem. Kvalitetssäkringssystemet blev därför också underkänt av ENQA. Sammanfattningsvis kan man således dra slutsatsen att kvalitetsreformen å ena sidan enligt informanterna till detta uppföljningsprojekt har lett till ökad kvalitet inom det svenska högskoleväsendet, men å andra sidan pekar samma informanter alltså på en rad nackdelar med och negativa effekter av reformen. Avslutningsvis kan det sägas att det parallellt med uppföljningsprojektet som sattes igång har diskuterats och fortfarande diskuteras olika modifieringar av kvalitets- och autonomireformerna samt nya åtgärder som kan få betydelse för reformernas långsiktiga effekter. som har diskuterats märks UKÄ:s reflexioner om möjliga förbättringar av det nuvarande kvalitetsbedömningssystemet, som lades fram i september 2013,14 samt det förslag om högskolestiftelser som regeringen lade fram i en departementspromemoria.15 Förslaget om högskolestiftelser blev uppskjutet i första vändan på grund av en rad oklarheter som kom fram i remissförfarandet.16 När det gäller ENQA kan också nämnas att UKÄ offentliggjorde ett beslut om att skjuta upp begäran till ENQA om en ny granskning av det svenska kvalitetsutvärderingssystemet. Det innebär att är fullvärdig medlem av ENQA, utan har haft status som affilierad medlem.17 Slutligen redovisade professor , före detta rektor på sitt förslag till hur systemet för kvalitetssäkring av högskoleutbildningar ska organiseras framöver. Hon fick utredningsuppdraget av regeringen i april 2014.18 14UKÄ (2013). Reflektioner kring det nuvarande utvärderingssystemet. Erfarenheter 2011 – . 2013. load/18.20b4b8a91416cd9c2896c/1403093617904/reflektioner_kring_det_nuvarande_utvarderingssystemet.pdf. 15Högskolestiftelser – en ny verksamhetsform för ökad handlingsfrihet (Ds 2013:49). Jfr kes/hogskolestiftelser-ska-utredas-mer_8652240.svd?utm_source=sharing&utm_me- dium=clipboard&utm_campaign=20150408. , och (2015). Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i . Delredovisning 3: Enkätundersökning till studieansvariga. Rapporter från 2014/15:RFR6. Haase, och (2015). Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i . Delredovisning 4: Den fallstudiebaserade undersökningens första fas. Rapporter från 2014/15:RFR7. system för kvalitetsutvärdering –2014. Examina på grundnivå och avancerad nivå. Rapport 2012:15 R. for Higher Education’s quality evaluation system 2011–2014. Rapport 2011:3 R. system för kvalitetsutvärdering –2014. Rapport 2010:22 R. Att fånga bildning. Rapport 2009:24 R. Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i . Delredovisning 1: Skrivbordsstudie om autonomi- och kvalitetsreformerna. Rapporter från 2013/14:RFR21. Håller utvärderingsmetoden tillräcklig kvalitet? En uppföljning vid av system för kvalitetsutvärdering –2014. Bilaga 9 till SUHF: Slutrapport från för kvalitetsfrågor 2012– 2013. 2009/10:139 Fokus på kunskap – kvalitet i den högre utbildningen. 2009/10:149 En akademi i tiden – ökad frihet för universitet och högskolor. Granskning av kvalitetsarbetet vid . En granskning samordnad av SUHF. Bilaga 3 till SUHF: Slutrapport från för kvalitetsfrågor 2012–2013. Granskning av kvalitetsarbetet vid . En granskning samordnad av SUHF. Bilaga 4 till SUHF: Slutrapport från för kvalitetsfrågor 2012–2013. Slutrapport från för kvalitetsfrågor 2010– 2011. Slutrapport från för kvalitetsfrågor 2012– 2013. A long-term stance adopted by the Education (SUHF) regarding a national quality system for higher education. on Quality, . Sørensen, . och . Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i . Delredovisning 2: Intervjuundersökning med rektorer. Rapporter från 2013/14:RFR22. Reflektioner kring det nuvarande utvärderingssystemet. Erfarenheter 2011 – . . Statlig styrning och ansvarsutkrävande Utfrågningsprotokoll EU, euron och krisen offentliga utfrågning om framtida MILJÖ- OCH JORDBRUKSUTSKOTTET OCH Uppföljning av vissa frågor inom landsbygdsprogrammet Forskning och utveckling inom försvarsutskottets ansvarsområde Kontraheringsplikt vid tecknandet av barnförsäkringar KU, FiU, KrU, UbU, MJU och NU Öppet seminarium om mål- och resultatstyrning: vilka mål, vilka resultat? offentliga utfrågning om gymnasiereformen – Utbildning för hållbar utveckling inklusive entreprenöriellt lärande Hur kan ny kunskap komma till bättre användning i skolan öppna seminarium om folkhälsofrågor onsdagen Mogen eller övermogen? – arbetsmarknadsutskottets offentliga se- minarium om erfaren arbetskraft Offentlig utfrågning om sjöfartens kapacitetsmöjligheter Offentlig utfrågning om flygtrafikledningstjänsten – har vi landat i den bästa lösningen? Offentlig utfrågning om oredlighet i livsmedelskedjan offentliga utfrågning om hur ny kunskap bättre ska kunna komma till användning i skolan offentliga utfrågning om en fossiloberoende for- Etisk bedömning av nya metoder i vården – en uppföljning av landstingens och statens insatser Uppföljning av regeringens resultatredovisning för utgiftsområde 17 Kultur, medier, trossamfund och fritid En bok är en bok är en bok? – en fördjupningsstudie av e-böckerna Offentlig utfrågning om funktionshindersperspektiv i kulturarvet – En uppföljning av transportsystemets tillgänglighet för personer med funktionsnedsättning offentliga utfrågning om ändring av be- slut om höjd nedre skiktgräns för statlig inkomstskatt Inventering av skatteforskare 2013 Ett förlängt arbetsliv – forskning om arbetstagarnas och