rfr · H30WRFR19 · 2016-01-01 00:00:00 — […] friheten som vi ville ha – att bygga upp våra egna system, och att genomföra våra egna utvärderingar – det är just det här: hur kostsamt det kommer bli, och vilka resurser internt det kommer kräva att förbereda. […] Så det kommer att krävas personella resurser, det kommer att krävas pengar till bedömarna som ska komma in. Och det är väl det man är lite rädd för: att vi ska göra den delen, sedan kommer UKÄ också att göra utvärderingar av ett urval utbildningar, där det kan bli dubbleringar. Så vi vet ju kanske inte i förväg vilka områden man kommer att titta på. (Kvalitetsansvarig administratör) Slutligen finns det också informanter som är bekymrade för att en alltför snabb övergång till det nya systemet eventuellt kan komma att leda till reformtrötthet inom sektorn. Intervjuundersökningen med de kvalitetsansvariga och de centralt placerade kvalitetsmedarbetarna från 25 lärosäten bekräftar i stor utsträckning de slutsatser som har lagts fram tidigare inom uppföljningsprojektet om kvalitetsreformens och autonomireformens effekter (jfr huvudrapporten, Sørensen et al. Å ena sidan har dessa reformer lett till högre kvalitet i utbildningarna, å andra sidan har det också funnits en rad problem, särskilt när det gäller kvalitetssäkringssystemet. Det råder en bred enighet bland informanterna om att reformerna har lett till en djupare implementering av Bolognamodellen i svensk högre utbildning. En effekt av reformerna har alltså varit en större förståelse för och medvetenhet om lärandemål och mer professionalitet i det praktiska arbetet med dessa mål. Reformerna har också lett till en kritisk genomgång av utbildningsprogram och kurser, vilket har lett till uppstramningar och förbättringar och i enskilda fall till nedläggning av utbildningar och kurser. Det avslutande skriftliga arbetet (examensarbetet) har kommit i fokus, och reformerna har generellt lett till ökad uppmärksamhet på kvalitetsarbetet, som man använder mer tid och resurser på . De resultat som har lagts fram i denna rapport visar också att reformerna har kunnat användas som en hävstång när det gäller förändringar som man annars skulle ha haft svårt att genomföra. Man har således i flera fall på lärosäten varit klar över att det fanns problem med kvaliteten i ett utbildningsprogram eller en kurs, men man har inte haft redskapen för att göra något åt det. Här har de tydliga sanktionerna för en utbildning som får sin kvalitet underkänd – risken att förlora examenstillståndet – tillsammans med en förstärkning av den centrala ledningen gjort det möjligt att genomföra förändringar som man tidigare hade svårt att genomföra, enligt informanterna. Informanterna uttrycker dock en oro för den ökande resursåtgången när det gäller kvalitetsarbete. Likaså riktas det kritik mot den ensidiga fokusering på kontroll och den bristande uppmärksamhet på kvalitetsutveckling som kvalitetsreformen inneburit. Man är således positiv till att det nya system som ska införas har fokus på båda delarna – och inte minst att det utgår från lärosätenas egna kvalitetssäkringssystem. Man ser generellt fram emot det nya systemet, men är också oroad för att det ska leda till dubbelarbete och innebära ännu en ökning av resursåtgången. Resultaten i den föreliggande rapporten visar också att reformerna exempelvis har lett till nya sätt att styra kvalitetsarbetet på, organisatoriska förändringar, nya pedagogiska åtgärder samt till etablering av nya kvalitetssäkringssystem och rutiner. Också i de nio särskilt utvalda utbildningsmiljöer som har återbesökts i samband med denna rapport visar resultaten att man oberoende av kvalitetsomdömena alltjämt har ett tydligt fokus på kvalitetsarbetet. Särskilt de utbildningar som blev underkända i den första omgången har arbetat hårt för att upprätta kvaliteten. Här visade intervjuerna med de utbildningsansvariga dessutom att man hade använt olika styrmodeller i detta arbete – antingen top-down eller bottom-up. Intervjuerna med de kvalitetsansvariga visade vidare att man hade fått få reaktioner från de studerande och omvärlden på UKÄ:s utvärderingar av utbildningarna. Man hade befarat kraftiga reaktioner, men de uteblev i stort sett. Man har inte heller kunnat se att söktrycket minskat till utbildningar som i första omgången blev underkända – och inte heller att man sökt sig bort från dessa utbildningar. Informanterna pekar dock på att underkännandet av kvaliteten orsakade en viss osäkerhet bland de studerande på utbildningarna, men att de i efterhand var positiva till förbättringarna i sina utbildningar. Av intervjuerna med de kvalitetsansvariga framgår även att de studerande generellt involveras i kvalitetsarbetet genom att delta i råd och nämnder men också genom kursvärderingar. På lärosätena upplever man dock överlag ofta att det kan vara svårt att få de studerande att fylla i kursvärderingar och att få studerande till alla råd och nämnder. Slutligen visade intervjuerna också att när det gäller centrala frågor som forskningsanknytning, samverkan och bildning, hade informanterna olika uppfattning om vad man egentligen ska avse med dessa begrepp och hur de kan omsättas i praktiken. Sammanfattningsvis har lärosätena implementerat reformerna på olika sätt och i viss mån efter befintliga lokala system och praxis. Autonomi- och kvalitetsreformerna uppfattas i efterhand som relativt konstruktiva av delundersökningens informanter. De uttrycker att reformerna med tiden har bidragit till en reell förändring och en förbättrad kvalitet i högskoleutbildningarna – som de i olika avseenden var problematiska och medförde en ökande resursåtgång. Reformerna har bidragit till att främja allmänna politiska satsningar på högskolan, som implementeringen av Bolognaprocessen, samverkan, ett ökat tvärsektoriellt samarbete och ett mer strategiskt tänkande på lärosätena när det gäller utbildnings- och kursutbudet. som helhet ger en bild av en sektor som generellt har arbetat intensivt med implementeringen av reformerna, vilket har lett till många reella kvalitetsförbättringar och nya rutiner, något som ger goda förutsättningar för att gå vidare mot det nya nationella kvalitetssäkringssystem som ska implementeras . for Higher Education: Review of ENQA Membership. in Higher Education. Analys av utvärderingar av utbildningskvalitet –2014. Slutrapport, del A. Skolan för Teknik och Hälsa. Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i . Delredovisning 3: Enkätundersökning till studieansvariga. Rapporter från 2014/15: RFR6. Haase, och . Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i . Delredovisning 4: Den fallstudiebaserade undersökningens första fas. Rapporter från 2014/15: RFR7. Högskolepedagogisk debatt, nr 1. Tema: kvalitetsutvärdering av högre utbildning. Att fånga bildning. Rapport 2009:24 R. for Higher Education’s quality evaluation system 2011–2014. Rapport 2011:3 R. system för kvalitetsutvärdering 2011- 2014. Examina på grundnivå och avancerad nivå (fastställd 21/12 2010, reviderad 19/6 2012). Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i . Delredovisning 1: Skrivbordsstudie om autonomi- och kvalitetsreformerna. Rapporter från 2013/14: RFR21. En utvärderare om system för kvalitetsutvärdering 2011−2014. Statsvetenskaplig tidskrift, vol. 114, nr 3. Håller utvärderingsmetoden tillräcklig kvalitet? En uppföljning vid av system för kvalitetsutvärdering –2014. Bilaga 9 till SUHF: Slutrapport från för kvalitetsfrågor 2012– 2013. Regeringens skrivelse: Kvalitetssäkring av högre utbildning (skr. 2015/16:76). (2015). promemoria: Kvalitetssäkring av högre utbildning (dnr U2015/1626/UH). (2015). Sørensen, . och . Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i . Delredovisning 2: Intervjuundersökning med rektorer. Rapporter från 2013/14: RFR22. Sørensen, .; ; ; ; och . Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i . Rapporter från /15: RFR5. Slutrapport från för kvalitetsfrågor 2010– 2011. Slutrapport från för kvalitetsfrågor 2012– 2013. Slutrapport från för kvalitetsfrågor 2013– 2015. Utbildningsutvärderingarnas effekter – En genomgång av effekterna av det nationella utvärderingssystemet 2011−2014. betänkande: Kvalitetssäkring av högre utbildning (bet. 2015/16: UbU9). (2016). I detta avsnitt beskrivs den metod som använts i den föreliggande delundersökningen. Undersökningens syfte har varit att dels ge en bild av hur de kvalitetsansvariga medarbetarna på de svenska lärosätena har upplevt implementeringen och effekterna av autonomi- och kvalitetsreformerna, dels att återvända till de nio utvalda utbildningsmiljöer, som senast besöktes i samband med Delredovisning 4 (jfr Haase och , 2015), för att klarlägga de viktiga nya effekterna av reformerna i dessa miljöer. Undersökningens primära metod har varit semistrukturerade intervjuer med centralt placerade kvalitetsmedarbetare och kvalitetsansvariga samt med utbildningsansvariga från de utvalda utbildningsmiljöerna. Valet av informanter till undersökningen har skett med utgångspunkt i de 26 universitet och högskolor som deltog i den andra delundersökningen (jfr Delredovisning 2, Sørensen och Mejlgaard, 2014). Av de 26 lärosätena hade 25 möjlighet att delta. Dessa lärosäten utbildar av alla studerande på både grundnivå och avancerad nivå. De kvalitetsansvariga har valts ut som informanter för att komplettera de tidigare rapporternas fokus på den högsta ledningen (jfr Delredovisning 2, Sørensen och Mejlgaard, 2014), studierektorerna (jfr Delredovisning 3, och , 2015) samt de utbildningsansvarigas upplevelser (jfr Delredovisning 4, Haase och , 2015). Informanterna har utsetts av universiteten och högskolorna själva och sedan kontaktats direkt av (). I några fall har lärosätet önskat ställa upp med två medarbetare till intervjuerna. I Bilaga 3 finns en lista över samtliga informanter, deras befattningar och var de är anställda. För att fokusera på reformernas effekt och på de justeringar som har gjorts lokalt efter UKÄ:s utvärderingar har de nio utbildningsmiljöerna från Delredovisning 4 (jfr Haase och , 2015) också återbesökts. De nio utbildningsmiljöerna från Delredovisning 4 är fördelade på tre lärosäten. På varje lärosäte har en centralt placerad kvalitetsansvarig intervjuats, som ingår i den generella undersökningen av de kvalitetsansvarigas upplevelser av reformerna, och tre utbildningsansvariga. Som beskrivs i Delredovisning 4 (Haase & , 2015, s. 53–54) har urvalet av de nio utbildningsmiljöerna gjorts utifrån en rad olika kriterier. I urvalet har det varit viktigt att få med olika typer av lärosäten, utbildningar och utvärderingsresultat. I Tabell 7 listas de återbesökta utbildningsmiljöerna och deras särdrag. BILAGA 1: METODBESKRIVNING Tabell 7 Utvalda utbildningsmiljöer, lärosäten och kvalitetsomdömen Det har genomförts 25 intervjuer med 28 centralt placerade kvalitetsmedarbetare och/eller kvalitetsansvariga fördelade på 25 universitet och högskolor (vid tre intervjuer deltog två informanter). Därutöver har det genomförts nio intervjuer med tio utbildningsansvariga på de tre återbesökta lärosätena (vid en intervju deltog två informanter). De 25 intervjuerna med de kvalitetsansvariga genomfördes via Skype eller – i enstaka fall – ansikte mot ansikte eller via telefon. Intervjuerna med de tio utbildningsansvariga genomfördes ansikte mot ansikte med undantag för en intervju som genomfördes via Skype. Alla intervjuer har spelats in och finns som ljudfiler. Efter avslutad datainsamling transkriberades samtliga intervjuer och de kodades med hjälp av det kvalitativa analysprogrammet NVivo 11. Kodningen utgick inledningsvis från rapportens överordnade tema – de kvalitetsansvarigas upplevelse av implementeringen och effekterna av autonomireformen och kvalitetsreformen samt de nio utbildningsansvarigas upplevelse av utvecklingen av deras utbildningar – men kodnings- och analysarbetet har varit öppet för nya vinklar och perspektiv i materialet. Analysprocessen har skett nedifrån och upp så att olika teman och kategorier relaterade till de överordnade frågorna (kvalitet, utbildningsutveckling, kvalitetsreform och autonomireform) har uppstått utifrån informanternas svar och uttalanden. Under analysarbetets gång har jämförelser fortlöpande gjorts med uppföljningsarbetets tidigare resultat. För att säkerställa undersökningsresultatens generaliserbarhet är en mycket stor andel av den svenska sektorn representerad i undersökningen. Försök att säkerställa undersökningens reliabilitet har gjorts genom att spela in alla intervjuer, få dem transkriberade av svenskkunniga och efteråt kvalitetssäkra de utvalda citaten. Försök att optimera den interna validiteten, BILAGA 1: METODBESKRIVNING som handlar om överensstämmelsen mellan informantens och uttolkarens upp- fattning, har skett genom aktiv användning av fördjupande och summerande frågor under datainsamlingen samt genom att söka upp och sammanställa al- ternativa förklaringar i analysfasen. För att stödja den externa validiteten har delkonklusionerna i analysfasen jämförts med andra relevanta källor, där- ibland också med uppföljningsprojektets tidigare delredovisningar och huvud- Upplysning lämnas om projektet och om syftet med denna intervju. Vi riktar uppmärksamhet på att intervjuerna bandas men att man är anonym i den färdiga rapporten. 1.Hur länge har du arbetat i universitets- och högskolesektorn? 2.Försök att beskriva ditt arbete och ansvarsområde. 1.Hur har kvalitetsarbetet utvecklats du har varit här? 2.Vilka interna och externa kvalitetssäkringsprocesser har ni? (interna uppföljningar av kvalitetsutvärderingsresultaten, interna systematiserade cykler för kvalitetsutvärderings-resultaten) 3.Hur är ansvaret för kvalitetsarbetet fördelat mellan den centrala ledningen och de mer decentraliserade nivåerna på /högskolan? 4.Nu har alla utbildningar blivit kvalitetsutvärderade, några utbildningar fick omdömet mycket hög kvalitet, några fick omdömet hög kvalitet och några fick omdömet bristande kvalitet. De som fick omdömet bristande kvalitet skulle man arbeta vidare med. Vill du berätta om hur ni reagerade på respektive omdöme, bristande, hög och mycket hög kvalitet? 5.Har ni märkt av reaktioner från studenterna, alternativt arbetslivet på utbildningar som fick omdömet bristande kvalitet? Och hur har ni hanterat det? 6.Hur har ni arbetat vidare med utbildningskvalitet ? (systematisering, differentiering, användning av konsulter, fokusering av utbud?) 7.Upplever ni att det har blivit ett fortsatt tryck och ökat fokus på att det upprätthålls ett systematiskt kvalitetsarbete på ledningen vid lärosätet/institutionen? 8.Vilken betydelse har det hur ditt universitet/din högskola klarade sig genom kvalitetsutvärderingarna i förhållande till de andra? Fick det några konsekvenser hur ni klarade er, internt eller externt? 9.Vilka förhoppningar har du på det kommande kvalitetssäkringssystemet? BILAGA 2: INTERVJUGUIDER 1.Vilken roll spelar de studerande i förhållande till säkringen av utbildningskvalitet? 2.Hur tror du kvalitets- och autonomireformerna har påverkat de studerande och deras lärandemål? 3.Hur arbetar ni med bildning? Är det något som ni följer eller försöker att säkra systematiskt? 1.Hur har ni här på lärosätet kunnat märka autonomireformen? 2.Vilka omstruktureringar har ledningen av din högskola/ditt universitet lanserat efter autonomireformen? 3.Har den centrala ledningen som en konsekvens av autonomireformen och kvalitetsutvärderingsresultaten fattat beslut i syfte att främja utbildningskvaliteten? 4.Vilka överväganden eller diskussioner har ni haft angående sammansättningen av kurs- och utbildningsutbudet? Har ni gjort några justeringar? 1.Hur arbetar ni med att säkra samverkan mellan /högskolan och det omgivande samhället? 2.Hos vem på lärosätet ligger ansvaret för denna målsättning? 3.Hur tänker du att man bör utveckla kvalitetssäkringen i samarbete med näringslivet? 4.Hur arbetar ni med beredskap för arbetsmarknaden? Är det något som ni följer eller försöker att säkra systematiskt? Finns det t.ex. inslag i utbildningen som specifikt syftar till att säkra utbildningens arbetsmarknadsanknytning? 1.Hur kan man arbeta med kvalitetsutveckling när det gäller målsättningen om forskningsanknytning? Yrkesutbildningar kontra generella utbildningar 1.Arbetar ni på något särskilt sätt med kvalitetssäkring när det gäller yrkesutbildningar? BILAGA 2: INTERVJUGUIDER 1.Har du ytterligare några funderingar när det gäller kvalitet och autonomi i sektorn som du önskar bidra med som vi inte har talat om? 2.Avslutande orientering om vad som kommer att ske nu: Intervjuer genomförs, de analyseras tillsammans med det övriga material som vi har samlat in och därefter skrivs det hela ihop till en rapport som vi levererar till utbildningsutskottet . beslutar när rapporten ska utges. Upplysning lämnas om projektet och om syftet med denna intervju. Vi riktar uppmärksamhet på att intervjuerna bandas men att man är anonym i den färdiga rapporten. 1.Beträffande den sista intervjun, tycker du att kvalitetsutvärderingsresultatet fick några ytterligare konsekvenser (på lite ) antingen internt på lärosätet eller externt (till exempel i förhållande till andra lärosäten eller i internationella sammanhang)? 2.Hur har ni arbetat vidare med utbildningskvalitet (systematisering, differentiering, användning av konsulter, fokusering av utbud)? Upplever du att det har blivit ett fortsatt tryck och ökat fokus på att det hålls ett systematiskt kvalitetsarbete på ledningen vid lärosätet/institutionen? 3.Vilka interna och externa kvalitetssäkringsprocesser har ni? (interna uppföljningar av kvalitetsutvärderingsresultaten, interna systematiserade cykler för kvalitetsutvärderingsresultaten, interna systematiserade cykler för det nationella systemet, internationella ackrediteringsprocesser på lärosätes- och utbildningsnivå?) 4.Vilka förhoppningar har du på det kommande kvalitetssäkringssystemet? 5.Håller utbildningen en högre kvalitet än den gjorde före kvalitetsreformen? Vilken typ av kvalitet tänker du på här? 1.Hur tror du kvalitetsreformen har påverkat de studerande och deras lärandemål? 2.Vilken roll spelar de studerande i förhållande till säkringen av utbildningskvalitet? 3.Hur arbetar ni med bildning? Är det något som ni följer eller försöker att säkra systematiskt? BILAGA 2: INTERVJUGUIDER 1.Vilka omstruktureringar har ledningen av din högskola/ditt universitet lanserat efter autonomireformen? 2.Hur har ni här kunnat märka autonomireformen? 3.Vilket ansvar har den centrala ledningen och den närmaste ledningen på lärosätet för kvalitetsarbetet? 4.Har det ändrats på vilken nivå beslut om att främja kvaliteten fattas? 5.Vilka överväganden eller diskussioner har ni haft angående sammansättningen av kurs- och utbildningsutbudet? Har ni gjort några justeringar? 1.Hur arbetar ni med att säkra samverkan mellan /högskolan och det omgivande samhället? 2.Hos vem på lärosätet ligger ansvaret för denna målsättning? 3.Hur tänker du att man bör utveckla kvalitetssäkringen i förhållande till samverkan? 4.Hur arbetar ni med beredskap för arbetsmarknaden? Är det något som ni följer eller försöker att säkra systematiskt? Finns det t.ex. inslag i utbildningen som specifikt syftar till att säkra utbildningens arbetsmarknadsanknytning? 1.Hur kan man arbeta med kvalitetsutveckling i förhållande till målsättningen om forskningsanknytning? Yrkesutbildningar kontra generella utbildningar 1.Arbetar ni på något särskilt sätt med kvalitetssäkring när det gäller yrkesutbildningar? 1.Har du ytterligare några funderingar när det gäller kvalitet och autonomi i sektorn som du önskar bidra med som vi inte har talat om? 2.Avslutande orientering om vad som kommer att ske nu: Intervjuer genomförs, de analyseras tillsammans med det övriga material som vi har samlat in och därefter skrivs det hela ihop till en rapport som vi levererar till Ut- bildningsutskottet . beslutar när rapporten ska utges. Informanter i intervjuundersökningen (i alfabetisk ordning efter lärosäte). I fyra intervjuer ingick två informanter. Tabell 8 Kvalitetsmedarbetare och kvalitetsansvariga Vicerektor för utbildning och kvalitet Executive assistant to the president Avdelningschef för och kvali- Vicerektor för kvalitet på grundutbild- Avdelningschef vid och utvär- 2015/16:RFR19 BILAGA 3: INFORMANTER I INTERVJUUNDERSÖKNINGEN Av sekretesskäl framgår inte namnen på informanterna från de nio utvalda utbildningsmiljöerna av listan. () känner till dessa informanters identitet. Etisk bedömning av nya metoder i vården – en uppföljning av landstingens och statens insatser Uppföljning av regeringens resultatredovisning för utgiftsområde 17 Kultur, medier, trossamfund och fritid En bok är en bok är en bok? – en fördjupningsstudie av e-böckerna Offentlig utfrågning om funktionshindersperspektiv i kulturarvet – En uppföljning av transportsystemets tillgänglighet för personer med funktionsnedsättning offentliga utfrågning om ändring av be- slut om höjd nedre skiktgräns för statlig inkomstskatt Inventering av skatteforskare 2013 Ett förlängt arbetsliv – forskning om arbetstagarnas och Offentlig utfrågning om vårdnadsbidrag och jämställdhetsbonus Subsidiaritet i EU efter Utvärdering av skattelättnader för utländska experter, specialister, forskare och andra nyckelpersoner offentliga utfrågning om PISA-undersökningen öppna kunskapsseminarium om icke smittsamma – ett ökande hot globalt och i () För, med och av – en uppföljning av tillgängligheten inom kulturen Översyn av ändringar i offentlighets- och sekretesslagstiftningen öppna kunskapsseminarium om ar- bete med barn som far illa seminarium om utbildning för hållbar utveckling inklusive entreprenöriellt lärande För, med och av – en uppföljning av tillgänglighet inom kulturen Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i Delredovisning 1: Skrivbordsstudie om autonomi- och Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i Delredovisning 2: Intervjuundersökning med rektorer hearing om framtidens luftfart – Har vi luft under Offentlig utfrågning med anledning av dom om data- Stöd till lokala åtgärder mot övergödning Om samhällsekonomiska analyser inom transportsektorn med sär- skild hänsyn till hållbar utveckling offentliga utfrågning om järnvägens vägval Blev det som vi tänkt oss? En uppföljning av vissa frågor i det försvarspolitiska inriktningsbe- Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i Delredovisning 3: Enkätundersökning till studieansvariga Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i Delredovisning 4: Den fallstudiebaserade undersökningens första fas Seminarium om samhällsekonomiska analyser Sjöfartsnäringen och dess konkurrenskraft Skattebefriade bränslen i industriella processer, så kallade råvaru- offentliga utfrågning om idrott och fysisk akti- vitet i skolan – ett sätt att stärka inlärning och hälsa hearing om journalisters och medie-redakt- ioners säkerhet och arbetsförutsättningar Finsam – en uppföljning av finansiell samordning av rehabilite- offentliga utfrågning om Finsam – finansiell samordning av rehabiliteringsinsatser seminarium om internationellt samarbete mot skat- Offentlig utfrågning om ett handelsavtal mellan och offentliga utfrågning om unga vuxnas möjlighet att finansiera ett eget boende Statsråds medverkan i granskning offentliga utfrågning om den aktuella penningpolitiken Om krisen eller kriget kommer – En uppföljning av informationsinsatser till allmänheten om den enskildes ansvar och beredskap