rfr · H30WRFR19 · 2016-01-01 00:00:00 — (Kvalitetsansvarig ledare från mindre lärosäte) Så att vi i styrelsen [för utbildning] jobbar tillsammans med den här beredningsgruppen för kvalitetssystem, och ger den här utvärderingsenheten uppdrag, så att säga. Och det här kommer då att ingå i lärosätets övergripande system, där man då inom det håller på att ta fram olika indikatorer då, alltså olika kvalitetsindikatorer, så vi ska kunna mäta programmets kvalitet. (Kvalitetsansvarig administratör från mellanstort lärosäte) Så att, så fort någon fick ”bristande kvalitet” så hade vi en instruktion, vi hade en rutin som kickade igång. Det kickade igång dagen innan beskedet blev offentligt, för då kommer det till rektor. Då kopplade vi in, direkt då, utbildningsansvarige, som fick göra en snabbanalys av: Vad är det som har inträffat? Vilka är bristerna, vad är skälet till det? De försåg rektor och andra ansvariga med det underlaget. Och sen fick man en månad på sig att göra en åtgärdsplan. Den åtgärdsplanen presenterades för rektor. Och när rektor hade gett grönt ljus då så började man förbättra utbildningen. (Kvalitetsansvarig ledare från stort lärosäte) Mera dokumentation av kvalitetsarbetet och utarbetande av kriterier för god praxis: styrningsdokument, handlingsplaner, checklistor, standarder, riktlinjer, kartläggningar, rutiner och regelverk fortsatte att arbeta, mycket egentligen mot nämnderna, men också att så att säga förankra kvalitetsarbetet ute på institutionerna, men också se till att det finns policy, handlingsplaner, kvalitetsprogram för det här arbetet. Sådant fanns inte –2009. På det sättet så har det blivit mer formaliserat. (Kvalitetsansvarig administratör från mindre lärosäte) Den stora utmaningen här är ju att kunna dokumentera, och förklara för en omvärld att våra utbildningar är bra, för det är ju det vi kommer bli bedömda på . Också, att lära utbildningar att kunna prata om kvaliteten gör ju att man kan också ha ett större utbyte med kollegor om hur man förbättrar kvalitet. (Kvalitetsansvarig ledare från stort lärosäte) Och finns det tydliga anvisningar för hur en utbildningsplan ska se ut, till exempel, hur kursplaner ska se ut, hur vi ska följa upp, hur vi ska göra olika saker, så… hur man designar en utbild- ning på ett bra sätt. (Kvalitetsansvarig ledare från mindre läro- Rektor och ytterst styrelserna för universitet och högskolor har det formella ansvaret för att lärosätenas utbildningar håller hög kvalitet. Det praktiska ansvaret för kvalitetsarbetet är dock normalt förlagt till fakultetsnämnderna på lärosätena. Det framgår av intervjuerna att implementeringen av kvalitetsreformen också har lett till att nya administrativa kvalitetsavdelningar och kvalitetsenheter har bildats och att nya fora för kvalitetsfrågor har inrättats (jfr Figur 3 och Tabell 2). Faktaruta 3 Kontroll av kvalitetsarbetet •Den löpande kontrollen av utbildningskvaliteten är ett delat ansvar mellan lärosätena och (). •Högskolelagen (1992:1434) föreskriver att statliga universitet och högskolor ansvarar för att säkerställa en hög kvalitet i sin undervisnings- och forskningsverksamhet och att kvalitetsarbetet är en gemensam angelägenhet för lärosätenas personal och studenterna. (1 kap. 4 §). •Det följer av lagen (1993:792) om tillstånd att utfärda vissa examina att lärosäten med enskild huvudman är skyldiga att upprätta en skriftlig kvalitetsredovisning och medverka i extern uppföljning och utvärdering av de utbildningar som leder till en examen. •Regeringen har genom förordning (2012:810) med instruktion för UKÄ gett myndigheten ansvar för att tillse att högskoleutbildningarna håller hög kvalitet. Figur 3 Kvalitetsarbetets organisering – exempel på nya åtgärder rektor/ledning och fakulteterna Tabell 2 Kvalitetsarbetets organisering – exempel på nya åtgärder Placering av kvalitetsansvaret hos fakultetsnämnden I arbetsordningen så har vi slagit fast att ansvar för kvalitet i forskning och utbildning, det har respektive fakultet. Alltså, respektive fakultetsnämnd. […] Så [lärosätets styrelse] fattar väldigt övergripande beslut. Rektor kan också fatta beslut om universitetsgemensamma satsningar eller universitetsgemensamt regelverk, men det allra, allra mesta av skarpa beslut som har bäring på kvaliteten, det fattas utav fakultetsnämnderna. (Kvalitetsansvarig ledare från stort lärosäte) Hos oss så är det fakultetsnämnden som har varit ansvarig för att driva processen. Så vi har ju satt upp styrgrupper runt självvärderingsarbetet […] med berörda chefer, med studenter, och med oss som fakultetsnämnd då. Så vi har ju varit, alltså, granskande instans för självvärderingen. Ingen självvärdering har gått in som inte har sagts okej ifrån styrgruppen. Och har ju även lärarna känt ett stöd i detta. (Kvalitetsansvarig ledare från mindre lärosäte) 2 RESULTAT 2015/16:RFR19 Så den här nya strategin har ju också fått fokus på kvalitetsfrågor. Och den gav också ett uppdrag… den ledde till ett uppdrag till prorektor och en styrgrupp att ta fram ett sammanhållet kvalitets- Så det jobbar vi med nu på full fart […] vi har tre styrel- ser på fakultetsnivå, kan man säga. Alltså, en styrelse för forsk- ning, en för forskarutbildning, och en för utbildning på grund- och avancerad nivå. Och de tre dekanerna som är ansvariga för de här styrelserna, de sitter ju i ledningsgruppen för [lärosätet]. Så det är de som är med och styr det här arbetet tillsammans med representanter från prefektgrupp och från administrativa chefer, naturligtvis studenter, två studenter, några specialister, en speci- alist för utvärderingsmetodik kan man säga, och sedan lite andra (Kvalitetsansvarig administratör från mellanstort lä- […] så sökte jag och fick jobbet[…]. Och sen har det förändrats lite, organisationen kring det, så att , börjar det väl bli snart […]. Så då samlades alltså både kvalitets- och utvärde- ringsfunktionen och sen det faktiska stödet för att förbättra kva- liteten i en och samma enhet. (Kvalitetsansvarig ledare från stort [Kvalitetsarbetet] har varit spridda på olika enheter och avdel- ningar, och personer som jobbar med de här frågorna – kvalitets- utveckling eller pedagogisk utveckling. samlar vi det så att man blir starkare tillsammans, kan man väl säga. svarig ledare från mindre lärosäte) Men så stod det ju klart då att det här nya systemet krävde en annan hantering, så då tillsatte man faktiskt min funkt- ion, som kvalitetssamordnare, och då blev det en central organi- sation kring hur man skulle hantera utvärderingarna. kom alltså precis då när… ett tag in i när de första utvärdering- arna hade startat. Så att, det blev en väldig skärpning, kan man säga, för att hade institutionerna, som sagt, skött allting med självvärderingar och allt sådant, och beslutat själva om dem, på något sätt. Och sen, från det – som ju var ett väldigt decentraliserat sätt – gick man till helt centralt sätt, så att alla självvärderingar, och sen just åtgärdsredovisning- arna, har gått till rektorsbeslut. Så att, det var ett hopp från de- centralisering till centralisering. (Kvalitetsansvarig ledare från Vi har infört ett system med systematiska kvalitetsdialoger mel- mellan rektor/ledning lan rektor och fakulteterna. En sådan dialog gick per kvartal, som ska gå brett på breda uppgifter […] Resultaten från värderingarna ska in i de här verksamhetsdialogerna vi har varje kvartal, så ska man titta på hur det fungerar. Så det är liksom att ha lite koll på (Kvalitetsansvarig ledare från mellanstort läro- Intervjuerna med de kvalitetsansvariga har också visat på en rad nya åtgärder som rör det dagliga kvalitetsarbetet. Det ordnas interna seminarier, workshops och arbetsgrupper om kvalitetsutveckling som aldrig förr och man utnyttjar både interna och externa resurser i kvalitetsarbetet. även målinriktat enligt internationella standarder och tar med internationella experter i arbetet. Ett försök att sammanfatta nya åtgärder i det dagliga arbetet har gjorts i Figur 4 och fördjupats i Tabell 3. Figur 4 Det dagliga kvalitetsarbetet – exempel på nya åtgärder (så länge det och stöd för det Tabell 3 Det dagliga kvalitetsarbetet – exempel på nya åtgärder Kvalitetsmedarbetare som vägledare och stöd för det lokala kvalitetsarbetet Kvalitetsarbete sker lokalt (så länge det håller kvalitetsmålen) Det allra, allra mesta av skarpa beslut som har bäring på kvaliteten, det fattas utav fakultetsnämnderna. Och vår [kvalitets- och utvärderingsavdelningens] uppgift blir att ge dem stöd i det arbetet, helt enkelt. Min avdelnings uppgift är den. (Kvalitetsansvarig ledare från stort lärosäte) Men fakulteterna, eller utbildningarna, har själva varit väldigt autonoma i den första fasen: att skriva en självevaluering, göra intervjuer, och sen har de skickat in det till . Och går det bra så är det bra. Går det inte bra, utan man får ifrågasatt kvalitet, då ska åtgärdsplanen… alltså, utbildningens förslag på åtgärder för att förbättra verksamheten, ska gå via mig och min avdelning […] Så då har man liksom… när man får ifrågasatt kvalitet, då upphör en viss grad av autonomi. (Kvalitetsansvarig ledare från stort lärosäte) Genomför interna seminarier, workshops och arbetsgrupper om kvalitetsutveckling Användning av externa konsulter och experter på utvärdering Användning av extra extern utvärdering/peer review i samband med UKÄ:s utvärderingar Användning av internationella kvalitetssäkringssystem För ibland har vi fått… vi har ju fått beskeden olika. Och har vi ibland försökt samla grupper, alltså om det varit flera utbildningar som fått besked , och försökt samla dem i en grupp för att dra nytta av varandra, och ibland har vi bara träffat ett ämne. (Kvalitetsansvarig administratör från mindre lärosäte) I det nätverk som jag nämnde, om civilingenjörsutbildningar, har vi haft en gemensam uppföljning, en sammanställning från alla de tretton lärosäten där vi har tittat på hur det har slagit nationellt – på civilingenjörsutbildningar, och olika civilingenjörsutbildningar. Till exempel, att datavetenskap fick lägre betyg än till exempel maskinteknik, och hur kan det komma sig? Varför har det sett olika ut mellan högskoleingenjörer och civilingenjörer? Varför ser det olika ut på masternivå och på civilingenjörer, som båda är en avancerad utbildningsnivå? I det här sammanhanget arrangerar vi också en konferens inom nätverket där ordförandena i de olika utvärderingsgrupperna för civilingenjörsutbildningarna kommer hålla presentationer för att vi ska förstå. Hur har ni resonerat, på vilka grunder har ni tagit beslut? (Kvalitetsansvarig ledare från mellanstort lärosäte) Vi har haft mycket uppföljning. Och jag […] har ju också vart med och stöttat väldigt mycket då. tillsammans med andra också. har vi haft externa konsulter som har gått in också och gjort det. (Kvalitetsansvarig administratör från mellanstort lärosäte) Alltså, det är ju för dem som har fått ”bristande kvalitet”, helt enkelt. Så vi har det här: Analys . Mellan och så ska en extern granskare, kollega från ett annat lärosäte, läsa igenom självvärderingen och ge feedback som är ämnesrelaterad. Och så läser vi igen och ger feedback – på strukturen, om vi tycker något är otydligt. (Kvalitetsansvarig administratör från mindre lärosäte) Vårt kvalitetssäkringsverktyg är i själva verket vårt EQUIS-arbete.2 (Kvalitetsansvarig ledare från mindre lärosäte) Undervisningskvalitet hänger även intimt samman med pedagogiska åtgärder och undervisarnas undervisningskompetenser. Intervjuerna visar, som illustreras i Figur 5 och fördjupas i Tabell 4, att det litet varstans på lärosätena har 2 EQUIS () är ett ackrediteringsprogram för lärosäten som har ledarskapsutbildning som en kärnaktivitet (business schools, etc.) och syftar till att höja standarden på ledarskapsutbildningar över hela världen. Det är ett omfattande ackrediteringssystem som värderar ett lärosätes samtliga aktiviteter, forskning, undervisning, samverkan med det omgivande samhället, etc. Enligt organisationen (), som står bakom EQUIS, lägger man vid ackrediteringen särskild vikt vid att det finns en effektiv inlärningsmiljö som främjar utvecklingen av de studerandes ledarskapsförmåga och entreprenörskapsförmåga och deras känsla för globalt ansvar. Programmet fokuserar också på innovation i alla avseenden. påbörjats olika utvecklingsåtgärder för undervisarna som rör kompetensutveckling och ökad pedagogisk skicklighet. Figur 5 Pedagogik och undervisningskompetenser – exempel på nya åtgärder Kurser i akademiskt skrivande samt kurser om att undervisa i detta. Tabell 4 Pedagogik och undervisningskompetenser – exempel på nya åtgärder Vi tar reda på hur kompetensförsörjningen fungerar, exem- Och kan vi till exempel se att ett område har haft långsiktigt problem med att kompetensförsörja sin utbild- Då kanske vi lämnar en rekommendation till rektor, som säger att: ”Vi tror inte på kvaliteten på den här, därför att här har man alltså en väldigt stor brist i lärarkompeten- sen, vi har nya lärare som kommer in och ut ”, och så kan vi lämna en rekommendation till rektor att lägga ner den här utbildningen. (Kvalitetsansvarig ledare från mindre Pedagogiskt lyft av personal Överväger att införa meritsystem för pedagogik och ”samverkan” Kurser i akademiskt skrivande samt kurser om att undervisa i detta Men det vi också kommer göra , det att vi kommer bilda en ny enhet för utbildningskvalitet, eller… ja, på något sätt vill vi lyfta upp området kvalitet och utbildning, och det arbete som görs, för att det ska bli mer synligt i organisationen. Där jag kommer ingå, och där [namn på person] kommer leda, så att… det blir spännande. Och där fler kollegor då kommer ingå, bland annat de som jobbar mycket med kompetensutvecklingen, lärare och vår högskolepedagog. För att, där har vi också gjort mycket seminarieinsatser de senaste två–tre åren, just att lyfta deras kunskaper: Vad ska man tänka på när man formulerar lärandemål? Finns det några tips? Och konkreta workshops där man sitter och pular med en kurs eller ett kursmoment. Så det har varit mycket… Förutom, liksom, att jobba med att ändra på programmen så måste vi ju också utbilda personalen, och det är oftast det som tar mest tid. (Kvalitetsansvarig ledare från mindre lärosäte) Det har gjort också att det i organisationen har lyfts på olika sätt, och att det har blivit en diskussion om det här. Vi kommer att införa, till exempel, en ny meriteringsmöjlighet, både inom pedagogik, men också inom samverkan, för dem som har jobbat mycket både inom utbildningsutveckling med pedagogiska frågor, men också med samverkan. De har möjlighet att söka befordran till nya tjänster. (Kvalitetsansvarig ledare från mindre lärosäte) Vi har till exempel utvecklat kurser i akademiskt skrivande, både på engelska och svenska, och sen en kurs omhur lärare kan undervisa i akademiskt skrivande. Så både kurser för studenter och presumtiva studenter, men också för lärare att förkovra sig. Så det är ju en väldigt konkret konsekvens, att vi har kunnat göra strategiska satsningar. (Kvalitetsansvarig ledare från stort lärosäte) Rutiner och cykler för kvalitetsarbetet Intervjuerna med de kvalitetsansvariga visar slutligen att man på många universitet och högskolor arbetar med att etablera egna cykler för att säkerställa att alla utbildningar med jämna mellanrum blir kvalitetskontrollerade. Några lärosäten hade redan inrättat sådana cykler för kvalitetsarbetet innan kvalitetsreformen trädde i kraft, medan andra har inrättat dem efter UKÄ:s utvärderingar. Som framgår av Figur 6 och Tabell 5 har lärosätena också arbetat systematiskt med egna utvärderingar före och efter UKÄ:s utvärderingar. Figur 6 Rutiner och cykler för kvalitetsarbetet – exempel på nya åtgärder Uppföljande interna analyser av Överväganden om UKÄ:s resultat etablering av fasta Rutiner och cykler för kvalitetsar-betet Tabell 5 Rutiner och cykler för kvalitetsarbetet – exempel på nya åtgärder Överväganden om eta- Just nu håller vi fortfarande på och kartlägger: vad finns, vad blering av fasta cykler finns inte, vad behöver förbättras, vad gör vi väldigt bra, och så vidare. Så att, vi har inte riktigt kommit till det där stället där vi har bestämt att: ”Okej, så här ska vi göra – nu ska vi titta på det här ”, eller ”Det där får vi nog titta på ”, och så, utan... Det kanske blir , eller så. litetsansvarig ledare från stort lärosäte) I och med att vi har den modell vi har, med att fakulteterna har ansvar för kvalitet, så kommer vårt förslag att ligga på… eller, handla omatt ansvaret för den exakta utformningen utav utbildningsutvärderingar ska ligga på fakultetsnämnden. Eftersom olika utbildningar kan ha olika behov, och det kan finnas… vissa mått är mer , har högre validitet, för en viss fakultets utbildningar än för en annan. Så man kan behöva, liksom, anpassa utvärderingarna. Däremot så är kravet från rektor att de ska ske minst en gång . Och det ska vara externa granskare. Och det ska följa ESG, European Standards and Guidelines, lag och förordning. Men sen kan man ha lite olika metoder, lite olika typer av underlag och så där. (Kvalitetsansvarig ledare från stort lärosäte) Men så, då förbereder vi ju, att vi tänker oss att vi ska ha utbildningsutvärderingar i en sexårscykel med extern bedömning, och så naturligtvis ett regelbundet årligt uppföljningsarbete också. (Kvalitetsansvarig administratör från stort lärosäte) 2 RESULTAT 2015/16:RFR19 Om man nu delar in alla våra utbildningar i fem olika huvud- områden så tittar de på de här utbildningarna som ligger i de här områdena, och gör systematiska, cykliska granskningar av varje utbildning inom det här området. De granskar till exempel då ett utbildningsprogram, och sen levererar de en rapport på hur utfallet är utifrån dels ämneskompetens, men också hur lä- randemål sen ser ut, och vad utfallet är, och även examensar- betena tittar man också delvis på, och en självvärderingsrap- Och sen så gör man en rapport på detta, och lämnar en återkoppling till ämnet med den… eller, till huvudområdet, med utvecklingsmöjligheter och brister som behöver korrigeras Och det är… där, på den nivån, har vi fått till en bra systematik vad gäller att, så att säga, säkerställa kvaliteten och ha en systematisk granskning av vårt utbildningsutbud. tetsansvarig ledare från mellanstort lärosäte) För att vi ska ha lite mer, vad ska jag säga, varaktiga utbild- ningar så har vi lagt in en strategisk programutveckling vart Så varje utbildningsprogram lyfts upp under en hel vårtermin, och då sätter man till en grupp med lä- rare, forskare, externa studenter, som jobbar intensivt med ut- Och tittar man på de här olika aspekterna: både pedagogiskt, hur lärandet sker, samverkan, hur mycket forskningsanknytning, man tittar på kursvärderingar, programvärderingar som har varit under den Och det har kommit igång. rig ledare från mindre lärosäte) Egna utvärderingsprojekt före UKÄ:s utvärderingar Och genomförde vi en universitetsövergripande… alltså, ett projekt som vi kallade för […]. Och det här var 2010 som vi fattade det beslutet. Och där tog vi fasta på att vi ville se hur det strategiska utvecklingsarbetet med syfte att stärka utbildningskvaliteten… vad som pågår, om vi har några svagheter och utvecklingsbehov. Så vi hade en tvåårsperiod när man inom fakulteter och områden identifierade områden som man tyckte att man behövde arbeta mer med. Det kunde vara olika saker, beroende på var bristerna låg någonstans. En del behövde jobba med stärkt arbetslivsanknytning, andra jobbade med stärkt forskningsanknytning, och så vidare. Och sen så hade vi en internationell panel, granskningspanel, som kom in och tog del utav, liksom, våra samlade utvecklingsaktiviteter. Och de granskade också vårt pedagogiska program, för att se om vi, liksom ur ett internationellt perspektiv då, verkade pricka in det som ett modernt universitet behöver sträva efter. (Kvalitetsansvarig ledare från stort lärosäte) Men generellt, vi gjorde ett förberedelsearbete, kan man säga. så startade vi ett förberedelsearbete inför kommande utvärderingar, där vi gjorde en liten minisjälvvärdering, kallade vi det för. Vi tog upp vissa frågor, och vi var samtliga programansvariga, eller utbildningsansvariga, svarade på frågor: hur det går till med examensarbetsprocesser, om de hade tydliga bedömningskriterier, om det fanns lärandemål som var kopplade till de nationella examensmålen. (Kvalitetsansvarig administratör från mindre lärosäte) 2015/16:RFR19 2 RESULTAT Det vet jag inte om det har kommit fram i andra sammanhang, analyser av UKÄ:s re- men vi gjorde ju en följdanalys. Efter att vi hade tagit hand om alla utbildningar som hade fått ”bristande kvalitet” så gjorde vi också en gränsfallsanalys för att titta: vilka utbildningar var det som låg nästan på gränsen till att få ”bristande”? Och så fick de också komma in med åtgärdsredovisningar, internt, på [lärosä- De fick förklara hur de tänkte, och vad de skulle kunna åtgärda för att till nästa utvärderingsomgång se till att de inte låg i gränslandet. Och det här betyder att det blev ganska stor andel av de totala utbildningarna på hela lärosätet som omfat- tades – antingen av reguljära åtgärdsredovisningar, eller av de (Kvalitetsansvarig ledare från 2.3 Kvalitetsarbetets utveckling i de nio utvalda utbildningsmiljöerna Som ett led i det föreliggande uppföljningsprojektet besöktes nio olika utbildningsmiljöer – fördelade på tre lärosäten – för att få en inblick i hur man här konkret hade arbetat med och upplevt effekterna av autonomi- och kvalitetsreformerna (jfr Delredovisning 4: Haase och , 2015). Utbildningsmiljöerna valdes bland annat utifrån sina resultat i UKÄ:s utvärderingar. Tre av utbildningarna hade fått omdömet mycket hög kvalitet i UKÄ:s utvärderingar, tre hade fått omdömet hög kvalitet och tre hade fått omdömet bristande kvalitet (jfr Tabell 6). Under vintern 2015-16 har dessa miljöer besökts på nytt och intervjuer har genomförts med de utbildningsansvariga i de nio miljöerna för att få mer kunskap om kvalitetsarbetets utveckling från UKÄ:s utvärderingar och fram till . Tabell 6 Återbesökta utbildningsmiljöer, lärosäten och kvalitetsomdömen Från bristande till hög kvalitet Tre av de nio utbildningarna - Högskoleingenjörsutbildningen i maskinteknik på , religionsvetenskap och teologi på samt statskunskap på – fick i den första omgången sin kvalitet underkänd av UKÄ. Lärosätena som gav de tre utbildningarna löpte alltså risk att mista examensrätten för dessa utbildningar. Vid den nya bedömningen, efter den första, fick dock alla tre utbildningar sitt omdöme ändrat från bristande kvalitet till hög kvalitet. Intervjuerna med de utbildningsansvariga för dessa utbildningar visar att man har följt relativt olika vägar för att gå från bristande till hög kvalitet – i en miljö har det varit en strikt kontroll av processen uppifrån, från den centrala ledningen, medan man i de två andra miljöerna i högre grad har arbetat nerifrån och upp. I den miljö där processen har varit styrd ”top-down” har lärosätets rektor och centrala ledning varit mycket aktiva när det gällt att driva kvalitetsutvecklingen. Den centrala ledningen har således via sin administration bland annat tagit fram detaljerade riktlinjer för hur undervisning, examination osv. ska gå till: […] vi har fått väldigt mycket riktlinjer, riktlinjer som går på en detaljnivå som ger väldigt lite utrymme för lärarna att själva liksom kunna bestämma […]. (Utbildningsansvarig från återbesökt utbildningsmiljö) Detta tillvägagångssätt har å ena sidan lett till det önskade resultatet – att man har fått sin kvalitet godkänd vid UKÄ:s nya bedömning av utbildningen – men det har också lett till en upplevelse av mycket stark inblandning från centralt och administrativt håll när det gäller undervisning och examination: […] väldigt många lärare upplever sig ju helt överkörda.