rfr · H20WRFR6 · 2015-03-26 00:00:00 — av de studieansvariga fick således i ”hög” eller ”mycket hög” grad anvisningar och instruktioner av den egna ledningen eller av kvalitetsansvariga i förberedelsen för utvärderingen (se tabell 14). Karakteristiskt var att utbildningar med omdömet ”bristfällig” kvalitet mer sällan kunde organisera och bestämma utbildningens innehåll, mer sällan fick anvisningar och instruktioner och långt oftare gjorde förändringar i den interna organisationen av kvalitetsarbetet efter det att utvärderingens resultat blivit känt. Utvärderingen har således ökat dessa utbildningars fokus på en mer systematisk och relevant kvalitetssäkring. De studieansvariga på utbildningar med omdömet ”mycket hög” kvalitet ansåg oftast att det använda bedömningsunderlaget gav ett rättvisande resultat, medan de med omdömet ”bristfällig” kvalitet inte höll med om detta (se tabell 8). När frågan i stället gällde om kvalitetssäkringssystemets delar i ”hög” eller ”mycket hög” grad mätte om utbildningen håller hög kvalitet föll andelen studieansvariga som instämde ganska markant (se tabell 15). dieansvariga på utbildningar med omdömet ”bristfällig” kvalitet var klart mindre positiva och ansåg att de använda målen och indikatorerna var mindre användbara för att utvärdera deras utbildning. De ansåg att just deras utbild- ning borde utvärderas på ett annat sätt, till exempel utifrån deras egna kvali- Ett annat använt bedömningsunderlag, självvärderingen, visade sig också relativt svårt och tidskrävande att göra till utvärderingarna. av de studieansvariga att just självvärderingarna i ”hög” el- ler ”mycket hög” grad borde användas mer i utbildningsutvärderingarna. igen var andelen störst bland utbildningar med omdömet ”bristfällig” kvalitet. De utbildningar som fått omdömet ”bristfällig” kvalitet kunde välja att lägga ned eller försöka uppnå en ”hög” kvalitet vid en omvärdering påföljande ser det ut som om endast en mindre del av utbildningarna har lagts ned, medan de återstående ska följas upp av UKÄ. De första omvärderade ut- bildningarna är från omgång 1 och 2. I dessa omgångar har samtliga utbild- ningar omvärderats till att hålla en ”hög” kvalitet. En mindre grupp utbild- ningar har lagts ned och därför inte följts upp av UKÄ. hade man vidtagit flera förändrings- och förbättringsåtgärder i utbildningarna för att uppnå ett bättre bedömningsresultat. Dessa åtgärder var särskilt inrik- tade mot en starkare styrning av utbildningen, dess innehåll och metodtyngd, det avslutande självständiga arbetet och inte minst en tydligare avstämning av de studerandes förväntningar. Åtgärderna har alla använts av 65– av utbildningarna (se tabell 19). Allt detta är åtgärder som inriktas mot en bättre matchning mot kvalitetsreformens resultatorienterade fokus. kandidatutbildningarna vidtogs många olika typer av åtgärder före omvärde- ringen, men för övriga utbildningstyper (magister-, master- och yrkesutbild- ningar) vidtogs också de flesta typerna av åtgärder. till exempel i något större omfattning använt sig av inspiration från motsva- rande utbildningar på andra lärosäten (se tabell 19). Bland de utbildningar som fått omdömet ”hög” eller ”mycket hög” kvalitet har det emellertid också skett förändringar efter utvärderingen (se tabell 22). Andelen utbildningar som hade vidtagit några av samma åtgärder som utbild- ningarna med omdömet ”bristfällig” kvalitet var dock något lägre, men med Det ser således ut som om kvalitetsreformen har lett till en ökad kvalitetssäkringsinsats bland alla typer av utbildningar och obero- ende av utvärderingsresultatet. Åtgärderna är fokuserade på att förstärka kva- liteten inom kvalitetssystemets mätområden lärande, metod och kvalitetssäk- av de studieansvariga ansåg dock att de i ”hög” eller ”mycket hög” grad hade ändrat utbildningens sammansättning så att den bättre passade till kvalitetssäkringssystemets krav (se tabell 23). Varannan av de stu- dieansvariga instämde vidare i att de i ”hög” eller ”mycket hög” grad hade fått ny kunskap genom förberedelse- och kvalitetssäkringsarbetet. således i ”hög” eller ”mycket hög” grad fått ökad eller bättre kvalitet i utbild- ningen till följd av förberedelse- och kvalitetssäkringsarbetet, medan var sjätte hade lyckats etablera en strategi för hanteringen av framtida kvalitetsreformer (se tabell 21). Ett sätt att fokusera och standardisera utbildningarnas resultat och innehåll är att strama upp programorienteringen så att det blir fler obligatoriska och förutbestämda kurser. Programorienteringen är redan utbredd bland utbildningarna, där särskilt yrkesutbildningarna betraktade sig som programorienterade (se tabell 24). Ändå ansåg av de utbildningsansvariga att utbildningarna i ”hög” eller ”mycket hög” grad skulle bli mer programorienterade och ansåg att de i ”hög” eller ”mycket hög” grad skulle ställa fler krav avseende val av ämne för examensarbetet. Övriga utbildningstyper (kandidat, magister och ) hade ungefär samma andelar som ansåg att utbildningarna skulle bli mer programorienterade och att de framöver skulle ställa fler krav avseende val av ämne för examensarbetet. Lärandet har stått i fokus som en av kvalitetsreformens mätindikatorer, och kvalitetsmåttet har varit lärandeutbytet. Här har det tidigare legat mer fokus på processen, det vill säga undervisningsformen och undervisningsmängden. av de studieansvariga instämde i ”hög” eller ”mycket hög” grad i att utvärderingen hade lett till ett fokusskifte i utbildningen från undervisning (process) till lärande (resultat) i deras utbildningar (se tabell 26). I examensbeskrivningen specificeras tre konkreta lärandemål för lärosätenas utbildningar som används i förhållande till kvalitetsreformen, nämligen 1) kunskap och förståelse, 2) färdighet och förmåga och 3) värderingsförmåga och förhållningssätt (se avsnitt 3.4 och 3.8). I (2005) identifierades två motsvarande lärandemål som, utöver kvalitetsreformens tre operationaliserade lärandemål, kan användas för att beskriva de studerandes lärandekompetenser efter fullföljd utbildning. I enkätundersökningen angav en väsentlig andel på av de studieansvariga att kvalitetsreformen hade ökat de studerandes lärandeutbyte i fråga om samtliga lärandemål (se tabell 27). Omkring hälften fann dock ingen förändring i lärandeutbytet, medan svarade ”vet inte” på frågorna. Den generella slutsatsen är således att om de studieansvariga märkte någon effekt av kvalitetsreformen på lärandeutbytet så var det en positiv effekt. En annan viktig del i de långa universitetsutbildningarna är deras bildningsinnehåll, som har till syfte att skapa förståelse för samhällets behov och möjligheter hos alumnerna. I stort sett alla studieansvariga angav att deras utbildning hade ett bildningsinnehåll, och drygt hälften angav att bildningsinnehållet tog ”stor” eller ”mycket stor” plats i utbildningen före utvärderingen. En tredjedel av de studieansvariga bedömde att bildningsinnehållet i utbildningen hade ökat efter utvärderingen och att det skulle komma att öka ytterligare . En tredje del i de långa universitetsutbildningarna är deras samverkan med det omgivande samhället. Denna dimension av utbildningarnas syfte har fått ökad betydelse under och omfattas också av kvalitetsreformen. av de studieansvariga angav att de hade ”mycket” eller ”väldigt mycket” samverkan med det omgivande samhället. upplevde en ökad samver- kan med det omgivande samhället efter utvärderingen, och upplevde en minskad samverkan. förväntade sig knappt 40 procent av de studieansvariga en ökad samverkan, medan förvän- tade sig en oförändrad samverkan. Reformen förväntas därmed att öka utbildningarnas samverkan med det omgivande samhället. Intervjuundersökningen bland rektorerna i delredovisning 2 (Sørensen och Mejlgaard, 2014) resulterade i en rad påståenden om hur de upplevde kvali- tetsreformens effekter (se tabell 36–40). I enkätundersökningen tillfrågades de utbildningsansvariga om i vilken grad de instämde i rektorernas upplevda ef- fekter av reformerna. En mindre, men ansenlig, andel av de studieansvariga svarade konsekvent ”vet inte”, men bland de övriga märktes ett omfattande stöd för de påståenden man hade fått fram i rektorsundersökningen. vis att kvalitetsreformen har lett till ett skärpt fokus på det avslutande exa- mensarbetet, på examensordningar och på examensmål, och att kvalitetsar- betet har prioriterats upp (se tabell 36). Däremot hade de studieansvariga något svårare att bedöma vad kvalitetssäkringssystemet var bäst på att utvärdera (se tabell 37). För övrigt rådde det en klar enighet om att det fanns behov av fler och bättre indikatorer för att utvärderingsresultatet skulle bli tillförlitligt (se tabell 38). Ändå instämde var tredje studieansvarig i ”hög” eller ”mycket hög” grad i att kvalitetsreformen har varit kvalitetsdrivande, det vill säga kvalitets- hade i ”hög” eller ”mycket hög” grad använt resulta- ten och instämde i ”hög” eller ”mycket hög” grad i att det finns en överensstämmelse mellan utvärderingsresultat och den egna upplevelsen av kvalitetsnivån i utbildningen (se tabell 38). Hälften av de studieansvariga instämde vidare i att kvalitetsreformen inte hade haft någon betydelse för utbildningarnas bildningsinnehåll, medan lite färre ansåg att reformen reducerar utbildningarnas fokus på bildning på sikt (se tabell 39). En större andel på ansåg vidare att kvalitetsre- formen inte hade påverkat utbildningarnas samverkan med det omgi- Enkätundersökningen visar således att de studieansvariga har varit bekym- rade över kvalitetsreformens innehåll, fokus och implementering och att en del av de studieansvariga gärna ville att andra bedömningsunderlag skulle använ- visar enkäten också att de studieansvariga generellt menar att kvalitetssäkringssystemet har medfört en bättre kvalitet i utbildningarna lik- som en större uppmärksamhet på de studerandes lärande och utbildningarnas De studieansvariga menade att utbildningsutvärderingarna hade varit mycket resurskrävande men också mycket lärorika. ningen visar således att kvalitetsreformens implementering har främjat de öns- kade förbättringarna av utbildningskvaliteten på svenska universitet och hög- När de studieansvariga tillfrågades om effekterna och genomförandet av autonomireformen hade de svårt att svara i förhållande till sin egen utbildning, eftersom autonomireformen inte pågår på utbildningsnivån utan på nivåer högre upp i lärosätenas organisation. Många svarade därför ”vet inte” på dessa frågor. De känner förmodligen inte exakt till hur autonomireformens ökade lednings- och handlingsutrymme har påverkat dem och deras utbildning. Det kan tolkas som om autonomireformen inte har påverkat dem på ett sätt som de har upplevt eller varit uppmärksamma på. Bland de studieansvariga som hade en åsikt om autonomireformen upplevde de flesta att den hade haft effekter på kvalitetsarbetets organisation, utbildningens uppbyggnad och prioriteringen av innehåll och struktur och, i mindre grad, rekrytering och tjänstestruktur. De två sistnämnda var faktiskt huvuddelar i autonomireformen. Intervjuundersökningen med rektorerna i delredovisning 2 (Sørensen och Mejlgaard, 2014) gav också en rad påståenden om autonomireformens effekter (se tabell 41). Mellan var tredje och varannan studieansvarig svarade ”vet inte”, men bland de återstående rådde det i första hand enighet om att autonomireformen hade tydliggjort makthierarkin inom lärosätena. Slutsatsen är i korthet att autonomireformen endast i mindre grad har varit synlig på utbildningsnivån och snarare har varit ett arbetsredskap på de högre ledningsnivåerna inom lärosätenas organisationer. Haase, S. och , T.K. Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i . Delredovisning 4: Den fallstudiebaserade undersökningens första fas. Rapporter från 2014/15:RFR7. Akademisk frihet i praktiken. En rapport om tillståndet i den högre utbildningen. system för kvalitetsutvärdering –2014. Examina på grundnivå och avancerad nivå. for Higher Education’s quality evaluation system 2011–2014. system för kvalitetsutvärdering –2014. Rapport 2010:22 R. Att fånga bildning. Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i . Delredovisning 1: Skrivbordsstudie om autonomi- och kvalitetsreformerna. Rapporter från 2013/14: RFR21. Kvalitetssamordnares syn på det nationella utvärderingssystemet för högre utbildning – nu och . Bilaga 10 till SUHF: Slutrapport från för kvalitetsfrågor 2012–2013. Håller utvärderingsmetoden tillräcklig kvalitet? En uppföljning vid av system för kvalitetsutvärdering –2014. Bilaga 9 till SUHF: Slutrapport från för kvalitetsfrågor 2012– 2013. 2009/10:139 Fokus på kunskap – kvalitet i den högre utbildningen. 2009/10:149 En akademi i tiden – ökad frihet för universitet och högskolor. Granskning av kvalitetsarbetet vid . En granskning samordnad av SUHF. Bilaga 3 till SUHF: Slutrapport från för kvalitetsfrågor 2012–2013. Granskning av kvalitetsarbetet vid . En granskning samordnad av SUHF. Bilaga 4 till SUHF: Slutrapport från för kvalitetsfrågor 2012–2013. Slutrapport från för kvalitetsfrågor 2010– 2011. Slutrapport från för kvalitetsfrågor 2012– 2013. A long-term stance adopted by the Education /SUHF) regarding a national quality system for higher education. on Quality; 2013–12-18. Sørensen, . och . Autonomi och kvalitet – ett uppföljningsprojekt om implementering och effekter av två högskolereformer i . Delredovisning 2: Intervjuundersökning med rektorer. Rapporter från 2013/14: RFR22. Reflektioner kring det nuvarande utvärderingssystemet. Erfarenheter 2011–. 6.1 Appendix 1: Metodbeskrivning Här nedan beskrivs den metod som har använts vid enkätundersökningen till de studieansvariga för de utvärderade utbildningarna vid svenska lärosäten i uppföljningen av genomförandet och effekterna av autonomi- och kvalitetsreformerna. Den kvalitetsreform som genomfördes inom den högre utbildningen i innebär att alla högskoleutbildningar över en viss storlek har utvärderats. Fördelat på sex omgångar har utbildningarna utvärderats och bedömts på en skala med tre steg och fått omdömet ”bristfällig”, ”hög” eller ”mycket hög” kvalitet. De utbildningar som i de två första omgångarna (som inleddes ) bedömdes ha en ”bristfällig” kvalitet har antingen med framgång omvärderats 2013 eller lagts ned. De utbildningar som fick omdömet ”bristfällig” kvalitet i omgång 3 och 4 (som inleddes ) omvärderades , såvida de inte lades ned. Resultaten av denna senaste omvärdering var inte kända när datainsamlingen avslutades . När datainsamlingen avslutades var resultaten av utvärderingen av utbildningarna i de två sista omgångarna (det vill säga omgång 5 och 6 som inleddes ) kända för de flesta av utbildningarna i omgång 5, men däremot inte för utbildningarna i omgång 6. Vilka utbildningar med resultatet ”bristfällig” kvalitet som ska omvärderas och vilka som ska läggas ned var därför inte heller känt när datainsamlingen avslutades. Sekvensen av utvärderingar, utvärderingsresultat och omvärderingar kan innebära ett tillfälle till en lärandeprocess för lärosätena och ge dem en möjlighet att utveckla eller förändra sitt kvalitetssäkringsarbete under de sex utvärderingsomgångarna, till exempel genom att utbildningar prioriteras upp och tillförs resurser och uppmärksamhet eller tvärtom genom att de läggs ned. En undersökning av effekterna för lärosätenas handlingsutrymme, strategier och åtgärder är därför ganska komplex och utsträckt och rum, dels i fråga om utvärderingen av den enskilda utbildningen, dels i fråga om lärosätenas eget lärande om utvärderingarnas mål och syfte under loppet av de sex utvärderingsomgångarna.13 Den aktuella enkätundersökningen och analysen försöker ta hänsyn till att respondenterna befinner sig i olika stadier av utvärderingen av utbildningarna, varför deras reaktioner och överväganden kan variera allteftersom de lär sig av utvärderingarna. 13 Till exempel minskar andelen utbildningar som får omdömet ”bristfällig” kvalitet under de sex utvärderingsomgångarna. Alla studieansvariga på alla utvärderade utbildningar under samtliga år utgör potentiella respondenter i undersökningen. Oavsett om utbildningarna har utvärderats med känt eller ännu okänt resultat, om de har blivit omvärderade med känt eller ännu okänt resultat, om de lagts ned eller varit på väg att läggas ned, utgjorde de studieansvariga för alla dessa utbildningar samplet för denna delstudie. I praktiken utgjordes samplet i undersökningen av de utvalda ansvarspersonerna från lärosätena. En del av de utvalda personerna gick av olika anledningar inte att få tag på, till exempel eftersom de inte längre var ansvariga, utbildningen hade lagts ned, den ansvariga personen inte längre var kvar eller att listorna över de utvärderade utbildningarna inte var kompletta, något som särskilt var fallet för omgång 6. De utvalda respondenterna har tagits fram genom en flerstegsprocess, där UKÄ först kontaktades för respondentinformation för varje utbildning. Detta genererade dels bruttolistor, dels samtliga utbildningar och personkontakter som ingick i omgång 4, 5 och 6, inklusive utbildningar som var för små för att utvärderas eller som av andra skäl ändå inte skulle utvärderas. Ur detta material har de utvärderade utbildningarna från för omgång 4 och 5 tagits fram för varje lärosäte. För de utvärderade utbildningarna från för omgång 1, 2 och 3 har de tidigare HSV-medarbetarna med ansvar för de enskilda utvärderingsgrupperna identifierats. Dessa kontaktades för att få information om lärosätenas kontaktpersoner för de utvärderade utbildningarna från för omgång 1, 2 och 3. Kontaktuppgifterna för omgångarna 1 till 5 skickades slutligen till UKÄ:s centrala kontaktpersoner på varje lärosäte med en förfrågan om att verifiera listan samt utöka den med utvärderade utbildningar (inklusive kontaktpersoner) i omgång 6 samt eventuellt sådana som saknades från omgång 5. Bland de insamlade kontaktuppgifterna fanns en del personer som ansvarade för utvärderingen av mer än en utbildning. Dessa respondenter fick bara en enkät för en slumpmässigt utvald utbildning bland de utbildningar som respondenten ansvarade för. Om man drar ifrån dessa ”dubbelgångare” identifierades 893 unika respondenter som var för sig kunde svara för utvärderingen av en utbildning. Genomförandet av kvalitetsreformen och utbildningsutvärderingarna pågick . Under den tiden skedde dels en löpande erfarenhetsinhämtning, dels en förändring i det sätt på vilket utvärderingarna genomfördes och hur utvärderingsdelarna prioriterades, vilket har gjort det extremt svårt att identifiera de rätta ansvarspersonerna som skulle ingå i enkätundersökningen. enskilda lärosätena har organiserat utbildningsansvaret på olika sätt, och en del har förändrat utbildningsorganisationen . HSV har ersatts av UKÄ med den följd att respondentinformation gått förlorad. Det har skett ett mindre bortfall av respondenter under loppet av utvärderingsperioden, och slutligen har en del studieansvariga haft ansvaret för flera utbildningar eller utbildningstyper. Dessa praktiska svårigheter har gjort det extremt svårt att identifiera undersökningens empiriskt möjliga sampel. Till följd av den komplicerade identifikationen av respondenterna i delstudien har det varit nödvändigt att välja den bästa möjliga kompromissen (se också avsnitt 6.1.3). 6.1.5 Svarsprocent och respondentinformation I tabell 1 i kapitel 3 (återgivet här nedan) visas respondenternas fördelning på utbildningar samt svarsprocenten för varje utbildning. Svarsprocenten är genomgående utom bland yrkesutbildningarna, som ligger något under övriga utbildningstyper. Sammanlagt 446 unika respondenter besvarade enkätundersökningen. Tabell A.1 Unika respondenter, svarsprocent och utbildningstyp. Antal och i procent Fördelningen över utbildningstyper av de unika respondenterna (bruttosamplet) är i stort sett identisk med fördelningen av svaren. Samma sak gäller för fördelningen av omdömena ”bristfällig”, ”hög” och ”mycket hög” kvalitet. De använda svaren i delstudien bedöms därför utgöra en god representation av alla typer av upplevda erfarenheter av utbildningsutvärderingarna på lärosätena. Givet begränsningarna i möjligheten att välja ut respondenter kan det dock understrykas att undersökningen på många sätt ger en bild av upplevda erfarenheter och effekter, men inte nödvändigtvis en rättvisande bild för en enskild utbildning eller ett enskilt lärosäte. 6.2 Appendix 2: Enkät till studieansvariga Detta appendix innehåller en layoutmässigt redigerad version av den e-enkät som använts. Enkätundersökningen är på svenska, men instruktionen inom parenteser är på danska. Instruktionen anger vilka respondenttyper som ombeds besvara de enskilda frågorna. Instruktionen beror på utvärderingsresultatet och om utvärderingsresultatet är känt för enkätundersökningen. Tack än en gång för att du vill bidra till undersökningens insamling av information om hur kvalitetsreformen och autonomireformen har påverkat enskilda högskole- och universitetsutbildningar. Det har för många varit en stor och tidskrävande uppgift att utvärdera varje utbildning, och vi är mycket tacksamma för informationen du bidrar med. Vi garanterar att ditt svar förblir anonymt. Resultaten kommer primärt att analyseras på huvudområdes-, lärosätes-, examens-, eller utvärderingsomgångsnivå. Vi använder genomgående beteckningen utbildning om alla utvärderade utbildningar. UKÄ:s lista över utvärderade utbildningar utgör vårt urval. Om du inte är den rätta kontaktpersonen för utbildningen ber vi dig sända oss ett mail och meddela detta. Skriv gärna vem den riktiga kontaktpersonen är, eller varför du inte kan svara. Vi har förstått att du är/var kontakt för följande utbildning: Namn på utbildning: Primära utvärderingsresultat: Ifylld på förhand Om du har frågor är du välkommen att kontakta oss på mailadressen eller så ska vi snabbt försöka hjälpa dig på bästa sätt. Vill du se utbildningsutskotts följebrev om undersökningen kan du klicka här. A. Kvalitetssäkringssystemet – bedömningsunderlag Kvalitetsreformen innebär omfattar en utvärdering av utbildningar på grund- och avancerad nivå vid svenska högskolor och universitet. Mycket små utbildningar är dock undantagna från utvärdering. De utvärderade utbildningarna har blivit bedömda i ett allmänt system med fokus på lärandemängden och - kvaliteten hos de färdigutbildade, primärt genom en utvärdering av de studerandes självständiga skriftliga arbeten och lärosätenas självvärderingar, men andra element kan också ha ingått i utvärderingarna. (Se eller 2012:15 R) Vilka bedömningsunderlag ingick i er utvärdering och vilka skulle enligt din uppfattning generera det mest rättvisande resultatet för er utbildning? (Besvaras av alla) Om annat, ange vad: (Besvaras av alla med ett känt utvärderingsresultat) I mycket hög grad Upplever du överlag att det ringen av er utbildning har gett ett rättvisande utvärde- Utbildning (Besvaras av alla) I mycket hög grad Är er utbildning en tvär- Är er utbildning en yr- Är er utbildning en tradit- Förväntningar på utvärderingens resultat Vilket bedömningsresultat hade ni förväntat/ förväntar ni er av utvärderingen? (Besvaras av alla med ett känt/okänt utvärderingsresultat) Hade/Har inga förväntningar (Besvaras av alla med ett känt utvärderingsresultat) I mycket hög grad Blev ni överraskade av be- I vilken grad var bedömningen rättvisande? (Besvaras av alla med ett känt utvärderingsresultat) I mycket hög grad Baserat på det över- Baserat på det akade- Om annat, ange vad: Hur blev bedömningsresultatet överlag mottaget: (Besvaras av alla med ett känt utvärderingsresultat) Internt på ert lärosäte? Externt, utanför ert läro- Hur har bedömningsresultatet överlag mottagits internt på ert lärosäte? (Besvaras av alla med ett känt utvärderingsresultat) (Flera svar möjliga) Som en katalysator för förändringar. Som ett understrykande av ett behov av förändringar.