prop · H70360 · 2019-12-11 00:00:00 — Vilket år en publicering sker kan bero på tillfälligheter och därför används ett glidande medelvärde även för dessa mått för att enskilda avvikande år inte ska få så stort genomslag för mindre lärosäten. De båda publikationsmåtten har samlats in av på uppdrag av och baseras på antalet publiceringar i vetenskapliga tidskrifter redovisade i databasen of Science.48 Med högciterade publikationer avses en artikel som är bland de högst citerade i databasen.49 Anledningen till att inkludera ett särskilt prestationsmått för högciterade artiklar är att försöka ta hänsyn till att forskningskvaliteten kan skilja sig åt mellan lärosäten. Antal högciterade publikationer antas därför till viss del fånga kvaliteten och genomslaget för ett lärosätes forskningsproduktion. Det är värt att notera att ett mått på forskningsvolym riskerar att ge incitament att dela upp en publikation i flera mindre delar för att öka publikationsvolymen utan att egentligen utföra mer forskning. Därför är det lämpligt att använda även ett citeringsbaserat mått på forskningens genomslag. Vi har därför testat att använda antalet fältnormerade citeringar som ett alternativt outputmått istället för antal publikationer. Resultaten av detta redovisas i avsnitt 4.4. Det ska också noteras att täckningsgraden, det vill säga hur väl forskningen inom olika ämnesområden är representerad i databasen, varierar mellan olika ämnesområden. Exempelvis är täckningen lägre för humaniora än för medicin. Detta skulle kunna påverka resultaten för lärosäten som har mycket forskning inom humaniora, vilket är ytterligare ett skäl att även använda mått som istället fokuserar på forskningens genomslag såsom citeringar, snarare än volym. Ett alternativ till antal forskningspublikationer som prestationsmått inom forskning är att använda sig av storleken på tillförda forskningsmedel. Inom tidigare forskning på området är detta relativt vanligt. En publicerad forskningsstudie visar dock att lärosätenas beräknade effektivitet påverkas relativt lite oavsett vilket av dessa två prestationsmått som används.50 48Med antal publikationer avses fraktionerade publikationer för de olika lärosätena. Fraktionalisering innebär att publikationer delas upp i mindre delar utifrån författaradresser eller författarnamn på publikationen. Anledningen till att använda fraktionalisering är att artiklar som har författare från flera organisationer annars kan komma att räknas och summan av artiklar blir större än det faktiska antalet artiklar i databasen. Antalet publikationer baseras på dokumenttyperna article och review. För mer detaljer kring den använda bibliometriska metoden se Nordforsk (2017). 49Antalet citeringar är räknade under ett treårigt fönster, vilket betyder antalet citeringar som gjorts till en publikation efter att den publicerades. Citeringar som uppkommer av att en författare refererar till en av sina egna publikationer räknas inte. 50För mer information se Gralka m.fl. (2019). R I K S R E V I S I O N E N R E S U R S E F F E K T I V I T E T O C H P R O D U K T I V I T E T V I D S V E R I G E S L Ä R O S Ä T E N 3.3 Lärosäten och variabler: beskrivande statistik Nedan presenteras beskrivande statistik för de lärosäten och variabler som inkluderas i DEA-modellen.51 Det är genomsnittliga värden per lärosäte som aggregerats för respektive land. Det kan konstateras att det finns stora skillnader mellan ländernas lärosäten. Exempelvis framgår av diagram 1 att personalsammansättningen varierar mellan de olika länderna. I diagrammet redovisas den genomsnittliga andelen akademisk personal av total personal per lärosäte. Som framgår har en lägre genomsnittlig andel akademisk personal per lärosäte jämfört med de övriga nordiska länderna, medan har högst andel. Utvecklingen för samtliga länder är stabil och uppvisar inga stora förändringar . Diagram 1 Andel akademisk personal av total personal, Källa: ETER-data, SCB och statistik från deltagarländerna. De inkluderade danska lärosätena är i genomsnitt större än övriga länders, vilket kan förklaras av att endast universitet och inte yrkeshögskolor ingår i urvalet för (8 universitet av total 31 lärosäten i ). I diagram 2 nedan presenteras förhållandet mellan lärosätenas totala lokalyta och antal studenter. Av diagrammet framgår att lärosätena på har minst antal kvadratmeter per student, , vilket är avsevärt mycket mindre än som har flest kvadratmeter per student. I är motsvarande siffra cirka 51Ytterligare deskriptiv statistik presenteras i tabell B1 i bilaga 1. 28 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Diagram 2 Lokalyta per student, Källa: ETER-data, SCB och statistik från deltagarländerna. I diagram 3 redovisas förhållandet mellan antalet akademisk personal och antalet studenter. har flest studenter per akademisk personal. har däremot minst antal studenter per akademisk personal, men antalet ökar . är också det land som uppvisar den största förändringen över den observerade tidsperioden vilket förklaras av att antalet studenter har ökat kraftigt . Diagram 3 Antal studenter per akademisk personal, Källa: ETER-data, SCB och statistik från deltagarländerna. R I K S R E V I S I O N E N R E S U R S E F F E K T I V I T E T O C H P R O D U K T I V I T E T V I D S V E R I G E S L Ä R O S Ä T E N 4Skillnader i resurseffektivitet mellan nordiska lärosäten I detta kapitel redovisas resultaten från effektivitets- och produktivitetsberäkningarna för de nordiska lärosäten som har granskat. Vidare presenteras den känslighetsanalys som genomförts för att studera hur känsliga resultaten är för förändringar i modellspecifikationen. I kapitlet redovisas även en analys av tänkbara förklaringar till de observerade resultaten. Resultaten baseras på den modell som beskrivs i kapitel 3. 4.1 Vissa lärosäten betraktas som extremvärden Inledningsvis beräknas en modell för att upptäcka om vissa lärosäten på ett tydligt sätt skiljer ut sig från resterande observationer. Eftersom DEA-metoden är känslig för mätfel i data och de beräknade effektivitetstalen är relativa är det inom forskningen på detta område vanligt att använda olika metoder (se avsnitt 3.1) för att upptäcka extremvärden. Om det finns extremvärden i den data som undersöks kan det påverka resultaten för samtliga analyserade enheter. Av denna anledning beräknas en modell som indikerar om ett lärosäte ett enskilt år är att betrakta som ett extremvärde.52 Resultatet av dessa beräkningar presenteras i tabell 3 nedan. Tabell 3 Lärosäten som identifierats som extremvärden, Sogn och Fjordane högskola Källa: beräkningar. 52För att identifiera extremvärden används metoden för supereffektivitet. Enligt Banker och (2006) och Banker m.fl. (2017) fungerar metoden bra för praktiska applikationer. 30 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Från tabell 3 ser vi att de tre inkluderade isländska lärosätena definieras som extremvärden samtliga undersökta år. Detsamma gäller för . Vidare identifieras som ett extremvärde samtliga år och alla år utom två. Det finns dessutom några lärosäten som med metoden definieras som extremvärden ett eller . Anledningen till att ett lärosäte med metoden definieras som ett extremvärde kan vara att lärosätet presterat mycket bättre i de dimensioner som inkluderas i modellen än de lärosäten som det jämförs med. Det skulle även kunna bero på felaktigheter i den statistik som används i beräkningarna. har så långt som möjligt försökt säkerställa att den inkluderade statistiken är korrekt, men vid all insamling av statistik kan felaktigheter uppstå. För att undvika att de lärosäten som identifierats som extremvärden ska påverka resultaten utesluts dessa i de följande beräkningarna av lärosätenas effektivitet. 4.2Svenska lärosäten är relativt effektiva i jämförelse med nordiska lärosäten Den använda metoden definierar ett lärosäte som effektivt om det inte kan öka sin produktion utan att ytterligare resurser tillförs.53 Ett lärosäte som uppvisar en ineffektivitet kan däremot öka sin produktion utan att ytterligare resurser tillförs. Det är viktigt att ha i åtanke att resultaten är relativa mått. Detta innebär att lärosäten som bedöms som ineffektiva har en förbättringspotential i förhållande till andra observerade lärosäten.54 En återsamplingsteknik har använts för att ta hänsyn till osäkerhet i beräkningarna. Effektiva lärosäten är de som ligger på produktionsmöjlighetsfronten. Ineffektiva lärosäten är de som har en ineffektivitet som är statistiskt säkerställd.55 I tabell 4 nedan presenteras lärosätenas genomsnittliga förbättringspotential per undersökt nordiskt land för tidsperioden –2016. Antalet inkluderade lärosäten varierar mellan 61 och 62 av totalt 68 eftersom några uteslutits på grund av extremvärden (se avsnitt 4.1). 53Beräkningarna av långsiktig teknisk effektivitet har utförts med R-paketet Benchmarking, se Bogetoft och (2011). Beräkningarna görs under antagandet om skalavkastning (CRS). 54Eftersom måttet är relativt innebär inte effektivitet att det inte teoretiskt går att producera mer. 55Med statistiskt säkerställd avses en ineffektivitet som är statistiskt signifikant skild från noll på 5- procentsnivån. Metoden beskrivs i bilaga 5. R I K S R E V I S I O N E N R E S U R S E F F E K T I V I T E T O C H P R O D U K T I V I T E T V I D S V E R I G E S L Ä R O S Ä T E N Tabell 4 Genomsnittlig långsiktig förbättringspotential i procent för perioden –2016, skalavkastning (exkl. extremvärden) Källa: beräkningar. I en jämförelse med samtliga inkluderade nordiska lärosäten uppvisar de svenska lärosätena en genomsnittlig förbättringspotential på mellan för den undersökta tidsperioden –2016. Den genomsnittliga förbättringspotentialen för de inkluderade svenska lärosätena för hela den studerade tidsperioden är , vilket innebär att lärosätena i genomsnitt skulle kunna öka sina prestationer utan att ytterligare resurser tillförs. Lärosätena i Danmark56 uppvisar i genomsnitt något mindre förbättringspotential än de svenska lärosätena och är alltså mer effektiva. För hela perioden –2016 finns för de inkluderade danska lärosätena en förbättringspotential på drygt Motsvarande siffra för lärosätena i är något högre, drygt Störst beräknad förbättringspotential finns för de finska lärosätena. För de inkluderade finska lärosätena är förbättringspotentialen i genomsnitt för den undersökta tidsperioden. Finska lärosäten visar dock på en positiv trend med lägre förbättringspotential . Analysen visar att alla tre inkluderade isländska lärosäten är att betrakta som extremvärden och har därmed enligt modellen ingen förbättringspotential. Dessa lärosäten ingår inte heller i jämförelsen med resterande lärosäten. 56För inkluderas alltså inte de så kallade professionshögskolorna. Det främsta skälet till detta är att de inte bedriver någon forskning. Detta innebär bland annat att stora yrkesutbildningar för exempelvis sjuksköterskor och lärare inte finns med i analysen. 32 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N gäller för åren 2011–2014. ingår i analysen och beräkningarna visar att lärosätet dessa år var effektivt i jämförelse med resterande inkluderade lärosäten. Resultaten visar vidare att det är relativt många lärosäten som inte uppvisar någon förbättringspotential enligt den modell som specificerats. Antalet varierar mellan 33 och 17 . Dessa lärosäten kan alltså enligt modellen inte öka sin produktion utan att ytterligare resurser tillförs. Antalet svenska lärosäten som inte uppvisar någon ineffektivitet varierar över den undersökta tidsperioden. var 16 () av de 27 inkluderade svenska lärosätena, enligt den beräknade modellen, att betrakta som resurseffektiva. För de resterande åren varierar motsvarande siffra mellan 6 och 14 lärosäten. Ett antal svenska lärosäten är resurseffektiva för samtliga studerade år. Dessa lärosäten är , , Kungl. Tekniska högskolan, , samt . Analysen visar alltså att de flesta lärosäten är effektiva och har en relativt liten genomsnittlig förbättringspotential. Det är dock viktigt att notera att förbättringspotentialen inte är jämnt fördelad. För vissa lärosäten är förbättringspotentialen relativt stor och sju svenska lärosäten uppvisar en signifikant förbättringspotential samtliga studerade år. För att i mer detalj studera effektiviteten för enskilda lärosäten presenteras i diagram 4 nedan resultaten för samtliga lärosäten för år 2016.57 57Motsvarande diagram presenteras i bilaga 2. R I K S R E V I S I O N E N R E S U R S E F F E K T I V I T E T O C H P R O D U K T I V I T E T V I D S V E R I G E S L Ä R O S Ä T E N Diagram 4 Enskilda lärosätens ineffektivitet , procent universitet universitet business school universitet universitet i Hedmark i universitet universitet miljö- och biovetenskapliga universitet universitet i universitet teknisk-naturvetenskapliga universitet tekniska universitet högskola i Bergen –– Ineffektivitet - - - - Konfidensintervall Källa: beräkningar. 34 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N I diagram 4 illustrerar de streckade linjerna gränserna för ett 95-procentigt konfidensintervall. var den genomsnittliga förbättringspotentialen för samtliga 62 inkluderade nordiska lärosäten . För de svenska lärosätena var förbättringspotentialen något lägre, . De genomsnittliga resultaten i granskningen skiljer sig inte nämnvärt åt jämfört med resultaten från tidigare granskning58, som granskade effektiviteten för enbart svenska lärosäten. Många av de lärosäten som i denna granskning identifieras som effektiva respektive ineffektiva var det också i den förra granskningen. Man bör dock vara försiktig med direkta jämförelser mellan de två granskningarna eftersom modellspecifikationen skiljer sig åt. Med hjälp av DEA-metoden kan man identifiera referenslärosäten bland de effektiva lärosätena som lärosäten med förbättringspotential kan jämföra sig med. Dessa referenslärosäten är lärosäten som har en liknande profil när det gäller resurser och prestationer som de lärosäten som uppvisar en förbättringspotential. I tabell B2 i bilaga 3 redovisas referenslärosätena för de svenska lärosäten som uppvisar förbättringspotential.59 4.2.1 Vad innebär de beräknade effektivitetstalen i praktiken? En viktig fråga i sammanhanget är vad den beräknade ineffektiviteten eller förbättringspotentialen innebär i praktiken. Nedan redovisas därför ett hypotetiskt räkneexempel. Den modell som använts för beräkningar av effektivitetstal bygger på att samtliga outputdimensioner simultant skalas upp. I dessa räkneexempel koncentreras förbättringspotentialen till en utvald dimension för att på ett överskådligt sätt illustrera vad effektivitetstalen innebär. Först analyseras vad den beräknade förbättringspotentialen betyder i termer av helårsprestationer. För exempelvis 2016 motsvarar svenska lärosätens sammanlagda förbättringspotential drygt 12 000 helårsprestationer. Enligt beräkningen skulle alltså så många fler helårsprestationer vara möjliga att åstadkomma sammantaget, utan att någon annan prestation skulle behöva minska, givet lärosätenas resurser. Detta kan ställas mot den totala volymen helårsprestationer 2016 som var cirka 234 000 för de 27 svenska lärosätena som ingår i analysen. Antalet helårsprestationer skulle alltså enligt denna beräkning kunna öka med , om alla lärosäten utnyttjade sina resurser effektivt. 59Av utrymmesskäl redovisas referenslärosätena endast för svenska lärosäten och . R I K S R E V I S I O N E N R E S U R S E F F E K T I V I T E T O C H P R O D U K T I V I T E T V I D S V E R I G E S L Ä R O S Ä T E N 4.3Vad kan förklara skillnaderna mellan svenska lärosätens effektivitetstal? För att ytterligare undersöka vad som kan förklara de observerade effektivitetsresultaten studeras samvariationen60 mellan de beräknade effektivitetstalen och externa faktorer som kan tänkas ha ett samband med lärosätenas effektivitet.61 Denna analys genomförs enbart för de svenska lärosätena. I analysen studeras samvariationen mellan effektivitetstalen och följande variabler: •andelen studenter som är nybörjare •andelen studenter som läser fristående kurser •lärosätets överproduktion av studenter •andelen externa medel. Andelen disputerad personal förväntas samvariera positivt med effektivitetstalen medan andelen nybörjare förväntas samvariera negativt med effektiviteten. Ett lärosäte med en högre andel nybörjare kan förväntas uppvisa en högre ineffektivitet. Hypotesen bygger på föreställningen att det för studenten ofta är en stor omställning från studier på gymnasienivå till studier på högskolan. Vad gäller distansstudenter visade tidigare granskning att andelen distansstudenter samvarierade negativt med effektivitetstalen. Även UKÄ har visat i ett antal rapporter att en hög andel distansstudenter bidrog till lägre prestationsgrad på lärosätet. När det gäller andelen studenter på fristående kurser har UKÄ redovisat att dessa studenter har en lägre prestationsgrad än studenter som läser på program.63 Lärosäten med en hög andel studenter på fristående kurser skulle därför kunna samvariera negativt med effektivitetstalen. En hög personalomsättning innebär extra kostnader för lärosätet för rekrytering, introduktion och inskolning, vilket i sin tur kan leda till lägre effektivitet. För att mäta ett lärosätes specialiseringsgrad med avseende på antalet olika utbildningsområden används Herfindalindexet. Ju färre ämnesområden, desto Spearmans rangkorrelationer används. Denna analys är begränsad till variabler som det finns tillgänglig statistik för. UKÄ (2017) och (2010). 36 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N högre specialiseringsgrad och högre värde på indexet. En hypotes är att det kan vara mer effektivt att specialisera sig på utbildning och forskning inom ett fåtal utbildningsområden.64 Överproduktion innebär att lärosäten producerar fler helårsstudenter och helårsprestationer än vad de får ersättning för. Överproduktionen skulle kunna samvariera med effektivitetstalen och hypotesen är att lärosäten med högre överproduktion har en mindre förbättringspotential. När det gäller samband mellan andel externa medel och effektivitet har tidigare studier av svenska lärosäten visat på lite olika resultat.65 Det verkar dock inte finnas någon tydlig korrelation.66 kan andel externa medel antas korrelera positivt med lärosätets effektivitet då vi antar att detta delvis fångar kvaliteten på forskningen. I tabell 5 nedan redovisas resultaten från analysen. Endast en faktor uppvisar signifikant samvariation med effektivitetstalen – lärosätenas personalomsättning. Personalomsättningen samvarierar negativt med lärosätets effektivitetstal, det vill säga lärosäten med en hög personalomsättning har en lägre effektivitet.67 Tabell 5 Samvariationen mellan den beräknade ineffektiviteten och förklaringsvariablerna för åren 2011–2016 -0,04 -0,02 Andel på fristående kurser Personalomsättning (avgångar) -0,18* -0,15 -0,05 Anm.: * Innebär statistisk signifikans på 5-procentsnivån. Spearmans rangkorrelationer har använts. P-värdet mäter sannolikheten att den skattade korrelationen inte är noll. Ju lägre p-värde desto säkrare skattning. Källa: beräkningar. 64För en diskussion kring effekterna av specialisering, se Bonaccorsi och Daraio (2007). 65Se Damvad Analytics (2016); (2018); (2018). 66SOU 2019:6, s. 268. 67Observera att det inte går att vara säker på det kausala förhållandet mellan variablerna. Det skulle kunna vara så att en hög personalomsättning ger en hög ineffektivitet men det skulle också kunna vara så att ineffektiva lärosäten orsakar en högre personalomsättning. R I K S R E V I S I O N E N R E S U R S E F F E K T I V I T E T O C H P R O D U K T I V I T E T V I D S V E R I G E S L Ä R O S Ä T E N Andelen distansstudenter uppvisar inte någon samvariation med effektiviteten, vilket det gjorde i den tidigare granskningen68. Sambandet var då negativt, det vill säga ju högre andel distansstudenter desto lägre effektivitet. Det kan finnas flera orsaker till det nu uteblivna sambandet. Till exempel har det skett en förskjutning mot fler programstudenter, tekniken har förbättrats och arbetssätten kan ha förändrats . Till viss del kan det också förklaras av att det har skett en del sammanslagningar av lärosäten. Exempelvis slogs Högskolan på samman med . Högskolan på uppvisade ineffektivitet och hade en hög andel distansstudenter. Sammanslagningen med det betydligt större kan dölja det tidigare sambandet. Övriga faktorer ger ingen förklaring till de skillnader i effektivitet som observeras för lärosätena i . 4.4 Känslighetsanalysen visar på stabila resultat Omfattande känslighetsanalyser har gjorts för att undersöka om den valda modellen är stabil. Exempelvis kan vissa variabler påverka resultaten mer än andra, vilket skulle kunna bero på exempelvis mätfel i data. Mätfel kan vara generella för alla länder, vilket är ett mindre problem, men även specifika för enskilda länder vilket kan vara problematiskt för jämförbarheten länder emellan. Ett flertal alternativa modeller har prövats, bland annat med och utan justering för elevernas förkunskaper samt med och utan justeringar utifrån kostnadsskillnader med hjälp av de statliga ersättningsbeloppen för olika utbildningsområden. Resultaten från känslighetsanalysen ger ingen indikation på att det finns problem med mätfel i data. I analysen nedan går vi igenom de känslighetsanalyser som genomförts. För att kunna jämföra olika utbildningsområden behöver vi ta hänsyn till de systematiska kostnadsskillnader som finns mellan olika utbildningsområden. Därför används det ersättningsbelopp utbildningen erhåller för att vikta upp outputvariabeln som mäter antalet avklarade poäng inom utbildning på grundnivå och avancerad nivå. Utbildningar inom humaniora får mindre ersättning jämfört med utbildningar inom medicin eftersom de senare utbildningarna har högre kostnader. I detta fall viktas avklarade ECTS-poäng inom medicin upp med en faktor på cirka 2 jämfört med humaniora. Vi har använt de danska ersättningsbeloppen eftersom de överensstämmer bäst med indelningen av utbildningsområden i ETER-databasen.69 69I ETER-databasen används tio olika utbildningsområden (fields of education). 38 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Vi har även gjort effektivitetsberäkningar då justeringen utifrån utbildningsmix görs med hjälp av de svenska ersättningsbeloppen, samt helt utan att använda de olika ersättningsbeloppen. När de svenska ersättningsbeloppen används påverkar detta effektivitetsresultaten negativt för alla länder. Mest påverkas resultaten för de danska lärosätena och minst påverkas resultaten för svenska lärosäten. När finska ersättningsbelopp används ändras resultaten endast marginellt. Att inte använda ersättningsbelopp överhuvudtaget ger däremot positiva effekter på den beräknade effektiviteten i nästan samtliga länder för hela den studerade tidsperioden. För påverkas effektivitetstalen minst och är i princip oförändrade . Det land vars effektivitet påverkas mest positivt är . Det förefaller alltså som att lärosätena i har en jämförelsevis mindre andel dyra utbildningar inom exempelvis medicin och teknologi jämfört med övriga nordiska länder. Studenter med goda förkunskaper antas kunna påverka effektiviteten genom att de påverkar genomströmningen positivt. Eftersom studenternas förkunskaper kan variera har vi tagit hänsyn till detta genom studenternas tidigare resultat i termer av avgångsbetyg från gymnasiet, provresultat eller liknade där det finns tillgängligt. Analyserna visar att studenternas förkunskaper endast påverkar effektivitetstalen marginellt. Beräkningar har även gjorts där lokalytor inte har tagits med som inputvariabel.