prop · H70360 · 2019-12-11 00:00:00 — 18Från 2012 (regleringsbrevet 2012 avsåg , föregångare till ) fanns effektivitetsuppdraget med i myndighetens regleringsbrev. I uppdraget ingick att utveckla ändamålsenliga metoder för att mäta effektivitets- och produktivitetsutvecklingen i högskoleverksamheten som beskriver en så stor del av sektorns uppdrag som möjligt, utveckla uppföljningen av inaktiva studenter samt följa upp klassificeringen av kurser i olika utbildningsområden. finns effektivitetsuppdraget med i myndighetens instruktion (2017:845). R I K S R E V I S I O N E N R E S U R S E F F E K T I V I T E T O C H P R O D U K T I V I T E T V I D S V E R I G E S L Ä R O S Ä T E N 2.2 Resurseffektivitet med DEA-metoden I granskningen används definitionerna för effektivitet och produktivitet på det sätt de är definierade inom nationalekonomisk litteratur.19 För att jämföra lärosäten med avseende på resurseffektivitet har valt DEA-metoden (Data Envelopment Analysis)20, som är ett av många sätt att studera resurseffektivitet. Metoden utvecklades , och det finns ett stort antal publicerade vetenskapliga studier som är baserade på metoden, inklusive studier avseende effektiviteten inom högskolesektorn.21 Det huvudsakliga skälet till att använda DEA-metoden är att den kan hantera en situation där både produktionen och resursåtgången mäts i flera dimensioner, det vill säga metoden kan hantera flera resursrespektive prestationsvariabler . Enligt metoden är ett lärosäte effektivt när det bland övriga lärosäten inte går att observera något annat lärosäte som producerar mer med givna resurser. Ett ineffektivt lärosäte är således ett lärosäte som producerar mindre än de effektiva lärosätena givet resurstilldelningen. Detta innebär att både de effektiva och de ineffektiva lärosätena definieras utifrån så kallad best practice. De effektivitetstal som har beräknats i granskningen ska därför tolkas som relativ effektivitet i relation till andra observerade enheter. Metoden illustreras i det följande med ett förenklat exempel. I exemplet produceras två olika output (y1, y2) och enbart en resurs används (x). I tabell 1 presenteras produktionen och resursförbrukningen för tre fiktiva lärosäten. Tabell 1 Exempel på hur DEA-metoden fungerar Resurs (x) Output 1 (y1) Output 2 (y2) Samtliga lärosäten i exemplet använder samma mängd resurser men producerar olika mycket. Exemplet visar att lärosäte A har mindre produktion än båda lärosätena B och C. Situationen illustreras grafiskt i figur 1. 19Se exempelvis Coelli m.fl. (2005). 20Begreppet Data Envelopment Analysis användes först i Charnes m.fl. (1978). Parallellt utvecklades motsvarande metoder inom nationalekonomi och benämndes icke-parametriska metoder (Färe m.fl. 1994). 21För en sammanställning av , se Emrouznejad och (2017). 16 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Figur 1 Beskrivning av en outputbaserad DEA-modell I figur 1 mäts produktionen på axlarna i termer av reala mängden y1 och y2. Punkterna A, B och C är de lärosäten som finns redovisade i tabellen ovan. Den yttre gränsen för vad som observerats vara möjligt att producera är tre enheter y1 och tre enheter y2. Denna gräns illustreras av den horisontella linjen från tre enheter y2 till C, samt den vertikala linje som utgår från tre enheter y1 till B. I DEA-metoden antas att om det är möjligt att producera både som B och som C, så är det även möjligt att producera alla kombinationer som ligger mellan dessa. Detta illustreras av linjen som går mellan punkt B och punkt C. Sammantaget illustrerar de tre linjestyckena (3 y1 – B – C – 3 y2) den yttre gränsen av vad som är observerat möjligt att producera och de bildar därmed fronten, den så kallade produktionsmöjlighetsfronten. I litteraturen benämns denna även som Fronten visar alltså hur förhållandet mellan input och output ser ut för de effektivaste lärosätena. För de lärosäten som ligger på denna front antas det inte vara möjligt att öka produktionen utan att det tillförs mer resurser, och de lärosätena betraktas därför som mest effektiva. Kombinationer av y1 och y2 som ligger innanför produktionsmöjlighetsfronten är också möjliga att producera med de givna resurserna. Alla sådana kombinationer befinner sig i området som benämns som produktionsmöjlighetsområdet (P(x)). I figur 1 ligger lärosäte A inte på produktionsmöjlighetsfronten utan inne i produktionsmöjlighetsområdet. Lärosäte A betraktas därför som ineffektivt relativt lärosätena B och C. DEA- metoden ger således endast information om förhållandet mellan de olika lärosäten som är med i analysen. Den optimala resurseffektiviteten kan ligga utanför den produktionsmöjlighetsfront som definieras av de lärosäten som har högst effektivitet. Ett mått på ineffektiviteten, eller förbättringspotentialen, får man genom att besvara frågan: Hur mycket skulle ett ineffektivt lärosäte kunna öka sin R I K S R E V I S I O N E N R E S U R S E F F E K T I V I T E T O C H P R O D U K T I V I T E T V I D S V E R I G E S L Ä R O S Ä T E N produktion givet befintliga resurser? I figur 1 illustreras detta genom att jämföra avståndet från origo (0) till var lärosätet skulle hamna om samtliga lärosätens producerade output ökade proportionellt lika mycket upp till produktionsmöjlighetsfronten (AEFF). Detta avstånd satt i relation till avståndet från origo visar den procentuella förbättringspotentialen. Denna kvot ger ett mått, uttryckt i procent, som visar hur effektivt ett specifikt lärosäte är, det vill säga hur mycket mer output ett lärosäte borde kunna producera givet tilldelade resurser. I avsnitt 2.2 visades hur effektiviteten i resursanvändningen för olika produktionsenheter kan mätas , exempelvis . När förändringar av produktionen studeras och hänsyn tas till samtliga produktionsfaktorer används begreppet totalfaktorproduktivitet. Detta begrepp avser förändringar i både produktionsteknologin och effektiviteten. I granskningen används begreppet produktivitet för totalfaktorproduktivitet. Vanliga mått på produktivitet är exempelvis arbetsproduktivitet och kapitalproduktivitet, vilket i princip är produktion per anställd respektive per enhet kapital . Problemet med dessa partiella mått är att de inte tar hänsyn till att förändringar kan ske i samtliga slag av resurser och prestationer. Exempelvis kan personal bytas ut mot nya tekniska hjälpmedel. Det innebär att mått som arbetsproduktivitet och kapitalproduktivitet kan bli missvisande, eftersom de inte tar hänsyn till möjligheten att byta produktionsfaktorer mot varandra. För att undvika detta problem måste samtliga resurser och all output beaktas i ett produktivitetsmått. Ett sådant produktivitetsmått är produktivitetsindex.22 Detta mått utvecklades , och det kan hantera flera slag av resurser och output . Malmquistindexet kan dessutom delas upp i en komponent som speglar ökad eller minskad produktion till följd av effektivitetsförändringar och en komponent som speglar förändringar i teknologin.23 2.4 Fördelar och nackdelar med DEA-metoden När resurseffektivitet och produktivitet för offentliga tjänster ska mätas finns det en rad metodologiska problem. Ett av dessa problem är att verksamheterna ofta producerar olika tjänster, vilket innebär att verksamheten måste kunna analyseras i form av flera olika outputvariabler simultant. Dessutom karaktäriseras produktionen ofta av att flera olika typer av resurser används . 22Grundidén till produktivitetsindex kommer från Caves m.fl. (1982). Teorin omsattes till empiri av Färe m.fl. (1992). Tillämpningen bygger i sin tur på (1953), därav namnet. 23För en mer detaljerad beskrivning av hur produktiviteten mäts se bilaga 5. 18 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N innebär att modellen som används också måste kunna hantera flera dimensioner samtidigt.24 Med DEA-metoden är det möjligt att komma en god bit på väg när det gäller att systematiskt analysera hur olika prestationer inom offentlig verksamhet hänger samman med insatta resurser. För det första väger metoden ihop flera resurser och prestationer till ett samlat mått på effektivitet. För det andra kräver DEA-metoden inga antaganden om produktionsfunktionens utseende. Dessa egenskaper gör att DEA-metoden är lämplig för att analysera offentlig tjänsteproduktion. Metoden är ett verktyg som översätter en mångdimensionell verksamhet till ett sammanfattande mått som belyser den potential till effektivitetsförbättring som eventuellt finns. I ett lärosätessammanhang har DEA-metoden fördelen att den kan ta ett helhetsgrepp och inkludera både utbildning och forskning i en och samma modell.25 DEA-metoden har också fördelen att den utöver att vara flerdimensionell –både utbildning och forskning inkluderas – tillåter en heterogenitet eftersom varje lärosäte jämförs med liknande lärosäten.26 Jämfört med till exempel internationella rankingar av lärosäten möjliggör också DEA-metoden att lärosäten med olika profiler, mål och strategier jämförs med lärosäten med liknande profil. På så vis uppmuntras diversitet och den likriktning i termer av benchmarking som ofta ses i olika mätningar, till exempel att forskningsintensiva lärosäten premieras, kan motverkas. Dessutom undviker DEA-metoden kritiken som framkommer mot rankningar att de inkluderar indikatorer som är lätta för lärosätena att själva manipulera.27 Det bör betonas att DEA-metoden mäter relativ effektivitet och inte absolut effektivitet. Den visar alltså inte hur mycket som teoretiskt sett skulle vara möjligt att producera utan måttet baseras på vad som faktiskt har observerats bland de undersökta produktionsenheterna, i vårt fall lärosätena. Detta är både en för- och en nackdel med metoden. Å ena sidan kan slutsatserna om förbättringspotential vara realiserbara, eftersom de utgår från observerade data. Å andra sidan kan det finnas en teoretisk förbättringspotential för samtliga analyserade enheter som inte är observerbar med den använda metoden. Som alla analysmetoder har DEA-metoden också vissa svagheter. Metoden är känslig för mätfel och slumpvisa variationer i data, vilket beror på att metoden inte tar hänsyn till osäkerhet i data. I granskningen innebär det att om det finns 24I traditionella regressionsanalyser av produktionsfunktioner går det i regel bara att använda modeller som har en output eller en input. 25Daraio m.fl. (2018). 26Se bland annat Daraio m.fl. (2017) och Johnes (2018). 27Johnes (2018), s. 597. R I K S R E V I S I O N E N R E S U R S E F F E K T I V I T E T O C H P R O D U K T I V I T E T V I D S V E R I G E S L Ä R O S Ä T E N skillnader i hur olika lärosäten rapporterar sin resursförbrukning respektive sina prestationer kan det påverka resultaten. Detta kan även innebära att extremvärden, så kallade supereffektiva enheter (se avsnitt 4.1) påverkar resultaten.28 En annan av DEA-metodens egenskaper är att den i sin enklaste form inte medger att resultaten kan hypotestestas. Ett sätt att ändå kunna undersöka osäkerheten i beräkningarna är att använda olika typer av så kallade återsamplingstekniker (se bilaga 5). 28Se exempelvis Metters m.fl. (2001) för en diskussion kring mätfel när DEA-metoden används. 20 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N I detta kapitel beskrivs hur urvalet av lärosäten gjorts, hur modellspecifikationen bestämts och hur informationen som används i beräkningarna samlats in. Dessutom beskrivs och definieras de variabler som ingår i beräkningarna av lärosätenas effektivitet och produktivitet. Granskningen har genomförts i samarbete med de statliga revisionsmyndigheterna i , , , och Norge.29 Myndigheterna har samlat in och kvalitetssäkrat delar av det statistikunderlag som används i granskningen. Den statistik som används för effektivitets- och produktivitetsberäkningarna kommer från flera olika källor. Dessa källor inkluderar bland annat statistik från de olika nordiska ländernas centrala statistikmyndigheter (i fall), European Tertiary Education Register (ETER-databasen), uppgifter direkt från lärosätena och . För har även statistik samlats in från (), lärosätenas årsredovisningar samt . 3.1 Urval av lärosäten Även om den högre utbildningen och lärosätena i de nordiska länderna i många hänseenden liknar varandra finns det skillnader, inte minst när det gäller hur systemen är uppbyggda, som försvårar jämförelser mellan de olika ländernas universitet och högskolor (se tabell B4 i bilaga 6 för en översiktlig jämförelse). Till exempel särskiljer sig och från de övriga nordiska länderna genom att båda länderna har ett enhetligt system för högre utbildning medan de övriga skiljer mellan akademiskt forskningsinriktade respektive yrkesinriktade lärosäten.30 Detta har bland annat påverkat vårt urval av lärosäten och i studien inkluderas endast lärosäten med viss forskningsaktivitet. Som nämnts tidigare är DEA-metoden känslig för mätfel och resultaten kan komma att påverkas av extremvärden.31 Eftersom det inte finns någon exakt regel för att avgöra vad som är ett extremvärde så har olika metoder utvecklats för att identifiera extremvärden. När DEA-metoden används är det viktigt att identifiera observationer som har en påtaglig inverkan på den så kallade produktionsmöjlighetsfronten.32 Ett tillvägagångsätt för att göra detta är att 29Den norska Riksrevisjonens roll i granskningen har främst varit att hjälpa till med insamling av data. 30UKÄ:s årsrapport , s. 172. 31Se Kapelko och Oude Lansink (2015). 32Banker och (1988). R I K S R E V I S I O N E N R E S U R S E F F E K T I V I T E T O C H P R O D U K T I V I T E T V I D S V E R I G E S L Ä R O S Ä T E N identifiera extremvärden.33 Den metod som används i granskningen har testats i en rad praktiska applikationer och bedöms inom forskningen fungera väl.34 I denna granskning utesluts samtliga lärosäten som enligt metoden är att betrakta som extremvärden. Detta görs av försiktighetsskäl så att dessa observationer inte ska ges en oproportionerligt stor påverkan på resultaten.35 Lärosäten som identifieras som extremvärden betraktas alltså som resurseffektiva. Dessa lärosäten ingår därför inte i de relativa effektivitetsberäkningarna.36 Vi har också, på inrådan från som levererar statistik för forskningspublikationer, endast använt lärosäten som i genomsnitt haft minst 10 publiceringar . Ett undantag från denna regel har dock gjorts för . Detta medför att alla lärosäten med konstnärlig inriktning, idrottshögskolor och lärosäten med inriktning mot försvar och polis samt yrkeshögskolorna i och har uteslutits. Handelshögskolorna är inkluderade i alla länder utom i då det saknas fullständig statistik för i . Totalt ingår följande 68 nordiska lärosäten i analysen, se tabell 2. Tabell 2 Inkluderade lärosäten per land 33Detta görs genom att använda metoden för så kallad supereffektivitet, se avsnitt 4.1. 34Se Banker och (2006) samt Banker m.fl. (2017). 35En observation som får ett supereffektivitetstal under 0,75 bedöms vara supereffektiv. Ett sådant potentiellt extremvärde bör då studeras närmare för att bedöma om det verkligen rör sig om ett extremvärde. Gränsen på 0,75 har använts av exempelvis och (2014) och m.fl. (2017). 36Se avsnitt 4.1 och tabell 4 där lärosäten som beräknas vara extremvärden redovisas. 22 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N R I K S R E V I S I O N E N R E S U R S E F F E K T I V I T E T O C H P R O D U K T I V I T E T V I D S V E R I G E S L Ä R O S Ä T E N Flera sammanslagningar av lärosäten har gjorts i som studeras.37 Detta kan hanteras på olika sätt. Vi har valt att slå samman dessa lärosäten till enskilda observationer för hela den studerade tidsperioden.38 3.2 Modell för beräkning av resurseffektivitet Inom ramen för granskningen har flera olika alternativa modellspecifikationer prövats. Med modell menas i detta fall vilka resurser och prestationer som ska ingå i analysen. Detta har inneburit att alternativa variabler för att mäta resurser och prestationer samt alternativa justeringar av variablerna prövats.39 Utgångspunkten har varit att mäta prestationerna utifrån det uppdrag för lärosätena som lagts fast i högskolelagen: att genomföra utbildning på grundnivå och avancerad nivå samt att bedriva forskning och utbildning på forskarnivå. En ytterligare utgångspunkt har varit att försöka täcka in så stor del som möjligt av de resurser som lärosätena har till sitt förfogande för att åstadkomma nämnda prestationer. Vi har valt att studera produktion som bygger på reala, det vill säga fysiska, resurser och produktionsvolymer snarare än kostnader eftersom det är svårt att få jämförbara finansiella uppgifter mellan länderna. Som tidigare nämnts har det inom granskningen inte varit möjligt att ta hänsyn till utbildningarnas kvalitet eller lärosätenas samverkansuppgift. 37Följande sammanslagningar har skett : 2012 skapades och genom en sammanslagning av och . 2016 skapades genom en sammanslagning av och och Buskerud, som i sin tur skapades 2014 genom en sammanslagning av och . 2018 bytte namn till . 2016 skapades teknisk-naturvetenskapliga universitet genom en sammanslagning av , och . 2014 skapades miljö- och biovetenskapliga universitet genom en sammanslagning av för miljö- och biovetenskap och . blev 2014 en del av . Samma sak skedde med och 2016. 2016 skapades genom en sammanslagning av , och . Högskolan på blev 2013 en del av . 38Att slå samman data för de lärosätena innan det faktiskt sker ger möjlighet att studera utvecklingen då inga observationer försvinner. begränsar det möjligheten att studera skalfördelar då flera mindre lärosäten aggregeras till ett stort redan innan själva sammanslagningen har ägt rum. Att i detta fall studera skaleffektivitet skulle därmed bli missvisande då ett större lärosäte de facto består av flera mindre, geografiskt spridda lärosäten. Ett ytterligare skäl till att göra på detta sätt är att statistiken för forskningspublikationer inte finns tillgänglig uppdelad på de tidigare lärosätena. 39Resultaten av detta redovisas i känslighetsanalysen i avsnitt 4.4. 24 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N Den huvudsakliga modellspecifikationen innehåller följande fem inputvariabler: •undervisande och/eller forskande personal uttryckt i helårsekvivalenter •övrig personal uttryckt i helårsekvivalenter •antal helårsstudenter inom utbildning på grundnivå och avancerad nivå justerat för skillnader i förkunskaper •antal doktorander uttryckt i helårsekvivalenter40 •lärosätets lokalyta mätt i kvadratmeter. Det har under granskningen visat sig finnas systematiska skillnader i personalsammansättning vid lärosätena i de nordiska länderna. För att ta hänsyn till dessa skillnader, som skulle kunna påverka effektiviteten, delas personal in i undervisande och/eller forskande personal samt övrig personal. För att inte dubbelräkna doktorander ingår de inte i undervisande personal. Uppgifterna om personal har inhämtats från ETER-databasen, och i vissa fall från det enskilda landets respektive statistikmyndighet eftersom databasen inte haft fullständiga uppgifter för lärosätena i alla nordiska länder. Uppgifterna avseende antal helårsstudenter är insamlade från ETER-databasen.41 För att korrigera för skillnader i studenternas förkunskaper innan de börjar studera vid ett lärosäte används information om deras tidigare prestationer i form av betyg från gymnasiet, provresultat eller antagningspoäng. För har genomsnittligt meritvärdespoäng från avslutad gymnasieutbildning använts som mått på studenternas förkunskaper. Även för har ett liknande mått använts och för används antagningspoängen vid de olika lärosätena som ett mått på förkunskaper. För fanns provresultat endast varför genomsnittet för används för . Eftersom uppgifter om studenternas förkunskaper inte var tillgängliga för och gavs de genomsnittsvärdet för alla länder.42 I granskningen används lokalytor som en approximation för det kapital som lärosätet använder. Kostnaden för lokaler är en av svenska lärosätens största kostnader och uppgick , enligt UKÄ, till av de totala kostnaderna. I tidigare granskning43 användes materiella anläggningstillgångar för att mäta kapital men på grund av redovisningstekniska 40Antalet doktorander registreras på det lärosäte där de är antagna. Hänsyn tas alltså inte till vilket lärosäte som finansierar doktoranden. 41Detta gäller åren 2011–2015. har uppgifterna inhämtats från de centrala statistikmyndigheterna via de nationella revisionsmyndigheterna. 42Resultaten är normaliserade inom landet genom att dividera elevens resultat med det för året högsta resultatet. R I K S R E V I S I O N E N R E S U R S E F F E K T I V I T E T O C H P R O D U K T I V I T E T V I D S V E R I G E S L Ä R O S Ä T E N skillnader mellan de nordiska länderna är jämförbara uppgifter inte tillgängliga. Lokalytor har i tidigare forskning44 visat sig fungera bra som approximation för kapitalanvändning, men testas även inom granskningen då vi kan jämföra resultaten för svenska lärosäten där information om både materiella anläggningstillgångar och lokalytor finns tillgängliga (se avsnitt 4.4).45 Uppgifter om lärosätenas lokalytor har inhämtats av revisionsmyndigheterna i respektive nordiskt land. Den huvudsakliga modellspecifikationen innehåller följande fyra outputvariabler: •antal avklarade ECTS-poäng inom utbildning på grundnivå och avancerad nivå justerat utifrån kostnadsskillnader beroende på varierande utbildningsmix mellan lärosäten46 •antal doktorsexamina inom forskarutbildningen, glidande medelvärde47 •antal publikationer i vetenskapliga tidskrifter, glidande medelvärde •antal högciterade publikationer i vetenskapliga tidskrifter, glidande medelvärde. Variablerna mäter en stor del av lärosätenas prestationer. Såväl antal avklarade poäng som antal doktorsexamina används för att indirekt mäta genomströmningen på utbildning på grundnivå, avancerad nivå och forskarnivå. I antalet avklarade poäng ingår inte uppdragsutbildningar och liknande. Denna typ av utbildningar utgör en relativt liten del av ett lärosätes totala antal utbildningar. I antal doktorsexamina ingår inte licentiatexamina eftersom de flesta länder inte längre utfärdar denna typ av examina, förutom och . För att ta hänsyn till att det i viss utsträckning är en tillfällighet om en forskarexamen registreras i slutet av eller används ett glidande medelvärde för denna variabel. Detta kan särskilt påverka resultaten för mindre lärosäten. Detsamma gäller de två publiceringsmåtten som används som 44Se exempelvis Johnes och Yu (2008). 45Riksrevisionens tidigare granskning (RiR 2011:2) visade att resultaten blir snarlika när lokalytor används istället för materiella anläggningstillgångar. 46De danska ersättningsbeloppen används för att justera dessa kostnadsskillnader då det danska systemet stämmer bäst överens med den indelning av utbildningsområden som används i ETER- databasen. Något förenklat skalar vi upp outputen för lärosäten som har högre kostnader per studerande på inputsidan. Tanken är att kompensera dessa då de behöver mer eller dyrare resurser för att få ut samma output. Exempelvis är kostnaden för en examinerad läkarstudent i genomsnitt högre jämfört med kostnaden för en examinerad ekonom. 47Licentiatexamina är inte inkluderade i detta mått. I de nordiska länderna finns möjligheten att ta en licentiatexamen i och , men inte i , , och . Det blir av denna anledning svårt att skapa en variabel som är jämförbar mellan länder om licentiatexamina inkluderas. analyser har dock licentiatexamina inkluderats för och och räknas då som en halv doktorsexamen. 26 R I K S R E V I S I O N E N E N G R A N S K N I N G S R A P P O R T F R Å N R I K S R E V I S I O N E N