rir · GZB52 · 2011-01-18 09:00:00 — I detta kapitel redovisas resultaten av analys av 30 lärosätens effektivitet med hjälp av en outputorienterad DEA-modell.44 Vidare redovisas de känslighetsanalyser som genomförts för att pröva resultatens robusthet, bland annat efter synpunkter från det seminarium som ägt rum i samband med granskningen. I kapitlet redovisas även en analys av möjliga förklaringar till skillnader i de beräknade effektivitetstalen. Avslutningsvis redovisas produktivitetsutvecklingen för de lärosäten som ingår i analysen. Modellen innehåller fem variabler för att mäta lärosätenas resurser och tre variabler för att mäta lärosätenas prestationer.45 I modellen mäts lärosätenas resurser i form av undervisande och/eller forskande personal uttryckt i helårsekvivalenter övrig personal uttryckt i helårsekvivalenter antal helårsstudenter inom utbildning på grundnivå och avancerad nivå justerat för skillnader i förkunskaper antal doktorander uttryckt i heltidsekvivalenter. Lärosätenas prestationer mäts som helårsprestationer inom utbildning på grundnivå och avancerad nivå justerat utifrån kostnadsskillnader beroende på varierande utbildningsmix mellan lärosäten antal licentiat- och doktorsexamina inom forskarutbildningen forskningsvolym i form av en bibliometrisk indikator som mäter lärosätenas forskning utryckt i ett vägt antal vetenskapliga publikationer. 44Under antagandet om skalavkastning. 45För mer detaljer kring de använda variablerna, se kapitel 5. Använder lärosätena resurserna effektivt? Effektivitet och produktivitet för universitet och högskolor Som beskrivits i kapitel 3 utgår beräkningarna av lärosätenas relativa effektivitet från de maximala prestationer som observerats vara möjliga att åstadkomma med tillgängliga resurser. Effektiviteten bedöms alltså utifrån så kallad best practice. Ett effektivitetstal på 1,00 betyder att lärosätet är effektivt relativt andra lärosäten. Ett effektivitetstal mindre än 1,00 innebär att lärosätet har en potential att förbättra sina prestationer givet mängden resurser. Av tabell 3 framgår att det finns en sammantagen förbättringspotential vad gäller resursanvändningen vid de 30 undersökta lärosätena.46 I tabellen redovisas de genomsnittliga effektivitetstalen . I kolumnen längst till höger i tabellen redovisas det genomsnittliga effektivitetstalet för perioden 20042008. var det genomsnittliga effektivitetstalet ungefär 0,93. Detta kan också uttryckas som att den sammantagna förbättringspotentialen i genomsnitt var . Dessa resultat ligger väl i linje med de resultat som refereras till i forskningsöversikten i kapitel 4, där effektiviteten för universitet och högskolor studerats med DEA-metoden. Genomsnittlig resurseffektivitet för perioden 20042008 Genomsnitt för perioden 20042008 6.1.2 Skillnader i resurseffektivitet mellan olika grupper av lärosäten För att undersöka skillnader i effektivitet mellan olika kategorier av lärosäten har lärosätena grupperas i fyra grupper.47 De fyra grupperna är 46För perioden 20042007 ingår 31 lärosäten eftersom i då var ett separat lärosäte. ingår i i . 47Se tabell 2 i kapitel 5 för vilka lärosäten som ingår i de olika grupperna. Använder lärosätena resurserna effektivt? Effektivitet och produktivitet för universitet och högskolor I tabell 4 redovisas de genomsnittliga effektivitetstalen för de olika grupperna av lärosäten. Kolumnen längst till höger visar det genomsnittliga effektivitetstalet för respektive grupp 20042008. I tabellen redovisas även antalet effektiva respektive ineffektiva lärosäten inom varje grupp. Som redovisas i avsnitt 6.1.3 förekommer det i DEA-metoden att vissa lärosäten saknar jämförelseobjekt bland övriga lärosäten och betraktas då som unika. Sådana lärosäten har utelämnats i tabellen nedan. Genomsnittliga effektivitetstal för olika grupper av lärosäten, 20042008 Fackhögskolor (n=5) Anm: n = antal lärosäten. Använder lärosätena resurserna effektivt? Effektivitet och produktivitet för universitet och högskolor Beräkningarna indikerar att det inte funnits någon förbättringspotential för fackhögskolorna . När det gäller lärosätena i gruppen äldre universitet var den genomsnittliga förbättringspotentialen . De yngre universiteten är den grupp av lärosäten som enligt modellen uppvisar den största förbättringspotentialen. I genomsnitt uppgick förbättringspotentialen för denna grupp av lärosäten till . Övriga högskolor hade i genomsnitt en förbättringspotential på . Effektivitetstalen i tabell 4 och grupp illustreras även i figur 3. I figuren presenteras de genomsnittliga effektivitetstalen för respektive grupp. Effektivitetstalen för de olika grupperna av lärosäten varierar mellan 0,80 och 1. Genomsnittliga effektivitetstal och grupp Gruppen äldre universitet uppvisar en i genomsnitt ökande effektivitet . var den genomsnittliga ineffektiviteten bland dem . Även för de övriga grupperna av lärosäten kan en positiv utveckling skönjas. Detta beror dock till viss del på de låga effektivitetstalen för det inledande . Vad de låga effektivitetstalen 2004 beror på är svårt att uttala sig om, men resultaten för detta enskilda år och den positiva trenden bör tolkas med försiktighet. 6.1.3Skillnader i effektivitet mellan enskilda lärosäten Inom de olika grupperna av lärosäten finns skillnader i effektivitet, vilket framgår av tabell 5. Tabellen visar effektivitetstalen för respektive lärosäte och år. Kolumnen längst till höger i tabellen visar ett sammantaget effektivitetstal för respektive lärosäte baserat på ett genomsnitt av samtliga resurser och prestationer under perioden 20042008.48 48Ett motiv till att beräkna detta genomsnitt var att undersöka om eventuella mätfel under enstaka år kan generera snedvridna effektivitetstal. Resultaten indikerar att mätfel inte snedvrider resultaten. Använder lärosätena resurserna effektivt? Effektivitet och produktivitet för universitet och högskolor Effektivitetstal för respektive lärosäte, 20042008 Fackhögskolor (n=5) Övriga högskolor (n=16) Använder lärosätena resurserna effektivt? Effektivitet och produktivitet för universitet och högskolor Anm: *Gymnastik- och hette i fram till 2005- 10-01. **i fanns som fristående lärosäte . Effektivitetstalen är beräknade under antagandet om skalavkastning. Innebär att lärosätet har en unik sammansättning av resurser och saknar därmed referenser bland övriga lärosäten. Det innebär att det inte går att beräkna ett effektivitetstal för lärosätet I beräkningarna tilldelar DEA-metoden dessa lärosäten ett effektivitetstal på 1,00. Som tabell 5 visar är resultaten för respektive lärosäte förhållandevis stabila över tiden även om det förekommer en viss variation mellan åren. Drygt hälften av de undersökta lärosätena är effektiva i den meningen att de sammantaget, enligt modellen, inte hade kunnat åstadkomma mer prestationer av de samlade resurser lärosätet förfogade över. var 13 av 30 lärosäten fullt effektiva, vilket kan jämföras med 2004 då 10 av 31 var fullt effektiva. För lärosäten med ett effektivitetstal mindre än 1,00 indikerar beräkningarna att det funnits en förbättringspotential, vilket betyder att fler prestationer hade kunnat åstadkommas med samma mängd resurser. Använder lärosätena resurserna effektivt? Effektivitet och produktivitet för universitet och högskolor Vissa lärosäten visar sig enligt beräkningarna vara effektiva vissa år och vissa år inte. I huvudsak är det dock samma lärosäten som är effektiva respektive ineffektiva . Att ett lärosäte kan uppvisa en förbättringspotential för att ett annat år uppvisa full effektivitet, kan bero antingen på att lärosätet relativt andra lärosäten har förbättrat sin resurseffektivitet eller att andra lärosäten har försämrat sin resurseffektivitet. Vissa lärosäten uppvisar en relativt stor förbättringspotential . Till exempel hade 4 lärosäten 2008 kunnat öka sin effektivitet med . Motsvarande antal lärosäten för åren 20052007 varierar mellan 5 och 7. indikerar modellen att 9 lärosäten hade kunnat förbättra sin effektivitet med . I bilaga 2 redovisas vilka lärosäten som utgör jämförelseobjekt till de lärosäten som enligt beräkningarna har ett effektivitetstal som är mindre än 1,00, det vill säga lärosäten som har en förbättringspotential. Lärosäten som är unika enligt DEA-metoden I tabell 5 är vissa effektivitetstal markerade med . Dessa lärosäten har en unik sammansättning av resurser och prestationer och saknar därmed jämförelseobjekt bland övriga lärosäten. dessa lärosäten som fullt effektiva. En möjlighet är dock att det är bristen på jämförelsealternativ som pekar ut dessa lärosäten som effektiva snarare än förhållandet mellan resurser och prestationer. Enligt beräkningarna framstår totalt 9 olika lärosäten som unika åtminstone en gång , vilket även framgår av tabell 5. Dessa är fördelade så att det är mellan 0 och 5 lärosäten . Dock är det inte alltid samma lärosäten som är unika de olika åren. De 9 unika lärosätena fördelar sig mellan de olika grupperna enligt följande: två äldre universitet, två fackhögskolor, inget yngre universitet och fem övriga högskolor. 6.1.4 Hur betydelsefulla är de beräknade effektivitetstalen? En viktig fråga i sammanhanget är hur betydelsefull den beräknade ineffektiviteten eller förbättringspotentialen är och därför redovisas nedan två hypotetiska räkneexempel. Den modell som använts för beräkningar av effektivitetstal bygger på att samtliga outputdimensioner simultant skalas upp. De räkneexempel som presenteras nedan koncentreras till några utvalda dimensioner för att på ett överskådligt sätt illustrera vad effektivitetstalen innebär. Använder lärosätena resurserna effektivt? Effektivitet och produktivitet för universitet och högskolor Förbättringspotential i termer av helårsprestationer Den förbättringspotential som beräknats enligt DEA-metoden kan exempelvis översättas till antal helårsprestationer. Detta görs genom att multiplicera varje lärosätes helårsprestationer med förbättringspotentialen (1,00effektivitetstalet) och sedan summera dessa för alla lärosäten.49 För exempelvis 2008 motsvarar denna förbättringspotential ungefär 7 600 helårsprestationer.50 Enligt denna beräkning skulle så många fler helårsprestationer vara möjliga att åstadkomma sammantaget, utan att någon annan prestation skulle behöva minska, givet lärosätenas resurser. Detta kan ställas mot att den totala volymen helårsprestationer 2008 var ungefär 222 000 för de 30 lärosäten som ingår i analysen. Antalet helårsprestationer skulle alltså enligt denna beräkning kunna öka med , om alla lärosäten utnyttjade sina resurser effektivt. Förbättringspotential i termer av kronor Ett annat sätt att kvantifiera betydelsen av den sammantagna ineffektiviteten är att uttrycka den som en förbättringspotential i termer av kronor. Detta görs med en modell som minimerar mängden resurser givet de åstadkomna prestationerna.51 Genom att relatera förbättringspotentialen (1,00effektivitetstalet) till varje lärosätes två anslag som erhålls direkt från statsbudgeten, för utbildning på grundnivå och avancerad nivå respektive för forskning och utbildning på forskarnivå, kan en grov uppskattning erhållas av den lägre anslagsnivå som skulle behövas om samtliga lärosäten var fullt effektiva. Denna uppskattning ska endast ses som ett uttryck för vad en effektiv hushållning av resurserna innebär i termer av kronor, inte som en besparingspotential. Enligt denna beräkning var potentialen 2008.52 För de 30 lärosätena i urvalet uppgick de två statsbudgetanslagen till . För att undersöka tillförlitligheten i de beräknade effektivitetstalen har känslighetsanalyser genomförts på flera olika sätt. För det första har beräkningar av effektiviteten utförts baserat på ett genomsnitt av samtliga 49Exempelvis åstadkom 3 783,4 helårsprestationer 2008 och hade ett effektivitetstal motsvarande 0,81. skulle alltså enligt detta räkneexempel kunnat prestera ytterligare 718,8 helårsprestationer om lärosätet hade varit fullt effektivt (3 783,4 × (1,000,81) = 718,8). 50Motsvarande antal var 14 200 helårsprestationer (HPR), 12 500 HPR, 16 400 HPR och 23 700 HPR. 51Denna beräkning görs med en modell som är inputorienterad, se kapitel 3. 52Motsvarande belopp var , för , för och . Använder lärosätena resurserna effektivt? Effektivitet och produktivitet för universitet och högskolor resurser och prestationer för respektive lärosäte . För det andra har modellspecifikationen prövats med flera alternativa resurs- och prestationsvariabler. För det tredje har resultatens robusthet testats genom att systematiskt undersöka om resultaten påverkas av att vissa lärosäten utesluts från beräkningarna. Beräkningar med genomsnitt av resurs- och prestationsvariabler Även om officiell statistik och uppgifter från lärosätenas årsredovisningar används kan det inte bortses från att det kan förekomma mätfel i data. För att undersöka om förekomst av mätfel påverkar resultaten har beräkningar av effektivitetstalen utförts genom att ta ett genomsnitt av resurser och prestationer för hela perioden. En jämförelse av resultaten från denna beräkning och beräkningarna för de enskilda åren visar att det inte finns några väsentliga skillnader, se tabell 5. Därmed dras slutsatsen att om eventuella mätfel finns i data så tycks de inte snedvrida resultaten i någon större utsträckning. Värt att notera är att storleken på effektivitetstalen skiljer sig åt från . Vad detta beror på är svårt att uttala sig om, men resultaten för detta enskilda år bör tolkas med försiktighet. Undersökningen av data har dock inte funnit något som tyder på felaktigheter i datamängden.53 Beräkningar med alternativa modellspecifikationer Inom ramen för analysen har en mängd effektivitetsberäkningar med alternativa modellspecifikationer utförts, det vill säga med alternativa mått och definitioner på de resurs- och prestationsvariabler som ingår i modellen. När lokalyta54 används i stället för övriga resurser som ett mått på lärosätenas fysiska kapital sker endast marginella förändringar av effektivitetstalen. För att undersöka robustheten för den viktning av variabeln helårsstudenter som görs med hjälp av den genomsnittliga gymnasiebetygsnivån, har beräkningar även genomförts utan att i modellen ta hänsyn till skillnader mellan lärosäten vad gäller studenternas förkunskaper. Resultatet av denna analys visar att effektivitetstalen för de inkluderade lärosätena nästan inte påverkas alls. Det är exakt samma lärosäten som är effektiva respektive ineffektiva när hänsyn tas till studenternas förkunskaper i termer av gymnasiebetyg som när ingen hänsyn tas till detta. 53På grund av att 2004 är i analysen är det svårt att uttala sig om hur det sett ut och om huruvida det skett ett trendbrott för de efterföljande åren. 54Uppgifter om lärosätenas lokalyta är insamlad från respektive lärosätes årsredovisning. Använder lärosätena resurserna effektivt? Effektivitet och produktivitet för universitet och högskolor Som framgått i kapitel 5 tar den valda modellen hänsyn till att olika utbildningar kostar olika mycket samt att sammansättningen av lärosätenas utbud av kurser inom olika utbildningsområden skiljer sig åt. Variabeln för helårsprestationerna har justerats med hänsyn tagen till detta. känslighetsanalysen har undersökts vad som inträffar om hänsyn inte tas till detta faktum, det vill säga då helårsprestationerna inte justeras. Denna analys visar att justeringen av helårsprestationer har betydelse för effektivitetstalen. Om man bortser från skillnaderna i utbildningskostnad får det konsekvensen att fler lärosäten framstår som effektiva och att den genomsnittliga effektiviteten ökar. Då de genomsnittliga värdena för hela perioden analyseras utan att helårsprestationerna justerats blir den genomsnittliga effektiviteten cirka Enligt mening är kostnadsjusteringen av helårsprestationer dock välmotiverad för att få en mer rättvis jämförelse mellan lärosätena. En ytterligare känslighetsanalys som genomförts är att använda de uppgifter angående antal helårsstudenter respektive antal helårsprestationer som lärosätena redovisar i sina årsredovisningar. Det som huvudsakligen skiljer dessa uppgifter från uppgifterna i NU-databasen är att uppdragsutbildning är inkluderade i lärosätenas uppgifter. Denna analys visar att lärosätena uppvisar en i genomsnitt marginellt högre effektivitet då uppgifterna från årsredovisningarna används. För beräkningen av effektivitetstalen för exempelvis 2008 är det dock samma lärosäten som uppvisar en förbättringspotential. Vad gäller variabeln antal doktorander har undersökts om tillfälliga variationer i intaget till forskarutbildningen har en påverkan på de beräknade effektivitetstalen genom att beräkna ett glidande medelvärde för antalet heltidsdoktorander. Resursen antalet doktorander har i detta fall beräknats som ett glidande medelvärde för två på varandra följande år. Resultaten från denna känslighetsanalys visar att effektivitetstalen i genomsnitt blir de samma som i den ursprungliga modellen. Analysen visar också att det är samma lärosäten som uppvisar en förbättringspotential. Då det finns en eftersläpning från det att en doktorand antagits till att en examen åstadkoms har beräkningar utförts där särskild hänsyn tagits till detta.55 I dessa beräkningar antas att det tar upp till för en doktorand att åstadkomma en doktorsexamen och upp till för att åstadkomma en licentiatexamen. Glidande medelvärden har alltså beräknats separat för licentiatrespektive doktorsexamina. Dessa beräkningar har endast kunnat utföras eftersom data enbart finns fram . Varken eller 2005 påverkas de beräknade effektivitetstalen nämnvärt av denna alternativa modellspecifikation. 55 I grundspecifikationen används ett glidande medelvärde vad gäller forskarexamina. Använder lärosätena resurserna effektivt? Effektivitet och produktivitet för universitet och högskolor Doktors- och licentiatexamina registreras i NU-databasen enbart vid det lärosäte där doktoranden är registrerad, det vill säga vid det lärosäte som har examinationsrätten för forskarutbildning. redovisar dock även lärosäten som inte har examensrätt för licentiat- och doktorsexamen att de åstadkommit sådana examina. Detta eftersom lärosätet finansierat doktorander och även ibland har lagt resurser, exempelvis i form av handledning, på deras utbildning. I NU-databasen får dock dessa lärosäten inte tillgodoräkna sig några prestationer för denna insats. För att undersöka hur detta påverkar de beräknade effektivitetstalen har uppgifter om licentiat- och doktorsexamina inhämtats från lärosätenas årsredovisningar. lärosäten utan examinationsrätt som redovisat att de åstadkommit licentiat- och doktorsexamina har dessa uppgifter tillförts lärosätenas respektive prestationer utan att mängden resurser förändrats. Det innebär att resursinsatsen i termer av antal doktorander för dessa lärosäten satts lika med noll. Resultaten från denna känslighetsanalys visar att de genomsnittliga effektivitetstalen inte förändras nämnvärt. Den förändring som sker är att vissa lärosäten uppvisar en större förbättringspotential. Det är återigen samma lärosäten som uppvisar en förbättringspotential. Vidare har en känslighetsanalys genomförts där även uppgifter om antalet doktorander har inhämtats från lärosätenas årsredovisningar. Uppgifterna om antal doktorander är dock inte jämförbara mellan lärosätena eftersom redovisningsprinciperna för aktivitetsgraden skiljer sig åt mellan lärosäten. Vidare är dessa uppgifter inte omräknade till heltidsekvivalenter vilket ytterligare försämrar variabelns jämförbarhet mellan lärosäten. I denna känslighetsanalys förändrades alltså både resursinsatsen i termer av doktorander och prestationerna i termer av forskarexamina för de lärosäten som saknar examinationsrätt för licentiat- och doktorsexamen. Även dessa beräkningar visar att de genomsnittliga effektivitetstalen inte förändras nämnvärt. Slutligen har olika alternativa mått för lärosätenas forskningsvolym analyserats. I den valda modellen används måttet fältnormerade publikationer. Tänkbara alternativa mått är dels volymen icke fältnormerade publikationer, dels fältnormerade citeringar. När icke fältnormerade publikationer används som mått för lärosätenas forskning ökar den sammantagna ineffektiviteten för 20042008 med i jämförelse med när fältnormerade publikationer används. När fältnormerade citeringar används blir konsekvensen att den sammantagna ineffektiviteten ökar med knappt en halv procentenhet i jämförelse med när fältnormerade publikationer används. Av detta dras slutsatsen att resultaten inte påverkas nämnvärt vid användandet av alternativa bibliometriska mått. Använder lärosätena resurserna effektivt? Effektivitet och produktivitet för universitet och högskolor Systematisk uteslutning av fullt effektiva produktionsenheter För att undersöka robustheten i resultaten är en vanlig metod i att systematiskt exkludera de fullt effektiva produktionsenheterna (här lärosäten) som ofta utgör referenspunkter för övriga lärosäten. Vid applicering av denna metod förändras inte de beräknade effektivitetstalen nämnvärt. I genomsnitt ökar den sammantagna effektiviteten med mellan . Slutsatsen som kan dras från denna känslighetsanalys är att de beräknade effektivitetstalen inte är känsliga för vissa extrema observationer. sammantagna bedömning är att data inte tycks vara förknippad med några mätfel som snedvrider de beräknade effektivitetstalen. Vidare tyder känslighetsanalysen på att den använda modellspecifikationen och de beräknade effektivitetstalen är robusta, eftersom alternativa resurs- och prestationsmått inte nämnvärt påverkar resultaten. Slutligen tycks effektivitetstalen inte heller drivas av förekomsten av vissa individuella lärosäten som ofta utgör referenspunkt för övriga lärosäten. 6.2Systematiska skillnader mellan effektiva respektive ineffektiva lärosäten Ett viktigt steg i den fortsatta analysen är att finna möjliga förklaringsfaktorer till varför effektiviteten varierar mellan lärosäten. Finns det systematiska skillnader mellan effektiva och ineffektiva lärosäten? Det kan finnas en mängd olika förklaringar till de observerade förbättringspotentialerna. En del av dessa kan ha att göra med inre faktorer som lärosätet bör ha god möjlighet att påverka. Andra förklaringar kan ha att göra med yttre faktorer som lärosätet, åtminstone på kort sikt, kan ha svårare att påverka. Några av dessa faktorer går att fånga med kvantifierbara mått. I detta avsnitt redovisas ett antal hypoteser som prövats med hjälp av två komplementära metoder.56 För det första har lärosätena delats in i två grupper, effektiva respektive ineffektiva, för att undersöka om det finns några systematiska skillnader mellan grupperna med avseende på olika egenskaper hos lärosätet.57 För det andra har rangkorrelationer mellan effektivitetstalen och de olika förklaringsfaktorerna beräknats. 56På grund av att datamaterialet endast innehåller 30 lärosäten är det inte meningsfullt att använda någon form av regressionsanalys för denna analys. För att kunna dra tillförlitliga slutsatser från regressionsanalys krävs ett större antal observationer. 57I de följande analyserna inkluderas samtliga år. Antalet observerade effektivitetstal är därför 30 × 4 = 120 stycken. Använder lärosätena resurserna effektivt? Effektivitet och produktivitet för universitet och högskolor I tabell 6 nedan redovisas resultaten av denna analys med dels statistiska tester av systematiska medelvärdesskillnader mellan effektiva respektive ineffektiva lärosäten, dels beräknade korrelationer mellan lärosätenas effektivitetstal och respektive förklaringsfaktor. har i en nyligen publicerad rapport framfört att en hög andel studenter på distans är en orsak till varför vissa lärosäten har en lägre prestationsgrad.58 En hög andel distansstudenter skulle därför kunna samvariera med högre ineffektivitet. En hypotes är att studenter som läser på distans i lägre utsträckning än andra studenter når sina utbildningsmål.