prop · GY03136 · 2011-05-18 00:00:00 — helårsprestationer inom utbildning på grundnivå och avancerad nivå justerat utifrån kostnadsskillnader beroende på varierande utbildningsmix mellan lärosäten antal licentiat- och doktorsexamina inom forskarutbildningen 31I populationen för HST inkluderas uppdrag från annan högskola enligt landstingsavtal, basår, preparandutbildning i svenska och utlandsförlagd utbildning som högskolan ansvarar för. I populationen för HST exkluderas uppdragsutbildning som finansieras av extern finansiär och utresande studenter inom utbytesprogram. 32Eftersom utländska studenter inte har ett svenskt gymnasiebetyg och endast utgör en mindre andel av samtliga studenter har de bortsetts från i detta fall. På grund av att studenter vid lärosätena kan ha gymnasiebetyg från både det nuvarande och det tidigare betygssystemet har betygen transformerats från den tidigare femgradiga betygskalan till det nuvarande betygssystemet genom att multiplicera de genomsnittliga nivåerna av betyg från det tidigare systemet med faktorn fyra. 33Se Johnes (2006) samt Agasisti och Salerno (2007) för ett liknande tillvägagångssätt. 34Doktorander har förts till det lärosäte där de är antagna och därmed registrerade vid. Hänsyn tas alltså inte till vilket lärosäte som finansierar doktoranden. 35SCB:s statistiska meddelanden UF 21 för åren 20042008. 36Det förekommer att lärosäten som saknar examensrätt för utbildning på forskarnivå finansierar doktorander och att resultat i form av de examina som avläggs av sådana doktorander redovisas i lärosätets årsredovisning. Betydelsen av detta för beräkningen av effektivitetstalen kommenteras i känslighetsanalysen i avsnitt 6.1.5. 29 (59) forskningsvolym i form av en bibliometrisk indikator som mäter lärosätenas forskning utryckt i ett vägt antal vetenskapliga publikationer. Helårsprestationer (HPR) per lärosäte är beräknad som summan av antalet avklarade högskolepoäng på en kurs för alla studenter under ett kalenderår dividerat med 60.37 Detta innebär att en student som studerar heltid på ett lärosäte och klarar samtliga kurser räknas som en helårsprestation.38 Vissa lärosäten bedriver i högre grad än andra undervisning som tar mer resurser i anspråk, varför dessa utbildningar genererar ett högre ersättningsbelopp. För att kompensera för det faktum att utbildningskostnaden skiljer sig åt mellan olika utbildningsområden och att sammansättningen av olika utbildningsområden skiljer sig åt mellan lärosäten har helårsprestationerna viktats med hjälp av utbildningsområdenas ersättningsbelopp. Viktningen har genomförts med hjälp av information om andelen studenter inom olika utbildningsområden. Vikterna på lärosätesnivå har beräknats utifrån de, i samband med budgetpropositionen, fastställda ersättningsbeloppen för olika utbildningsområden.39 För varje utbildningsområde finns två olika slags ersättningsbelopp: en summa per helårsstudent och en summa per helårsprestation. Summan av dessa två belopp betraktas i analysen som den teoretiska kostnaden för en student inom olika utbildningsområden. Den på detta sätt justerade variabeln helårsprestationer avses mäta lärosätenas prestationer när det gäller utbildning på grundnivå och avancerad nivå. Antalet examina inom forskarutbildningen är ett sammanvägt mått för att mäta lärosätenas prestationer när det gäller utbildning på forskarnivå. Variabeln har skapats genom att antalet licentiatexamina per lärosäte divideras med två och sedan har antalet doktorsexamina adderats till denna summa.40 Två licentiatexamina antas alltså motsvara en doktorsexamen.41 Detta innebär att variabeln bortser från det faktum att en doktorand kan avlägga både en licentiat- och en doktorsexamen. För att ta hänsyn till att det i viss utsträckning är en tillfällighet om en forskarexamen registreras i slutet av eller används ett glidande medelvärde när antalet examina från forskarutbildning beräknas. beräknas alltså outputvariabeln som summa forskarexamina dividerat med två. En bibliometrisk indikator används för att mäta lärosätets forskningsproduktion. Bibliometri är en statistisk metod för att analysera en 37Ett års heltidsstudier motsvarar 60 högskolepoäng. 38I populationen för HPR inkluderas uppdrag från annan högskola enligt landstingsavtal, basår, preparandutbildning i svenska och utlandsförlagd utbildning som högskolan ansvarar för. I populationen exkluderas HPR i uppdragsutbildning som finansieras av extern finansiär och utresande studenter inom utbytesprogram. 39Vikten är konstruerad genom att först beräknas hur stor andel av lärosätets helårsstudenter som finns inom respektive utbildningsområde. Därefter multipliceras andelarna med respektive ersättningsbelopp för de olika utbildningsområdena och summeras för varje lärosäte. Denna summa är den vikt som sedan multipliceras med lärosätets helårsprestationer. 40Doktorsexamen avser examen inom forskarutbildning omfattande 160 högskolepoäng, varav minst 80 poäng ska utgöra en avhandling, högskoleförordningen (1993:100) 8 kap. 2 och 13 §§. Licentiatexamen är examen inom forskarutbildning som avser en etapp om minst 80 högskolepoäng, varav minst 40 poäng ska utgöra en vetenskaplig uppsats, högskoleförordningen (1993:100) 8 kap. 2 och 14 §§. 41Detta tillvägagångssätt är analogt med Tzeremes m.fl. (2010). 30 (59) enhets vetenskapliga produktion, här ett lärosätes publikationer. Indikatorn har tagits fram av . Den är konstruerad så att den mäter antalet publiceringar i vetenskapliga tidskrifter som omfattas av databasen of Science. Antalet publiceringar beräknas för respektive lärosäte och därefter har antalet områdesnormerats. Detta innebär att hänsyn har tagits till skillnader i publiceringstradition mellan olika ämnesfält. Normeringen görs genom att vikta de olika publikationerna baserat på normalkostnaden för en publikation inom det ämnesområde respektive publikation tillhör.42 För att beräkna normalkostnaden per publikation använder sig av SCB:s ekonomiska statistik över driftskostnaderna för forskning och utveckling i kombination med de svenska lärosätens totala produktion av publikationer inom respektive ämne. Med hjälp av detta har lärosätets bibliometriska indikator beräknats. För att ta hänsyn till att det finns en fördröjning mellan insatta resurser och prestationer i form av vetenskapliga publikationer används ett glidande medelvärde för den bibliometriska indikatorn fram i tiden.43 Exempelvis beräknas ett lärosätes forskningsproduktion som summan av värdena , 2005 och 2006 dividerad med tre. 42Antalet publikationer är fraktionaliserad, vilket innebär att en publikation som är samförfattad av två forskare vid olika lärosäten divideras med två och tillfaller de två lärosätena med lika delar. Indikatorn baseras på 257 ämnesfält och 9 olika ämnesområden. För en mer detaljerad beskrivning av hur den bibliometriska indikatorn är beräknad, se (2009). 43Data för den bibliometriska indikatorn finns fram , vilket gör att data saknas för att skapa ett treårigt glidande medelvärde . I granskningen används därför den genomsnittliga utvecklingen för att skatta en bibliometrisk indikator , vilken sedan används i det glidande medelvärdet . 31 (59) I detta kapitel redovisas resultaten av analys av 30 lärosätens effektivitet med hjälp av en outputorienterad DEA-modell.44 Vidare redovisas de känslighetsanalyser som genomförts för att pröva resultatens robusthet, bland annat efter synpunkter från det seminarium som ägt rum i samband med granskningen. I kapitlet redovisas även en analys av möjliga förklaringar till skillnader i de beräknade effektivitetstalen. Avslutningsvis redovisas produktivitetsutvecklingen för de lärosäten som ingår i analysen. Modellen innehåller fem variabler för att mäta lärosätenas resurser och tre variabler för att mäta lärosätenas prestationer.45 I modellen mäts lärosätenas resurser i form av undervisande och/eller forskande personal uttryckt i helårsekvivalenter övrig personal uttryckt i helårsekvivalenter antal helårsstudenter inom utbildning på grundnivå och avancerad nivå justerat för skillnader i förkunskaper antal doktorander uttryckt i heltidsekvivalenter. Lärosätenas prestationer mäts som helårsprestationer inom utbildning på grundnivå och avancerad nivå justerat utifrån kostnadsskillnader beroende på varierande utbildningsmix mellan lärosäten antal licentiat- och doktorsexamina inom forskarutbildningen forskningsvolym i form av en bibliometrisk indikator som mäter lärosätenas forskning utryckt i ett vägt antal vetenskapliga publikationer. Som beskrivits i kapitel 3 utgår beräkningarna av lärosätenas relativa effektivitet från de maximala prestationer som observerats vara möjliga att åstadkomma med tillgängliga resurser. Effektiviteten bedöms alltså utifrån så kallad best practice. Ett effektivitetstal på 1,00 betyder att lärosätet är effektivt relativt andra lärosäten. Ett effektivitetstal mindre än 1,00 innebär att lärosätet har en potential att förbättra sina prestationer givet mängden resurser. 44Under antagandet om skalavkastning. 45För mer detaljer kring de använda variablerna, se kapitel 5. 32 (59) Av tabell 3 framgår att det finns en sammantagen förbättringspotential vad gäller resursanvändningen vid de 30 undersökta lärosätena.46 I tabellen redovisas de genomsnittliga effektivitetstalen . I kolumnen längst till höger i tabellen redovisas det genomsnittliga effektivitetstalet för perioden 20042008. var det genomsnittliga effektivitetstalet ungefär 0,93. Detta kan också uttryckas som att den sammantagna förbättringspotentialen i genomsnitt var . Dessa resultat ligger väl i linje med de resultat som refereras till i forskningsöversikten i kapitel 4, där effektiviteten för universitet och högskolor studerats med DEA-metoden. Genomsnittlig resurseffektivitet för perioden 20042008 6.1.2Skillnader i resurseffektivitet mellan olika grupper av lärosäten För att undersöka skillnader i effektivitet mellan olika kategorier av lärosäten har lärosätena grupperas i fyra grupper.47 De fyra grupperna är I tabell 4 redovisas de genomsnittliga effektivitetstalen för de olika grupperna av lärosäten. Kolumnen längst till höger visar det genomsnittliga effektivitetstalet för respektive grupp 20042008. I tabellen redovisas även antalet effektiva respektive ineffektiva lärosäten inom varje grupp. Som redovisas i avsnitt 6.1.3 förekommer det i DEA- metoden att vissa lärosäten saknar jämförelseobjekt bland övriga lärosäten och betraktas då som unika. Sådana lärosäten har utelämnats i tabellen nedan. Genomsnittliga effektivitetstal för olika grupper av lärosäten, 20042008 Fackhögskolor (n=5) 46För perioden 20042007 ingår 31 lärosäten eftersom i då var ett separat lärosäte. ingår i i . 47Se tabell 2 i kapitel 5 för vilka lärosäten som ingår i de olika grupperna. 33 (59) Övriga högskolor (n=16) Anm: n = antal lärosäten. Beräkningarna indikerar att det inte funnits någon förbättringspotential för fackhögskolorna . När det gäller lärosätena i gruppen äldre universitet var den genomsnittliga förbättringspotentialen . De yngre universiteten är den grupp av lärosäten som enligt modellen uppvisar den största förbättringspotentialen. I genomsnitt uppgick förbättringspotentialen för denna grupp av lärosäten till . Övriga högskolor hade i genomsnitt en förbättringspotential på . Effektivitetstalen i tabell 4 och grupp illustreras även i figur 3. I figuren presenteras de genomsnittliga effektivitetstalen för respektive grupp. Effektivitetstalen för de olika grupperna av lärosäten varierar mellan 0,80 och 1. Genomsnittliga effektivitetstal och grupp Gruppen äldre universitet uppvisar en i genomsnitt ökande effektivitet . var den genomsnittliga ineffektiviteten bland dem . Även för de övriga grupperna av lärosäten kan en positiv utveckling skönjas. Detta beror dock till viss del på de låga effektivitetstalen för det inledande . Vad de låga effektivitetstalen 34 (59) 2004 beror på är svårt att uttala sig om, men resultaten för detta enskilda år och den positiva trenden bör tolkas med försiktighet. 6.1.3Skillnader i effektivitet mellan enskilda lärosäten Inom de olika grupperna av lärosäten finns skillnader i effektivitet, vilket framgår av tabell 5. Tabellen visar effektivitetstalen för respektive lärosäte och år. Kolumnen längst till höger i tabellen visar ett sammantaget effektivitetstal för respektive lärosäte baserat på ett genomsnitt av samtliga resurser och prestationer under perioden 20042008.48 Effektivitetstal för respektive lärosäte, 20042008 Fackhögskolor (n=5) Övriga högskolor (n=16) 48 Ett motiv till att beräkna detta genomsnitt var att undersöka om eventuella mätfel under enstaka år kan generera snedvridna effektivitetstal. Resultaten indikerar att mätfel inte snedvrider resultaten. 35 (59) Anm:*Gymnastik- och hette i . **i fanns som fristående lärosäte . Effektivitetstalen är beräknade under antagandet om skalavkastning. Innebär att lärosätet har en unik sammansättning av resurser och saknar därmed referenser bland övriga lärosäten. Det innebär att det inte går att beräkna ett effektivitetstal för lärosätet. I beräkningarna tilldelar DEA-metoden dessa lärosäten ett effektivitetstal på 1,00. Som tabell 5 visar är resultaten för respektive lärosäte förhållandevis stabila över tiden även om det förekommer en viss variation mellan åren. Drygt hälften av de undersökta lärosätena är effektiva i den meningen att de sammantaget, enligt modellen, inte hade kunnat åstadkomma mer prestationer av de samlade resurser lärosätet förfogade över. var 13 av 30 lärosäten fullt effektiva, vilket kan jämföras med 2004 då 10 av 31 var fullt effektiva. För lärosäten med ett effektivitetstal mindre än 1,00 indikerar beräkningarna att det funnits en förbättringspotential, vilket betyder att fler prestationer hade kunnat åstadkommas med samma mängd resurser. Vissa lärosäten visar sig enligt beräkningarna vara effektiva vissa år och vissa år inte. I huvudsak är det dock samma lärosäten som är effektiva respektive ineffektiva . Att ett lärosäte kan uppvisa en förbättringspotential för att ett annat år uppvisa full effektivitet, kan bero antingen på att lärosätet relativt andra lärosäten har förbättrat sin resurseffektivitet eller att andra lärosäten har försämrat sin resurseffektivitet. Vissa lärosäten uppvisar en relativt stor förbättringspotential . Till exempel hade 4 lärosäten 2008 kunnat öka sin effektivitet med . Motsvarande antal lärosäten för åren 20052007 varierar mellan 5 och 7. indikerar modellen att 9 lärosäten hade kunnat förbättra sin effektivitet med . I bilaga 2 redovisas vilka lärosäten som utgör jämförelseobjekt till de lärosäten som enligt beräkningarna har ett effektivitetstal som är mindre än 1,00, det vill säga lärosäten som har en förbättringspotential. LÄROSÄTEN SOM ÄR UNIKA ENLIGT DEA-METODEN I tabell 5 är vissa effektivitetstal markerade med . Dessa lärosäten har en unik sammansättning av resurser och prestationer och saknar därmed jämförelseobjekt bland övriga lärosäten. Enligt DEA-metoden framstår dessa lärosäten som fullt effektiva. En möjlighet är dock att det är bristen på jämförelsealternativ som pekar ut dessa lärosäten som effektiva snarare än förhållandet mellan resurser och prestationer. Enligt beräkningarna framstår totalt 9 olika lärosäten som unika åtminstone en gång , vilket även framgår av tabell 5. Dessa är fördelade så att det är mellan 0 och 5 lärosäten . Dock är det inte alltid samma lärosäten som är unika de olika åren. 36 (59) lärosätena fördelar sig mellan de olika grupperna enligt följande: två äldre universitet, två fackhögskolor, inget yngre universitet och fem övriga högskolor. 6.1.4Hur betydelsefulla är de beräknade effektivitetstalen? En viktig fråga i sammanhanget är hur betydelsefull den beräknade ineffektiviteten eller förbättringspotentialen är och därför redovisas nedan två hypotetiska räkneexempel. Den modell som använts för beräkningar av effektivitetstal bygger på att samtliga outputdimensioner simultant skalas upp. De räkneexempel som presenteras nedan koncentreras till några utvalda dimensioner för att på ett överskådligt sätt illustrera vad effektivitetstalen innebär. FÖRBÄTTRINGSPOTENTIAL I TERMER AV HELÅRSPRESTATIONER Den förbättringspotential som beräknats enligt DEA-metoden kan exempelvis översättas till antal helårsprestationer. Detta görs genom att multiplicera varje lärosätes helårsprestationer med förbättringspotentialen (1,00effektivitetstalet) och sedan summera dessa för alla lärosäten.49 För exempelvis 2008 motsvarar denna förbättringspotential ungefär 7 600 helårsprestationer.50 Enligt denna beräkning skulle så många fler helårsprestationer vara möjliga att åstadkomma sammantaget, utan att någon annan prestation skulle behöva minska, givet lärosätenas resurser. Detta kan ställas mot att den totala volymen helårsprestationer 2008 var ungefär 222 000 för de 30 lärosäten som ingår i analysen. Antalet helårsprestationer skulle alltså enligt denna beräkning kunna öka med , om alla lärosäten utnyttjade sina resurser effektivt. FÖRBÄTTRINGSPOTENTIAL I TERMER AV KRONOR Ett annat sätt att kvantifiera betydelsen av den sammantagna ineffektiviteten är att uttrycka den som en förbättringspotential i termer av kronor. Detta görs med en modell som minimerar mängden resurser givet de åstadkomna prestationerna.51 Genom att relatera förbättringspotentialen (1,00 effektivitetstalet) till varje lärosätes två anslag som erhålls direkt från statsbudgeten, för utbildning på grundnivå och avancerad nivå respektive för forskning och utbildning på forskarnivå, kan en grov uppskattning erhållas av den lägre anslagsnivå som skulle behövas om samtliga lärosäten var fullt effektiva. Denna uppskattning ska endast ses som ett uttryck för vad en effektiv hushållning av resurserna innebär i termer av kronor, inte som en besparingspotential. 49Exempelvis åstadkom 3 783,4 helårsprestationer 2008 och hade ett effektivitetstal motsvarande 0,81. skulle alltså enligt detta räkneexempel kunnat prestera ytterligare 718,8 helårsprestationer om lärosätet hade varit fullt effektivt (3 783,4 × (1,00 0,81) = 718,8). 50Motsvarande antal var 14 200 helårsprestationer (HPR), 12 500 HPR, 16 400 HPR och 23 700 HPR. 51 Denna beräkning görs med en modell som är inputorienterad, se kapitel 3. 37 (59) Enligt denna beräkning var potentialen 2008.52 För de 30 lärosätena i urvalet uppgick de två statsbudgetanslagen till . För att undersöka tillförlitligheten i de beräknade effektivitetstalen har känslighetsanalyser genomförts på flera olika sätt. För det första har beräkningar av effektiviteten utförts baserat på ett genomsnitt av samtliga resurser och prestationer för respektive lärosäte . För det andra har modellspecifikationen prövats med flera alternativa resurs- och prestationsvariabler. För det tredje har resultatens robusthet testats genom att systematiskt undersöka om resultaten påverkas av att vissa lärosäten utesluts från beräkningarna. BERÄKNINGAR MED GENOMSNITT AV RESURS- OCH PRESTATIONSVARIABLER Även om officiell statistik och uppgifter från lärosätenas årsredovisningar används kan det inte bortses från att det kan förekomma mätfel i data. För att undersöka om förekomst av mätfel påverkar resultaten har beräkningar av effektivitetstalen utförts genom att ta ett genomsnitt av resurser och prestationer för hela perioden. En jämförelse av resultaten från denna beräkning och beräkningarna för de enskilda åren visar att det inte finns några väsentliga skillnader, se tabell 5. Därmed dras slutsatsen att om eventuella mätfel finns i data så tycks de inte snedvrida resultaten i någon större utsträckning. Värt att notera är att storleken på effektivitetstalen skiljer sig åt från . Vad detta beror på är svårt att uttala sig om, men resultaten för detta enskilda år bör tolkas med försiktighet. Undersökningen av data har dock inte funnit något som tyder på felaktigheter i datamängden.53 BERÄKNINGAR MED ALTERNATIVA MODELLSPECIFIKATIONER Inom ramen för analysen har en mängd effektivitetsberäkningar med alternativa modellspecifikationer utförts, det vill säga med alternativa mått och definitioner på de resurs- och prestationsvariabler som ingår i modellen. När lokalyta54 används i stället för övriga resurser som ett mått på lärosätenas fysiska kapital sker endast marginella förändringar av effektivitetstalen. För att undersöka robustheten för den viktning av variabeln helårsstudenter som görs med hjälp av den genomsnittliga gymnasiebetygsnivån, har beräkningar även genomförts utan att i modellen ta hänsyn till skillnader mellan lärosäten vad gäller studenternas förkunskaper. Resultatet av denna analys visar att effektivitetstalen för de inkluderade lärosätena nästan inte påverkas alls. Det är exakt samma lärosäten som är effektiva respektive ineffektiva när hänsyn tas till 52Motsvarande belopp var , för , för och . 53På grund av att 2004 är i analysen är det svårt att uttala sig om hur det sett ut och om huruvida det skett ett trendbrott för de efterföljande åren. 54Uppgifter om lärosätenas lokalyta är insamlad från respektive lärosätes årsredovisning. 38 (59) studenternas förkunskaper i termer av gymnasiebetyg som när ingen hänsyn tas till detta. Som framgått i kapitel 5 tar den valda modellen hänsyn till att olika utbildningar kostar olika mycket samt att sammansättningen av lärosätenas utbud av kurser inom olika utbildningsområden skiljer sig åt. Variabeln för helårsprestationerna har justerats med hänsyn tagen till detta. I känslighetsanalysen har undersökts vad som inträffar om hänsyn inte tas till detta faktum, det vill säga då helårsprestationerna inte justeras. Denna analys visar att justeringen av helårsprestationer har betydelse för effektivitetstalen. Om man bortser från skillnaderna i utbildningskostnad får det konsekvensen att fler lärosäten framstår som effektiva och att den genomsnittliga effektiviteten ökar. Då de genomsnittliga värdena för hela perioden analyseras utan att helårsprestationerna justerats blir den genomsnittliga effektiviteten högre. Enligt mening är kostnadsjusteringen av helårsprestationer dock välmotiverad för att få en mer rättvis jämförelse mellan lärosätena. En ytterligare känslighetsanalys som genomförts är att använda de uppgifter angående antal helårsstudenter respektive antal helårsprestationer som lärosätena redovisar i sina årsredovisningar. Det som huvudsakligen skiljer dessa uppgifter från uppgifterna i NU-databasen är att uppdragsutbildning är inkluderade i lärosätenas uppgifter. Denna analys visar att lärosätena uppvisar en i genomsnitt marginellt högre effektivitet då uppgifterna från årsredovisningarna används. För beräkningen av effektivitetstalen för exempelvis 2008 är det dock samma lärosäten som uppvisar en förbättringspotential. Vad gäller variabeln antal doktorander har undersökts om tillfälliga variationer i intaget till forskarutbildningen har en påverkan på de beräknade effektivitetstalen genom att beräkna ett glidande medelvärde för antalet heltidsdoktorander. Resursen antalet doktorander har i detta fall beräknats som ett glidande medelvärde för två på varandra följande år. Resultaten från denna känslighetsanalys visar att effektivitetstalen i genomsnitt blir de samma som i den ursprungliga modellen. Analysen visar också att det är samma lärosäten som uppvisar en förbättringspotential. Då det finns en eftersläpning från det att en doktorand antagits till att en examen åstadkoms har beräkningar utförts där särskild hänsyn tagits till detta.55 I dessa beräkningar antas att det tar upp till för en doktorand att åstadkomma en doktorsexamen och upp till för att åstadkomma en licentiatexamen. Glidande medelvärden har alltså beräknats separat för licentiat- respektive doktorsexamina. Dessa beräkningar har endast kunnat utföras eftersom data enbart finns fram . Varken eller 2005 påverkas de beräknade effektivitetstalen nämnvärt av denna alternativa modellspecifikation.