sou · GVB381 · 2008-01-01 00:00:00 — stod det klart att det påverkat forskarnas beteende i en prestationsmässigt negativ riktning (). och entydiga incitament gjorde att forskarna successivt ökade sin publicering och övergick till allt mindre krävande tidskrifter och till tidskrifter med allt lägre genomsnittlig faktisk citerings- grad. Sedan denna oavsedda effekt blivit klarlagd har den påbörjat ett arbete för att ansluta till två andra tillgängliga modeller: 1) den engelska RAE-modellen och 2) den fältnormaliserade citeringsgraden. I korthet betyder denna nya Research Quality FrameworkTPF10FPT att man förutom att ta med samtliga vetenskapliga publiceringskanaler också skall beräkna citeringsgrad för internationella artiklar samt bedöma samtliga forskargrupper inom ramen för ett system med femton ämnespaneler. 9TP PT Muntlig uppgift från prodekan , NTNU, . Sivertsen vidimerade dessa uppgifter på (se not 8). 10TP PT Se vidare på DEST hemsida []. komplicerad modell, som sannolikt kommer att ockupera en stor del av det australiensiska forskningssystemets forskarkrafter , tänker man sig att forskarna skall skicka in en fullständig rapportering av all produktion inom samtliga godkända publika- tionstyper, varav det finns ett femtontal, alla mottagna externa anslag samt en hel del annat. En apparat för att ta emot detta material är planerad, men hela modellen är starkt ifrågasatt. Rap- porter från säger att politikerna vill ta bort stora delar av de mest kostsamma inslagen i förslaget och att systemet istället blir helt baserat på metrik, dvs. på analyser av publiceringar, tilldelade medel och personalkostnader. Samma väg synes det engelska HEFCE () vara inne på när man där har inlett en ett arbete för att med hjälp av fält- normaliserad citeringsgrad få in en mer systematisk kvalitetsindi- kator som grundval för tilldelningen av basmedel. Sammanfattningsvis är det tydligt att det i den pågående debat- ten finns en viss enighet om behovet av att införa en kvalitets- indikator i sammanhanget. Det som saknas är ett förslag som lyckas att kombinera produktion och kvalitet. När vi närmar oss forskarnas produktivitet stöter vi genast på ett antal spörsmål. Ett problem gäller de naturliga skillnaderna i artikelproduktion inom forskningen till följd av områdens karaktär och tidskrifternas publiceringspraxis. Sättet att hantera detta är, som redan påtalats, att ta hänsyn till forskningsfältet och att normalisera produktionen. Annars jämför vi äpplen med päron. Vi använder /ISI:s tidskriftsklasser, men för samman dem till ett mindre antal makroklasser (enligt appendix 1). Ett annat problem som dyker upp och kräver vårt ställnings- tagande är det faktum att den vetenskapliga produktiviteten är skevt fördelad i populationen av forskare. En stor grupp har inga publiceringar, en annan stor grupp har någon enstaka publicering och en liten grupp har flera eller många publiceringar. För den vetenskapliga produktionen gäller således en särskild matematik och särskilda regler eftersom vi har att göra med ett material som inte låter sig hanteras med statistiska metoder som bygger på normalfördelningar (Price 1963). Det är t.ex. inte meningsfullt att använda medelvärdet av de aktiva författarnas produktivitet efter- som det värdet inte ger oss särskilt mycket information om hur området ser ut och skall karakteriseras. Inte heller medianen ger oss ett användbart referensvärde. Det blir svårt att på ett distinkt sätt skilja mellan forskningsfälten såvida vi inte närmar oss problemet från ett annat håll. Man kan tycka att det vore en lätt sak att ta fram produktivitet per författare vid universiteten. Statistik finns per forskningsämne (från SCB) och uppgifter om publiceringar kan fås från /. Så är inte fallet. För det första saknar vi två viktiga element när det gäller författarna. /ISI-data är bristfälliga när det gäller kopplingen mellan författarnamnet och adressupp- giften. Artiklar med ett namn och en adress ger oss inga problem, men så fort det blir flera författare och flera adresser uppstår det tveksamheter. Vi får nöja oss med att det första författarnamnet kan kopplas till den första adressen. Därutöver kan vi också använda uppgifter i fältet för reprint author (den författare som mottar korrespondens kring artikeln). Men det finns naturligtvis ett antal namn som förekommer på artiklarna men som aldrig framträder som första författare eller som reprint author. Till saken hör att vi dessutom har svårt att skilja dessa dolda författare från dem som inte alls bidrar till artiklarna. Ligger det då inte inom möjligheternas ram att få fram vilka personer vid universiteten som har bidragit till respektive artikel? I princip ja, men det skulle vara förknippat med en mycket stor arbetsinsats.TPF11FPT Vi vill hävda att det vore onödigt att ta fram sådana uppgifter. Det finns nämligen ytterligare en svårighet som kompli- cerar beräkningen av en direkt författarproduktivitet. Eftersom vi tänker oss att det behövs en ämnesnormalisering av materialet i tidskriftsklasser eller motsvarande skulle det vara nödvändigt att koppla artiklarna till antalet personer som uppges vara verksamma inom respektive område vid respektive universitet. Detta låter sig inte göras två skäl: 1) ämnesindelningarna är inte kongruenta med varandra; 2) SCB:s statistik samlas in på ett sätt som inte tillåter fördelning av publikationer (t.ex. har den grundats på generalise- ringar utifrån uppgiftslämnarna vilka ofta varit administrativ per- sonal). En illustration till detta problem återfinns i tabell 2 och 3. Den förra visar hur personalen är fördelad vid universiteten enligt SCB:s 11TP PT Vår kanske mest kritiska synpunkt på den norska modellen är att den medför arbets- krävande moment. Det förefaller oekonomiskt att införandet av incitament för med sig stora kostnader. Det är resurser som istället kan användas för forskning. statistik och tabell 3 visar statsanslagens fördelning per universitet. De avsevärda diskrepanserna mellan de båda visar att vi är hänvisade till att ta fram en metod för beräkningar som inte är beroende av FoU-statistiken eller av hur forskningsmedlen fördelas per universitet. Redan exemplet SLU illustrerar detta. SLU är ett i högsta grad diversifierat universitet med många olika verksamheter som vart och ett har sina egna specifika produktionsvillkor och man kan roa sig med att räkna hur många makroklasser av appendix 1 som SLU är verksamma inom. Det går dock att ta fram ett produktivitetsmått även om vi inte har tillgång till den exakta fördelningen av den forskande personalen. För att göra det vänder vi oss till den bibliometriska forskningen. har man varit intresserad av problemet med forsk- ningsproduktivitet inom ramen för material med starkt skeva för- delningar. . Lotka var den som först försökte finna regel- bundenheter i publiceringsaktiviteten hos författare till vetenskap- liga artiklar. I en uppsats visade han att antalet författare till n publikationer i en särskild population är 1/n2P P av antalet författare som producerar en enda publikation (Lotka 1926). Uttryckt på annat sätt innebär det att av alla författare endast har producerat en enda publikation (under en given mätperiod). Vi har redan framhållit att antalet publiceringar per författare inte är normalfördelade och det bibliometrikerna började intressera sig för var hur dessa skeva fördel- ningar kunde läggas till grund för förståelsen av regelbundenheter och till grund för bibliometriska indikatorer. Tabell 2 Personal (FoU-årsverken) per enhet och VO, bå 2005 Källa: SCB UF 13 tabell 20 (data bygger på enkäter, dvs. självrapportering från enskilda forskare, tidigare gjordes detta per institution). Observera att SCB inte ger enskilda uppgifter för . 2007 Budgtetprop :Källa 1 277 427 01 1 390 877 02 1 216 679 03 1 084 128 07 I ett flertal teoretiska analyser med empiriska illustrationer bidrog bland andra , , Andras och Andras Telcs till att klargöra att författarpopulationen fördelar sig som en Waringfördelning, vilket innebär att vissa regler kan tillämpas på dessa material, naturligtvis helt andra än dem som gäller för normalfördelningar (Glänzel, 1984, 1984; Telcs, Glänzel & 1985; Glänzel & 1985; Egghe & 1986; , Glänzel & 1990). Genom att analysera de aktiva författarnas artikelfrekvens kunde de också estimera antalet potentiella författare, dvs. författare med noll publiceringar och författare som publicerar men inte just inom den korta tidsperiod det var frågan om. Man hade funnit en metod för potential authorsTPF12FPT som också gav ett estimat över hur många som ingick i respektive lands forskningssystem. I en tillämpning gavs estimat över forskningspersonalens omfattning i delstater (och Telcs 1989) och detta jämfördes med census-data för FoU-personal. Genom att utnyttja sin isbergs- metodik lyckades författarna mycket exakt estimera totalsiffrorna för FoU-personal. Liknande undersökningar gjordes av länderna i (1986) och dessa visade att forskningsstatistik kraftigt överskattade forskningsperso- nalen i dessa länder.TPF13FPT Slutsatsen var att Waringdistributioner utgjorde ett användbart, teoretiskt baserat, verktyg för att göra estimeringar av FoU-personalen utifrån publiceringsdata. I vår modell utnyttjar vi deras metodik dock utan att vara intres- serade av det faktiska antalet forskare vid respektive universitet. Hur många forskare som ligger bakom produktionen behöver vi inte ha uppgifter om. Poängen med vårt förslag är denna: vi tar fram ett värde på vad produktion av artiklar motsvarar i antal normalproducerade författare. Den enda information vi behöver är alltså antalet artiklar i ISI-databasen fördelat per univer- sitet. Konstaterar vi att vi har att göra med Waringfördelningar kan vi jämföra områden som till synes ser ut att vara helt skilda, men som har egenskaper som förenar dem. Vi kan t.ex. sluta oss till att de forskningsområden som uppvisar Waringfördelningar har ungefär samma belöningssystem och hierarkier [reward system in science or the position of the scientific elite (et al )]. 12TP PT Även kallad scientific publication potential, se (1989), s. 296. 13TP PT Se även , Glänzel & (1990) som undersöker OECD-data. de kan betraktas som normala (europeiska och/eller ameri- kanska) forskningsfält är självklart en empirisk fråga. Vi lägger fram våra undersökningsresultat längre fram. I figuren här bredvid (utan nummer) visas den typiska fördelningen inom ett av de större områdena –2004. På x-axeln antal artiklar och på y-axeln antal författare med n artiklar. 1 2 3 4 5 6 7 8 9 10111213141516171819202122232425262728 Tillvägagångssättet är följande: Vi beräknar fördelningen av artiklar per författare inom vardera av de 23 områdena. Vi utnyttjar uppgiften om förste författare och reprint author (RP) och har namnrättat dessa på nordisk nivå för att erhålla ett stabilt referensvärde som inte i alltför stor utsträckning är beroende av att namnfelen tar ut varandra i de stora talens lag.TPF14FPT Vi skapar utifrån detta en databas för författarstrukturen inom respektive ämne. Hur många författare har en artikel, hur många har två etc.? Skälet att alla författarnamn inte används är att metoderna ännu inte är utprövade för sådan författarräkning. 14TP PT Ett litet antal tidskrifter inom samhällsvetenskap och humaniora uppger inte reprint author adress. Eftersom detta är områden med få författare per artikel och mycket få sam- arbeten över institutionsgränserna utgör detta inget problem. Första adressen fångar upp den nödvändiga informationen, vilket också framgår av en analys vi genomfört av SOC- artiklar från GU och SU. Färre än av artiklarna saknar RP-adress och alla utom en artikel placerar artikeln till korrekt universitet på första adressen. Att det finns skillnader mellan områden är egentligen av mindre betydelse, liksom att alla författare inte är representerade i materialet. Den metod vi använder gör att skillnader mellan två områden där det ena har 1 000 artiklar på 50 författare och det andra har 500 författare på lika många artiklar är fullt jämförbara. En förutsättning är naturligtvis att skillnaderna är en återspegling av publiceringsmönster som är generella i eller . En inte oviktig egenskap hos metoden är att alla publicerande författare inom ett område betraktas som ett urval av alla poten- tiella författare, dvs. alla faktiska forskare. Vi har ju att göra med en avgränsad tidsperiod som i en del fall kan uppfattas som alltför kort. Genom metodiken är det möjligt att estimera ett tal för hur många artiklar författarna på området skriver i genomsnitt. Och utifrån det talet kan vi räkna fram ett storleksmått per universitet som är representativt för dess publiceringsverksamhet.TPF15FPT Beräknade data för artiklar per unik författare läggs till grund för ämnesvisa tabeller som innehåller de referensvärden som gäller för . Referensvärdet framkommer genom att vi använder den punkt där regressionslinjen för det plottade, trunkerade popu- lationsmedelvärdetTPF16FPT skär y-axeln för respektive område. Regres- sionslinjen skapas genom att medeltalet beräknas och trunkeras (först med alla författare, därefter tas de med en artikel bort och medvärdet beräknas för resterande och så vidare). Mer om detta tillvägagångssätt i den tekniska bilagan 3. För varje universitet och ämnesområde delas antalet artiklar från med referensvärdet för ämnesområdet. Detta ger ett fältjusterat värde för produktionstalet. Därmed får vi fram ett storleksmått per universitet, vilket är en viktig förutsättning för att måtten skall kunna användas till att fördela anslag per universitet. är väsentligt större än och denna skillnad återspeglas i den områdesjusterade produktionen. För att korrekt avspegla författarpopulationens fördelning mellan universitet och över makroklasser har vi delat upp analysen i två delar: perioden 2002, samt perioden 2004 har analyserats separat och därefter har ett medeltal erhållits för dessa båda perioder. Anledningen är att vi på det sättet i möjligaste mån 15TP PT En genomgång av metodens tekniska detaljer ges i appendix 3. Varje enskild forskare kan endast tillhöra en makroklass och fördelas till den makroklass till vilken flest publikationer identifieras. 16TP PT Detta innebär att medelvärdet för hela populationen räknas ut, sedan medelvärdet för alla författare med fler än en artikel, sedan medelvärdet för alla författare med fler än två artiklar osv. Antalet artiklar bildar x-axeln och de olika medelvärdena y-axeln. kan undvika effekter dels av forskares flytt mellan universitet (jfr 1989), dels av att flödet av personer som går in och ut i forskarpopulationen. Minst 1 000 artiklar bör ingå i makro- klassen för att den skall ge stabila, statistiskt säkra beräkningar (1985) och för den skull har några makroklasser beräknats (DENT, ECON, , SOC och HUM). Det bör framhållas att denna rapport i första hand redovisar en metodik för att beräkna de direkta statsanslagens fördelning. När det gäller adressunifiering är det i allt väsentligt en öppen fråga huruvida universitetssjukhusens artiklar skall räknas in i univer- sitetens produktion. På grund av universitetsnamnets höga prestige är det också troligt att många sjukhusforskare gärna använder universitetsadressen. Vi menar att det är möjligt att med små medel korrigera eventuella fel till följd av detta, bl.a. med hjälp av personalförteckningar från universiteten.TPF17FPT eller , vilket skall vara basen för jämförelserna? Vi har, som framgått ovan, gjort beräkningar på ett nordiskt mate- rial 2004. Av flera skäl föredrar vi nordiska data, dels därför att vi kan namnrätta på nordisk nivå och få god överensstämmelse med det faktiska antalet artikelförfattare, dels för att vi har bättre kontroll över namnsbruket inom . Utgår vi i stället från europeiska data (11 EU-länder+Norge), ger det något andra referensvärden framförallt för humaniora medan det för klinisk medicin inte blir några nämnvärda skillnader. Orsaken till att humaniora får andra referensvärden är att indexerar ett stort antal tyskspråkiga tidskrifter, vilka ur nordisk synvinkel ger referensvärden som inte kan sägas vara represen- tativa. Ett alternativ vore att begränsa undersökningen till engelska som framstår som vetenskapens språk, men av förståeliga skäl finns det problem också med ett sådant tillvägagångssätt. Vi har därför stannat vid att använda (, och ) för att få fram referensvärden. Varför ger denna metod (Waring) ett representativt referens- värde och på vilket sätt är den bättre än andra metoder? 17TP PT Beräkningar som vi genomfört på enskilda universitet visar att det förvisso förekommer att universitetsanställda skriver univ hosp adresser liksom det förekommer att icke-anställda uppger universitetsadress. Landstingsanställda läkare som genomför forskarutbildning använder inte sällan univ-adress för markera sin akademiska tillhörighet, men de förekom- mer inte på lönelista. Om regeringen tar beslut om ett system enligt en modell som liknar den här kan universiteten förutsättas genomföra rutiner som resulterar i adekvata adressuppgifter. främsta skälet är att metoden på ett elegant sätt representerar materialet i sin helhet. Problemet för alla andra metoder – medel- värdet, medianen och Priceunit, dvs. att ta en rotdel av antalet författare (square root law, 1976, jfr Glänzel & 1985) är att de alla har den svagheten att antingen huvudet (botten) eller svansen (toppen) påverkar oproportionerligt mycket. I relation till dessa metoder är Waringvärdet vida över- lägset. Vad betyder Waringvärdet? Det bör framhållas att Waringvärdet inte är ett mått på antalet författare utan snarare ett mått på vad antalet artiklar motsvarar i form av medelproduktiva forskare. Om ett universitet har en normalproduktion (med nordiska mått mätt) kommer Waring- värdet att stämma överens med antalet anställda . Har däremot en låg produktivitet kommer värdet att ligga lägre än antalet anställda. Således går det i princip att utifrån Waringvärdena göra prognoser över hur många forskare det finns vid ett universitet. Vi har getts möjligheten att utnyttja personaldata från och för att pröva detta. Våra data visar att metoden ger ganska precisa skattningar av personalomfattningen. Det bör påpekas att vi nu inte talar om antalet författare utan om antalet anställda forskare oavsett deras anställningsform. Vi förutsätter att varje universitet har en genom- snittlig fördelning av heltids- och deltidsforskare. Vi kan också se att det finns en rimlig överensstämmelse mellan Waringvärdena (förutsatt att de grupperas) och fakultetsområdenas personaldata. En annan fördel med metoden visar sig om vi jämför referensvärdet med medelvärdet på två respektive fyraårsperioder. När perioden fördubblas bör även referensvärdet fördubblas. Detta är fallet för referensvärdet men inte för medelvärdet. Citeringar är i första hand ett mått på användbarhet snarare än kvalitet. Även om det finns anledning att vara försiktig kan citeringar användas som at least a partial indicator of scientific quality (Seglen 1992). Med Internet har forskningen blivit global på ett genomgripande sätt (forskarna har tidskrifterna tillgängliga i sina datorer) och uppmärksamhet/användbarhet är till följd av detta det sannolikt bästa sättet att rangordna universitet och insti- tutioner. Fältnormaliserad citeringsgrad är en närmast självklar metod inom all bibliometrisk forskning och har varit standard- metod . Glänzel (1996), samt (1996) sammanfattade diskussionen . Drygt , med många och alltmer aktiva intressenter, är det synnerligen viktigt att forskningens bästa metoder används för undersökningarna (även i policysammanhang). Metoden med fält- normaliserad citeringsgrad har nämligen en svaghet: det krävs till- gång till hela databasen för att referensvärden skall kunna skapas. En detaljerad beskrivning av metoden finns i appendix 2. Fältnormalisering handlar om två saker: För det första att jämföra likar med likar och för det andra att med normaliserade värden kunna jämföra över ämnesgränserna. En fråga som ofta uppkommer är huruvida citeringsgraden är relaterad till antalet artiklar. Får högproduktiva forskargrupper högre citeringsgrad? har i flera arbeten (2004, 2006) undersökt den fältnormaliserade indikatorns egenskaper. Vi har genomfört en undersökning av denna aspekt och kommer fram till att det inte finns anledning att tala om skalfördelar i detta sammanhang. Mäng- den artiklar garanterar inte en god citeringsgrad.TPF18FPT Vid mätning av fältnormaliserad citeringsgrad intresserar vi oss endast för de artiklar som förekommer i tidskrifter som publicerar på vetenskapens internationella språk, vilket i de flesta fall är engelska. Web of Science indexerar ett antal i huvudsak nationella tidskrifter, t.ex. Moderna språk, Sociologisk forskning, Nordisk psykologi, , , Ekonomiska sam- fundets tidskrift (fi), , Internasjonal politik (no), Historisk tidsskrift (no). Endast ett litet antal svenskspråkiga artiklar förekommer i materialet. Tidskrifterna har en i bästa fall nordisk läsekrets, men kolleger runt om i världen har inga eller små möjligheter att läsa och referera till artiklarna. Nordiska biblio- metriker har rutinmässigt tagit bort dessa tidskrifter när de gjort internationella jämförelser (tidskrifterna inkluderas dock i vår pro- duktionsberäkning). Vi ansluter till denna praxis och utvidgar den 18TP PT (2007b). – för att ha god marginal i citeringshänseende – till att gälla alla artiklar i icke-engelskspråkiga tidskrifter. Det medicinska vetenskapsområdet står för nära hälften av de svenska publiceringarna. Kvoten mellan publiceringar och per årsverke blir för medicin drygt 2 och för naturvetenskap 1,5 och för teknikvetenskap 1 och slutligen för hum-sam knappt ¼ publikation . Skillnaderna är således avsevärda mellan områ- dena. Delvis beror detta på att man utnyttjar skilda publicerings- kanaler. Inte mer än av referenserna i samhälls- vetenskapliga artiklar går till indexerat material (av ) medan resten är referenser till böcker, rapporter och kapitel i bok. Andelen är närmare 80 för medicin och flertalet natur- vetenskapliga områden (Moed 2005, s. 126 f.). Humanistisk forskning har ett avvikande beteende när det gäller citeringar mellan artiklar. Ett antal artiklar kan med få citeringar få höga fältnormaliserade värden. Av detta skäl, och efter diskussioner med internationella bibliometriker, föreslår vi att det humanistiska området sätts till 1,0 i CPP/FCSm.TPF19FPT Det är viktigare att univer- siteten producerar artiklar i den internationella vetenskapliga dis- kussionen än att de mäts med citeringsindex. Vi redovisar i tabell 4 (nedan) jämförelser mellan våra Waring- baserade referensvärden, aritmetiskt medelvärde och median för respektive makroklass. Här finns också en beräkning av antal artiklar och den fältnormaliserade citeringsgraden per makroklass. 19TP PT Man kan också tänka sig att låta CPP/FCS-värdet variera mellan t ex 0,8 och 1,2. SOU 2007:81 Bilaga 8 Jämförelse mellan referensvärden för makroklasser (). Waringreferensvärden och median för 23 makroklasser Anm: Tabellen avser 2-åriga genomsnittsvärden för WaringRef, Medelvärde och Median grundade på 2001 2002 och 2003 2004. * Detta värde (Multi) utgör medel av samtliga klasser. I det följande ges ett konkret förslag till hur forskningsproduk- tivitet och citeringsgrad kan användas som fördelningsnyckel av statliga direktanslag till universiteten. Vi har av flera skäl valt perioden 2004. Det första är att den senaste delen av databasen (efter 1997) innehåller kompletta upp- gifter. Ett annat skäl är att systemet inte bör bygga in alltför stora trögheter (genom att täcka ). Citeringsfönstret är ett tredje skäl; det ger citeringar till artiklar , osv. Av våra undersökningar att döma ger kombinationen av flera citeringsfönster tillförlitliga resul- tat även för områden som teknik och humanvetenskap.