sou · GVB381 · 2008-01-01 00:00:00 — Ingen högskola har således erhållit vetenskapsområde och de fem ansökningar som inkommit efter 2001 har inte remit- terats till för yttrande. Regeringen har inte heller beslutat om avslag, utan ansökningarna ligger som öppna ärenden på . Vad är en svensk doktorsavhandling värd enligt det norska systemet att värdera publikationer? modifierade sin modell för att fördela medel mellan lärosäten. infördes en fördelningsmodell base- rat bland annat på vetenskaplig publicering.TPF1FPT Den bibliometriska delen av den norska modellen är i korthet att alla publiceringar poängsätts och poängen summeras. Därför registreras alla publice- ringar av lärosätena i en nationell databas. Alla tidskriftsserier och förlag till monografier etc. har givits en vikt enligt tabell 1. Det finns också en nivå 0, som inte ger några poäng. Principen för att en tidskrift eller ett bokförlag skall placeras i nivå 2 är att de skall utgöra de bästa av publikationerna. Paneler med norska forskare har definierat vilka serier och bokförlag som skall ingå i respektive nivå. Tabell 1 modell att poängsätta publikationer i nivå 1 och 2 (nivå 0 får 0 poäng) Artikkel i periodika og serier 1TP PT Den norska modellen innehåller även komponenter baserade på doktorsgradskandidater, och medel erhållna från EU och NFR. Se Orientering om forslag til statsbutsjettet for universiteter och høyskoler. Här redovisas ett exempel på vad resultatet blir av att applicera den norska modellen på svenska förhållanden. För att jämföra effekten av denna fördelningsmodell för olika vetenskapsområden har vi använt de 591 svenska doktorsavhandlingar som analyserades i Analysenhetens rapport om avhandlingarnas kvalité och struktur: 74 inom humaniora, 54 inom samhällsvetenskap, 147 inom medicin och 102 inom teknik-naturvetenskap vid , 147 inom medicin vid och 104 inom teknik vid Kungl. Tekniska högskolan.TPF2FPT Genom att basera jämförelsen på doktorsavhandlingar får vi en möjlighet att jämföra publiceringen mellan vetenskapsområden kvantitativt. Vi utgår således från att den arbetsinsats som en doktorand lägger ner på sin avhandling är ungefär lika stor inom alla vetenskapsområden. Vi har gjort följande antaganden. Alla monografiavhandlingar har givits vikten 5 (nivå 1 i tabell 1 ovan). De studerade avhand- lingarna baserades på totalt 2 358 delarbeten. Av dessa återfanns 1 377 () i databas (som motsvarar inne- hållet i Web of Science). För de drygt 1 300 publikationerna som finns i vår databas har vi tagit fram om de tillhör nivå 0, 1 eller 2 i det norska systemet. Proceedings finns inte med i databas men antas ha samma fördelning mellan nivå 1 och 2 som artiklar och översiktsartiklar. Publikationerna fraktionaliseras i den norska modellen på antalet författare, dvs. ifall en artikel i avhand- lingen har fyra författare är respondentens andel 1/4 av poängen för artikeln. Vi vet inte med säkerhet hur många av delarbetena i avhand- lingarna som slutligen kommer att publiceras, bara att 40–70 pro- cent angavs som publicerade i avhandlingarna och att av dem kunde hittas i databasen 2005. Den första kolumnen (A) i tabell 2 redovisar ett maximalt optimistiskt scenario där alla avhandlingarnas delarbeten publicerats och kolumn B en pessi- mistisk version där inga ytterligare delarbeten accepteras för publi- cering utöver de som angivits som publicerade i avhandlingarna. Verkligheten ligger alltså någonstans mellan dessa. 2TP PT Svenska avhandlingars kvalité och struktur, Analysenheten, 2006. SOU 2007:81 Bilaga 7 Poäng per svensk doktorsavhandling (respondentens andel) poängsatt enligt den norska modellen för publiceringspoäng Poäng per avhandling (respondentens andel) Antaget att alla delarbeten Enbart delarbeten publicerade enligt Man kan alltså konstatera att en medicinavhandling som igenom- snitt består av 4,8 uppsatser (tabell 3) värderas till 1,4–1,9 medan en monografi inom humaniora är värd 5 (om det publiceras av ett förlag som placerats i nivå 1). I den norska modellen kopplas poäng till resurser och i det norska förslaget till statsbudget motsvarar 1 publicerings- poäng 40 030 NKR.TPF3FPT Översatt till svenska förhållanden innebär detta för en humanioraavhandling publicerad av ett nivå 1 förlag och 67 000–för en medicinavhand- ling (respondentens andel).TPF4FPT Detta exempel baseras på de publikationer som en genomsnittlig svensk doktorsavhandling innehåller och beräkningarna bör där- med vara relativt jämförbara mellan vetenskapsområden. Dock har vi ingen statistik över hur den genomsnittliga produktionen ser ut för seniora forskare inom respektive område och det är möjligt att balansen mellan områden som redovisas i tabell 2 skulle ändras om den baserades på mer etablerade forskares produktion. Slutsatsen från denna rapport är att den norska modellen inte okritiskt kan användas som en svensk fördelningsnyckel, särskilt inte vid fördelning mellan vetenskapsområden. Förutom den (o)balans mellan vetenskapsområden som diskuteras ovan kan den norska fördelningsmodellen också resultera i en (mer eller mindre starkt) ökad produktion av publikationer. Inom vissa ämnesområden kan det vara positivt att öka den internationella vetenskapliga publice- ringen men det medför också en ökad risk för en fragmenterad 3TP PT Orientering om forslag til statsbutsjettet for universiteter och høyskoler, Kunn- skapsdepartementet, . 4TP PT En norsks krona antas motsvara . publicering och en ökad produktion av publikationer av låg kvalité. Det senare blev effekten när införde en volymbaserad fördelning av resurser under slutet av 1980-talet.TPF5FPT Från tabell 3 framgår hur siffrorna i tabell 2 beräknas. Kolumn A i tabell 2 = E+H i tabell 3 och Kolumn B i tabell 2 = F+H i tabell 3. Alla avhandlingsmonografier som denna studie baserats på har en författare och de har antagits vara publicerade av ett nivå 1-förlag. (WoS publ) Förklaring till kolumnerna i tabell 3: A.Norsk medelpoäng framräknad från proportionerna mellan nivå 0, 1 och 2 publikationer per fakultetsområde. B.Antal delarbeten antal uppsatser som sammanläggningsavhand- lingarna baseras på. Från tabell 2 i rapporten lingarnas kvalité och struktur från analysenheten vid Veten- skapsrådet. C.Andel publicerade delarbeten är den andel som angivits som publicerade i avhandlingarna. Explaining increased share of publications – the effects of a founding formula based on publication counts, Research Policy 32: 143–155. D.Författarfraktion är baserad på antalet författare per uppsats i avhandlingarna (=1/antal författare). Denna fraktion är base- rad på samtliga manuskript i avhandlingarna. Framförallt inom teknikiska och naturvetenskapliga fakulteter finns en tydlig tendens att publicerade avhandlingsuppsatser har fler författare än medeltalet för avhandlingarna, dvs. manuskript med många författare har varit mer framgångsrika i att bli publicerade (se tabell 4 i rapporten kvalité och struktur). För dessa fakulteter innebär det att siffrorna i kolumn F är överskattningar pga. att författarfraktionen (kolumn D) är överskattad. Författarfraktionen kan också vara underskattad eftersom doktoranden ofta är försteförfattare på en stor del av sina avhandlingsartiklar och eftersom försteförfattaren, exem- pelvis inom medicin och biologi, oftast utfört en större del av arbetet än andra författare. En kompensation för denna effekt höjer värdena utom för humanoria i tabell 2; exempelvis för medicin kan värdena i tabellen då behöva höjas till uppskatt- ningsvis 2,6 respektive 1,9. E.Poäng alla delarbeten = poäng antaget att alla avhandlingarnas delarbeten publiceras: A*B*D*(1-G) F.Poäng publicerade delarbeten = A*B*C*D*(1-G) G.Andel monografier från tabell 1 i rapporten lingarnas kvalité och struktur. H.Poäng monografier = 5*G. Den norska modellen mer i detalj Förutom vad som nämnts ovan har den norska modellen fler detalj- villkor. En publikation tilldelas aldrig en lägre vikt än 1/10 även om antalet författare överstigen 10. Detta påverkar våra beräkningar enbart marginellt; av de analyserade publikationerna hade fler än 10 författare och hade fler än 15. För av publikationerna (de flesta inom medicin) har vi underskattat publiceringspoängen något. Ytterligare en detalj i den norska modellen är att internationella publikationer inom hälsovetenskap premieras genom att publice- ringspoängen multipliceras med 1,5. Detta gäller dock endast publi- kationer från sjukhus och universitetssjukhus, men inte medicin- publikationer från universiteten. Modell för beräkning av direktanslag till svenska lärosäten baserad på forskningsproduktion och citeringsgrad Föreliggande rapport analyserar de svenska universitetens presta- tioner med avseende på internationella vetenskapliga artiklar och deras kvalitet. Detta görs utifrån en metod som bygger på relativ (fältjusterad) artikelproduktion och relativ (fältnormaliserad) cite- ringsgrad. Förslaget visar att såväl ett produktionsmått som ett mått på kvalitet kan användas vid fördelning av direkta statliga forskningsanslag. Syftet är att ta fram ett underlag för konkurrensutsatta direkta statsanslag till universiteten. Målsättningen är att ge varje univer- sitet ett värde som återspeglar dess samlade vetenskapliga produk- tion och kvaliteten på den produktionen . Värdet skall vara så beskaffat att det kan användas som fördel- ningsnyckel. Efter en inledande genomgång av vilka krav som bör ställas på fördelningsmodeller, följer vårt förslag till metod och vårt tillvägagångssätt. Rapporten avslutas med en tillämpning av model- len på forskningsproduktionen vid svenska universitet under perio- den –2004. I appendix finns ett antal mer detaljerade metod- avsnitt. Prestationsrelaterade statsanslag till universiteten är under utredning i flera länder och tillämpas i länder som , Austra- lien och . Dessa system dras med problemet att det är svårt att göra rättvisande jämförelser mellan forskningsområden. Publiceringstakten skiljer sig starkt mellan områden; kemi, fysik och medicin har väloljade internationella publiceringssystem och ett stort antal tidskrifter, medan en rad tekniska forsknings- områden liksom samhälls- och humanvetenskaperna inte har lika väl fungerande publiceringsmarknader. Antalet tidskrifter inom respektive område, deras utgivningstakt och bibliotekens förmåga att understödja forskningen, skiljer sig åt och dessa omständigheter ger utslag i form av skillnader som vi kan benämna områdets publiceringspraxis. Förutom internationella tidskrifter finns flera andra publice- ringskanaler: nationella tidskrifter, böcker, kapitel i antologier och rapporter. Nationella databaser täcker en del av dessa publicerings- kanaler men långtifrån allt. Det är förknippat med mycket arbete och kräver överläggningar och förhandlingar mellan specialister innan ett system för beräkning av alla relevanta nationella publika- tioner kan sättas i verket. Syftet med föreliggande rapport är att diskutera möjligheterna att utveckla ett resurssnålt system dvs. ett system som inte belastar forskningssystemet (forskare eller annan personal) med insamling av information som, i princip, redan finns tillgängliga i internationella databaser. Skillnaderna mellan forskningens olika områden gör det nöd- vändigt att betrakta forskningsproduktiviteten, dvs. antalet artiklar per författare, som ett relativt mått. Vi förväntar oss inte samma produktivitet, mätt i antal artiklar, av en forskare inom statsvetenskap som inom kemi. Vi behöver områdes(fält)justera produktiviteten genom att ta fram referensvärden som är giltiga för varje område.TPF1FPT Finner vi en tillförlitlig metod för detta kan vi göra rättvisa jämförelser mellan områden. Denna rapport visar hur detta kan göras med en metod som liknas vid att uppskatta volymen på ett utifrån dess topp. Vi gör detsamma med publiceringsdata. Utifrån uppgifter från olika områden går det att med matematisk- statistiska metoder estimera vad publiceringarna motsvarar i form av personal. Att detta är möjligt inom områden som huvudsakligen publicerar i internationella tidskrifter är kanske inte så förvånande, men det går även att göra för mindre som samhällsveten- skap och humaniora. 1TP PT Se (1996) Cross-field normalization of scientometric indicators, Scientometrics 36:311–324, jfr van Raan (2004) Measuring science, in (Eds.) För att göra detta möjligt fordras framförallt att vi har tillgång till data om publiceringar och dessa data skall vara så beskaffade att de kan läggas till grund för en funktionell ämnesindel- ning i forskningsområden. Ämnesskillnaderna är anledningen till att vi inte kan använda monografier och nationella databaser (som man gör i NorgeTPF2FPT): ämnesindelningen finns inte eller kommer att vila på en rad osäkerheter (institutionell tillhörighet eller själv- rapportering). Fördelen med att istället utgå från internationella tidskrifter är att ämnesindelningen grundas på ett förhandsbestämt system för ämnesklassningTPF3FPT och att detta system finns i en databas som med relativt små arbetsinsatser kan användas för ändamålet. /ISI:s databas of Science (WoS) utgör en bland forskare ofta använd källa till bibliografisk information och referenser. Databasen kan också utnyttjas för bibliometriska analy- ser med inriktning på produktivitet och citeringsgrad. Ett av Web of Science kännetecken är dess utvecklade ämnes- indelning av tidskrifterna. Var och en av de cirka 9 000 indexerade tidskrifterna (inkl. proceedings) har förts till en eller flera tidskriftsklasser (ämnesområden). En tidskrift kan alltså tillhöra flera ämnesområden. Detta gör att det blir ett omfattande och sinnrikt system för att beskriva tidskriftens ämnesmässiga karaktär. I tabell 1 visas hur tidskrifter inom området trä och papper klassificerats av . Ett antal tidskrifter är klassade som enbart Materials Science, Paper & (rad 1), men många tidskrifter har en dubbel tillhörighet (rad 2). Vidare finns också tidskrifter som har tilldelats ytterligare flera klasser (rad 3 och 4). Tabell 1 Exempel på hur /klassificerar tidskrifter i mikroklasser Materials Science, Paper & Materials Science, Paper & Materials Science, Paper & Materials Science, Textiles Materials Science, Paper & Materials Science, Textiles används 242 tidskriftsklasser för att klassificera tidskrifts- beståndet. Dessa kallar vi mikroklasser. Det ger ett stort antal kombinationsmöjligheter och det är inte ovanligt att tidskrifterna 2TP PT Vekt på forskning. Universitets- og høgskolerådet. 3TP PT ISI:s metod för detta arbete framgår av: skär över de stora disciplingränserna, ett faktum som bland annat använts för att beskriva forskningen som alltmer gränsöver- skridande och tvärvetenskaplig (1996; et al. Mikroklasserna är en viktig förutsättning som gör det möjligt att jämföra citeringsgraden utan att jämföra äpplen och päron. Högenergifysiker jämförs med sina kolleger och ekonomer med sina kolleger. Citeringsgraden är en god indikator på hur användbar forskningen är för andra forskare och ger därför ett mått på uppmärksamheten. Använder vi mikroklasserna som utgångs- punkt för den normaliserade citeringsgraden per dokumenttyp och får vi fram ett värde som anger hur betydelsefull forskningen är för andra forskare och fungerar därmed som en indikator för forskningens kvalitet. Mer i detalj om metoden för detta finns återgivet i appendix 2. Dessa mikroklasser kan slås samman till större makroklasser, vilka representerar stora forskningsfält med ungefär liknande arbets- och publiceringsförhållanden. Makroklasserna kan användas för att skapa referensvärden för produktiviteten, dvs. hur många artiklar som en normalförfattare skriver per tidsperiod. [Mikro- klasser och makroklasser återges i appendix 1.] Indelningen bygger här på ett empiriskt underlag i form av 51 000 nordiska univer- sitetsforskare och deras publiceringsbeteende. Hur de publicerar sig över olika tidskriftsklasser ligger till grund för en klustring av tidskriftsklasserna.TPF4FPT Denna metod grupperar tidskriftsklasser, i det här fallet utifrån hur ofta enskilda författare publicerar mellan dessa klasser. Tillvägagångssättet ger oss 23 makroklasser, vilka i stor utsträckning påminner om de s.k. SPRU-klasser som ursprungligen presenterades av m.fl. (1995), men som sedermera har för- finats, dels genom /ISI:s eget arbete inom Essential Science Indicators, dels genom arbeten av ledande internationella bibliometriker.TPF5FPT Figur 1 visar hur makroklasserna förhåller sig till varandra. 4TP PT Klustringen har skett med hierarkisk klustring, average link-metodik. 5TP PT Se Field Definitions på . Jfr forskarna i som föreslagit en klassning i 100 mikroklasser, jfr. Glänzel & (2003). Figur 1 Makroklasser av tidskriftsklasser (mikroklasser). Figuren är ett exempel Publiceringar som underlag för resursfördelning Ett antal villkor bör vara uppfyllda när vi använder data om univer- sitetens artikelproduktion som underlag för resursfördelning: 1.Könsneutralitet: prestationssystemet skall vara oberoende hur kvinnor och män är fördelade mellan ämnesområden. 2.Skalneutralitet: metoden bör vara konkurrensneutral i förhål- lande till forskningsfältens storlek. Om ett område är stort (kemi) eller litet (allergi) skall i princip varken leda till för- eller nackdelar förutsatt att kvaliteten är densamma. 3.Framtidsneutralitet: metoden skall bidra till att utveckla svensk forskning för framtiden. Den skall gynna den forskning som har hög kvalitet och områden där har betydelsefulla bidrag att lämna. Det innebär också att områden där svenska forskare av tradition publicerar stora andelar inte särskilt skall gynnas. 4.Hierarkineutralitet: Graden av hierarki i det akademiska systemet varierar och mellan områden. Vissa tider och inom vissa områden ges forskningsledarna större resurser, andra tider är det förnyelsen och mångfalden som premieras genom forskningsmedlen sprids ut på flera. Produktivitets- systemet bör vara neutralt i förhållande till forskarnas ålder, status och etablering. 5.Samarbetsincitament: systemet skall stimulera till samarbete mellan institutioner och mellan länder. Trenden mot ökat internationellt samarbete är tydlig och effekten i form av ökad citeringsgrad är väldokumenterad. Ett svenskt prestations- baserat system bör understödja detta. 6.Systemet skall ge incitament att publicera artiklar i interna- vetenskapliga och tekniska tidskrifter. Alla artiklar har ex ante lika stora chanser att få kollegernas uppmärksamhet. Incitamenten får inte vara en hämsko på publiceringsverk- samheten, men skall inte heller stimulera till överpubliceringar (skivad publicering; publiceringshysteri). 7.Systemet skall uppfattas som rättvist i den meningen att det så långt möjligt likställer olika forskningsområden. Prestationssystem i andra länder Rapportens utgångspunkt är att en kvalitetsindikator bör ingå i ett svenskt prestationssystem. är inte helt tillfreds med den norska modellen som genom att använda flera olika publiceringskanaler gjort det omöjligt att mäta faktisk uppmärk- samhet och användning, dvs. Den enda databas som erbjuder såväl möjligheter att fältnormalisera som indexering av referenser (citeringar) är Web of Science. Om forskares produk- tion av läroböcker, av antologibidrag m.m. skall tas med blir resul- tatet ofelbart att man tvingas att gå omvägen över tidskrifternas ryktbarhet och detta i form av konsensuskonferenser som efter förhandlingar mellan representanter för olika lärosäten fastställer vilka förlag och vilka tidskrifter som ges en högre viktning. Även om man inte explicit använder Journal Impact Factor i den norska modellen innebär det norska systemet att man valt att tilldela vissa tidskrifter högre poäng oavsett om norska artiklar i tidskriften ifråga blir uppmärksammade eller inte.TPF6FPT Avgörande är således den förväntade uppmärksamheten och inte den faktiska betydelse som artikeln eller boken kommer att få i form av att andra forskare använder och hänvisar till verket. Inom medicinska fält är det i stort sett endast tidskrifter med hög Journal Impact Factor som tilldelats den högre nivån i det norska systemet. Inom samhällsvetenskapliga områden har forskarna tenderat att gynna tidskrifter som de själva har kontroll över och inom humaniora finns överhuvudtaget inga prioriterade tidskrifter.TPF7FPT Sammantaget riskerar det norska systemet att snarare låsa fast forskningen i dess nuvarande publikationstraditioner. Systemets största svaghet är att det inte heller omfördelar några medel. Genomförda analyser av de två senaste norska omgångarna visar att man för humaniora och medicin lika gärna kunde räkna huvuden, dvs. förutom den ytterst marginella omfördelningen i det norska systemet är effekten densamma som om staten fördelade pengar i relation till hur många personer institutionerna förmår att finan- siera på tillgängliga medel.TPF8FPT Konklusionen är att det norska syste- met verkar vara ett förhållandevis kostsamt sätt att komma fram till något ganska trivialt. Något annat var inte heller att förvänta. Räknas alla publiceringar och viktas efter en någorlunda acceptabel modell kommer skillnaderna på universitetsnivå att jämnas ut. I så måtto är den norska modellen ganska oförarglig, men det kan också riktas en skarpare kritik mot det norska förslaget. Viktningssystemet utgår från publiceringstraditioner som stämmer överens med två extremvarianter i nuvarande forskning: å ena sidan de som publicerar många tidskriftsartiklar (kemi, fysik och medicin) och, å andra sidan, de områden som publicerar mono- grafier (humaniora). Men mellan dessa extremer finns ett stort 6TP PT I princip kan det vara en artikel i en tidskrift som får alla citeringar och således drar upp medelvärdet för tidskriftens journal impact factor. 7TP PT Det finns två olika synsätt på frågan om kollegial kontroll: i det ena fallet tänker man sig denna kontroll som en funktion av internationella processer, dvs. tidskrifternas referee- system, rådens bedömningar av anslag etc., och i det andra fallet som en fråga på lokal nivå. och (2006) gör sig till tolk för den senare uppfattningen utan närmare motivation. Mot deras ståndpunkt kan anföras en hel rad auktoritativa normativa analyser av t.ex. (1938) och forskningssociologer i hans efterföljd. Forskarnas kolleger är alla som ingår i det professionella systemet. Det varken kan eller bör begränsas till dem man möter i korridoren. Vältalig argumentation för denna ståndpunkt har formu- lerats av (1996), (1971), (1997). 8TP PT , Presentation på 12:e nordiska bibliometrikonferensen i 13 , rapporterade samma resultat. antal områden med en mix av artiklar och rapporter (konferens- rapporter) och publiceringstalet för dessa områden (matematik, ingenjörsvetenskaper, odontologi, ekonomi och allmän samhälls- vetenskap) är ganska litet inom de av det norska systemet god- kända publiceringsformer. Mycket riktigt är det ingenjörs- vetenskaperna (NTNU) som förlorar i det norska systemet.TPF9FPT Vi presenterar i denna rapport en modell som gör att matematik, ingenjörsvetenskap och ekonomi jämförs med sina kolleger i såväl med avseende på artikelproduktionen som med avseende på artiklarnas citeringsgrad, dvs. uppmärksamhet och användningsfrekvens. Vi visar dessutom att ingenjörsvetenskaperna i gör bra resultat och att staten borde ge en större andel av de direkta anslagen till tekniska högskolor som och . I det norska systemet fraktionaliseras samarbetsartiklar efter antalet författare, vilket, om systemet omfördelade större resurser än (1,), skulle kunna leda till att medi- cinska forskare försökte minska antalet författare per publikation. Det ligger i samarbetets natur att man hellre inkluderar än exklu- derar. Jämfört med ämnesområden som inte har sådan publice- ringspraxis kan hävdas att t.ex. medicin och kemi sannolikt underskattas i det norska systemet. har baserat en del av den statliga basfinansieringen till universiteten på ett prestationssystem. Detta har utgått från antalet artiklar i internationella vetenskapliga tid- skrifter.