sou · GNB34 · 2000-01-01 00:00:00 — 18Ibid., op. cit., s. 97-98. review-systemet i svensk forskningsgranskning 167 2.Partiskhet: Systemet har en bias, en tyngdpunktsförskjutning eller snedvridning, mot en viss typ av forskning som anses ligga i den sk forskningsfronten. 3.Kostnadsineffektivitet: Systemet är oekonomiskt. Så länge det finns stora resurser att fördela är läget oproblematiskt. Men när det eko- nomiska utrymmet krymper och fler ansökare konkurrerar om allt mindre medel är det inte bara dålig forskning som blir utan anslag. Av flera bra projekt måste några sållas bort, andra prioriteras. Just i dessa lägen blir förmodligen jävsproblematik och forskningskultur särskilt känslig. 4.Nepotism: Risken finns att forskarna i PK talar för sina egna medar- betare och sina egna ämnesområden. Välrenommerade forskare från etablerade lärosäten bedöms välvilligare än unga och okända forska- re. Granskningskommittéerna dominerades länge av män, vilket kan ha bidragit till missgynnandet av kvinnliga forskares ansökningar. Den här sortens problem accentueras förmodligen i ett litet land där forskareliterna inte är större än att alla känner alla och vet vem som forskar om vad i det egna fältet.19 5.Konserverande: Bedömningarna av forskningsansökningar görs uti- från vad som anses vara etablerad kunskap och metod inom ett områ- de. Nya idéer som skulle kunna innebära betydelsefulla genombrott i forskningen riskerar att inte få anslag. Det kan också vara svårt för unga forskare inom nya forskningsfält eller tvärvetenskaplig forsk- ning att få anslag. I ekonomiskt kärva tider blir denna konserverande tendens dessutom starkare.20 6.Inomvetenskaplighet: Systemet styrs av inomvetenskapliga kriterier. Aktörer utanför forskarvärlden har ibland uttryckt en önskan om ett större samhälleligt inflytande över forskningen. Vad som är samhälls- relevant och vad som är inomvetenskapligt spännande stämmer inte alltid överens, menar kritikerna. 19Welin, , op. cit., s. 193. 20Ibid., s. 194. 168 review-systemet i svensk forskningsgranskning MFR:s årsrapport redogör för hur man under verksamhetsåret ge- nomfört en utvärdering av peer review-systemet och funnit följande pro- blem: 1)MFR hade en föråldrad PK-indelning - vissa nya och centrala forsk- ningsområden hade ingen motsvarande PK. 2)Poängskalan 1-4 var för snäv. Merparten av ansökningarna gradera- des till 2 och 3, 1 och 4 användes mycket sällan, vilket ledde till att skalan inte gav mycket vägledning vid beslut om anslagstilldelning. 3)Det rådde en oklar definition av bedömningsgrunderna. MFR (liksom flera andra forskningsråd) bedömer projektens frågeställning, metodik och de sökandes kompetens. Särskilt beträffande kompetens var defi- nitionen oklar: många av granskarna uppfattade det som tjänsteinne- hav, vilket i praktiken ledde till att äldre, seniora forskare främst be- viljades anslag. Andra uppfattade kompetens som gruppens möjlighet att genomföra projektet. 4)Fördelningsprinciperna var otydliga. Undersökningar visade att kön och kontakt kunde vara avgörande för anslagstilldelning. 5)Rådet saknade rutiner för regelbunden utvärdering och analys av sitt eget arbete. Som kommer att visas nedan ledde denna interna kritik till flera föränd- ringar i MFR:s arbetsgång. 1997 publicerade de medicinska forskarna sin artikel "Nepotism and Sexism in ". Det är den första vetenskapliga undersökningen där könsdiskriminering i peer revi- ew analyseras. Studien visar att kvinnor måste prestera både kvantitativt mer och kvalitativt bättre forskning för att uppnå konkurrenskraft med manliga forskare. Wennerås/visar i sin undersökning att kvinnors ansökningar sys- tematiskt värderades ned. De kvinnliga sökandena fick i genomsnitt 0,25 poäng lägre i bedömningen för kompetens; 0,17 poäng lägre för metod och 0,13 poäng lägre för projektets vetenskapliga frågeställning och re- levans.21 Kompetenspoängen grundar sig ofta på mätningar av forskar- 21 Wennerås, , , , Nepotism and Sexism in Peer-review, Nature, vol 387, 1997, s. 341. review-systemet i svensk forskningsgranskning 169 nas mängd publicerade artiklar i ansedda vetenskapliga tidskrifter. Wen- nerås/undersökte det sk total impact-värdet hos de sökande, vil- ket innebär att man summerar antalet publicerade artiklar sedan man försett varje artikel med ett index som är högre för prestigefyllda tid- ningar. Man fann då att en kvinnlig forskare, för att värderas likvärdigt med en man, måste prestera 64 impactpoäng mer än en manlig sökande. Det motsvarar att få in tre artiklar mer än en konkurrerande manlig sö- kande i någon mycket prestigefylld tidskrift som t. ex. Nature, eller 20 artiklar mer i ett antal något mindre ansedda facktidskrifter. Dessutom visar studien att de mest produktiva kvinnliga forskarna, som uppnår 100 eller mer impact-poäng, är den enda grupp av kvinnliga sökanden som i kompetens värderas lika högt som män - men då i nivå med de män som producerat minst.22 Studien visar att det avgörande för att få höga bedömningspoäng i MFR:s peer review-system är antalet egna publicerade artiklar (vilket alltså mäts i det beskrivna värdet total impact), antalet artiklar där sö- kanden stått som huvudförfattare tillsammans med andra medförfattare samt hur mycket sökandens artiklar citerats. Men därutöver fann alltså Wennerås/i sin studie ytterligare två faktorer som visade sig sta- tistiskt signifikanta, nämligen den sökandes kön och kontakter med nå- gon av prioriteringskommitténs ledamöter. En sökande med kontakter i kommittén fick genomgående 0,22 poäng mer i kompetensbedömningen, enligt Wennerås/. Ett sådant vänskapsbonus menar de motsvarar inte mindre än 67 impactpoäng. En sökande utan kontakter i kommittén behövde alltså 67 impactpoäng mer än en sökande av samma kön med sådana kontakter.23 Vänskapsbonusen och könsbonusen är alltså nästan lika hög (67 respek- tive 64 impactpoäng) vilket gör att en kvinnlig sökande kan kompensera sin könstillhörighet genom kontakter i PK. Om hon däremot saknar kontakter måste hon prestera 131 impactpoäng mer för att slå en manlig sökande med kontakter i kommittén. Med andra ord: ett dubbelt handi- kapp bestående i kvinnligt kön och inga kontakter kunde knappast kompenseras med vetenskaplig produktivitet, då det skulle innebära en orimligt stor vetenskaplig produktivitet.24 Många studier belägger att såväl kvinnor som män bedömer vetenskapli- ga arbeten som man tror är utförda av en man högre än samma arbete 22Ibid., s. 342. 170 review-systemet i svensk forskningsgranskning om man tror att det är utfört av en kvinna.25 Wennerås/menar att detta är så känt att det är förvånande att dessa studier inte påverkat sys- temet för peer review. Något enkelt förslag till lösning av problemen med sexism och nepotism i peer review-systemet ger inte Wennerås och , men de betonar att ett viktigt steg vore att häva granskarnas ano- nymitet. De menar också att allt bedömningsmaterial måste vara offent- liga handlingar. Trovärdigheten för ett vetenskapligt system blir låg om systemet självt inte tål att utsättas för en vetenskaplig granskning, skri- ver man. Frågan om granskarna respektive de granskade skall tillåtas vara ano- nyma för varandra är tveeggad. Å ena sidan kan en uppgift om en fors- kares institutionella tillhörighet ge en viktig indikation beträffande fors- karens möjlighet att genomföra projektet och i denna mening ge valuta för de tilldelade forskningsmedlen. En väl etablerad forskningsmiljö är i denna mening en merit som bör tas i beaktande. Å andra sidan finns ris- ken att man därvidlag missar den originella forskare som är ung och än- nu oprövad eller den som inte tillhört någon väletablerad forsk- ningsmiljö men som ändå är en skicklig forskare. I högre grad än vad som är tillämpad praxis borde man i en sammanvägd bedömning av dessa två sidor kunna pröva möjligheten att låta den ansökande forska- ren få vara anonym åtminstone i prövningens första skede då man bedö- mer projektets metodologiska styrka och vetenskapliga originalitet. Wennerås/menar att det är troligt att samma missförhållanden som de påvisat i MFR även råder i andra forskningsråd och sammanhang där peer review tillämpas. är ett av världens mest jämställda länder och när sexism kan beläggas här är det en inte alltför vidlyftig tanke att den existerar även i andra samhällen. review-systemet måste för- ändras och göras mindre sårbart gentemot fördomar och könsstereoty- per, skriver Wennerås och . /Welins rapport om MFR:s forskningsprioritering menar att diskrimineringen av kvinnliga forskare skulle minska eller rent av för- svinna om fler kvinnor fanns med i prioriteringskommittéerna. /Wennerås undersökning ger inte underlag för en sådan slutsats. Lösningen är inte så enkel som att det enbart handlar om att få in fler kvinnor i prioriteringskommittéerna - vilket av jämställdhetsskäl givetvis bör göras ändå. Att förändra djupt liggande könsstrukturer kräver mer än så. Kommittén bedömer att det på detta område behövs både direkta insatser (i form av t. ex. öronmärkta resurser och fler kvinnor i priorite- review-systemet i svensk forskningsgranskning 171 ringskommittéerna) och ökad forskning för att långsiktigt komma åt de bakomliggande strukturerna relaterade till kön. 5.7Granskning av tvärvetenskaplig forskning Vem är en like? En peer förväntas vara lika eller mer kvalificerad än den han/hon granskar, men så är inte alltid fallet. För de mest avancera- de forskarna ("spjutspetsforskare") finns egentligen inga likar och ingen mer kvalificerad granskare. Detsamma kan gälla för tvärvetenskaplig forskning och nya forskningsinriktningar under ett uppbyggnadsskede.26 Frågan är då hur man väljer sakkunniga till tjänster och forskningspro- jekt inom nya forskningsområden och tvärvetenskaplig forskning. Som ett illustrativt exempel kan man ta kvinnoforskningen i . Som ett eget akademiskt kompetensområde är kvinnoforskningen relativt ung. Vid de svenska universiteten har det vuxit sig starkt sedan bör- jan/mitten av . Olika politiska satsningar har stöttat denna forskningsinriktning, tjänster har inrättats och pengar öronmärkts för att detta kompetensområde skulle kunna byggas upp vid de svenska univer- siteten. Vid flera av de större universiteten (, , och ) inrättades i början och mitten av forskartjänster inriktade på genusforskning/feministisk forskning/kvinnoforskning. Även från forskningsrådens sida gjordes satsningar. jubileums- fond inrättade en områdesgrupp för jämställdhets- forskning; tillsatte en programkommitté för kvinnoforskning som föreslog inrättandet av öronmärkta tjänster i jämställdhetsforskning, inriktade mot olika ämnesområden.27 Kvinnoforskning är till sin natur tvärvetenskaplig: å ena sidan krävs allmän kompetens, dvs. kompetens i de etablerade ämnesområdena (ekonomi, historia, litteraturvetenskap osv. ); å andra sidan krävs specifik kompetens i feministisk vetenskapsteori och könsteori. I mitten av 1980- talet utlyste fem docenttjänster i jämställdhetsforskning, med in- riktning på olika vetenskaper. , professor vid institutio- nen för kvinnovetenskap i , har gått igenom sakkunnigutlåtan- 26Chubin, Hackett, op.cit., s. 193-194. 27Göransson, , Fältet, strategierna och framtiden, Kvinnovetenskaplig tidskrift, nr 3-4, 1989, s. 7. 172 review-systemet i svensk forskningsgranskning den för dessa tjänster och hennes resultat pekar på intressanta förhållan- den och problem kopplade till peer review-förfarandet. Vid rangordning- en av de sökande tvingades de sakkunniga att ta ställning i frågan hur allmän och specifik kompetens skulle vägas mot varandra. visar att de flesta sakkunniga valdes ur områden som representerade den allmänna kompetensen (feministiska historiker granskades av historiker inom traditionell historieforskning osv.) var nämligen de flesta kvinnoforskare unga och oetablerade. Det var alltså svårt att hitta sakkunniga i kvinnoforskning inom - förutom de som var sökande av de nya tjänsterna. Detta fick till följd att den allra största delen sakkunniga i första hand bedömde den allmänna kompetensen (docentnivå inom ämnet) och därefter - oftast med klart minskad ambitionsnivå - den specifika kvinnoforskningskom- petensen. Resultatet av detta förfaringssätt var att de nya tjänsterna i huvudsak gick till etablerade forskare, som tidigare främst forskat inom andra fält men som stimulerades att på allvar börja med kvinnoforsk- ning, skriver Göransson.28 Ingen av de forskare som fick tjänsterna, i de fall undersökt, hade t. ex. disputerat i kvinnoforskning. Där- emot fanns det sökande som disputerat i kvinnoforskning, men som inte ansågs lika meriterade när de bedömdes utifrån den generella kompeten- sen.29 undersökning behandlar forskning . Vid till- sättning av i jämställdhetsforskning, samt en genusprofes- sur i sociologi vid , framfördes i bäg- ge fallen kritik mot valet av sakkunniga från de sökande. Kritiken rikta- des mot att de sakkunniga inte i tillräckligt hög grad företrädde kvinno- forskningskompetensen. Kvinnoforskning tycks alltså fortfarande inte alltid få en granskning av likar. Tjänsternas tvärvetenskapliga karaktär har orsakat problem, vilket kan gälla också för annan tvärvetenskaplig forskning, inte enbart för kvinnoforskning. Ett förslag för att komma till rätta med detta är att sträva efter att tvärvetenskaplig forskning alltid måste ha sakkunniga från samtliga områden det tvärvetenskapliga projektet täcker. 28Ibid., s. 10. 29Ibid., s. 10. review-systemet i svensk forskningsgranskning 173 5.8Forskarsamhällets förslag till reformering av systemet I de utvärderingar av peer review-systemet som gjorts av svenska forsk- ningsråd framförs många förslag till förändringar och förbättringar för att minska eller eliminera de problem som undersökningarna identifierat. Det handlar alltså om en diskussion som initierats av och pågår inom forskarsamhället självt. I utvärderingen av TFR påpekas att "onekligen har peer review en social dimension": både forskare och granskare står i ett socialt sammanhang, vilket leder till att samma projekt kan bedömas mycket olika av olika peers. För att väga upp denna sociala dimension i värderingen föreslår rapporten flera förändringar i systemet: 1)granskningsprocessen måste göras mer öppen för insyn, för att för- hindra kollegiala- och vänskapshänsyn; 2)antalet granskare måste vara högre, minst tre, men gärna fler; 3)objektiva kriterier, som t. ex. antalet publicerade artiklar och mo- nografier, bör väga tyngre vid bedömningen; 4)högre omsättning och större spridning på rådsmedlemmarna, för att förhindra vänskaps- och ämneskorruption; 5)ökad användning av internationella granskare; 6)tydligare kriterier för vad som värderas vid granskningen; 7)förbättrat graderingssystem, med korrelans mellan gradering och an- slagsbeviljning; 8)granskningen bör vara mer av en dialog mellan sökande och forsk- ningsråd. De sökande kan t. ex. ges möjlighet till yttrande över granskarnas bedömning, innan slutgiltigt besked om bidrag tas; 9)mer tid till granskarna för att möjliggöra de utförligare motiveringar de sökande efterlyser; 10)mer detaljerade instruktioner till de sakkunniga angående hur moti- veringar och bedömningar bör göras; 11)granskarna bör inte få yttra sig anonymt. Däremot bör de sökande, i ett första skede, få vara anonyma - detta för att undvika såväl nepo- tism som sexism.30 cit., s. 44, 108, 109. 174 review-systemet i svensk forskningsgranskning MFR:s årsredovisning 1997 visar hur rådet, efter interna utvärderingar, genomfört en rad förändringar: 1)Ny poängskala, från 1-7, har införts. 2)Nya, tydliga bedömningskriterier har fastställts. Särskilt begreppet "kompetens" har tydligt definierats. Det syftar inte enbart på ti- tel/tjänsteinnehav hos projektets huvudsökande, utan bör motsvara gruppens förmåga att genomföra projektet. 3)Bättre uppföljning och återrapportering till PK. 4)Ny PK-indelning, där nya ämnesområden täcks in. 5)Ökat antal kvinnor i PK. 6)IT-utveckling. 7)Ökad utvärdering, dels internt, dels av externa utredare.31 För att förhindra könsdiskriminering i granskningsförfarande och an- slagstilldelning har MFR vidtagit flera åtgärder. Förutom att öka antalet kvinnor i PK (från 1998) har man informerat samtli- ga PK om tidigare missförhållanden, gjort en översyn av värderingsska- lor och kriterier vid bedömningen av forskningsprojekt, samt ökat den internationella kvalitetskontrollen av rådets bedömningsarbeten. Dess- utom har MFR en av regeringen tillsatt samverkansgrupp för att ut- veckla jämställdhetsarbetet inom rådsorganisationen, samt en regel som säger att pensionerade forskare inte kan beviljas anslag från rådet för egna projekt - något som också tycks gynna yngre och kvinnliga forska- re.32 MFR:s utvärderingar av sitt eget arbete och förändringar utifrån dem visar att peer review-systemet med ganska enkla medel går att re- formera och förbättra. 5.9Lekmän och internationella granskare Flera av de forskningsrådsinitierade rapporterna diskuterar i vilken ut- sträckning användandet av utländska granskare skulle förbättra peer review-systemet i ett land av storlek. Att välja internationella peershar vissa klara fördelar. De är i högre grad än svenska granskare oberoende och opartiska, då är ett litet land och många forskare inom samma område annars känner (till) varandra. De representerar ibland en kompetens som inte finns i tillräcklig utsträckning i - förutom de som själva är sökande. Men ett system med högt inslag av internationella granskare medför också problem. 31MFR:s årsredovisning 1997, s. 23-24. 32MFR:s årsredovisning 1997, s. 25-26. review-systemet i svensk forskningsgranskning 175 begränsad kännedom om det svenska forskarsamhället, de får kanske enbart en ansökan och kan inte relatera den till andra inom samma om- råde. Det kan också vara svårt att få tag i de bästa och/eller mest välre- nommerade internationella forskarna för en granskning, då de ofta är hårt uppbokade. Risken finns då att de utländska granskarna inte repre- senterar forskningsfronten utan blir en legitimering av ett, av det svenska forskningsrådet, redan fattat beslut. Slutligen är internationella granskare ingen garanti för opartiskhet. Inom vissa forskningsfält är an- talet forskare, även internationellt sett, litet och även utländska peers kan då vara styrda av kompisskap och kontakter på samma sätt som svenska.33 Kommitténs uppfattning är att man, med medvetenhet om att interna- granskare inte med automatik garanterar opartiskhet, i högre utsträckning bör anlita internationella granskare. Det främsta skälet för detta är forskarsamhällets litenhet i . Detta skulle kunna inne- bära att fler ansökningar måste krävas in på engelska, vilket givetvis kan vara ett problem. I första hand kan man därför tänka sig att upparbeta ett samarbete med andra nordiska länder. Där finns både språkförståelse och större kännedom om det svenska granskningssystemet. Med tanke på att forskarkontakter ofta sträcker sig utanför både och gränser måste samma hårda krav på opartiskhet ställas på och krävas av de internationella granskarna som på de svenska. Flera utvärderingsrapporter diskuterar också för- och nackdelar med allmänrepresentanter i såväl prioriteringskommittéer som rådsstyrelser. Närvaro av allmänrepresentanter är väsentligt för att skapa förtroende hos allmänheten för forskningsrådens arbete. Deltagande av lekmän kan också minska den inomvetenskapliga styrningen och uppvärdera forsk- ning som anses ha samhällsrelevans, även om den inte ligger i forsk- ningsfronten. Utifrån de svar som inkommit från forskningsråd och forskningsstiftelser förefaller det rimligt att lekmannarepresentationen främst finns på rådsnivå, och inte i beredningsgrupperna. Kommittén vill betona vikten av utbildning av lekmän. cit., s 104. 176 review-systemet i svensk forskningsgranskning 5.10Öppenhet och insyn i peer review- processen Kommittén bedömer att svensk forskningsgranskning i stort fungerar bra och att medvetenheten om problem i systemet är hög inom forskningsråd och forskningsstiftelser. Kommittén ser ingen anledning att föreslå en detaljreglering av hur granskningsprocessen bör gå till, men vill fram- hålla vissa rekommendationer och riktlinjer utifrån den genomgång som gjorts av systemet. Av största vikt är trots allt att forskningsfinansiä- rerna genomför egna, regelbundna utvärderingar av sitt arbete, att man har ett öppet klimat som möjliggör insyn, kritik och dialog samt att man är beredd att genomföra förändringar när missförhållanden påtalas. En jämn könsfördelning är ett självklart krav inom såväl gransknings- grupper som rådsstyrelser. Kommittén vill dessutom betona att det är av stor vikt med en ökning av antalet yngre forskare i beredningsgrupper och rådsstyrelser. Detta, tillsammans med en hög omsättning av leda- möter och granskare, skulle kunna bidra till att systemet blir mindre kon- serverande och känsligt för ämnes- och vänskapskorruption. Liksom det förefaller att fungera i de flesta forskningsråd, bör huvudsek- reterare och biträdande sekreterare (motsvarande) inte ha uppdrag utan- för rådet som påverkar tilltron till deras opartiskhet. För att möjliggöra ett öppnare system kan man också tänka sig ett system som, i enlighet med vad bl a föreslår, har formen av en dialog mellan sökande och granskare. Det är också rimligt att den sökande får utförli- ga och icke-anonyma motiveringar till såväl avslag som beviljande av anslag. I enlighet med vad många forskare framhållit i utvärderingen av såväl TFR som MFR bör varje råd regelbundet se över sitt gransknings- system. Av stor vikt är att beredningsgruppsindelningen överensstämmer med det behov som finns och att de bedömningsskalor som används är relevanta och entydiga. Slutligen måste rådens och stiftelsernas jävsreg- ler fortlöpande ses över och informeras om. Samtliga nya rådsledamöter eller beredningsgruppsmedlemmar måste informeras om och förbinda sig att följa gällande jävsregler. Diskussionen i detta kapitel har främst rört peer review-systemet i sam- band med prövning av ansökningar om forskningsanslag. Behovet av en rättvis och opartisk granskning är som angivits dock lika stort när det review-systemet i svensk forskningsgranskning 177 gäller tidskrifters prövning av vetenskapliga artiklar och vid sakkunnig- utlåtanden i samband med tillsättning av tjänster. Nedan angivna re- kommendationer förutsätts där så befinns lämpligt tillämpas i samband med all typ av prövning där forskare granskar varandras arbeten. 5.11Kommitténs förslag till riktlinjer Utifrån seminarier, kartläggning och rapporter föreslår Kommittén föl- jande riktlinjer och rekommendationer för peer review-systemet i svensk forskningsgranskning: a.att det för huvudsekreterare och biträdande sekreterare i forsknings- råden inte är förenligt med uppdrag utanför rådet som påverkar tilltron till deras opartiskhet, b.att forskningsrådens och stiftelsernas jävsregler fortlöpande bör ses över och informeras om. Samtliga nya rådsledamöter eller bered- ningsgruppsmedlemmar måste informeras om och förbinda sig att följa gällande jävsregler, c.att könsfördelningen på alla nivåer i forskningsråd och forsk- ningsstiftelser bör bli jämnare. Ytterligare forskning måste till för att undersöka vad könsdiskrimineringen i forskningsbedömningen bott- nar i och hur den effektivt skulle kunna elimineras, d.att lekmannarepresentationen bör uppmärksamma som ett väsentligt inslag i rådsstyrelserna. Särskild lekmannautbildning bör erbjudas, e.att forskningsråden och forskningsstiftelserna bör göra regelbundna, vetenskapliga utvärderingar av sitt eget arbete, f.att bedömningsunderlagen vid peer review bör vara offentliga och bedömarna inte bör tillåtas vara anonyma, g.att i ett första skede av bedömningen kan den sökande kan tänkas vara anonym, för att förhindra ett otillbörligt gynnande av vissa grupper av forskare, inom vissa ämnesområden och från vissa läro- säten, h.att granskningssystemet bör göras mer öppet. Alla bedömningsun- derlag bör vara offentliga,