sou · GNB34 · 2000-01-01 00:00:00 — Vänskapsförhållanden, beroendeställning, skolbildning- ar, egna fördelar av vissa beslut eller personliga motsättningar kan påverka bedömningarna. Objektivitet och sakkunskap vid utvärdering och bedömning av forskning är därför en forskningsetisk fråga. Sär- skilda svårigheter uppstår vid granskningen av forskning i ett land av storlek där en liten grupp av etablerade forskare har stort inflytande över många beslut. Detta förhållande kan i viss mån kom- penseras genom utnyttjande av sakkunniga från andra länder eller ge- nom separation av granskning och beslut. review-systemet i svensk forskningsgranskning 157 5.2Kommitténs arbetssätt och kunskapsunderlag Kommittén har ställt en förfrågan till samtliga svenska forskningsråd och -stiftelser, angående hur granskningssystemet fungerar i respektive organisation. Dessutom har tidigare gjorda undersökningar på området, dels i , dels i , studerats. arrangerade Kom- mittén ett seminarium kring peer review-systemet på Forskningsrådens hus i , där representanter från de flesta forskningsråd och forskningsstiftelser var närvarande. I Kommitténs serie av offentliga seminarier om forskningsetik anslogs ett seminarium till frågan om peer review, i under rubriken lita på att det bästa forskningsprojektet får anslag? Inledare var Ag- nes , docent i klinisk immunologi vid och , professor och huvudsekreterare vid . Samtliga dessa rapporter och seminarier ligger till grund för Kommitténs ställningstagande i betänkandet. 5.3Bakgrund: Vad är peer review? review är en organiserad metod för forskningsbedömning, an- vänd av forskare och vetenskapsmän för att säkra kvaliteten i forsk- ningsverksamheten, både vad gäller procedur, resultat och finansie- ring.1 Den tidigare forskningsetiska utredningen under , Forskningsetisk prövning (SOU 1989:74), diskuterar inte särskilt peer review, och hade inte heller detta i sina direktiv. De undersökningar av peer review-systemet som gjorts i har tillkommit på initiativ från enskilda forskningsråd. Så har t.ex. både Teknikvetenskapliga forsk- ningsrådet (TFR) och () låtit göra stör- re studier i frågan. Kommitténs kontakter med forskningsråd och - stiftelser tyder på att forskarvärldens företrädare å ena sida håller peer review-systemet mycket högt, och ser det som det mest tillförlitliga granskningssystemet, å andra sidan är medvetna om att systemet har inbyggda svårigheter som man på bästa sätt försöker tackla. Det engelska ordet peer betyder like eller jämlike, och innebörden i peer review-systemet är att vetenskapliga artiklar eller ansökningar 1 Chubin, , , : Peerless Science. Science Policy, , 1990, s. 2. 158 review-systemet i svensk forskningsgranskning skall granskas av vetenskapliga likar, d.v.s.forskare inom samma fält. Systemet är ursprungligen brittiskt och tillkom i sin tidigaste form . Till en början gällde peer review främst granskning av artik- lar till ansedda vetenskapliga tidskrifter. Systemet har därefter successivt utvidgats till att gälla både för tidskriftsartiklar och ansökningar till tjänster och forskningsanslag.2 review har länge setts som ga- ranten för kvalitetskontroll av vetenskapen. Modellen skall dels garante- ra att vetenskapen förtjänar den finansiering den får (d.v.s.att det bästa projektet får anslag, att de bästa artiklarna publiceras och att de bästa forskarna får tjänster), dels bevara forskningens frihet och oberoende och slutligen säkra kvaliteten på nya riktningar inom vetenskap och tek- nologi.3 review innebär alltså att ett litet antal forskare med hög kompetens inom ett visst område gör en kritisk granskning och bedömning av andra forskares arbeten inom samma fält, och fäller ett utlåtande över en arti- kel, tjänsteansökan eller ansökan om forskningsanslag. Utlåtandet är sedan avgörande för om en artikel publiceras eller vilken sökande som får tjänsten respektive forskningsanslaget. review är väl etablerat inom det internationella forskarsamhället. Man kan dock inte blunda för de problem som finns i systemet. Modellen har visat sig ha en konserve- rande funktion som ibland hindrar ny forskning att komma fram och få publicering och finansiering. I sin granskning av Medicinska Forsknings- rådet (MFR) skriver och : Allt utom de rent vetenskapliga kriterierna skall vara irrelevant för den bedömning som görs. Faktorer som den sökandes sociala ställ- ning, kön och etnicitet skall...betraktas som ovidkommande. Idealt skall även bortses från den sökandes vetenskapliga position. En ny- disputerad skall ha lika stora möjligheter att få anslag som den etab- lerade professorn. Det är ansökan i sig själv som skall värderas inte personen bakom den.4 Det /här pekar på ligger nära det som i direktiven beskrivs som inga ovidkommande hänsyn och objektivitet och sakkunskap, men givetvis beskriver sådana formuleringar en ideal situation. re- view-systemet har utsatts för kritik på flera punkter och åtgärder för att förändra och förbättra systemet har vidtagits. Att peer review-systemet fungerar, och inte utmärks av t. ex. jäv och nepotism, har stor betydelse för att allmänhetens förtroende för forskarkollektivet och dess arbete 2Persson,, , : En analys av medicinsk forskningsprioritering, Forskningsberedningens Skrift nr 3, 1996, s. 190-91. 3Chubin, Hackett, op.cit., s. 9. 4Welin, , op.cit., s. 191. review-systemet i svensk forskningsgranskning 159 skall kunna upprätthållas. Det är givetvis också en förutsättning för ve- tenskapens interna förtroende och dess självreglering. En fungerande peer review-institution är central för att vetenskapen skall leva upp till de metodologiska och sociala normer som beskri- vits ovan. Gentemot det externa samhället kan peer review legitimera vetenskapen i så måtto att det utgör en garant för att en fungerande kvalitetskontroll finns. Gentemot forskarsamhället innebär det en ga- ranti att resursfördelningen sker enligt de internt vedertagna normer- na.5 Kommittén har ställt en förfrågan till huvudsekreterarna i samtliga forskningsråd och verkställande direktörer i forskningsstiftelser i angående tillämpningen av peer review-systemet inom den aktuella orga- nisationen. Svarsfrekvensen var hög och utifrån svaren går det att skapa sig en ganska god bild av hur svenska forskningsfinansiärer resonerar kring dessa frågor. De inkomna svaren visar att samtliga forskningsfinansiärer arbetar med ett likartat granskningssystem, där peer review-modellen intar en central plats. I så gott som samtliga fall har man ett antal bedömningsgrupper (prioriteringskommittéer/beredningsgrupper) indelade efter ämnesinrikt- ning. Bedömningen av inkomna ansökningar görs av gruppens medlem- mar eller av utomstående sakkunniga. Vissa råd har ett tvåstegsförfaran- de där en mindre projektskiss granskas först och, om den går vidare, en längre projektbeskrivning tas in och granskas på vanligt sätt. Överlag förefaller de svenska forskningsfinansiärerna mycket väl med- vetna om för- och nackdelar med peer review-systemet. Samtliga sva- rande har utarbetat egna jävsregler och i många fall har man en fortlö- pande utvärdering av sitt eget arbete. Likaså finns regler för hur man behandlar ansökan från rådsmedlem. I de flesta fall tar man då in minst en utländsk sakkunnig. Råden skiljer sig åt beträffande om en ledamot måste lämna lokalen eller inte när han/hon är jävig. ställer det kravet men det gör t. ex. inte . NFR skiljer sig genom att man ser över reglerna för fastställandet av sakkunniga och riktlinjer för granskningen. Av svaren att döma är detta en ovanligt re- gelbunden och tät utvärdering av det egna arbetet. 5 , , op. cit., s. 191. 160 review-systemet i svensk forskningsgranskning Ansökningarna bedöms utifrån olika kriterier och efter en viss graderad bedömningsskala. Här skiljer sig råden åt i detaljer, t. ex. beträffande vad som bedöms (oftast nämns dock metod, problemställning och kom- petens) samt beträffande hur differentierad den graderade skalan är (0-4, 0-7 osv). En viss skillnad finns också mellan råden beträffande repre- sentationen av lekmän; i vilken omfattning de finns med och på vilken nivå de finns representerade. I huvudsak tillämpas dock ett likartat sys- tem. Utöver detta ger vissa råd särskilda kommentarer. Så menar sig t. ex. löpa en möjligen större risk för jävssituationer, eftersom man hanterar ansökningar inom ett relativt smalt ämnesområde. pekar på att peer review-systemet har en bakåtblickande funktion, och alltså riskerar att fungera konserverande i forskarvärlden. Tydlig kritik mot systemet och ansträngningar för att göra det mindre avgörande vid bedömningen framförs också av . Inom detta kompletterar man forskarnas veten- skapliga bedömningar med andra data och nyttoanalyser. Dessutom skriver man: "Det ligger självfallet en fara i att helt förlita sig på peer review- bedömning, särskilt i en sådan liten kulturkrets som den svenska. I kommittéer och bedömningsgrupper strävar därför rådet mot att ta med utländska forskare." Då har en annan inriktning än många and- ra finansiärer är det också mindre forskarstyrt: ofta kompletteras med bedömningar från andra intressenter. Rådet framför i sitt svar uppfatt- ningen att man i överbetonar behovet av vetenskaplig kvalitets- granskning, och att det finns behov av ökat samhälleligt inflytande i forskningsråden. Även MISTRA () skiljer sig något från andra forskningsråd. MISTRA stöder huvudsakligen stora forsk- ningsprogram innefattande ett antal mindre projekt. Det är därmed många forskargrupper inom samma område involverade i ansökningar- na, vilket gör att man valt att genomgående arbeta med utländska utvär- deringsgrupper. Dessa består av 3-4 välrenommerade utländska experter och en svensk ordförande (som inte får ha någon direkt anknytning till de medverkande forskargrupperna). träffas bedömnings- gruppen och forskargruppen för en diskussion. Man har också ett re- missförfarande till industrier och förvaltningar som kan ha intresse av forskningen. Om ett program får finansiering från MISTRA tillsätts en programstyrelse, som har befogenhet att göra nödvändiga prioriteringar review-systemet i svensk forskningsgranskning 161 På detta sätt vill man skilja på utförarna (forskarna) och projektledarna. Därmed undviks en kollegial fördelning av tillgäng- liga medel som ofta blir fallet om de i programmet arbetande forskarna också fördelar resurserna, framhåller MISTRA i sitt svar till Kommit- tén. Förutom dessa redovisade kommentarer tyder svaren på att forsknings- råden och -stiftelserna i stort har en liknande arbetsgång. Utmärkande för det granskningssystem svenska forskningsfinansiärer tillämpar är att det till stor del är forskarinitierat: forskarna formulerar själva vilka om- råden de vill forska inom. Dessutom är det ett system som utmärks av en inomvetenskaplig kvalitetskontroll, och rangordningen sker efter en in- omvetenskaplig kvalitets- och intresseskala. Anslagsfördelningen är ock- så till största delen forskarstyrd.6 Att vara peer, d.v.s.jämbördig granskare, är en grannlaga uppgift för en forskare. Den kräver dels en stor arbetsinsats, dels ett stort ansvar och en hög yrkesetisk medvetenhet. Överlag tyder forskningsrådens och forskningsstiftelsernas svar till Kommittén på att de svenska forsknings- finansiärerna anser att granskningssystemet i stort sett fungerar bra, att man har en hög medvetenhet om systemets problem och brister samt att man tagit itu med de problem som uppdagats och genomför kontinuerli- ga utvärderingar av sina arbetsformer. Universitet och högskolor är förvaltningsmyndigheter, d.v.s.självständiga enheter i statsförvaltningen under . lyder på motsvarande sätt under Jordbruksdepar- tementet. Beslutsfattare och handläggande tjänstemän är i dessa sam- manhang, liksom i samband med sektorsforskning eller annan myndig- hetsdriven forskning, att betrakta som myndighetsutövare. Statliga forskningsråd betraktas som myndigheter och de beslutande forskarna som myndighetsutövande ämbetsmän. I dessa fall regleras jäv i 11, 12 §§ förvaltningslagen. I 11 § slås fast att den som skall handlägga ett ärende är jävig om saken angår honom själv, hans make eller annan fa- miljemedlem (släktskapsjäv) eller om han kan förväntas dra uppenbar nytta eller skada av ärendets utgång (intressejäv). Dessutom finns en sk generalklausul som är till för att fånga upp andra jävsgrunder (grannlaghets- eller delikatessjäv). De vanligaste fallen av denna typ av cit., s. 96. 162 review-systemet i svensk forskningsgranskning jäv är att handläggaren är uppenbar vän eller ovän med den ärendet gäl- ler, att handläggaren står i markant beroendeställning till den saken an- går (t. ex. som anställd eller i form av ekonomisk skuld), eller att han av ideella skäl särskilt engagerat sig i saken på ett sätt som ger anledning att befara att det brister i förutsättningarna för en objektiv bedömning av ärendet. har har rekommenderat samtliga forskningsråd att utforma skrivna jävsregler, vilket också skett i de fall Kommittén grans- kat. konstaterar i sitt svar till Kommittén att det inte sällan upp- står jävssituationer i rådens arbetssätt, då den vetenskapliga granskning- en kräver medverkan av personer med aktuell forskningskompetens, - erfarenhet och/eller -kontakt. Inte sällan är rådets medlemmar aktiva forskare, som antingen själva söker medel eller verkar som handledare eller som deltagare i forskningsprojekt. De jävssituationer som uppstår kan antingen handla om kontakter eller om skolbildningar och kopplingar till det egna ämnesområdet. Dessa förutsättningar ställer stora krav både på den enskildes integ- ritet och på hans vetenskapliga kompetens och överblick. Det helt av- görande är den enskildes medvetenhet om problemen och hans vilja att agera på ett korrektsätt. Sakägarjäv (den sökande är själv ledamot av rådet), intressejäv (ärendet gäller en forskargrupp eller ett forskningsprogram där en av rådets le- damöter är engagerad) samt jäv som faller under generalklausulen (den sökande är uppenbar vän eller ovän med en ledamot eller står i beroen- deställning till denne) torde vara de vanligast förekommande jävssitua- tionerna vid forskningsgranskning. Bestämmelserna om jäv är tillämpliga för ett forskningsråd i såväl ären- den om anslagsbeslut som i remissärenden där yttrande skall avges av rådet. Omfattas av reglerna gör alla som deltar i ett ärendes handlägg- ning: beslutsfattare, föredragande och andra som deltar i beredning av ärendet. I 12 § förvaltningslagen uppges att den som är jävig är skyldig att själv uppge detta och självmant avstå från att delta i beslutet. För varje beslut skall finnas en handling som säger vem som fattat beslutet. I anslutning till det protokoll som förs vid sammanträden gör sekreteraren en jävsbilaga, där det uppges om, och i så fall vem och i vilket ärende, någon meddelat jäv. 7 , R 113, 1995, s. 4. review-systemet i svensk forskningsgranskning 163 Forskningsstiftelser är inte att betrakta som myndigheter och lyder där- för inte under förvaltningslagen. Här regleras jäv istället i 2 kap 14 § stiftelselagen. Syftet med dessa regler är att tillse att "skyddet för stiftel- sens ändamål skall väga tyngre än andra intressen som en styrelseleda- mot kan ha vid en intressekonflikt." Den som är jävig enligt denna be- stämmelse är förhindrad att delta i det slutgiltiga beslutet i ärende och i förberedande beslut. Han/hon får heller inte delta i beslut som fattas i tiden efter det slutliga beslutet, t. ex. beträffande tolkningen av villkoren för ett beslutat forskningsbidrag. Det är av stor vikt att forskningsrådens medlemmar känner till jävsreg- lerna och vilka följder det får att åsidosätta dem. Överlag verkar råden vara medvetna om detta och informerar samtliga berörda. MFR uppger t. ex. att "ledamöter i MFR-organ och rådets handläggande personal skall, i anslutning till att de utses, orienteras om rådets jävsregler. Ve- derbörande medger skriftligt att hon/han känner till och kommer att ef- terleva reglerna.8 pekar i sitt svar på att man önskar höja med- vetenheten om jävsregler och jävsproblematik och i detta arbete övervä- ger man att engagera rådets egen etiska kommitté. Denna skulle t. ex. kunna undervisa rådets medlemmar i jävsregler samt delta i den löpande översynen av rådets jävsregler. 5.6Forskarsamhällets interna kritik mot peer review-systemet I undersökningar gjorda i visades att peer review-systemet hade många brister, både för allmänheten och forskar- samhället. Det framfördes hård kritik mot ett av forskarna högt hållet system. Systemet beskylldes för att vara slutet och smalt, och gynna enbart en liten grupp etablerade forskare inom vetenskapssamhället. Så- väl många inom detta system som i samhället utanför utesluts, missgyn- nas eller hindras från insyn och påverkan. Man hävdade att det saknades krav på ansvar från forskarna gentemot samhället, man ville ha mer in- syn och öppenhet och mindre elitism och konservatism i systemet. Dess- utom framfördes uppfattningar om att systemet inte i tillräckligt hög grad väger in synpunkter från icke-akademiker och att peer review- modellen inte garanterar att det bästa projektet får anslag.9 8MFR:s jävsregler, antagna , Dnr 38/96, s. 4. 9Chubin, Hackett, op. cit., s. 29-30, 35-36. 164 review-systemet i svensk forskningsgranskning En fråga i dessa undersökningar var om de amerikanska forskarna ansåg att forskningsråd (motsvarande) dominerades av en liten grupp seniora forskare, av vilka de flesta var män; om råden med andra ord var ett gamla grabbars nätverk" (old boys network). av de svarande forskarna menade att det förhöll sig på detta vis, som man ar- gumenterade för att detta måste förändras. förnekade att seniora, manliga forskare på detta sätt dominerade verksamheten, och ansåg där- för heller inte någon förändring nödvändig.10 Utvärderingar av peer review-systemet visar att hur man ser på det bl a beror på vilken position man har i forskarsamhället och vilken veten- skapssyn man företräder.11 De amerikanska undersökningarna visar ock- så att det finns ett samband mellan attityder till peer review och fram- gången i att få bidrag. Det är tydligt att forskare som är framgångsrika i att få bidrag är mindre kritiska till systemet, och mindre benägna att stödja förändringar. Detta bidrar förmodligen till att konservera syste- met. Men kritiken mot peer review kan inte avfärdas som att det enbart är de icke-beviljade forskarna som skyller på systemet när de presterat ansökningar av låg kvalitet. Kritiken mot systemet kan inte på detta vis individualiseras, det visar även flera svenska rapporter. Kritik framförd i utvärdering av TFR:s arbete presenterade () undersökningen Peers on Peers. Rapporten har sammanställts av socio- logen vid . Rapporten ger en klar bild av hur forskarna ser på forskningsrådet och dess arbete. Utvärde- ringen av TFR bygger på tre delundersökningar. Den första utgörs av en analys av TFR:s projektregister för att undersöka fördelningen av forsk- ningsmedel mellan olika ämnesområden; den andra är en enkätundersök- ning bland forskningsledare som sökt anslag hos TFR och den tredje är en intervjuundersökning bland anställda på TFR: kansliet samt beredningsgruppernas ordförande och ledamöter. För Kommitténs räkning är framför allt enkätundersökningen bland de sökande av intres- se, varför denna kort skall refereras här. Övergripande kan sägas att en majoritet av de svarande uppger sig vara nöjda med TFR:s policy (). uttrycker nästan en fjärdedel 10Sandström, mfl: Peers on Peers. Allocation Policy and Review Procedures of (), 1997, s. 92. 11Chubin, Hackett, op. cit., s. 46-48. review-systemet i svensk forskningsgranskning 165 () ett direkt missnöje. Kritiken mot systemet handlar dels om att forskarna inte anser sig ha fått en rättvis granskning, dels att de anser motiveringarna till avslag eller beviljande av anslag är för korta och ofullständiga.12 En klar majoritet av de svarande i TFR:s enkätundersökning understry- ker att peer review-systemet är viktigt, men att det inte är utan problem. Man föreslår förändringar på två plan: dels måste forskarnas kunskap om forskningsrådens arbetssätt förbättras, vilket främst är en fråga om förbättrad information och dialog; dels måste forskningsrådens kriterier göras tydligare och förankras hos och förverkligas av deras medlemmar. Dessutom framkommer kritik av att anslagsfördelningen bygger på vissa dolda kriterier, som institutionstillhörighet, kontakter, kön, etnicitet, ålder, forskningstradition osv.13 Flera svarande framhåller att systemet förefaller godtyckligt och att möjligheten till anslagsbeviljande är som ett lotteri. Ofta granskas en ansökan av bara en peer - forskarna känner sig i händerna på en person, vilket öppnar för godtycke. anslag beror mindre på projektets kvalitet och mer på vem som granskar det.14 Ytterligare en typ av kritik som framförs i rapporten (av av de svarande i enkätundersökningen) är att motiveringarna till varför ett projekt får eller inte får anslag är för korta och ofullständiga. Vidare önskar forskarna en tydligare korrespondens mellan graderingssystem och anslagstilldelning. Inom vissa ämnen förefaller graderingsskalan vara utan betydelse - många ansökningar får högsta betyg, men inga pengar.15 Det vanligaste klagomålet i TFR:s undersökning är att granskarna har varit okunniga inom det område projektansökan gäller. Forskarna känner sig alltså inte rättvist och korrekt behandlade av rådet. Man säger sig vilja ha större bredd bland granskarna, både vad gäller ämnesområde och institutionstillhörighet.16 är det få som instämmer i påståendet att TFR är biased, partiskt, och att rådet skulle domineras av en liten grupp manliga, senio- ra forskare (ett old boys network, för att använda det engelska ut- cit., s. 42. 13Ibid., s. 59. 14Ibid., op.cit., s. 44. 15Ibid., op. cit., s. 44-45. 16Ibid., op. cit., s. 88. 166 review-systemet i svensk forskningsgranskning Enligt rapportförfattarna är detta svar normerande, snarare än deskriptivt. I verkligheten, skriver man, domineras granskningsproces- sen av ett litet antal seniora forskare, men uppenbarligen är det både kontroversiellt och impopulärt bland forskare att hävda detta.17 Antingen vill man inte att det skall vara så, eller så vet man att det förhåller sig så, men tycker att det är rimligt och inte något som kräver kritik eller för- ändring. Just i svaret på denna fråga blir dock sambandet mellan bevilj- ningsframgång, ålder och position tydligt. De forskare som menar att forskningsråden är att betrakta som ett old boys network och menar att detta är problematiskt och borde förändras är i huvudsak yngre och kvinnliga forskare. TFR:s undersökning visar på ett samband mellan framgång i att beviljas anslag och tillfredsställelse med systemet. Bland kritiker (och icke- beviljade) är kvinnor, unga forskare och forskare inom nya och tvärve- tenskapliga områden överrepresenterade.18 I sitt svar på Kommitténs förfrågan om granskningssystemet betonar TFR att de problem rappor- ten Peers on Peers belyser är av generell natur och därför med största sannolikhet också gäller för andra forskningsråd än TFR. Kritik framförd i studier av MFR () har låtit genomföra en rad utvärderingar av sitt arbete. 1996 presenterade och rapporten analys av medicinsk forskning- sprioritering. 1997 kom och artikel Nepotism and Sexism in , om hur könstillhörighet och kontakter i rådet spelade en avgörande roll för om forskare tilldelades anslag eller inte. MFR:s årsrapport redovisar hur peer review- systemet granskats och reformerats under verksamhetsåret. /Welins undersökning fann följande svagheter i peer review- systemet: 1.Jävsproblematiken: forskningsrådens medlemmar är till största delen forskare, och det händer ofta att ledamöter i prioriteringskommittéer- na (PK) söker egna anslag. De flesta har dessutom tidigare haft an- slag från rådet. Då PK är uppdelade efter ämne faller det sig naturligt att en PK-ledamots ansökan skall behandlas i hans egen PK. Detta ställer höga krav på jävsregler och yrkesetisk medvetenhet. 17Ibid., op. cit., s. 93.