Ewekniebeoordeling word wêreldwyd as die stelsel van beoordeling van wetenskapwerk aanvaar. Dit beklee dus die rol van beslisser oor goeie wetenskap. Daar het egter ’n omvangryke kritiese literatuur daarteen begin opbou, wat ons eie ervaring bevestig dat ’n algemene onvergenoegdheid by navorsers oor hierdie stelsel bestaan. Omdat beoordeling ’n kerndeel van goeie wetenskapsbeoefening uitmaak, is dit die doel van hierdie artikel om hierdie kritiek behoorlik aan die orde te stel en aan deeglike analise en evaluasie te onderwerp wat daarop sal dui dat hierdie stelsel ernstige beperkinge het en dat ’n meer bevredigende beoordelingsbenadering nodig is. Ons beoog om met hierdie kritiese besinning die pad hiervoor voor te berei en uiteindelik so ’n alternatief voor te stel. Hierdie ondersoek fokus oorwegend op die kritiese literatuur. Dit gaan om die sorgvuldige interpreterende lees van die gelewerde kritiek afkomstig uit verskillende dissiplines en vertrekpunte. Die besware word gerubriseer onder empiriese ondersoeke en prinsipiële besware wat gebreke aandui wat dan konseptueel, argumentatief en pragmaties geanaliseer word. Die leemtes en gebreke wat uit die literatuur na vore kom, toon duidelik die ontoereikendheid en mankoliekigheid aan van die stelsel as ’n waarborg vir goeie wetenskap. Dit laat ons met die vraag na die rehabiliteerbaarheid van, of selfs ’n alternatief vir, hierdie stelsel. Verskeie oorwegings vir so ’n rehabilitasie of alternatief met die oog op die bevordering van die ideaal van goeie wetenskap word aan die hand gedoen. ’n Oop stelsel word voorgestel waarin die nosie van kollektiewe intelligensie sentraal is, met kommunikasie as die kern. Daar moet in gedagte gehou word dat goeie wetenskap op verskillende maniere gedien word en dat bydraes in aard verskil. ’n Differensiële beoordelingstelsel, waarby soveel moontlik belanghebbers betrek word, moet dus oorweeg word.
Towards quality science. Peer evaluation: trustworthy scale or fifth wheel to the coach?
Ten spyte van die verskeidenheid en uiteenlopendheid van wetenskappe en wetenskapsbeoefenaars is daar by alle betrokkenes ’n strewe na goeie wetenskap – om die wetenskap goed te dien deur goeie wetenskap goed te beoefen. Presies wat goeie wetenskap behels, bly egter kontroversieel – vandaar die woord onderweg in die titel van hierdie artikel.
Wetenskap is nie as sodanig of per definisie goed (in twee sinne van die woord) nie. Wetenskap kan ook nooit finaal wees nie; daar is altyd ruimte vir die nuwe, die betere, en vir inventiewe ingrepe en koersverandering. Anders as wat baie wetenskapsbeoefenaars dink, staan wetenskap nie los van ’n wetenskapsbenadering, ’n wetenskapsbeeld, nie. Verskillende benaderings beteken verskille oor wat as goeie wetenskap beskou word. Uitsprake oor wetenskap, wetenskapsbeoefening, -beleid en -visies, studiestukke en ook praktyke wat met goeie wetenskap en die beoefening daarvan verbind word, weerspieël dikwels slegs een van hierdie benaderings. Dit op sigself is nie verkeerd nie, maar as enige so ’n benadering verabsoluteer en voorgeskryf word, veral sonder erkenning of motivering, dan hou dit gevare in. Dit is dus nodig om kennis te neem van hierdie verskynsel, en om sodanige dokumente en praktyke, en die onderliggende wetenskapsbenadering wat daarin mag oorheers, goed te bekyk.
Wanneer ons met wetenskap besig is, betaam dit om altyd Althusser (1990) se les oor die "personalised philosophy of the scientists, all scientists" te onthou. Besig-wees met wetenskap geskied op verskillende wyses en op verskillende vlakke en is ’n aktiwiteit wat nooit ophou nie. Goeie wetenskap bly ’n strewe, veelvuldig gekonkretiseer, en gemotiveer. ’n Gesprek oor goeie wetenskap het verskillende moontlike invalshoeke, vereis verskillende insette en bydraes, en is dus ’n veelvlakkige, veelfasettige, pluralistiese gesprek.
Die strewe na goeie wetenskap raak nie net die wetenskapswêreld nie, maar wetenskaplike kennis neem ’n belangrike en steeds belangriker plek in samelewings in. Samelewings maak staat op wetenskaplike kennis vir soveel fasette van die daaglikse lewe. Die feit dat ’n term soos kennisgemeenskap algemeen gangbaar geword het, bewys hierdie belangrikheid. Die opvatting bestaan dat indien die wetenskap misluk, wetenskaplike kennis in die gedrang kom, en tot die mislukking van mense en menslike samelewings lei. Regerings bestee derhalwe groot bedrae aan navorsing: in Suid-Afrika was dit meer as R18,6 miljard gedurende die periode 2007- 8 (Sake 24 2009). Staatsdepartemente van wetenskap en tegnologie, en allerlei institusies wat betrokke is by wetenskap en navorsing, word in stand gehou omdat die band tussen wetenskap en samelewing baie belangrik is en beskou word as iets waarvoor beleid geformuleer moet word en wat bestuur moet word. ’n Intensiewe en wydlopende gesprek oor goeie wetenskap en die beoefening daarvan, insluitende ’n kritiese gesprek oor wetenskapsbeelde en -dwangbuise, is vir die gemeenskap belangrik vanweë die plek wat die wetenskap in mense se daaglikse lewes inneem. Met hierdie artikel wil ons so ’n gesprek opnuut aanvoor. Om hierdie beoogde gesprek oor goeie wetenskap in te lei, sal ons in vier opeenvolgende artikels agtereenvolgens na vier kernaspekte kyk:
a. Ewekniebeoordeling: Betroubare weegskaal of vyfde wiel aan die wa? Ewekiebeoordeling, oftewel portuurevaluasie of keuring, is ’n praktyk met ’n vergete teoretiese geskiedenis wat eng met goeie wetenskap verbind geraak het, in so ’n mate dat al hoe meer aanvaar is dat dit ’n soort waarborg voorsien vir goeie wetenskap. Beoordeling is noodsaaklik vir goeie wetenskap en die beoefening daarvan, maar ewekniebeoordeling hoef nie noodwendig goeie wetenskap te bevorder nie; dit is denkbaar dat dit selfs ’n belemmerende faktor kan wees. Om goeie wetenskap te kan peil, is dit dus nodig om ewekniebeoordeling in die rol van waarborg vir goeie wetenskap, onder die loep te neem. Die kritiek daarop, menings daaroor en voorstelle ter verbetering hou verband met visies van goeie wetenskap. As sodanig bied ewekniebeoordeling ’n goeie invalshoek om goeie wetenskap te verken.
b. Word goeie wetenskap bevorder of belemmer deur strategie, visie en beleid? Dokumente wat opgestel word deur verantwoordelike instellings wat met wetenskap en navorsing belas is en wat beleid, visies en scenario-sketse uitstippel, beoog goeie, kwaliteitswetenskap, uitnemendheid, oorspronklikheid en vernuwing. Ten einde dit te bereik, gee hulle gewoonlik aandag aan opleiding en verhoogde lewering van navorsers. Hierdie programme waarborg egter niks nie, al gee hulle hoog op met al die voortreflike bedoelings. Inteendeel, dit is selfs moontlik dat hulle juis in die weg van goeie wetenskap kan staan, in dwangbuise kan ontaard, en/of die wetenskapomgewing steriel kan maak. Dit is dus nodig om enkele kerndokumente krities na te gaan. Ons spits ons toe op twee: die Wetenskapakademie Suid-Afrika se Report on a Strategic Approach to Research in South Africa (2006)en die Nasionale Navorsingstigting (NNS) van Suid-Afrika se NRF Vision, 2015: Strategic Plan of the NRF (NNS 2008). Ons let op die gees en styl daarvan, die planne, voorskrifte en beleidsrigtings wat voorgehou word as kenmerke van en vereistes vir goeie wetenskap.
c. Die voorwaardes vir die verwesenliking van goeie wetenskap. Op grond van wat in die eerste twee artikels bevind is, word ’n tentatiewe padkaart na goeie wetenskap opgestel, antwoorde gesoek op vrae soos wat die voorwaardes vir goeie wetenskap is, wie en wat bepaal wat as goeie wetenskap geld, en hoe dit bevorder kan/moet word. Die aard en status van wetenskaplike kennis, die plek van ’n kollektiewe intelligensie en die rol en struktuur van ’n intellektuele gemeenskap in die beoefening van goeie wetenskap kom ook ter sprake.
d. Evaluasie en kommunikasie ter bevordering van goeie wetenskap. Hier word gesoek na óf die rehabilitasie van portuurevaluasie om ’n konstruktiewe rol in goeie wetenskap te kan speel, óf dan ’n alternatief daarvoor. Goeie wetenskap behels evaluering. Die vraag is hoe dit ten beste gedoen moet word. Die vrae wat aandag sal kry, sluit in hoe ons oor kwaliteit moet dink, hoe ’n evalueringsproses daar moet uitsien, wie betrek moet word, of evalueerders geselekteer en opgelei moet word, en indien wel, dan hoe.
2. Ewekniebeoordeling se hekwagtersrol
Ewekniebeoordeling het die rol van hekwagter tot goeie wetenskap verkry. ’n Besinning oor ewekniebeoordeling wentel daarom noodwendig om die ideaal van goeie wetenskap, en dit maak so ’n gesprek ’n ideale vertrekpunt vir ’n bespreking van goeie wetenskap, en verskaf kapstokke waaraan die res van die gesprek gehang kan word.
Ewekniebeoordeling is wêreldwyd die erkende en gevestigde beoordelingsprosedure vir wetenskaplike navorsing. Dit word as onmisbaar beskou om te verseker dat gehaltenavorsing befonds, gedoen en gepubliseer word. Dit is dan ook sonder huiwering oorgedra na ander kontekste soos die evaluering van tydskrifte en navorsers self.
Almal wat by beoordeling betrokke is, besef egter dat die stelsel vol gebreke is. Bedenkinge oor die doeltreffendheid en waarde daarvan word gereeld gelug en selfs ernstige, gegronde kritiek is al gelewer teen aspekte daarvan of teen die proses as sodanig. Hierdie kritiek word óf nie te ernstig opgeneem nie (omdat daar geredeneer word dat wat as swak punte uitgewys word, presies is wat ’n mens van so ’n stelsel moet verwag), óf dit word toegegee, maar geredeneer dat dit tog werk en, soos die demokrasie, nog die beste manier is om te bereik wat dit moet bereik. Sommige kritici meen egter dat hierdie gebreke dit ’n struikelblok op die weg van goeie wetenskap maak en hulle stel vervanging voor. Dit het tyd geword, sê hulle, om die aanhoudende kritiek teen die stelsel in ’n ernstige lig te beskou om te kan besluit of dit inderdaad, soos veronderstel, goeie wetenskap kan waarborg.
So ’n kritiese ondersoek sal beteken dat die veronderstellings en veral wetenskapsbeskouings waarop die praktyk berus, uitgestippel en beoordeel moet word; dit het uit ’n sekere milieu voortgekom wat ’n bepaalde opvatting oor goeie wetenskap en die plek daarvan in die samelewing behels. Verder moet die praktiese vraag gevra word of die stelsel inderdaad werk soos voorgehou word. As dit wel werk, sal ’n volgende vraag moet wees of dit, ten spyte van die besware daarteen, behou moet word, en indien wel, of dit gewysig behoort te word. As dit nie behou kan word nie, wat is die alternatief?
3. Die proses, grondslag en oogmerk van ewekniebeoordeling
Ewekniebeoordeling is die normatiewe proses waarvolgens ’n outeur (navorser) se publikasie (boek, artikel of verslag), of ’n beursaansoeker se aansoek, of ’n navorser se curriculum vitae en motivering, voorgelê word aan mededeskundiges, hoofsaaklik vakgenote (gewoonlik nie uit dieselfde kring nie), vir beoordeling met die oog op publikasie, ’n beurs of ’n pos. Die beoordeling is redelik oop, want eienskappe soos oorspronklikheid, kreatiwiteit, insig, algemene persoonlike vermoë om die onderwerp te hanteer en om te kommunikeer is van deurslaggewende belang. Keurders word op grond van hulle vakkundige status en met inagneming van belangstellings en spesialiteite geselekteer en benoem deur redakteurs of bestuurders van befondsingsliggame of beoordelingskomitees. Aan hierdie uitvoerende beamptes verskaf hulle gemotiveerde beoordelingsverslae en doen gewoonlik ook aanbevelings oor afhandeling. In die geval van publikasies werk hulle gewoonlik individueel, en weet nie wie anders betrokke is nie. Dit staan bekend as "blinde" keuring/beoordeling; vergoeding is gewoonlik nie ter sprake nie, en beoordeling word as deel van wetenskaplike betrokkenheid beskou.
Die argument ter ondersteuning van ewekniebeoordeling is dat medevakbeoefenaars vanweë hul vakkundigheid die beste in staat is om hierdie beoordelings te doen en gevolglik daarmee vertrou te word, "not subject to external audit but dependent rather upon trust and reputation" (Harrison 2004:360). Hiermee sê ons nie dat keurders nie ook ander eienskappe, en veral ervaring, bybring nie; eweknieskap slaan egter éérstens op vakkundigheid. Die ideaal is wetenskaplike beoordeling, die bepaling van wetenskaplike gehalte, en die aanname is dat ewekniebeoordeling sowel die wetenskaplikheid (of dan wetenskaplike aanvaarbaarheid)van die beoordeling as die gehalte van die navorsing en die produk waarborg. Opleiding wat die bemeestering van bestaande kennis en die verwerwing van insig in die gebruik van bestaande prosedures beteken, word as genoegsaam beskou vir iemand om as beoordelaar oor nuwe kennis op te tree, om normatiewe uitsprake oor toevoegings tot, of wysigings van, hierdie kennis en insig te maak.
In die breë gaan dit by die evaluering om gehalte – om gehalte-wetenskapsbeoefening te probeer verseker; te sorg dat bydraes van kwaliteit gepubliseer word, dat die kwalitatief-beste aansoeker die beurs kry, dat die navorsers wat kwalitatief die beste presteer, aangemoedig, aangestel en bevorder word. Daarom word ook van kwaliteitskontrole of gehaltebeheer gepraat.
Gehalte is egter ’n glibberige begrip. Volgens Jaschik (2009:1) het Michèle Lamont, wat beoordelings deur komitees intensief ondersoek het, besluit:
As for excellence that quality peer review theoretically promotes, Lamont isn't sure it exists. It may be invoked all the time, she said in an interview, but her examination of the process suggests no way to measure it. “I think excellence means nothing [...] I think you have to give the criteria. Typically it's originality, feasibility, and also the social and intellectual significance.”
4. Is ewekniebeoordeling noodsaaklik?
Die vraag ontstaan of besluite oor die waarde van ’n manuskrip of die status van ’n navorser nie eerder aan die "mark" (lesende en ondersoekende wetenskaplikes en kollegas) oorgelaat kan word nie. Akademiese tydskrifte is gespesialiseerd van aard; die bydraers is spesialiste, gekwalifiseerde dosente en navorsers in hulle spesialiteitsrigtings; en redakteurs kom as spesialiste uit die bepaalde vakrigtings en kan die enkele irrelevante, oppervlakkige, kansvatter-bydraes onderskep. Is dit dus nie moontlik om aan te neem dat die outeurs weet wat van hulle verwag word en professioneel die spel sal speel terwyl vakgenote in openbare debat die meriete van hulle produkte kan uitpluis nie? ’n Bydrae tot die wetenskap word tog nie bepaal deur wat in die blaaie van boeke en tydskrifte staan nie, maar deur wat onder die wetenskapsbeoefenaars lewe.
Harrison (2004:366), ’n uitgewer wat op keuring van manuskripte staan, gee toe: "In the end, the really significant peer review is the open debate that takes place in public once a work has been published." Die status van navorsers word ook bepaal deur die reaksie van ander navorsers, ander kenners op die bepaalde gebied, en die gebruikers. Is ’n keuringsproses dan nodig?
Die gewone antwoord is dat net gepubliseer behoort te word wat werklik die “vooruitgang” van die wetenskap sal verseker. Vooraf-uitskakeling van wat van "minderwaardige gehalte" is, is noodsaaklik. Hier is drie aannames: dat ewekniebeoordeling ’n voorwaarde is vir die vooruitgang van die wetenskap; dat dit moontlik is om apriories te weet wat vooruitgang sal dien; en dat ’n duidelike lyn te trek is tussen goeie en swakker wetenskap.
Ewekniebeoordeling is egter ’n resente verskynsel: "Peer review has been a touchstone of modern scientific method only since the middle of the 20th century, the only exception being medicine. Before then, its application was lax in other scientific fields" (Wikipedia 2008. Ons kursivering). Rennie (2003:1–4) skets vroeë tekens van ewekniebeoordeling, maar besluit dan ook dat die institusionalisering daarvan na die Tweede Wêreldoorlog plaasgevind het en selfs toe maar stadig en nie algemeen nie; die toename in manuskripte was die pasaangeër. Vanaf die middel-1980’s het die stelsel as sodanig begin aandag kry. Daar kan geredeneer word dat dit moontlik was vir die wetenskappe om vooruit te gaan, en wel teen ’n asemrowende pas, van die 16de en 17de tot die middel van die 20ste eeu, sonder die hulp van ’n georganiseerde ewekniebeoordelingstelsel. Die tydperk het nie alleen die werk van Copernicus, Kepler en Galileo ingesluit nie, maar dié van Descartes, Pascal en Kant, en in die vroeë 20ste eeu van iemand soos Freud. En dit is maar enkeles uit die magdom wat bloot met behulp van insette uit die intelligente gemeenskappe waartoe elkeen deur persoonlike kontak of by wyse van korrespondensie toegang gehad het, gehaltenavorsing en publikasies gelewer het. Kritici van die stelsel verwys ook graag na moderne publikasies soos Albert Einstein se revolusionêre manuskrip Annus Mirabilis, en Watson en Crick se 1951-artikel oor die DNS-struktuur wat nie deur keurders se hande is nie. Wat het hierdie verandering in houding van geen of dan "lax application" na "touchstone of scientific method" meegebring? Het die verandering te make met wetenskaplike en/of navorsingsveranderinge of het iets in die wetenskaplike en navorsingsomgewing verander?
Die omgewing het verander deurdat sowel die publikasietoneel as die navorsingsomgewing verander het. Die rol van tydskrifte het belangriker geword en die aantal tydskrifte het toegeneem. Tydskrifte is egter selde finansieel onafhanklik en bydraes en subsidies kom gewoonlik met voorwaardes wat kwaliteitskontrole ("gehaltenavorsing") vereis. Verder maak die blote volume van aangebode stof (onnatuurlik gestimuleer deur geldelike vergoedings en beloftes van bevordering) waarvoor daar net nie genoeg ruimte is nie, keuring en seleksie nodig. Die ideaal is dat dit gehalte moet bevorder, maar baie meen dit gebeur nie werklik nie. Redakteurs kan en wil ook nie alleen oor die lot van kollegas se werk beslis nie, en ewekniebeoordeling word as die beste hiervoor, en vir die weerlegging van kritiek, beskou.
Vergoeding vir navorsing en navorsingspublikasies het algemene gebruik geword. "Gehalte"-navorsing en "gehalte"-navorsingspublikasies word vergoed om navorsing en publikasie te stimuleer, wat weer gelei het tot die gradering van navorsers en gedifferensieerde (kritici praat van "diskriminerende") vergoeding. Gehaltebeoordeling word dan nodig geag om gehaltenavorsing en die beste gehaltenavorsers te kan beloon.
Dit is debatteerbaar of gehaltenavorsing deur ’n vergoedingstelsel gestimuleer kan word. Die motivering vir navorsing is die drang na wete en beter begrip wat gedra word deur ’n oorspronklike en innoverende gees wat nie met ’n bedrag geld aangeskakel word nie – vandaar dat Heidegger (1983:34 – 44) ’n verval van wetenskap na navorsing insinueer. Finansiële aansporings het eerder ander redes, soos nasionale en institusionele trots en prestige of begrotingsdruk (die toewysing vir hoër onderwys in Suid-Afrika kon beperk word deur opleiding en navorsing te skei). Hierby kom dat ’n gradering- en vergoedingstelsel hom ook daartoe leen om vir operasionele doeleindes (aanstellings, bevorderings, ens.) nuttig gebruik te kan word.1 Hierdie oorwegings, wat berus op die siening dat ewekniebeoordeling noodsaaklik is om die gehalte van navorsing en navorsingspublikasies te verhoog, kom in die volgende artikel ter sprake. Die invloed van beloning op die wetenskaplike omgewing is nog nie bepaal nie. Informele waarneming dui op negatiewe inwerking – ’n oorheersende individualisme het byvoorbeeld vaardig geword onder wetenskaplikes; die bestaan en invloed van die "intelligente gemeenskap" as ’n teelaarde en klankbord met kritiese terugvoering, hulp en aanmoediging is besig om te verswak en te verdwyn. Beurse en toekennings is nog altyd ’n kompetisie om beperkte middele tussen formeel gelykes. Om hier die beste kandidate uit te soek, vereis, soos ook in die geval van gradering van navorsers, ’n proses van gehaltebeoordeling, maar dit is gewoonlik ewekniebeoordeling-in-komitee waar bespreking van die aansoeke darem ’n rol speel.
’n Sterk positiewe standpuntinname kom van ’n dosent in wetenskap- en tegnologiejoernalistiek, George Claassen, wat ’n verbete stryd teen "kwakke wat paradeer as 'kundiges'" voer. Ewekniebeoordeling en publikasie in portuurgeëvalueerde publikasies speel volgens hom "die hekwagtersrol ten opsigte van kundige wetenskaplike getuienis" (Claassen 2009a), want dit help en beskerm gebruikers van navorsing en kundigheid. “Kwakke” kan onderskei word omdat die "navorsing" waarop hulle hulle beroep, nie in portuurgeëvalueerde bronne verskyn nie. Claassen (2010:14) argumenteer later dat ewekniebeoordeling alleen nie genoegsaam beskerm nie, maar bevraagteken nie die stelsel as sodanig nie.
Ewekniebeoordeling het ’n deel van ons navorsingsomgewing geword óf omdat hierdie omgewing veranderinge ondergaan het wat, so word aangeneem, net met ’n gehaltebeheerstelsel hanteer kan word, óf omdat so ’n stelsel vir ander doeleindes bruikbaar is. Die vraag is egter of dit noodsaaklik, of ten minste ’n goeie hulpmiddel, is om goeie wetenskap te verseker.
5. Kritiek op ewekniebeoordeling
Die gevestigdheid van die stelsel mag die indruk skep dat dit bo verdenking staan. Marsh en Ball (1991:157) spreek die oordeel van baie in die volgende stelling uit:
The peer review process is one of the most highly regarded and frequently used procedures for evaluating the academic merit of academic manuscripts, grant proposals, tenure/promotion applications, and academic monographs and textbooks. Hence, peer review is of utmost importance to the academic community.
Dit is egter allermins die geval dat die stelsel oral in hierdie gees aanvaar word. Dit is nie net ’n geval van uiteenlopende menings oor die waarde en gehalte van die stelsel nie, maar van hewige en gegronde kritiek daarteen. Reeds in 1986 het ’n adjunkredakteur van die Journal of the American Medical Association, Drummond Rennie, kritiese vrae oor ewekniebeoordeling gestel en gemeen die stelsel moet verbeter en die noodsaaklikheid daarvan bewys word. Vir dié doel word sedert 1986 elke vier jaar ’n kongres met die tema ewekniebeoordeling georganiseer, maar een outeur merk op: "Rennie and his companions have spent almost 20 years in the desert, yet the golden calf is still intact" (Engber 2005:3).
Dat hier ’n probleem is met meer tentakels as net ’n gebrek aan konsensus tussen beoordelaars oor die gehalte van ’n manuskrip, blyk uit die uiteenlopendheid van ewekniekommentaar op Cicchetti (1991) se kritiese artikel oor ewekniebeoordeling. Die artikel word later volledig bespreek. Hierdie kommentaar wissel van uiterste ontsteltenis (want, so word gemeen, die probleme van ewekniebeoordeling bedreig wetenskap en wetenskaplikheid) tot ’n siening dat verskille tussen keurders te verwagte was omdat beoordelaars juis met die oog op spesiale en uiteenlopende vermoëns gekies word en te veel konsensus middelmatigheid kan kweek. Almal aanvaar egter dat daar verskillende redes vir ’n gebrek aan konsensus is, en op dié wyse word indirek kritiek op, en voorbehoude oor, die stelsel geopper. Blaam word gelê op vooroordele, verskille in vermoë, uiteenlopende benaderings van die keurders, die soort onderwerpe, byvoorbeeld kontroversieel teenoor onkontroversieel, en probleme met nuwe kennis en insigte.
Kan iets aan die verskille gedoen word? Weer is daar uiteenlopende menings: hou die stelsel in stand soos tans en aanvaar verskille, teenoor: bring veranderinge aan, soos deurgaans blinde beoordeling,of ekstra keurders tot ’n duidelike oordeel uitkristalliseer, of keurders deur outeurs voorgestel, of die reg op repliek, of selfs ’n advokateringstelsel. Die meeste meen die stelsel is in orde, maar dat keurders deur opleiding verbeter moet word.
Die beoordelingstelsel word dus op allerlei wyses en op verskillende vlakke gekritiseer. Dit is nodig om hierdie kritiek in meer besonderhede na te gaan.
5.1 Deurlaat van bedrieglike en foutiewe artikels
Hier is veral drie soorte verskynsels ter sprake: die deurlaat/deurglip van plagiaat en bedrog; die miskyk van oorspronklikheid en innovasie; en die miskyk of toelaat of ignoreer van onverskoonbare foute.
Die deurglip by keurders van bedrog en plagiaat diskrediteer vir sommige die stelsel onherroeplik. Gevalle soos die volgende kom ter sprake: Jan Hendrik Schön het gedurende 2001 elke agt dae ’n navorsingsartikel óf alleen óf saam met ’n medewerker voltooi. Vyftien hiervan is ná keuring deur Nature en Science gepubliseer. Agterna het fisici hierdie publikasies as plagiaat en bedrog ontbloot (Berger 2006:157). Abate (2004:1) verwys verder na die publikasies van ’n kardioloog, ’n dwelmondersoeker en ’n top-immunoloog wat almal later gediskrediteer is omdat hulle bevindinge bevat het wat “gekook” of geplagiariseer was. Ook die redakteurs van die South African Journal of Philosophy het in 2005 (Baker, Beck en Spurrett 2005:61–3) pogings om geplagiariseerde bydraes gepubliseer te kry, gerapporteer. Laasgenoemde gevalle is toevallig voor publikasie, maar na gunstige keuring, ontdek. Baker-hulle wys daarop dat hierdie pogings artikels op die internet misbruik het en dat die internet plagiaat deesdae makliker maak. Nie een van hierdie gevalle is deur die keurders raakgesien nie.
Campanario (1998:279) verwys na ’n artikel wat die Duitse tydskrif Angewandte Chemie in Februarie 1994 op aanbeveling van keurders gepubliseer het. Dit is later teruggetrek toe getuienis wat die resultate weerspreek het, net te veel geword het en dit geblyk het dat daar op geknoeide resultate gesteun is. Campanario (1998:279) kom tot die volgende gevolgtrekking:
Instances of scandals involving plagiarized papers or papers with fabricated data are publicized on an almost weekly basis in the news sections of leading journals such as Science and Nature, and the inability of the peer review system to detect and prevent fraud seems to be proven beyond doubt.
Die deurglip van plagiaat en bedrog word nie allerweë verdoemend teen ewekniebeoordeling gehou nie. Berger (2006:157) meen egter: "But the reality is that peer review assumes a research article has been honestly written. It doesn't catch outright fraud." Baker, Beck en Spurrett (2005:62) toon aan dat plagiaat baie sleg is vir die aansien van ’n redaksie en ’n tydskrif: dit werp ’n skadu van wantroue oor alles en almal wat by die tydskrif betrokke is, en dit sonder dat die tydskrifredaksie werklik iets aan die skuldige kan doen. Hulle gee egter toe dat geen keurder alles wat al in ’n vakgebied gepubliseer is, kan ken sodat hy of sy in staat sal wees om plagiaat of bedrog in alle gevalle raak te sien nie:
Science is impossible [...] without division [...] of labour, and the effectiveness of that sharing of effort depends [...] on shared confidence that the majority of participants are playing fairly. No one [...] would get anything done if each of us had to check whether every paper we relied upon had been plagiarised. (Baker, Beck en Spurrett 2005:62)
Die deurglip van plagiaat kan beswaarlik teen keuring gehou word. As van keurders verwag word dat hulle alle plagiaat wat op hulle weg kom, moet uitwys, is die stelsel nie realisties nie. Maar die verskynsel van plagiaat laat tog waarskuwingsligte flikker, want bedrieglike en onoorspronklike wetenskap kan nie as goeie wetenskap kwalifiseer nie. As ewekniebeoordeling dit nie gereeld kan identifiseer nie, word dit ’n waarborg met voorbehoude.
’n Erger aanklag is dat werk wat later geroem is, aanvanklik deur keurders afgekeur is. In die literatuur word talle voorbeelde genoem. Armstrong en Hubbard (1991:136)2 verwys byvoorbeeld na die skandeer-tonnel-mikroskoop (scanning tunneling microscope, of STM) wat in staat is om individuele atome te onderskei en wat as een van die belangrikste uitvindings van die 20ste eeu geroem is. Die Nobelprys vir fisika is aan die uitvinders toegeken, maar die aanvanklike poging om resultate wat met behulp van die apparaat verkry is, te publiseer, is op aanbeveling van ’n keurder afgewys. Campanario (2009) gaan die geskiedenis na van 16 Nobel-pryswenners wat aanvanklik publikasieprobleme met die bekroonde artikel ondervind het. Armstrong en Hubbard veralgemeen hulle bedenkinge oor die stelsel deur daarop te wys dat kontroversiële artikels ’n swakker kans het om gepubliseer te word as onkontroversiële pogings. Keurders hanteer duidelik nie oorspronklikheid en innovasie baie goed nie. Campanario (2009:549) merk op: "[P]apers are rejected, fellow scientists ignore discoveries, [...] authors of very innovative papers are criticized and often face stone-walling from their peers." En verder (2009:558):
In other instances the problem was that referees did not appreciate the potential or the interest of new discoveries. [...] The fact is that some of the articles reporting new findings or discoveries were initially rejected but would later earn their authors much-deserved recognition along with the highest accolade scientists aspire to. This outcome of peer review raises important questions about current publishing policies which govern the dissemination of new information.
Die voorgaande skets nie juis ’n bemoedigende prentjie van die rol van keurders nie, maar Campanario (2009:559) pleit vir versagtende omstandighede:
It may happen that the editors and referees who read articles reporting a novel discovery are not able to assess the value of innovative work. However, sometimes it is hard to discern the difference between a potentially useful, innovative discovery or technique and one which is not significant.
Ontdekking en innovasie gaan dikwels gepaard met dit wat vreemd/onbekend is. Die onbekende kan dikwels nie sonder meer in ’n raamwerk geplaas, verstaan en na waarde geskat word nie. Hoe belangrik innovasie ook al vir wetenskaplike vooruitgang is, kan daar nie van keurders verwag word om altyd die waarde van iets nuuts te herken nie; dit kan ook onsinnig of foutief wees. Opleiding berei keurders nie voor om ’n bepaalde nuwigheid dadelik reg te evalueer nie. Voorbereiding op die soeke na nuwighede en die erkenning van die rol van nuwighede beteken nie dat ’n besondere nuwigheid verstaan en aanvaar sal word nie. Hier kan dus verskoning vir keurders wees, maar as die stelsel goeie wetenskap moet waarborg en boonop aan die publiek gemoedsrus moet verskaf, dan is ’n gekwalifiseerde waarborg nie wat gesoek word nie.
Keuring kom egter direk in die gedrang waar keurders duidelik fouteer, en voorbeelde hiervan wemel in die literatuur. Een so ’n voorbeeld is die publikasie van Bjorn Lomborg se The sceptical environmentalist, wat hewige negatiewe reaksie uitgelok het - "[...] the ’near-hysterical' reaction of environmentalists [...] the book has provoked 'highly critical, even petulant, responses by some scientists in the environmental camp'" (Harrison 2004:357 (n2)). Harrison het heftig ontken dat die boek nie gekeur is nie en beskryf die proses om keurders te selekteer, noem hulle spesialiteite en sê: "I expected the referees' comments to be mixed [...]. However, to my surprise all four recommended publication" (Harrison 2004:358). Nisbet (2003:1) som die besware van wetenskaplikes teen die boek op en toon ernstige wetenskaplike foute en metodologiese vergrype daarin aan:
Lomborg misinterprets or misrepresents data. [...] selectively examines issues or problems that support his thesis [...] while ignoring other issues that refute his claims [...] he over-simplifies, commits gross generalizations [...] he uncritically and selectively cites literature [...] Lomborg's research is conceptually flawed [...].
Volgens Nisbet het die Deense komitees wat na wetenskaplike oneerlikheid omsien, hierdie navorsing bestempel as "'to fall within the concept of scientific dishonesty' and to be 'clearly contrary to the standards of good scientific practice'" (Nisbet 2003:1). Dus, ten spyte van Harrison se verdediging, word die keurders verkwalik dat hulle die publikasie aanbeveel het terwyl die boek nie aan wetenskaplike standaarde voldoen nie. Kritici sien dit as ’n mislukking van ewekniebeoordeling as ’n hekwagter van goeie wetenskap en integriteit. Die verweer dat publikasies die debat aan die gang moet hou, is nie aanvaarbaar nie – die debat moet nie tot elke prys gevoed word nie. Debat oor foutiewe inligting en afleidings, growwe veralgemenings, en so meer, dien in elk geval nie die wetenskap nie. Die keurders het duidelik hier met ander doelstellinge as goeie wetenskap gewerk. Die vaagheid van verwagtinge waaronder keurders werk, blyk ook hieruit. Hierdie aspekte word later aangeraak.
’n Ander voorbeeld van keurdermistasting is die sogenoemde Columbia prayer study (Engber 2005:1, 2) – ’n geval van grootskaalse misleiding. ’n Artikel wat later as kwaksalwery gebrandmerk is, is deur keurders aanbeveel en in ’n erkende tydskrif (Journal of Reproductive Medicine) gepubliseer. Daarna is dit deur die dagbladpers aangegryp. ’n Navorsingsgroep van Columbia Universiteit het in die artikel gerapporteer dat pasiënte by ’n Seoelse vrugbaarheidskliniek se kanse om swanger te raak, twee keer groter was indien Christene vir hulle gebid het as daarsonder. Die kritiek op die artikel gaan om meer as onakkurate beriggewing. Die keurders het, soos in die geval van The sceptical environmentalist, sondes teen erkende wetenskaplike beginsels oorgesien, soos ongesubstansieerde konklusies, ’n verwronge navorsingsplan, ongegronde veralgemenings, en in die algemeen verdagte metodes. Boonop was daar twyfel of die proefpersone toestemming tot die ondersoek gegee het. Ons kan besluit dat waar dit as ’n basiese funksie van keuring gesien word om ’n veiligheidshek teen swak werk, bedenklike metodes en onetiese optrede te wees, dit in hierdie geval gefaal het.
’n Geval van foutering wat grens aan wanvoorstelling en wat ernstige gevolge gehad het omdat mense opgehou het om hulle kinders te laat inent, word deur Claassen (2010:14) bespreek. Dit raak ’n artikel deur ’n span navorsers onder leiding van ’n dr Andrew Wakefield wat in The Lancet gepubliseer isoor die beweerde verband tussen outisme by kinders en die mengelentstof teen pampoentjies, masels en Duitse masels. Talle studies het die Wakefield-navorsing grondig gerepudieer. Die ernstigste beswaar was dat die toetsgroep te klein was om enige geldige afleidings te kon maak, ’n aspek wat die keurders nie raakgesien het nie. Claassen (2010) verwys na die bekendheid van die belangrikheid van groot groepe om statisties betroubare gevolgtrekkings te maak en besluit dan: "[D]it is eintlik skandalig dat nóg die ewekniebeoordelaars nóg die media hierdie allesoorheersende tekortkoming van die studie nie raakgesien en dit daarvolgens beoordeel het nie." Toe die artikel, jare later, uiteindelik onttrek is, is die blaam op die navorsers en die media geplaas, maar die redakteur het ewekniebeoordeling verdedig, want "die hele stelsel rus op vertroue".
’n Geval waar dieselfde punt gemaak word, maar in die algemeen teen keurders in die geesteswetenskappe, is die sogenoemde Sokal-parodie. Alan Sokal, ’n fisikaprofessor met ’n interdissiplinêre belangstelling, het tot die gevolgtrekking gekom dat baie ewekniegeëvalueerde artikels nie juis sin het nie. Hy het ’n formule wat gebaseer was op gepubliseerde werk, uitgewerk en ’n artikel, "Transgressing the boundaries: Towards a transformative hermeneutics of quantum gravity", wat eintlik sinloos was, opgestel en vir publikasie voorgelê. Die redakteur het dit ongekeur aanvaar en dit het in Social Text, Spring/ Summer, 46/47 verskyn (Sokal 1996a:217–52). Keuring en keurders is indirek betrek3 in die sin dat Sokal beswaar gehad het teen ’n tradisie wat deur keurders erken is, sekere publikasies oorheers en na sy mening eintlik sinlose produkte opgelewer het. Sy bekommernis, "a decline in the standards of intellectual rigor", berus op sy kontroversiële beskouings. Dat hy die redakteur met versluierde onsinnighede uitgevang het en sy onsinnighede as waar aanvaar is, is veelseggend. Maar dit kan nóg dien as grond om te sê dat alle keurders of vakkenners op dieselfde manier uitgevang sou gewees het, nóg dat sy aanvaardings, die wêreld-, wetenskaps- en kennisbeeld wat sy uitgangspunt is, aanvaarbaarder is as dié wat hy kritiseer. Die toepassings van wat gebeur het, moet gerelativeer word. Die belangrike is egter dat hy tog op indirekte wyse aantoon dat keurders en redaksies ingesuig raak in ’n gangbare wetenskaplike diskoers wat substansiële inhoud kan verdwerg, puntenerige argumentasie oorskadu en aldus verhoed dat keurders in alle omstandighede met die hekwagtersrol vir goeie wetenskap vertrou kan word. Verder ondersteun sy "eksperiment" die siening dat ewekniebeoordeling net na wense evalueer kan word teen die volle agtergrond van wat goeie wetenskap en wetenskapsbeoefening is.
Nog ’n sonde, en ’n onverskoonbare een, wat teen eweknie-evalueerders gehou word, is foute wat "ongesiens" deurgeglip het. Dit is ernstig, want dit het te make met vakkundige insig, en die foute kan elders herhaal word. Campanario (1998:29) noem onder andere die volgende: In ’n artikel beskryf J.B. Watson ’n eksperiment oor kondisionering met slegs een baba as proefpersoon. Desondanks is die artikel aanbeveel. Hoewel latere herhalings nie die oorspronklike bevindings bevestig het nie, het die eksperiment aanhou opduik in handboeke.4 In ’n tweede voorbeeld, ’n kontroversiële ekonomie-artikel oor sosiale sekerheid, het ’n ernstige programmeringsfout voorgekom wat keurders misgekyk het. Die regstelling daarvan het gelei tot resultate wat direk die teenoorgestelde was van wat aanvanklik gepubliseer is.5
Soortgelyke vergissings is opgeteken in lyste van sogenoemde "mediese fantasieë", opgestel deur Robin en Burke,6 waarin foute wat navorsers gemaak het en wat in erkende mediese tydskrifte met ewekniebeoordeling gepubliseer is, verskyn het. Dit sluit onder andere ’n studie in wat beweer dat brongiale asma deur wurms veroorsaak word. Die lyste deurgelate foute (Campanario 1998:280 noem nog drie ander) is lank en daar was in sommige gevalle ernstige vergissings. Omdat ewekniebeoordeling goeie wetenskap sou waarborg en ook die "verbruiker" sou beskerm, is dit ’n ernstige aanklag daarteen.
Dit is duidelik dat daar in die meeste gevalle bomenslik baie van keurders verwag word ten opsigte van hul kennis in ’n vakgebied, hul metodologie en hul eie vermoëns en insigte. As meer as bloot pragmatiese voordele van keuring verwag word, word die stelsel ooreis – soos deesdae inderdaad gebeur – en keurders uitgelewer.
Teen die agtergrond van al hierdie oorwegings moet ons besluit dat goeie wetenskap nie afhanklik gemaak kan word van keuring nie. Om so ’n verantwoordelikheid daarop te lê, is om dít wat die stelsel kan bied, te oorskat, die druk op die keurders te vergeet en aldus goeie wetenskaplike navorsing ernstig te kompromitteer.
5.2 Die invloed van persoonlike opvattings en omstandighede
Daar is genoeg getuienis van eie belange, besondere belangstellings en voorkeure, vooroordele, begunstiging, dogmatisme, bekrompenheid en ook blote nalatigheid wat die deurslag by keurders gegee het. (Campanario 1998:280–9 bespreek ondersoeke wat ’n verskeidenheid faktore van hierdie aard raak.) Dit sal seker ook geld by die beoordeling van navorsers. Sommige hiervan kom later weer ter sprake.
Die kompetisie wat met navorsing en publikasie gepaard gaan, en wat aan vergoeding en ander byvoordele gekoppel word, het vererger en bemoeilik samewerking tussen wetenskaplikes. Dit gebeur dat keurders hul opponente doelbewus benadeel as nie van blinde keuring gebruik gemaak word nie. Vroue- en jong navorsers kla oor benadeling. Die eeue oue erkende en gevierde stelsel van intelligente gemeenskappe, navorsers wat mekaar erken, ondersteun, kritiseer en kan saamwerk, en so ’n geborgenheid en ’n basis vir wetenskaplike werk daarstel, word bedreig, en die publiseer- en keuringstelsel het hiermee te make.
Die oorlading van keurders word ook al hoe meer ’n probleem. Daar is soveel tekste wat gekeur moet word dat daar nie genoeg tyd aan elke taak bestee kan word nie. Boonop voel wetenskaplikes dat keurwerk hulle weg hou van hulle eie navorsingswerk.
Keuring word ook antiteties genoem omdat dit, in teenstelling met die wetenskapsbeoefening wat dit moet dien, hopeloos informeel is – elke keurder werk volgens eie insigte en standaarde, wat meebring dat dieselfde artikel deur een keurder afgekeur, maar deur ’n ander aanbeveel en dan gepubliseer word, om agterna boonop op die “moet lees”-lys geplaas te word. Keuring moet boonop funksioneer in ’n omgewing wat teenoorgestelde eise kan stel, soos wetenskaplik aanvaarbaar, maar ook bevorderend vir pluralistiese denke en debat, innoverend of oorspronklik, maar bekend genoeg om beoordeel te word, ensovoorts.
Hierdie aangeleenthede wys dat ewekniebeoordeling nie sonder meer oral aanvaar word, of aanvaar kan word, as die sleutel tot wetenskaplike gehalte en waarborg vir goeie wetenskap en behoorlike en verantwoordelike wetenskapsbeoefening nie.
5.3 Formeel-empiriese studies
Verskillende formeel-empiriese studies is uitgevoer om die geslaagdheid al dan nie van ewekniebeoordeling, of dan verskillende aspekte daarvan, na te gaan en die resultate statisties weer te gee. Op hierdie terrein neem die eerste ondersoek van Cicchetti, "The reliability of peer review for manuscript and grant submissions: a cross-disciplinary investigation" (1991:119–86), ’n besondere plek in. Alhoewel dit reeds oud is (in onlangse literatuur verwys eintlik min skrywers daarna; Campanario s.d.:3 doen dit wel), het dit besondere voordele. Afgesien van die onrus wat Cicchetti losgemaak het, waarvan die spore in die jongste literatuur nog duidelik merkbaar is, is daar ook baie wat herbesinning verdien. Volgens Rennie (2003:4) het die “moderne” belangstelling in ewekniebeoordeling sy loop gekry vanaf 1981 met ’n artikel “Chance and consensus in peer review” deur C. Cole, J.R. Cole en G.A. Simon in Science, 214, gevolg deur Lock (1985) en die eerste kongres oor ewekniebeoordeling in 1989. Cicchetti se ondersoek sluit by hierdie mylpale aan.
Die projek is duidelik en goed afgebaken. Dit gee ’n oorsig en opsomming van die vernaamste ondersoeke oor die onderwerp tot op daardie stadium en is dus ’n samevatting van empiries-ondersoekte kritiek teen die stelsel. Die redakteur van Behavioral and Brain Sciences het die praktyk ingevoer (Rennie 2003:5) waarvolgens ’n belangwekkende navorsingsartikel ewekniebeoordeling ondergaan en na aanvaarding aan belanghebbendes voorgelê word vir hulle kommentaar, wat dan saam met die artikel en ’n repliek van die artikel-outeur gepubliseer word. Die kommentators in Cicchetti se geval sluit redakteurs en navorsers in wat by besinning oor ewekniebeoordeling betrokke is. Dit is dus ’n breë, uiteenlopende bestekopname en oorweging van die stelsel.
Cicchetti ondersoek die sentrale en deurlopende kwessie van die betroubaarheid of konsekwentheid van die stelsel – dieselfde oordeel met herhaalde keuring. Hy som die prosedures wat gebruik is en die vernaamste bevindings op, kyk na keurders se beoordelings van en kommentaar op manuskripte wat voorgelê is vir publikasie, en bekyk ook motiverings vir beursaansoeke. Die artikels en aansoeke wat hy bestudeer het, was afkomstig uit die sielkunde, sosiologie, medisyne (sowel algemeen as gespesialiseerd), ekonomie, chemiese dinamika, en vastestoffisika. Cicchetti (1991:119) formuleer sy doelstelling as "providing some reasons and remedies for the low reliability of manuscript and grant reviews". Reliability verwys hier na tussenkeurder-ooreenstemming. Die bekommernis oor die lae betroubaarheid ontstaan deurdat die sosiale stelsel wat die professionele optrede en mobiliteit van wetenskaplikes beheer, veronderstel is om ’n regverdige en objektiewe ewekniegedrewe stelsel te wees, dus ’n normatiewe model waarin die beoordeling van wetenskaplikes en hulle werk volgens universele akademiese standaarde geskied, en oordele dus veronderstel is om nie te wissel as gevolg van faktore soos verskillende beoordelaars of beoordeling op verskillende tye nie. As ewekniebeoordeling lukraak en onbetroubaar is, kan dit nie as so ’n basis dien nie. Ons vind egter dat hoewel dit met erns en oortuiging deur knap wetenskaplikes gedoen word, dit tog hierdie verskille toon – dus onbetroubaar is. Cicchetti wil weet waarom dit so is en of die situasie verander kan word.
Cicchetti begin met ’n oorsig en evaluering van werk wat reeds op hierdie terrein gedoen is. Dit behels eksperimentele opstelling, tipes betroubaarheidsmetings, toepaslike en ontoepaslike statistiek en waardemetings, kriteria en ander metodiese kwessies. Dit is vir die doeleindes van hierdie artikel nie nodig om op hierdie tegniese sake nie in te gaan nie; daar word eerder op sy bevindinge gekonsentreer.
Hy het die betroubaarheid van manuskripbeoordelings vir die gedrags-, mediese en fisiese wetenskappe afsonderlik nagegaan en bevind dat betroubaarheid oor die algemeen laag was. Hy waarsku egter dat die toetsgroepe vanweë die verspreiding oor verskillende tydskrifte klein was, hoewel hierdie bevindings bevestig word deur verskillende opnames wat toon dat verreweg die meeste artikels wat aanvanklik weggewys is, tog onveranderd, of bykans onveranderd, elders geplaas is. Dit geld 85 persent van die 1970-wegwysings by die Journal of Clinical Investigation en, vir 1975, 85 persent van die wegwysings van die New England Journal of Medicine. Vir die British Medical Journal is ’n soortgelyke tendens vir 1985 gevind, terwyl die redakteur van Science dieselfde tendens ten opsigte van sy tydskrif bevind het. Cicchetti verwys onder andere na opnames van Wilson (1971), Relman (1978) en Lock (1985). Dus: tussen keurders wat op verskillende tye dieselfde artikel beoordeel, mag beoordelings selde ooreenstem.
Cicchetti (1991:128) het ook groot afwykings gevind tussen keurders se voorspellings (verwagtings) oor interkeurderbetroubaarheid (wat relatief hoog was) met verwysing na bepaalde kriteria soos die toepaslikheid van die gebruikte metodologie en in welke mate dit ’n bydrae tot die wetenskap maak, en die werklike vlak van betroubaarheid wat gevind is, wat weer betreklik laag was. Hy was egter nie tevrede om net ’n lae betroubaarheid te rapporteer nie, maar wou dit ook nader probeer beskryf: Hoe manifesteer dit in verskillende aspekte van die beoordeling? Verder wou hy, vanweë sy "normatiewe wetenskapsmodel", ook probeer vasstel waarom die betroubaarheid laag is, sodat remediëring moontlik sou wees.
Die ooreenstemming tussen keurders was hoër ten opsigte van verwerping as van aanvaarding, ’n bevinding wat ook in ’n studie deur Smigel en Ross in 1970 gemaak is (Cicchetti 1991:128). Hy noem dan ook dat redaksies by algemene tydskrifte oor die algemeen groter gewig gee aan keurder-ooreenstemming ten opsigte van afwysing as aan keurderkonsensus ten opsigte van aanvaarding: "[T]he editor was almost three times more likely to reject a manuscript that reviewers agreed should be accepted than to accept a manuscript that the reviewers agreed should be rejected" (Cicchetti 1991:127).
Daar is gevind dat verskillende keurders se kommentaar op dieselfde artikel of aansoek dikwels so uiteenlopend is dat redakteurs nie op grond daarvan ’n besluit kan neem nie (Cicchetti 1991:124). Dit stem ooreen met wat reeds vroeër raakgesien is: "In a qualitative evaluation of reviewer's comments, Mahoney noted a wide variability, 'One would hardly think that very similar or even identical manuscripts were being evaluated'"( Cicchetti 1991:129). Waar finale oordele ooreenstem, word meer dikwels heeltemal verskillende, selfs weersprekende, motiverings aangevoer (Cicchetti 1991:130). Dit kan ook gebeur dat die aanbevelings oor publiseerbaarheid verskil, maar dat die kommentaar oor die artikel of beursaansoek ooreenstem:
[R]eferees are basically in agreement about the content of their reviews, but differ considerably in their recommendations to the editor. [...] [W]e are left with the apparent paradox of instances in which conscientious and well-qualified reviewers and editors will offer essentially the same evaluation of a given manuscript, while drawing very different conclusions about its publishability. (Cicchetti 1991:130)
Waarom die inkonsekwentheid? Cicchetti wys daarop dat dit onmoontlik was om vas te stel in welke mate dit die resultaat was van verskille in eienskappe van die keurders (meer of minder ervare, streng of toegeeflik, bevooroordeeld al dan nie), of van die materiaal (aard en/of tegniese ingewikkeldheid van die stof, styl en/of kwaliteit van die aanbieding, ensovoorts), of, wat dit baie moeiliker maak, kombinasies van hierdie faktore en eienskappe.
’n Geheel andersoortige faktor wat raakgesien is (Cicchetti 1991:130), is dat keurders die belangrikheid van hulle kritiek anders beoordeel. Een keurder mag die publikasie aanbeveel omdat hy sy kritiek as “kosmeties” hy beskou, terwyl ’n ander dieselfde kritiek mag aanvoer, maar dit as fundamenteel beskou en dus afwysing aanbeveel.
’n Ander moontlikheid is dat die status van die institusie waaraan die outeur verbonde is, ’n invloed het. Hy verwys na ’n studie van Peters en Ceci in 1982:7 Twaalf voorheen gepubliseerde artikels van gerespekteerde navorsers verbonde aan top-navorsingsinstellings is met ’n bietjie verandering wat nie die inhoud geraak het nie, as nuwe manuskripte aan die oorspronklike keurders voorgelê vir "keuring", maar dié keer onder onbekende name, met as fiktiewe setels institusies met ’n minder goeie navorsingstatus. Slegs drie van die hersirkuleerde manuskripte is herken as vroeër gepubliseer. Met die uitsondering van twee het al die keurders en redakteurs die manuskripte afgekeur. Naas ’n gebrek aan konsekwentheid, toon die studie dat die status en affiliasie van outeurs, wanneer bekend, ’n rol mag speel, en blyk te speel, by die beoordeling van manuskripte. Blinde keuring los nie die probleem op nie, aangesien redakteurs oor die inligting beskik, op keurders besluit, en die finale seggenskap oor publikasie het; en laasgenoemde blyk ook aan wisselende oordele onderhewig te wees.
In ’n goed-gekontroleerde studie van Mahoney in 1977 (Cicchetti 1991:128) is 75 keurders van die Journal of Applied Behavior Analysis gevra om manuskripte te beoordeel wat almal dieselfde dominante gedragsveranderingshipotese getoets het. Die manuskripte het almal identiese inleidings- en metodologieafdelings gehad, maar het verskil ten opsigte van die "Uitkomste-" en "Bespreking-" gedeeltes – in sommige het hulle ontbreek, en in die res is die bevindinge in "positiewe", "negatiewe" of "gemengde" style aangebied. Die keurders moes hierdie manuskripte beoordeel ten opsigte van algemene wetenskaplike verdienste (as publiseerbaar al dan nie), en hiervoor moes hulle normatiewe kriteria gebruik, insluitende gradering van tematiese tersaaklikheid, metodologie en data-aanbieding. Daar is gevind dat die keurders positiewe manuskripte oor die algemeen publiseerbaar bevind het, met hier en daar ’n aanbeveling vir matige hersiening. Gemengde manuskripte is merendeels afgewys, maar soms aanvaar ná middelmatige hersiening, terwyl negatiewe manuskripte oor die algemeen afgewys is, en soms aanvaar is ná drastiese hersiening. Manuskripte waarin geen bevindings gemaak is nie, was oor die algemeen beter daaraan toe as dié met gemengde of negatiewe resultate, want meer van hulle het positiewe reaksie uitgelok. Keurders word dus in ’n erge mate beïnvloed deur die algemene aard van die inhoud en toon van manuskripte wat hulle beoordeel. Van objektiwiteit het hier min tereg gekom. Armstrong en Hubbard, kommentators van die Cicchetti-artikel, verwys na ’n artikel deur J.S. Armstrong8 en sê:
Armstrong provides additional examples of lapses in the peer review system, along with summaries of empirical evidence that discomforting findings about important topics are difficult to publish. [...] [R]eviewers were biased against negative findings. They rejected these papers on the basis of poor methodology while accepting papers with confirmatory outcomes that used the identical methodology. (Cicchetti 1991:136)
Cicchetti (1991:129) verwys na wat Mahoney9 die verskynsel van bevestigende vooroordeel noem: "the tendency to evaluate positively those results that are consistent with one's beliefs and to evaluate negatively those that are inconsistent with them". Dit kan ons sommer koppel aan twee ander vorme van vooroordeel: die "selfverwysingsvooroordeel" (wat egter grootliks deur blinde keuring aan bande gelê word) – outeurs wat dikwels na hulle eie werk verwys, word gewoonlik gunstiger beoordeel; en die reeds genoemde vooroordeel wat verband hou met die prestige van die skrywer en die instelling waaraan hy of sy verbonde is. Cicchetti (1991:124) het verder bevind dat keuring vir ’n betreklik geformaliseerde en objektiewe dissipline soos fisika aan dieselfde probleme onderhewig is as vir algemene tydskrifte in gedragswetenskappe en medisyne.
Nöthling Slabbert (2009:47) verwys na ’n bevinding dat ewekniebeoordeling nie baie doeltreffend (konsekwent en steekhoudend) is in die geval van klein en hoogs gespesialiseerde navorsingsgebiede nie. Vir Suid-Afrika is dit belangrik – heelwat dissiplines het slegs ’n klein getal beoefenaars, en dit moet verontrustend wees vir die klein getal navorsers wat in Afrikaans publiseer.
Postnote (2002:2) se konklusie is: "There is surprisingly little evidence on the effectiveness of peer review from formal studies". Tyrer (1991:164) se kommentaar is snydender:
Cicchetti has provided valuable data in support of a maxim I sometimes repeat to disconsolate writers of rejected manuscripts: “A determined author can get any rubbish published.” The low levels of reviewer agreement found in this wide-ranging review may be regarded as unsatisfactory by some, but encouraging to potential authors. After noting that worthlessness appears easier to detect than excellence, our author-in-waiting must be reassured by levels of agreement between assessors which barely exceed those of chance when several referees are used.
Die enigste positiewe invloed wat aangeteken is, is "some evidence that the accuracy and readability of manuscripts is improved between submission and publication" en "some evidence that it is effective in weeding out poor quality research".
Cicchetti (1991:130) se inleidende gedagtes tot voorstelle ter verbetering van ewekniebeoordeling is hier ook belangrik: "[D]isagreement among reviewers can sometimes serve a useful purpose [...] [O]ne referee may detect a flaw in reasoning that a second referee has failed to uncover." Maar hierdie "creative disagreement"is vir hom nie in stryd met die behoefte om sowel die geldigheid as die betroubaarheid van ewekniebeoordeling te verbeter nie. Hy waarsku egter teen die verhoging van betroubaarheid op ’n "kontraprogressiewe" wyse deur byvoorbeeld keurders op te lei met dieselfde stel vooroordele of om almal afwysend te staan teenoor sekere soorte navorsing of benaderings.
Ten spyte van die negatiewe bevindings word daar steeds bykans blindelingse vertroue uitgespreek in ewekniebeoordeling.10 Ten spyte van Postnote se oordeel soos hier bo aangehaal, word besluit: "[P]eer review is held to be beneficial to the scientific community and has become central to the process by which science is conducted" (Postnote 2002:2). Hoewel sy probleme het met die oordrag van die stelsel na die beroepskonteks, beaam Nöthling Slabbert (2009:48) hierdie gevolgtrekking: "In the absence of feasible alternative systems of evaluation, [...] peer review appears to remain the preferred system."
Dit is egter duidelik dat ewekniebeoordeling allermins as ’n waarborg vir goeie wetenskap kan dien; onvoorwaardelike vertroue is nie genoeg nie.
5.4 Prinsipiële bedenkinge en besware
5.4.1 Die rol van prefigurasies
Cicchetti (1991:128,129) vind dit nodig "to determine how much of the unreliability [van keurderbeoordelings] results from differences in the characteristics of the reviewers themselves", en hy besluit: "[O]n the basis of the best controlled studies of the peer review process to date, we are forced to conclude that referees at times apply subjective criteria", waarvan hy erken dat "such traits are widely accepted as desirable characteristics of referees". Onder hierdie subjektiewe kriteria en oorwegings verstaan hy en ander bloot net sielkundige eienskappe, identifiseerbare persoonlikheids-, temperaments- of karaktereienskappe. Hulle ignoreer egter die baie belangriker en onontwykbare logiese “subjektiwiteit” waarsonder sodanige evaluasie onmoontlik is.
Nöthling Slabbert (2009:52), in navolging van Lyotard en Gadamer, onderstreep die belangrikheid van prefigurasie, soos Lyotard (in Slabbert 2009:52) dit genoem het: "[O]ur institutionalised idioms, or verification procedures are constantly pre-establishing the realities whose truth we then assert." Prefigurasie is veelfasettig en behels ’n algemene aspek soos die gebruik van taal en logiese reëls, maar is ook gebou deur persoonlike ervaringe, sodat die besondere struktuur en inhoud daarvan van persoon tot persoon verskil. Ervaringe soos onderwys en opvoeding, lewenservaringe, ’n geïnternaliseerde waardestelsel, sosiale status en funksionering, om maar net ’n paar vormende faktore te noem, funksioneer as "geïnstitusionaliseerde idioom" of dan ’n raamwerk met behulp waarvan daar van ’n realiteit, ’n persoon (en dus keurders) en iets soos ’n teks (as teks herken en benader) sprake kan wees.
Dit is maklik om te sien dat tekste verskillende interpretasies kan verkry, en verskillende indrukke kan laat op verskillende persone, en dat dieselfde teks verskillend beoordeel sal word kragtens die verskillende raamwerke waarmee dit gelees word. Een so ’n belangrike aspek van die konteks waarmee ons nou besig is, is die keurder se kennisopvatting. Die keurder moet ’n teks as ’n bydrae tot ons kennis beoordeel. Dit moet dus eerstens as ’n teks oor kennis gesien word, maar dit veronderstel die begrip kennis en dus ’n hele familie begrippe waarbinne kennis sy plek kry. Dit veronderstel taal en taalgebruik, wat weer ’n hele dialektiek tussen subjek en wêreld veronderstel waarbinne ook iets soos mag ’n plek het.
Foucault se werk, wat deurgaans met kennis te make het, gee ons ’n geskakeerde beeld van hoe kennisprefigurasies werk. In ’n oorsigtelike stuk wat hy ter ondersteuning van sy kandidatuur aan die Collège de France opgestel het (aangehaal deur Macey 1993:94), sê hy:
In Histoire de la folie à l'âge classique, I wished to determine what could be known about mental illness in a given epoch [...]. An object took shape for me: the knowledge invested in complex systems and institutions. And the method became imperative: rather than perusing [...] only the library of scientific books, it was necessary to consult a body of archives comprising decrees, rules, hospital and prison registers, and acts of jurisprudence. It was in the Arsenal or the Archives Nationales that I undertook the analysis of a knowledge whose visible body is neither scientific nor theoretical discourse, nor literature, but a daily and regulated practice.
Gewoonlik kry keurders wat ’n stuk kennis moet beoordeel, nie konseptuele leiding nie; daar word aangeneem dat almal weet wat kennis is en wat ’n bydrae tot kennis is. Maar kennis is ’n polimorfe begrip en kennisbeskouings verskil, byvoorbeeld ’n positivis s’n (sintuiglik geverifieerde feite) en ’n belydende Christen s’n (wat vir geloofskennis voorsiening maak), of geverifieerde teenoor ongefalsifiseerde kennisaansprake. Gevoeligheid vir sistematiese foute soos kategoriefoute, verwarring van begrondingswyses, wanneer dit gaan oor uitlatings as stukkies kennis, kan ook verskil. Die "geïnstitusionaliseerde idioom" van elke keurder kan nie anders as ’n rol speel by beoordeling nie – dit is die persoon wat hy of sy is. Die "geïnstitusionaliseerde idioom" van ’n persoon laat hom volledig geld by die beoordeling van ’n teks, maar die bestaan hiervan, en die inspeel op intellektuele bedrywighede, word dikwels vergeet of verpak as bekommernis oor die onbetroubaarheid van beoordelings. As raamwerke so belangrik is by die beoordeling van tekste, hoeveel te meer geld dit nie by die beoordeling van wetenskaplikes self nie.
Soos gesê, is dit nodeloos om hierdie sogenoemde "ideologiese kontaminasies" of "vooroordele" te probeer uitskakel en "objektiwiteit" te bepleit. Dit is ’n deel van subjek-wees – ’n taal is ’n vereiste vir subjek-wees, en dit is om die werklikheid met daardie taal te vorm en te beskryf, met daardie taal te dink. Verder behoort elkeen aan ’n bepaalde kultuur en gemeenskap, en deel dus ’n werklikheidsiening en ’n waardestelsel. Slegs ’n subjek kan ’n beoordelaar wees en dit beteken die subjek moet met sy of haar subjektiwiteit aanvaar word. Allerlei voorskrifte, en selfs die gebruik van vraelyste om objektiwiteit te verseker, moet verstaan en geïnterpreteer word, moet dus by die wêreld van die evalueerder geïntegreer word. Die waarnemende, singewende, konseptualiserende, waarderende subjek bly ’n voorwaarde:
[I]t becomes clear that it is through him or her and his or her prefigurations that the means and ends of evaluation acquire their actual significance and meaning [...] [T]he problems of bias, prejudice and abuse of power “lie closer to home – in us, in our prefigurations”. (Nöthling Slabbert 2009:53)
Kortom, dit is logies onmoontlik om die invloed van sogenoemde subjektiewe aspekte totaal uit evaluerings te weer; evaluering vereis ’n subjek en ’n subjek word daargestel deur sinmakende, werklikheidsvormende en organiserende aspekte wat die onvermybare raamwerk uitmaak waarin en waardeur evaluering moet geskied. Dit dui op ’n probleem vir die ewekniebeoordelingstelsel wat die onbereikbare objektivisme as paradigma veronderstel.
Prefigurasie skakel ewekniebeoordeling nie noodwendig uit nie; slegs ’n sekere vorm daarvan, of dan ’n vooringenome idee oor die werking daarvan. Voorts verklaar prefigurasie verskynsels in verband daarmee wat objektiwiteitsjagters benoud maak: die onbetroubaarheid van ewekniebeoordeling; dieselfde besware teen ’n artikel met verskillende aanbevelings oor publiseerbaarheid; die rol wat die inhoud en toonaard van bevindinge by die beoordeling daarvan speel; en so meer. Ewekniebeoordeling, soos dit voorgestel word, is weersprekend.
Maak ons egter voorsiening vir die prefigurasie-verskynsel, moet ons ook heel anders oor goeie wetenskap en die evaluering daarvan begin dink. Geen wonder nie dat Lamont (2009:156–7) na haar ondersoek oor akademiese beoordeling besluit: "[P]anelists' comments and observations show that the act of evaluating is an eminently interactional and emotional undertaking, rather than a cognitive process corrupted by extra-cognitive factors."
5.4.2 "Swak wetenskap"
Ewekniebeoordeling en die plek wat daaraan in wetenskapsbeoefening gegee word, berus op ’n aantal aanvaardings. Een is dat daar net een rede vir publikasie is: om die betrokke wetenskap uit te bou, die grense te versit. Maar die beoefening van goeie wetenskap vereis meer as kennisuitbreiding: herinnering aan wat uit die oog verloor is; die lê van nuwe verbande en blootlê van strukture; konsolidasie en koersbepaling. Die aanname is dan dat ewekniebeoordeling as hekwagter slegs publikasies wat in hierdie sin wetenskapsuitbreidend is, sal deurlaat – wat nie so eenvoudig is nie. Soos reeds gesê, is ewekniebeoordeling ’n laat twintigste-eeuse verskynsel; aanvanklike wetenskaplike ontwikkeling het daarsonder geskied, en in ons eie tyd is nuwe bevindings gemaak en rigtings ingeslaan deur publikasies wat nie deur die ewekniebeoordelingsproses is nie. Ewekniebeoordeling as waarborg vir goeie wetenskap is nie noodsaaklik nie. Ewekniebeoordeling as waarborg vir goeie wetenskap maak van die onderskeid tussen goeie en swak wetenskap ’n aprioriese gegewe – goeie wetenskap bestaan as sodanig en is direk kenbaar – in plaas van ’n sosiale konstruksie.
As sodanig ontwikkel wetenskap nie langs vaste lyne nie, wat meebring dat "vreemde" idees mettertyd opgeneem en vanselfsprekendhede gediskrediteer kan word. "Slegte wetenskap" kan nie apriories uitgeken en geweer word nie. Sieninge wat eers "vreemd" voorgekom het, maak vandag deel uit van die kanon: die ronde aarde, bloedsomloop, kieme en aërodinamika. ’n Aprioriese kategorie "swak wetenskap" sou hierdie en vele ander ontdekkinge laat sneuwel het. Die terugval op "gebrekkige metodologie", het ons vroeër gesien, is in baie gevalle maar ’n rookskerm; metodes het ook nie blywende en absolute waarde nie. Wetenskap ontwikkel in draaie en swaaie – soms via afdraaipaaie en deur doodloopstrate. Die ontdekkingsproses kom deur probeer en tref; dit gaan nie om blootlegging van iets wat kant en klaar is nie. ’n Keurder bevind hom/haar in ’n moeilike posisie as hy/sy "nuwe idees" en die ontginning van nuwe terrein moet evalueer met die verwagting dat ’n fout uitgesluit is, dit nuwe kennis behels – daar is nie ’n onderskeidingsteken op geplak of gestempel nie. Dikwels het die "goeie wetenskap" van ’n tydperk meer met sosiale strukture, propaganda en historiese omstandighede as met die wetenskap self te make. Die hekwagtersrol van keurders lê baie beperkinge en voorwaardes op; van waarborge kan min sprake wees.
5.4.3 Beoordeling: ’n verlengstuk van vakkundigheid?
’n Groot aantal van die kommentators in die Cicchetti-artikel stel die opleiding van keurders voor as ’n oplossing vir die geïdentifiseerde beoordelaarsprobleme. Ongelukkig stippel hulle nie uit waarom dit ’n oplossing sou bied en wat sodanige opleiding behoort te behels nie. Laasgenoemde aanbeveling sluit egter kritiek op ewekniebeoordeling in, aangesien dit suggereer dat vakkenners nie outomaties bevoeg is om as vakbeoordelaars op te tree nie.
Gewoonweg word aanvaar dat vakkundige opleiding as sodanig en vakkundige status ’n persoon in staat stel om ’n stuk navorsing of ’n navorsingsvoorstel te beoordeel. Maar stel vakkennis en -vaardighede wat tydens gewone opleiding verwerf is, ’n persoon outomaties in staat om vakverwante werk te beoordeel? Wat behels dit om vakkundige werk te beoordeel, om die kwaliteit daarvan te bepaal? Kan kwalitatiewe beoordeling tot die besit van vakkennis gereduseer word? Om ’n goeie rugbykeurder of skeidsregter te wees, vereis meer as ’n kennis van die reëls van die spel, selfs ook meer as om die spel self goed te kon speel. Desgelyks is vakkennis nodig, maar onvoldoende om nuwe ontdekkinge, vernuwende pogings, nuwe kennis, tegnieke en metodes korrek te beoordeel.
Wanneer vakopleiding gedoen word, gaan dit om die vakinhoudelike; die toe-eiening van die bestaande kennis en vaardighede oor ’n betreklik breë spektrum van wat as fisika, biologie, geskiedenis of wat ook al beskou word. Saam met hierdie vakinhoudelike word heelwat ander inhoude betrek. Die opleiding geskied deur middel van ’n taal, en die formulering van vakkundige gedagtes is baie belangrik vir beide dosent en student, maar die taal kry nie as sodanig aandag nie; vakterminologie word gedefinieer en dan gebruik en verder word die taal gewoonweg gebruik. ’n Heel pragmatiese houding word hieroor ingeneem. So vereis die aanbieding van die stof dikwels argumentasie of die argumentatiewe vorm; gevolgtrekkings word gemaak, sekere dinge word bevind of gereproduseer en daaruit word afleidings gemaak. Weer eens word argumentasie veronderstel; word aangeneem dat studente kan redeneer, maar daar word nie hierop ingegaan soos die logikus sou doen nie. Selfs metodes ressorteer hieronder. Vakonderrig is nie moontlik sonder dat metodes gebruik en sekeres bespreek word nie, maar die benadering is weer pragmaties en nie toegespits op die metodes as sodanig nie.
So is daar nog talle ander aspekte wat op die periferie van vakopleiding lê. Daarsonder is vakopleiding nie moontlik nie, maar hierdie dinge word veronderstel en maak nie deel van vakkundige opleiding uit nie. Polanyi (in Smith 2003) se idee van "tacit knowledge" vat saam wat hier aan die gang is.
Kyk ons egter na navorsing, en veral die beoordeling van navorsingsprodukte, verander die prentjie. Wat nie aandag gekry het in opleiding nie, raak nou belangrik. Probleemformulering, dataversameling en -ordening, argumentering en afleiding, taal en aanbiedingswyse, om ’n paar fasette te noem, verkry as sodanig belang. Navorsing of ’n beursaansoek kan misluk as die probleemformulering nie na wense is nie. Afleidings moet geldig wees, aan die eise van logiese argumentasie beantwoord, en so meer. In navorsingspublikasies geld dieselfde. Die perifere faktore kom nou saam met vakkundigheid onder die vergrootglas. Dit beteken dat die aanname dat vakkundigheid genoeg is om ook hierdie ander kennisinhoude te hanteer, dat vakkundigheid as sodanig genoeg is om as beoordelaar van vakkundige produkte op te tree, nie kan steek hou nie. Meer is nodig.
Beoordelaars is betrokke by dissiplines en wat ’n dissipline behels, het te make met metodologiese kwessies en dispute; met ander woorde, daar is ten minste refleksie oor vakinhoude nodig. Hierdie reflektiewe of hoërordedenke vereis verdere vorming bo en behalwe vakkundige vorming. Dan is andersoortige kennis en ook ander gesindhede en ’n ander benadering nodig.
Die geloof dat genoegsame kundigheid en bedrewenheid vir die hantering van hierdie versweë aspekte algaande met die bemeestering van die vakkennis verkry word, of dan sommer afskuur vir gebruik in situasies soos beoordeling van ander se werk, is nie gegrond nie. Wat gebeur, is dat aannames van dosente en/of ander vakkundiges wie se mening gerespekteer word, dogmaties gekontinueer en dan bloot as verdere "feite" beskou word. Kortom, ’n vakkenner mag die vakinhoudelike bemeester het en daarmee saam heelwat ander inligting geabsorbeer en vermoëns geslyp het, maar dit maak hom of haar nie outomaties ’n bekwame beoordelaar van alles in en rondom daardie vak nie.
Opleiding vind grootliks binne ’n sekere teoretiese raamwerk plaas. Ander moontlikhede met verskillende begrips- en verklaringsraamwerke, ander interpretasies en werkswyses, tesame met die besware teen die gekose raamwerk, kry nie aandag nie. Hierdie aspekte is egter ter sake by beoordeling en die gesprek oor goeie wetenskap. Dat beoordeling nie bloot die toepassing van vakkennis is nie, word duidelik as ons byvoorbeeld in gedagte hou dat beoordeling altyd beoordelingskriteria veronderstel. Hierdie kriteria, wat verander namate die doelstellings en konteks van beoordeling verander, word nie pasklaar met vakopleiding verkry nie. Dit moet algaande geïdentifiseer word – en dit hang saam met die stekelrige begrip van “goeie wetenskap”. Kriteria moet verder geformuleer en regverdig word. Waar verskillende kriteria ’n rol speel, moet hulle geprioritiseer en korrek toegepas word. Dit alles vereis vakkennis, maar ook refleksie oor die vakkennis, die gebruik of toepassing daarvan en die inpassing in wyer en ander kontekste, en nog meer.
Die probleme wat Cicchetti noem, kan met verwysing na die voorgaande verklaar word. Op grond van dieselfde kritiek beveel een keurder publikasie en die ander afwysing aan omdat hulle verskillende gewigte aan hulle kritiek toeken, kriteria verskillend prioritiseer, ensovoorts. Goeie wetenskap is egter hier in die gedrang, want die besondere kriterium wat aangelê is, mag oor iets essensieels gaan terwyl een keurder dit as toevallig sien. Hierdie dien as bevestiging van die kritiek dat beoordeling nie bloot ’n verlengstuk van vakkundigheid kan wees nie.
Beoordeling vereis vakkennis, maar baie meer: ander kennis en vaardighede, ’n ander perspektief of ingesteldheid, en ’n ander houding. Dit is ’n ander vorm van wetenskapsbeoefening as gewone betrokkenheid by gewone wetenskaplike bedrywighede. Die private en geheimsinnige wyse waarop ewekniebeoordeling, veral in die geval van manuskripte vir publikasie, geskied, hou nie rekening met hierdie ander vereistes nie. Die positiewe invloed wat dit op beoordeling sou kon hê as beoordelaarsverslae deel kon wees van openbare debat, en ander uit suksesse en foute van beoordelaars sou kon leer, word negeer, en sowel die opleidingswaarde as die vormende invloed wat dit op wetenskaplike denke kan hê, bly onontgin.
5.4.4 Wetenskaplike konserwatisme
Aansluitend by die voorgaande is Harrison (2004:360) se verwysing na ’n nóg ernstiger tekortkoming belangrik, naamlik die geneigdheid tot intellektuele konserwatisme by keurders. Frey (2003) praat van die vashou aan, of selfs die uitbou van, dominante paradigmas in plaas van om bestaande denkwyses uit te daag. Dit gaan dus om die uitbou van vertroude maniere van dink, binne bekende grense en volgens erkende metodes, soos in die geval van die reeds genoemde verwerping van die STM-artikel. Harrison (2004:360) verwys na R.B. Norgaard, ’n progressief-denkende ekologiese ekonoom, wie se artikels aanhoudend deur leidende ekonomietydskrifte afgekeur is. Aanvaarding elders het getoon dat die keurders, leidende ekonome, nie die uitdaging van hulle paradigma deur sy nuwe insigte kon verwerk nie. Harrison noem ’n hele aantal artikels wat aanvanklik op grond van ewekniebeoordeling afgekeur is, wat die outeurs elders onveranderd of met slegs geringe veranderinge gepubliseer het, en wat rigtinggewend op hulle gebied geword het. Die ekonome Gary Becker en George Akerlof se Nobelprys-artikel is eers so weggewys; Robert May se artikel oor chaos is deur Econometrica afgekeur, maar in effens gewysigde vorm as ’n “Comment” in Nature gepubliseer, waarna dit een van die mees aangehaalde artikels oor chaos geword het. Chemie-professor Kerry Mullis se werk oor die “polimerasiese” kettingreaksie (PCR), waarvoor hy die Nobelprys verwerf het, is deur sowel Nature as Science afgekeur. Kenneth Arrow (aangehaal in Harrison 2004:360), ’n Nobel-pryswenner in ekonomie, oordeel soos volg met verwysing na leidende ekonomietydskrifte – maar dit kan heel moontlik vir die meerderheid tydskrifte geld: "[T]he publication selection procedure [...] has become methodically more conservative, more given to preferring small wrinkles in existing analysis to genuinely new ideas."11 Campanario (2009) het met sy studie van Nobelpryswenner-artikels wat eers afgewys is, hierdie punt nog duideliker gemaak. Nöthling Slabbert (2009:47) verwys na die Bodenverslag in die Verenigde Koninkryk (Peer review: A report to the advisory board for the research councils from the working group on peer review, 1990), wat ook aandui dat ewekniebeoordeling nie daarin slaag om die onortodokse, radikale of grensdeurbrekende navorsing te akkommodeer nie omdat dit neig na konserwatisme en die bestendiging van bestaande idees.
Kortom, ewekniebeoordeling huisves ’n ingeboude konserwatisme wat in die pad staan van ’n belangrike doelstelling van goeie wetenskap, nuwe ontdekkings en insigte.
5.4.5 Inter- of transdissiplinariteit kom in die gedrang
’n Ou debat in die Engelse wêreld, die "forms of knowledge"-debat in die 1970’s, het duidelik onderstreep dat dissiplines nie as logiese entiteite hanteer kan word nie (Hindess 1972). In die woorde van Sinaceur (1977:2)12: "Thus, what limits a particular discipline is not a substantive frontier but an axiom, that is to say a set of terms and a set of finitudes which define not only the initial data but also the modalities of operation." Met ander woorde, dit is ’n keuse, ’n sosiale konstruksie, nie ’n gegewe nie. Keurders moet dus hulle eie dissipline-idees kan opskort wanneer hulle ander se werk beoordeel, wat selde gebeur (vgl. McIntosh 1979:80). Redakteurs en befondsingsliggame stuur manuskripte na keurders sonder inagneming van hoe hulle vakgrense trek en hoe ernstig hulle daaroor is – dit gaan slegs om spesialiteit. Daar word aangeneem almal werk met min of meer dieselfde siening van die onderhawige dissipline, maar om met vakkonserwatisme alleen, in plaas van die meriete van die teks, te werk, kan die rede vir die afkeuring daarvan wees. Dit gaan dus hier oor die keurder se siening (uitgestippel of latent) van die plek en rol van dissiplinêre grense in goeie wetenskap of goeie wetenskapsbeoefening. Dit wys onmiddellik hoe uitgelewer interdissiplinêre werk in die keuringsproses is. So ’n artikel kan vasval in beide vakkonserwatisme en ’n onvermoë om oor sowel beide vorme van inligting as die integrasie daarvan te oordeel. Met interdissiplinariteit wat ’n belangrike faset van wetenskapsbeoefening is (trouens dit was van die begin af ’n deel van wetenskaplike ontwikkeling – Galileo se revolusie was interdissiplinêr: wiskunde en fisika), en veral by die uitbreiding van wetenskappe, is dit ’n ernstige probleem. Nöthling Slabbert (2009:43) maak die volgende uitspraak na aanleiding van wat sy ten opsigte van verskeie Europese navorsingsinrigtings en universiteite opgemerk het:
Traditional research which is grounded on a disciplinary structure, based on the established research conventions ruled by scientific academic communities, is in the process of gradually being dominated by a different, transdisciplinary research mode which is carried out in the context of knowledge application, the latter set to become the leading research model.
Hiermee bevestig sy wat Sinaceur reeds in 1977 gesê het by besinning oor interdissiplinariteit na voltooiing van ’n oorsig oor Main trends of research in the social and human sciences: "Is it not then paradoxical that this century of limitations of knowledge and theories of limits is witnessing the development of sciences beyond the frontiers of each particular branch of science, of interdisciplinary sciences?"(Sinaceur 1977:2). Sinaceur (1977:3) beklemtoon dat ingeligte besluite (dus toepassings) die kern van interdissiplinêre navorsing uitmaak, ’n stadium wat volgens Gibbons e.a. (1994) reeds deur veral die natuur- en die sogenaamde toegepaste wetenskappe betree is. Transdissiplinariteit is volgens hulle tans die wyse waarop tot nuwe kennis gekom word, en hierdie nuwe konteks wat vir ewekniebeoordeling ontstaan het, gee aanleiding tot ’n paar ernstige vrae, soos Pouris (Nöthling Slabbert 2009:46) bewys met sy betoog dat ewekniebeoordeling oneffektief blyk te wees by die beoordeling van interdissiplinêre navorsing. Dit as sodanig is kommerwekkend. Maar, verder, hoe moet redakteurs ’n deskundige, ’n spesialis, nou konsipieer? Dit is duidelik dat gewone vakkenners tematiese, metodologiese, selfs logiese probleme met interdissiplinêre werk sal ondervind. Wie is die eweknieë wat dit moet beoordeel? Hoort sodanige inter- of transdissiplinêre navorsing (as dit keuring oorleef) in ’n dissiplinegerigte tydskrif? Foucault se werk toon die dilemmas hier. Sy benadering is breedweg histories, maar sy belangstelling is nie dié van ’n historikus nie; hy wil die ontwikkeling van ’n ideëweb wat ’n sosiale praktyk onderlê, blootlê; dus filosofies, maar ook nie, en sosiologies, maar ook nie heeltemal nie – hy poog om die dimensie van sosiale beheer, mag, saam met kennis, bloot te lê. Sy benadering is nie die gewone epistemologiese belangstelling en werkwyse nie. Lloyd (1986:24) voer aan:
[O]ne of the most distinguished and sophisticated practitioners of the history of ideas and institutions [turned] his attention to [...] a(nother) fundamental issue in the development of modern European sensibility. [...] [T]he investigation involved not just the analysis of the changes and interplay of concepts, but more the analysis of the institutions which gave these concepts concrete expression. [...] While the starting point [...] may look easily recognizable as a possible topic for conventional historical study, whether in the history of institutions or in that of ideas, in each case Foucault transformed the problem, notably by insisting on the complex interrelations of the manifestations of power, on the one hand, and knowledge, on the other.
Foucault laat blyk dat interdissiplinariteit meer behels as twee soorte feite wat ingebind word. Die nuwe kyk na en begryp van sake vereis nuwe metodes wat algaande verander en verfyn word. Wanneer hy (of ander beoefenaars van interdissiplinariteit) gereed is om navorsing te publiseer, is daar niemand anders wat met gesag daaroor kan oordeel nie. Waar interdissiplinariteit steeds belangriker in hedendaagse navorsing raak, kom ewekniebeoordeling onder kwaai druk. Bevoegde kenners wat ’n gebalanseerde, kundige opinie kan uitspreek, is dun gesaai. Baie filosowe was negatief oor Foucault en nie bereid om sy bydrae as filosofies te erken nie. Maar vandag is daar min wat nie dankbaar is vir sy bydrae nie. Dit is die geval met die meeste interdissiplinêre projekte. Inter- en transdissiplinariteit kan nie opgeoffer word omdat dit nie ’n goeie bedmaat uitmaak vir ’n oorgelewerde stelsel van keuring van navorsing nie.
5.4.6 Die metingsmodel is onvanpas
Die kritiek van alle kante op die ewekniebeoordelingstelsel bring ons niks verder nie, omdat die bedenkinge nie by die kernvraag uitkom van waarom die stelsel soos tans gebruik, blykbaar nie kán slaag nie. Sowel keurders as gebruikers van hulle verslae het verwagtings van die stelsel wat nie daarby pas nie; kwaliteitsbepaling word oor die boeg gegooi van die chemiese weegskaal – die uitkoms ’n presiese meting van inherente kwaliteit. Die breër raamwerk is die Cartesiaanse soeke na sekerheid met die idee van ’n standaardmeetinstrument en presiese lesings, want kritici kla oor ’n gebrek aan stellige uitsprake, vaste fondamente, en selfs die stempel van outoriteit. Máár, wat ons ook al van kwaliteit kan sê of nie sê nie, dit kan nie presies gemeet word nie; trouens hierdie soort meting daarvan is buite orde. Ons kan ’n klip meet en weeg, maar ons nie oor die kwaliteit daarvan uitspreek nie, want raak dit sy kwaliteit as bouklip, of as ghoen vir giffie, of om ’n ligte voorwerp onder water te hou, of as ’n snyklip? En hierdie voorbeelde put nie die moontlikhede uit nie. Om die kwaliteit van ’n stuk navorsingswerk te bepaal is baie kompleks; dit vereis kennisname van ’n breë, vervlegde, ingewikkelde konteks wat uiteenlopende aspekte insluit: dissipline, metodologiese, navorsings-, sosiale en allerlei waarde-oorwegings, om maar enkeles te noem. As dit ook nog gaan om ’n nuwe ontdekking, kom die ingewikkelde netwerk oorwegings wat met besinning oor en integrasie van die nuwe te make het, ook in die prentjie.
Wat hier betoog word, het ook betrekking op ’n ander soort kwaliteitsbepaling as die een wat gegrond is op die meetmodel. Die bibliometriese meetmodel, veral met betrekking tot aanhalingsontledings wat dan gesien word as kwaliteitsbepaling van die aangehaalde bronne, en wat in sekere kringe so hoog geag word, is aan dieselfde besware as wat hier uitgestippel is, onderhewig.
Lamont (2009, flapteks) kom tot die gevolgtrekking dat "judging isn't robotically rational"; dit is ook emosioneel en sosiaal; "[M]ost academics' self-respect is rooted in their ability to analyze complexity and recognize quality", maar dan bly dit ’n debatteerbare besluit en die waarde van bespreking, debat, die stel en oorweeg van argumente en teenargumente is onmisbaar om tot konsensus, wat ook maar voorlopig is, te kom.
6. ’n Ekologie van ewekniebeoordeling
6.1 Die aard van die bronne
Hierdie betoog is ’n literatuurstudie en daarom is dit nodig om die bronne toe te lig. Toe Rennie, ’n adjunkredakteur van die Journal of the American Medical Association, in 1986 kritiese vrae oor ewekniebeoordeling begin vra het, was baie min navorsing daaroor gedoen (Berger 2006). Volgens Berger (2006) is daar tot die 1980's slegs een of twee artikels per jaar oor die onderwerp gepubliseer, wat nou tot oor die 200 artikels per jaar gegroei het. Tydskrifartikels uit alle vakgebiede maak ’n groot deel hiervan uit en toon dat die probleme orals min of meer dieselfde is.
Die internet het as ’n belangrike, groeiende bron van relevante en bruikbare stof ontpop met nuttige inligting in talle resente bydraes. Engber (2005:4) stel as ’n verandering cum verbetering aan die beoordelingstelsel voor dat van "preprints" op die web gebruik gemaak moet word "[to] let the community as a whole decide which papers are the most useful". Die styl van internetartikels wissel. Daar is reproduksies van publikasies, manuskripte vir publikasie en in daardie styl geskryf, en ’n derde groep wat losser en meer informeel is – ’n vinnige manier om ’n mening uit te spreek. Bydraes is gewoonlik goed beplan, goed beredeneer en bruikbaar.
Daar is ’n dik stroom boeke oor ewekniebeoordeling. Deur na drie te verwys, kan ’n mens ’n prentjie gee van wat hier aan die gang is. Die tweede uitgawe van Peer review in health sciences (2003) met Godlee en Jefferson as redakteurs, is ’n uitstekende oorsigtelike bron. Die inleiding en 24 artikels gee ’n indruk van die geskiedenis van die stelsel, die probleme met, die voordele van en bekendste besware teen die stelsel, ’n samevatting van die stand van sake op die terrein van besinning en navorsing daaroor, en ’n toekomsblik. Dit is seker ook die beste bron met verwysing na ander bronne, want elke bydrae bevat ’n uitgebreide bibliografie.
’n Onlangse toevoeging, Lamont (2009), is in die woorde van resensent Scott Jaschik (2009:1) ’n poging om akademiese uitnemendheid te verstaan deur die stelsel waardeur uitnemendheid beloon word, te bekyk. Sy het ’n aantal sittings van interdissiplinêre ewekniebeoordelingspanele bygewoon en die besluite nagegaan en ontleed. Sy het vrye toegang tot alle inligtingsbronne gehad. Haar verslag raak die kern van alle vorme van ewekniebeoordeling, want dit gaan daarom om die gespook om akademiese kwaliteit of uitnemendheid te peil. Die klem op die belang van bespreking en haar weergawes van die verloop van die besprekings om konsensus te bereik is openbarend. Haar gevolgtrekking is dat daar nie iets soos kwaliteit te vinde is nie; dit word toegeken op grond van die voorhande positiewe eienskappe.
Steven Lock, ’n redakteur van ’n mediese tydskrif, se A difficult balance: Editorial peer review in medicine het al in 1985 verskyn. Rennie (2003:4) noem die verskyning daarvan ’n groot gebeurtenis wat die periode van rasionele ondersoek van ewekniebeoordeling help inlei het – "[a] ground breaking book on peer review". Daarin vra Lock of ewekniebeoordeling, gegee al die bewese tekortkomings daarvan, werklik die gehalte van gepubliseerde navorsing verbeter.
6.2 Posisies en kwessies in die debat oor die betroubaarheid van die stelsel
Alhoewel ewekniebeoordeling gebruik word asof dit onbetwisbaar in die saal sit, het ons gesien dat ’n groot en groeiende korpus kritiese materiaal bestaan wat uitwys dat dit onder andere vaag omlyn is, onbetroubaar is, nuwe idees demp, opponente die swye oplê, afwykende idees afwys en werklik innoverende werk ontmoedig. Desondanks is daar diegene wat onwrikbaar in die waarde daarvan bly glo. In Suid-Afrikaanse beleidsdokumente waarna reeds verwys is, vind ons niks wat van hierdie deurlopende debat getuig nie; bloot aanvaarding en selfs uitbouing daarvan asof dit ’n natuurlike gegewe is.
Die debat sentreer deels om die tekortkominge van die stelsel. Dit vra na die kritiek, waarom tekortkominge as sodanig ervaar word, hoe om die tekortkominge te verstaan, en of iets daaromtrent gedoen moet of kan word. Die dilemma is die besef van die ontoereikendheid van ewekniebeoordeling teenoor ’n besorgdheid oor gehalte-"kontrole" wat as noodsaaklik veronderstel word. Belangrike insette kom van formele empiriese studies wat tekortkominge duidelik uitwys en situeer en verklarings bied. Nie almal sien hierdie bevindings as verdoemend nie, en selfs teenoorgestelde posisies word hieroor ingeneem – wat ook gebeur met die uitwys en debatteer van verskillende soorte foute en tekortkominge in manuskripte wat keurders deurgelaat het. ’n Vraag is hoe ver die verantwoordelikheid van keurders strek en hoe hierdie "glipse" die aanvaarbaarheid van ewekniebeoordeling raak. Afwysings kry dus baie aandag, veral van innoverende werk wat in die slag bly tot die publikasieproses (meerdere indienings en herindiening elders). Die opsies vir outeurs wie se werk afgekeur is, word ook oorweeg – hantering van klagtes, die moontlikhede van appèlle en die aanstelling van ’n ombudsman.
Morele kwessie is nie uitgesluit nie. Enersyds geld as probleme gebrekkige moraliteit en werksetiek van keurders, soos voortrekkery, diskriminasie en onregverdigheid. Andersyds is daar die dilemma om ewekniebeoordeling te behou sonder om intellektuele regte in gevaar te stel. Vertroulikheid en blinde beoordeling is onder die loep. Mediese tydskrifte het hier ’n besondere probleem, maar die probleem strek wyer, omdat ontdekkings en immateriële-goedere-reg oral kan figureer. Nie alleen is dit problematies om stof waarin ontdekkings en soortgelyke prestasies openbaar word, voor publikasie aan vreemdelinge voor te lê nie, maar buite-instansies kan om verskillende redes, byvoorbeeld in die geval van hofsake, toegang tot keurdersverslae eis. Die vraag is of dit beskikbaar gestel mag word al dan nie. Die tema is hier nie van direkte belang nie, behalwe dat dit dui op die wye erkenning van ewekniebeoordeling, en op die vertrouensposisie van keurders. Hierdie aspek sal ook in gedagte gehou moet word by die hersiening of vervanging van ewekniebeoordeling.
’n Ander deel van die debat is meer prinsipieel gerig en handel oor goeie wetenskap en die rol wat ewekniebeoordeling daarin speel. ’n Kenmerk van die bespreking is die beperkte agtergrond waarteen dit gevoer word. Die fokus bly op evaluering as sodanig. Die aannames waarop die stelsel berus en die volle konteks van goeie wetenskap waarbinne dit funksioneer, en wat dus opvattings oor wêreld en wetenskap insluit, word nie betrek nie.
Dit is opmerklik dat, op enkele uitsonderings na, die afskaffing of selfs drastiese wysiging van die keuringstelsel nie bepleit word nie, ten spyte van die erkenning van tekortkominge. Die groot bepaler hier is die wetenskapsbeeld, en as ’n onderdeel daarvan ’n siening van kwaliteit. Die debat oor verandering al dan nie wentel dan om die kwessie van kwaliteit. "Hervormers" van die stelsel benader gehalte as ’n kenmerk wat nie ’n inherente gegewe is nie, maar ’n konstruksie; ’n publikasie of ’n projekvoorstel is dus op verskillende maniere en om verskillende redes vir verskillende mense van belang. Dus, hoe oper die publikasie- en keuringsbeleid, hoe beter word goeie wetenskap gedien. Die vrye vloei van inligting is hier belangrik en word uitstekend deur die nuwe tegnologie gedien.
Die “behoudendes” redeneer dat wetenskaplike bydraes inherent kwalitatief verskil en dat net die beste gepubliseer en beloon behoort te word. Kwaliteitskontrole is dus nodig, wat een of meer kontrolestelsels vereis. Ewekniebeoordeling is, ten spyte van tekortkominge, die bevredigendste beskikbare ontwerp. Die behoudendheid vertoon twee gedaantes: enersyds, ’n pragmatiese benadering – ten spyte van besware word aangeneem dat keuring doen wat dit veronderstel is om te doen, en die beste beskikbare stelsel is; dit gee die beste uitdrukking aan die kollektiewe wetenskaplike geheue.
Andersyds verdedig heelwat voorstanders die stelsel vanuit een of ander beginsel of kernwaarde waartoe ewekniebeoordeling ’n besondere bydrae lewer wat besware daarteen oorskadu: kwaliteit; die soeke na waarheid; die uitfiltreer van die beste; hulp aan outeurs; die plurale gesprek; debatvoering. Om te verseker dat die erkende toetsprosedures gevolg word, vereis volgens die voorstanders van hierdie posisie die oordeel van ’n vakkenner, en dit maak die stelsel die enigste moontlike hekwagter om gehaltenavorsing en wetenskaplike uitsette te verseker. ’n Mens sou kon vra of so ’n stelsel nie insette uit ’n wyer omgewing as net van vakkenners benodig nie. In plaas van ’n verandering of vervanging van die stelsel vra behoudendes "verbetering", dus opleiding, van keurders.
’n Kwessie wat nie aandag kry nie, is die sukses wat die stelsel wel behaal. Ongeag die kritiek, verskyn talle goeie, gekeurde artikels voortdurend in talle erkende, ewekniebeoordeelde tydskrifte wat ’n goeie standaard handhaaf. Hoe moet ons hierdie suksesse verklaar? Sommige (vgl. Bailer, Eckberg en Kraemer se kommentaar op Cichetti 1991:136,144,152) argumenteer dat verskille tussen keurders presies is wat verwag moet word, terwyl dit vir ander soos die demokrasie is: vol foute, maar nog die beste wat ons het. Daar is egter geen poging om te probeer verklaar hoe ’n stelsel met soveel gebreke tóg nog so ’n mate van sukses behaal nie. Los opmerkings hieroor, soos dat dit ’n vorm van deskundige opinie is, is volop, maar daar is geen sistematiese poging tot verklaring nie. Waar wel in dié rigting beweeg word, word die verklaring juis in die wyer konteks gesoek, soos ons voorstel. Smith (2003:329) merk op dat dit moeilik sal wees om ’n alternatiewe stelsel te bedink wat glad nie ’n element van ewekniebeoordeling bevat nie. Odlyzko (2003:309) wys daarop dat ewekniebeoordeling eintlik net die eerste fase van ’n voortdurende proses van kundige gedagtewisseling en waardebepaling is.
6.3 Ewekniebeoordeling en goeie wetenskap
Ewekniebeoordeling het as doel goeie wetenskap. Goeie wetenskap vereis goeie navorsing en die bekendstelling daarvan, maar navorsing kan ook goeie wetenskap op baie wyses pootjie. Dus is bespreking/kritiek/beoordeling/kontrole nodig oor sake soos navorsingsraamwerk, -teorie en -prosedures, die egtheid van die nuwe kennis – inpassing by ’n epistemologiese raamwerk, ’n metodologiese opset, en die praktyk van wetenskapsbeoefening – en uiteindelik die bekendstelling van die navorsing. Navorsers het hul eeue lank verlaat op intelligente gemeenskappe waarvan hulle deel was vir kritiese insette en aanbevelings oor publikasie, byvoorbeeld aan ’n universiteit en/of selfgeselekteer uit vriende en kennisse op die bepaalde gebied. Ná publikasie was dit veral opponente wat die waarde van die bydrae getoets het. Debatvoering was toe lewensbelangrik vir die ernstige denker en wetenskaplike, en in werke van ’n klompie dekades gelede is dikwels antwoorde aan kritici ingesluit.
Die vervanging van hierdie informele stelsel deur die stelsel van ewekniebeoordeling is veral deur die uitbreiding van die tydskrifmark en die toename in bydraes bewerkstellig, en ondersteun deur ’n verandering van wetenskapsbeeld. Objektiwiteit is as opperste wetenskapswaarde geproklameer en beoordeling moes dus ook objektief wees. Vakkundiges, so is geredeneer, sou vanweë hulle vakkennis en erkenning van die wetenskaplike ideale, objektiewe beoordeling die beste kon behartig. Die resultaat sou dan onbetwisbaar wees; die uitkoms van ’n objektiewe weeg- of meetproses. Ons het gesien dat hierdie model nie werk nie. Enersyds hou dit rekening nóg met die menslikheid van die beoordelaars (dit is "fraught with cronyism and even bias" – Trower 1991:15), nóg met die onmoontlikheid van die gestelde objektiwiteitsideaal en die ontoepaslikheid van die weeg- of meetmodel van meriete.
Andersyds staan dit verleë voor die nuwe, en kan dit nie aan ontdekking en vernuwing reg laat geskied nie. Gegee die aanvaarde raamwerk, kan dit eintlik nie slaag as deel van goeie wetenskapsbeoefening nie. Die verontrustende is dat die gebruik van die stelsel, ongeag al die kritiek, verder uitgebrei word: na die beoordeling en gradering van navorsers. Al hierdie beoordelings word verder toenemend operasionele hulpmiddels by aanstellings en bevorderings. Dus moes die kritiek op die stelsel behoorlik uitgestippel en begrond word, maar wat nog?
Allerlei voorstelle ter verbetering van ewekniebeoordeling word gemaak. Meestal wentel hierdie voorstelle om die opleiding van beoordelaars. Met die stelsel as sodanig word dus nie fout gevind nie; net met die behoorlike uitvoering daarvan.
In die voorgaande is aangedui dat lapwerk aan die bedryf van die stelsel nie sal help nie, omdat die stelsel self mankoliekig is; gegrond is op ’n ontoepaslike model; en funksioneer op veronderstellinge wat dit ’n instrument maak wat eerder kwaad as goed kan aanrig. Wat dus nodig is, is óf grondige rehabilitasie óf iets anders in die plek daarvan.
Beide opsies vereis egter dat vanuit die breë konteks van goeie wetenskap vertrek word; vanuit wetenskap as ’n menslike aktiwiteit gerig op kennis van, insig in, en sinmaking van mens en wêreld. Dit beteken weer dat die rol van wêreldbeelde, wetenskapsbeelde, kennisbeelde en mensbeelde in goeie wetenskapsbeoefening verreken moet word, dat die plek en rol van die integrasie van gegewens en die aard en rol van oorkoepelende verstaanspogings ’n plek moet kry. Evaluering, die raaksien en uitlig van gehalte, uitnemendheid, moet binne hierdie voller betekenis van wetenskap en wetenskapsbeoefening en die besprekings daaroor geplaas word. Die flapteks van Bohm en Peat (1987) verwoord ’n soortgelyke siening van wetenskap:
Science was born out of the awe men and women have long felt for the universe and their place in it. [...] [T]wo of today's foremost scientific thinkers [Bohm en Peat] contend that science has lost its bearings [...] in favor of a narrow, abstracted, fragmented approach to nature and reality. [...] [They] propose a return to greater creativity and communication in the sciences. They ask for a renewed emphasis on ideas rather than formulae, on the whole rather than fragments, on meaning rather than mere mechanics.
Wetenskap en navorsing vind in ’n sosiale konteks plaas, waarin samelewingsbehoeftes en -belangstellings en owerheidsienings figureer. Ontwikkelingsdoelwitte en beplanning, ’n eie infrastruktuur met magte en seggenskap, ’n gesentraliseerde benadering met ’n gesentraliseerde siening van wat goeie wetenskap en goeie wetenskapsbeoefening behels, kom in die prentjie. Hieraan sal eers aandag gegee moet word. ’n Kommerwekkende aspek hiervan is dat, ondanks die probleme met en die besware teen ewekniebeoordeling, daar op die Suid-Afrikaanse wetenskapstoneel ’n sentrale rol daaraan toegeken word sonder verdere oorweging. Die NNS (2008:18) stel die volgende "investment principles": "The principle of competitive funding will apply to all applicants" en "We will adhere to merit-based rigorous peer review and rating of the research outputs of individuals." In Report on a strategic approach to research publishing in South Africa (2006) onderstreep die Academy of Science of South Africa (ASSAf) by herhaling die belangrikheid wat hulle aan ewekniebeoordeling heg, en verklaar(2006:5): "Assessing research quality in higher education institutions: [...] to create valid criteria for research quality measurement at institutions, in emphasising the centrality of peer-reviewed publication of research results [...]." Kortom, steeds die siening dat ewekniebeoordeling dié waarborg vir goeie wetenskap is.
Met hierdie artikel is die laaste kritiese woord onderweg na goeie wetenskap nog nie gespreek nie. Die dokumente waarna so pas verwys is, en die siening van goeie wetenskap daarin, moet ook indringend bekyk word. Daarna behoort ons, met die insigte uit hierdie kritiese werk verkry, in die rigting van ’n meer aanvaarbare beoordelingstelsel as ’n deel van goeie wetenskap te kan beweeg.
7. Die moontlikheid van ’n nuwe begin?
Dis een ding om ’n stelsel aan te val, maar ’n ander om iets anders in die plek daarvan te stel. Kritiseer is nie gelyk aan vervang nie – dit kan bloot bewusmaking van tekortkominge wees om die optrede wat gekritiseer word, op te skerp. Terselfdertyd voel ons, in die lig van die gebreke van die ewekniebeoordelingstelsel soos in hierdie artikel bespreek word, dat daar ernstig aan ’n alternatief gedink moet word en nie bloot op kosmetiese veranderinge gekonsentreer moet word nie, veral ter wille van goeie wetenskap. Uiteraard is die prosesse betrokke by wetenskapwerk oneindig kompleks. Daar bestaan ’n verskeidenheid subsisteme wat mekaar beïnvloed. Bowendien is daar nog die feit dat enige stelsel wat van die mens afhanklik is, moeilik kontroleer- en voorspelbaar is, ondanks die gretigheid van instellinge en administrateurs om te kontroleer en te voorspel.
Ons alternatief vir die ewekniebeoordelingstelsel wat hier bespreek word, en wat ons onvergenoegd laat, en waaraan (soos reeds gemeld) in ’n volgende artikel breedvoerig aandag gegee gaan word, moet met verskeie fasette en aspekte rekening hou wat hier uiteraard net aangestip gaan word sonder die nodige motivering, beredenering en bespreking – dít volg later. Ons is van voorneme om hierdie alternatiewe gedagtes op ’n diepgaande wyse in die laaste artikel van die reeks te ontwikkel en voorstelle oor die verwesenliking daarvan te maak. Die tweede artikel, waarin onder andere aandag gegee gaan word aan sekere dimensies van beoordeling (diskursiewe, spirituele, sosiale en ander dimensies) wat normaalweg nie by beoordeling ter sprake gebring word nie, maar vir goeie wetenskap van wesenlike belang is, sal ook verdere riglyne in hierdie verband aandui wat eweneens in die laaste artikel uitgewerk gaan word. Boonop gaan dit nie vir ons in die eerste plek bloot om die vervanging of hersiening van die ewekniebeoordelingstelsel nie, maar ten diepste om die bevordering van goeie wetenskap deur middel van ’n kollektiewe proses van bemiddeling, kommunikasie, evaluasie en beoordeling. In die lig van hierdie opmerkings beplan ons om die gedagtes wat met die volgende sake te doen het, later breedvoerig te ontwikkel:
Daar moet eerstens beklemtoon word dat die stelsel waarbinne ewekniebeoordeling ’n ratjie is, so enorm groot is, met soveel onderdele en vertakkinge, dat ons moet aanvaar dat ’n eenstopverandering dwarsdeur die globale stelsel onmoontlik is. Dit is ’n kwessie van bewusmaking en die herbou van talle lendelam skepe op die ope oseaan, terwyl met gewone bedrywighede ook voortgegaan word. In ons land hang publikasie saam met vergoeding, en hierdie vergoeding berus merendeels op fondse wat die staat daarvoor beskikbaar stel. Staatsfondse is in die hande van die regering wat begrotingsbeleid sal moet verander om die subsidiëring van publikasies te verander. Dit as sodanig sal baie verg, want dit beteken die Departement van Hoër Onderwys moet ’n totale beleidsverandering aanvaar, wat ook ’n prosedure- en stelselverandering gaan behels. Universiteite sal hulle denke en stelsels moet verander. Boonop sal die koppe van dosente weer gedraai moet word. Dit alles kom daarop neer dat verandering en aanpassing slegs as ’n langtermyn-groei in iets nuuts in kan wees. Onmiddellike dramatiese verandering word nie beoog of voorsien nie. Bewusmaking, die opbou van ’n gesindheid, en die belangrike uitdaging om nuut oor beoordeling in wetenskaplike konteks te dink, is dit waarop gehoop kan word.
Tweedens, soos wetenskaplikes in gedagte moet hou dat die stelsel en terrein uitgebreid is en verskillende benaderings omsluit, werk ewekniebeoordeling ook nie dieselfde in alle kontekste nie. Die beoordeling van ’n omgewingsimpakstudie vir ’n sekere gebou verskil van die beoordeling van ’n nuwe middel teen hipertensie, en dit verskil weer van die beoordeling van ’n filosofie-artikel oor die etiese implikasies van die verhandeling van oorplantingsorgane. Ook binne dissiplines, en selfs ten opsigte van besondere probleme, kan die beoordelingswyses verskil. Om oor die registreerbaarheid van ’n hipertensiemiddel te besluit teenoor ’n middel vir Parkinson se siekte is twee verskillende dinge. Om ’n logika-bewys te beoordeel is iets anders as om ’n etiese betoog te beoordeel, en dit weer iets anders as om ’n eksperiment wat tot ’n konklusie kom, te beoordeel. Vir die eersgenoemdes mag die tradisionele stelsel genoegsaam wees, want die invloed van belemmerende faktore is min – persoonlike voorkeure en teoretiese stellinginnames is byna irrelevant. ’n Etiese betoog is ’n totaal ander kwessie. Hier sal meerdere sienings en selfs debat nodig wees. Parkinson se siekte kom weer in soveel grade en vorme voor en die verloop verskil met die ouderdom van pasiënte, ensovoorts, dat dit ’n kwessie is met verskillende aspekte, fasette en faktore wat ’n invloed op beoordelaars het en dus verreken moet word. Een formule regdeur kan nie geld nie. Redakteurs moet dus voorberei word om gedifferensieerd te dink oor beoordeling. Een proses vir almal kan nie deug nie, en navorsers sal ook gewoond moet raak daaraan om gedifferensieerde behandeling te verwag en te aanvaar.
In die derde plek moet daar op een of ander manier aan die verandering of verskuiwing van die geskrewe na besproke stof gewerk word. Beoordeling behoort, in kontekste waar dit moontlik is, deur bespreking tot ’n aanbeveling te kom. In die bespreking kan kwessies van kriteria en die toepassing daarvan aandag kry en kan verskille oor gehalte, ensovoorts, geplaas en verreken word. Dit is nie moontlik vir redakteurs om altyd genoeg moontlik beoordelaars bymekaar te kry om besprekingsessies oor artikels te reël nie. Maar daar is maniere om baie van die probleme te oorkom, en dit behoort so ver moontlik tog toegepas te kan word. Tegnologie maak rekenaar- of telefoonkonferensies moontlik en hiervan behoort meer gebruik gemaak te word. Dit beteken blinde beoordeling kom in die gedrang, maar dis in elk geval ’n baie skamele beskerming (sonder om te duidelik te wees waarteen dit moet beskerm) en kan maar uitgeskakel word. Boonop moet dit in dié soort besprekings gaan om gesamentlike besluitneming. Die manuskripte word dan vooruit aan die beoordelaars gestuur om deur te werk om dan op ’n vasgestelde tyd saam met die redakteur en die ander beoordelaars te bespreek en te beoordeel. Verkieslik moet die outeur ook hieraan kan deelneem – om te leer, verduidelikings te gee en so meer. Eweneens kan beoordelaars ook leer en gevra word om verduidelikings te gee van standpunte oor of kommentaar op ’n geskrif. Waar dié soort konferensies onmoontlik is, kan dit ook skriftelik nageboots word deur te korrespondeer.
In die lig van die genoemde sake kies ons in die vierde plek as vertrekpunt vir ons besinning oor die evaluasie en beoordeling vir goeie wetenskap die idee van kollektiewe intelligensie as die raamwerk waarbinne dit moet gebeur en waarin ag geslaan kan word op die insigte en kennis van elkeen wat moontlik by die proses van beoordeling betrokke mag wees. Ons glo dat elkeen ’n bydrae te lewer het wat beperkinge plaas op die eksklusiewe rol van sogenaamde kundiges. Soveel moontlik insigte moet benut word in die opbou en ontwikkeling van wetenskaplike werk. Vanselfsprekend sal die plek van kommunikasie en gesprekvoering in hierdie proses hoog op die agenda wees ten einde goeie wetenskap te verseker. Kommunikasie beteken deurbreking van die kokonmodel – keurders moet onderling kommunikeer en outeurs moet ook in die prentjie ingebring word. Redakteurs, keurders en outeurs se onderlinge kommunikasie kan besondere voordele inhou. Tegniese hulpmiddels kan ingespan word. Elke bydrae is per slot van rekening ’n kommunikasie of mededeling van gedagtes vir soveel moontlik lesers om dit te ontvang, te oorweeg en daaroor te besin. Om aan wetenskaplike gesprekke oor bydraes deel te neem herberg in sigself onmiskenbare waarde – wetenskap leef nie net in boeke en tydskrifte nie.
Ons bepleit dus ’n oop en deursigtige benadering tot evaluasie, waar eerder meer as minder mense betrokke gemaak behoort te word en wat veral alle betrokke partye meer direk en deelnemend sal betrek. ’n Soort spanbenadering, wat behoorlik gekwalifiseer moet word, eerder as drie of vier individue wat dikwels beterweterig mekaar se lot bepaal, sou nader aan die ideaal wees. Wat eweneens bepleit gaan word as ’n belangrike voorwaarde vir sinvolle deelname aan kommunikasie en gesprekvoering, binne die raamwerk van kollektiewe intelligensie, is dat aandag gegee moet word aan die baie fundamentele saak van die leeshandeling, gegee die feit dat evalueerders eintlik lesers van tekste is. Aangesien vertroudheid met die leeshandeling, as meervoudige en komplekse aktiwiteit, geen vanselfsprekendheid is soos baie graag dink nie, behoort ’n vertroudheid daarmee by beoordelaars en evalueerders veronderstel te word vir deelname aan hierdie prosesse.
Verskeie lastige sake – en daar is veel meer as wat hier genoem word – behoort deur hierdie benadering van oop gesprekvoering en kommunikasie op konstruktiewe wyse besweer te word ten einde die beste moontlike wetenskap op ’n deurlopende wyse te help verseker: die halsstarrige voorkeur aan negatiewe evaluasie ten koste van positiewe evaluasie sal verban kan word; die vanselfsprekende eensydigheid en feilbaarheid van individuele evalueerders met eie voorkeure, vooroordele, aannames en ideologieë, wat aktief naas kundigheid en insig werksaam is, sal aansienlik beperk kan word; die invloed van paradigmafanatismes, wat ’n groot knelpunt is, sal op ’n veel beter en vrugbaarder wyse deur bemiddeling en oorlegpleging benut word en op gesonde wyse vir die wetenskap gekanaliseer word; dogmatiese verkleefdheid aan eie oortuigings deur alle partye, wat in alle gevalle die denke verstar en die pad na goeie wetenskap sluit, kan uitgeroei word; die onversetlikheid van sowel evalueerders as outeurs oor persoonlike standpunte en dikwels oor geringe sake, kan op die heel beste wyse binne die konteks van meerdere stemme vermy word; die probleem van die bepaling van wie ’n goeie beoordelaar vir ’n bepaalde artikel of geskrif sal wees, kan, indien dit op ’n kollektiewe wyse hanteer word, redakteurs en redaksionele komitees se las aansienlik verlig en lukraak benaderings in hierdie verband, wat telkens uiters teenproduktief blyk te wees, elimineer.
Abate, T. 2004. What's the verdict on peer review? http://www.columbia.edu/cu/21stC/issue-1.1/peer.htm. (30 Oktober 2009 geraadpleeg)
Althusser, L. 1990. Philosophy and the spontaneous philosophy of the scientists. Philosophy and the Spontaneous Philosophy of the Scientist & Other Essays,1990:69-165. Londen: Verso.
Armstrong, J.S. en R. Hubbard. 1991. Open peer comment: Does the need for agreement among reviewers inhibit the publication of controversial findings? In Cicchetti 1991.
Baker, D-P, S. Beck, en D. Spurrett. 2005. Editorial. South African Journal of Philosophy, 24(2):61–3.
Berger, E. 2006. Peer review: A castle built on sand or the bedrock of scientific publishing? Annals of Emergency Medicine, 47(2):157–9.
Birch, W. 1990. Cloistered against the real world. The Times Higher Educational Supplement, 2 February 1990.
Bohm, D. en F.D. Peat. 1987. Science, order and creativity. New York, Toronto, Londen, Sydney, Auckland: Bantam Books.
Campanario, J.M. 1998. Peer review for journals as it stands today, Pt 2. Science Communication, 19(4):277-306. http://www2.uah.es/jmc/ai1.pdf. (18 Junie geraadpleeg)
—. 2009. Rejecting and resisting Nobel class discoveries: Accounts by Nobel Laureates. Scientometrics, 81(2):549–65.
—. s.d. A new approach to make scientific journals actively compete for good manuscripts. Metajournal. http://www2.uah.es/jmc/metajournal.htm. (30 Oktober 2009 geraadpleeg)
Cicchetti, D.V. 1991. The reliability of peer review for manuscript and grant submissions: A cross-disciplinary investigation. Behavioral and Brain Sciences, 14(1):119-86.
Claassen, G. 2009a. Knor sonder byt. By, bylaag tot Beeld, 6 Junie 2009.
—. 2009b. Waarhede wat lig werp. By, bylaag tot Beeld, 5 Desember 2009.
—. 2010. Kwakkery in die hart van die beroep. By, bylaag tot Beeld, 6 Februarie 2010.
Cole, S. 1991. Open peer comment: Consensus and the reliability of peer review evaluations. In Cicchetti 1991:140–41.
Curfman, G.D., S. Morrissey, G.J. Annas en J.M. Drazen. 2008. Peer review in the balance. The New England Journal of Medicine, 358(21):2276–77. http://www.nejm.org. (30 Oktober 2009 geraadpleeg)
Engber, D. 2005. Quality control. The case against peer review. http://www.slate.com/toolbar.aspx?action=print&id=2116244. (30 Oktober 2009 geraadpleeg)
Fraser, S. 2007. Winston Churchill and peer review. Clinical Ophthalmology, 1(2):91–2.
Frey, B.S. 2003. Publishing as prostitution? Choosing between one's own ideas and academic success. Public Choice, 116(1):205–23.
Gibbons, M., C. Limoges, H. Nowotny, S. Schwartzman, P. Scott, P. en M. Trow. 1994. The new production of knowledge. The dynamics of science and research in contemporary societies. Londen, Thousand Oaks, Nieu-Delhi: Sage.
Godlee, F. en T. Jefferson. (reds.) 2003. Peer review in health sciences, 2de uitg. Londen: BMJ Publishing Group.
Harrison, C. 2004. Peer review, politics and pluralism. Environmental Science and Policy, 7:357–68.
Heidegger, M. 1983. De tijd van het wereldbeeld. Tildt: Lannoo.
Hindess, E. 1972. Forms of knowledge. Proceedings of the Philosophy of Education Society of Great Britain, 6(2):164–75.
Jaschik, S. 2009. The "black box" of peer review. Inside Higher Education. March 4, 2009. http://www.insidehighered.com/layout/set/print/news/2009/03/04
/peerreview. (30 Oktober 2009 geraadpleeg)
Katz, D.S. 2002. Who reviews the peer review? Mackinac Center for Public Policy.
http://www.mackinac.org/print.aspx?ID=4568. (30 Oktober 2009 geraadpleeg)
Lamont, M. 2009. How professors think: Inside the curious world of academic judgment. Harvard: Harvard University Press.
Lloyd, G.E.R. 1986. The mind on sex. Review of "The use of pleasure", Vol. 2 of The history of sexuality by Michel Foucault. New York Review of Books,13Maart 1986. http://www.nybooks.com/articles/archives/1986/mar/13/the-mind-on-sex/. (18 Junie 2010 geraadpleeg)
Lock, S. 1985. A difficult balance: Editorial peer review in medicine. Londen: Nuffield Provincial Hospitals Trust.
Macey, D. 1993. The lives of Michel Foucault. Londen: Hutchinson.
McIntosh, N.E. 1979. Barriers to implementing research in higher education. Studies in Higher Education,4(1):77-86.
Nisbet, M. 2003. The sceptical environmentalist : A case study in the manufacture of news. http://www.csicop.org./specialarticles/archive/category/science
/skeptical‗environmentalist‗a‗case‗study‗in‗the‗manufacture‗of‗news. (30 Oktober 2009 en 9 Junie 2010 geraadpleeg)
NNS. 2008. NRF Vision 2015. Strategic plan of the National Research Foundation. NNS: Pretoria.
Nöthling Slabbert, M. 2009. Fa(c)ulty towers: An evaluation of legal research in higher education with specific reference to the rating system of the National Research Foundation. Tydskrif vir Hedendaagse Romeins-Hollandse Reg, 72(1):42-59.
Odlyzko, A. 2003. Alternatives to peer review 1. In Godlee en Jefferson (reds.) 2003.
Postnote. Parliamentary Office of Science and Technology. http://www.parliament.uk/documents/post/pn182.pdf. (30 Oktober 2009 en 9 Junie 2010 geraadpleeg)
Pouris. 2007. The NRF evaluation and rating system in the world context. Pretoria: NNS.
Rennie, D. 2003. Editorial peer review: Its development and rationale. In Godlee en Jefferson (reds) 2003:1-13.
Sake 24. 2009. Navorsing staan sentraal in SA se hoër onderwys. Beeld, 25 September 2009.
Sinaceur, M.A. 1977. What is interdisciplinarity? International Social Science Journal, XXIX(4):1-6.
Smith, M.K. 2003. Michael Polanyi and tacit knowledge. The Encyclopedia of Informal Education. http://www.infed.org/thinkers/polanyi.htm. (18 Junie 2010 geraadpleeg)
Smith, R. The future of peer review. In Godlee en Jefferson (reds.) 2003.
Sokal, A.D. 1996a. Transgressing the boundaries: Towards a transformative hermeneutics of quantum gravity. Social Text, 46/47:217–52. http://www.physics.nyu.edu/faculty/sokal/transgress_v2/
transgress_v2_singlefile.html. (29 Oktober 2009 geraadpleeg)
—. 1996b. A physicist experiments with cultural studies. Lingua Franca, 1996:62-4. http://www.physics.nyu.edu/faculty/sokal/lingua_franca_v4/
lingua_franca_v4.html. (29 Oktober 2009 geraadpleeg)
—. 1996c. Transgressing the boundaries: An afterword. Dissent, 43(4):93-9. http://www.physics.nyu.edu/faculty/sokal/afterword_v1a/
afterword_v1a_singlefile.html. (29 Oktober 2009 geraadpleeg)
Tyrer, P. 1991. Open peer commentary: Chairman's action: The importance of executive decisions in peer review. Behavioral and Brain Sciences, 14:164-65.
WASA. 2006. Report on a strategic approach to research publishing in South Africa. WASA: Pretoria.
Wikipedia. 2008. Peer review. http://en.wikipedia.org/wiki/Peer_review. (24 Oktober 2009 geraadpleeg)
1 Engber (2005:4) gee ’n mooi voorbeeld van hoe die stelsel "van buite" gebruik word sonder verdere oorweging: "[...] the federal government recently proposed using peer review 'to improve the quality, objectivity, utility, and integrity of information' that it gives to the public for things like FDA drug requirements and HHS dietary guidelines."
2 Hulle verwys na ’n artikel deur A. Fisher, "Seeing atoms", in Popular Science, 1989:102–107, wat die inligting bevat.
3 Harrison se stelling (2004:360 n9): "The shortcomings of peer review were perhaps most spectacularly exposed by physicist Alan Sokal's spoof 'Social Text' which was accepted for publication by a leading cultural studies journal despite being deliberately meaningless" skep die wanindruk dat die publikasie op grond van keuring geskied het.
4 Volgens Campanario het J.S. Armstrong in, "Barriers to scientific contribution:The author's formula" in Behavioral and Brain Sciences, 5,1982:197–199, na hierdie eksperiment verwys.
5 Vergelyk: S. Pressman, Simultaneous multiple journal submissions: The case against. American Journal of Economics and Sociology, 53, 1994:315–334.
6 E.D. Robin en M. Burke, Peer review in medical journals. Chest, 2, 1987:252–255. Verwysing deur Campanario.
7 In Peters & Ceci, "Peer review practices of psychological journals. The fate of published articles submitted again". Behavioral and Brain Sciences, 5,1982:187–195. Harrison (2004:360 n9) rappoteer hierdie "studie" soos volg: "An older and less well publicised study of 12 psychological journals involved selecting twelve articles at random, giving them different authors, titles and minor cosmetic changes and then resubmitting them to the same group of journals. Only three journals spotted the hoax and of the remaining nine articles eight were rejected on the basis of referee reports. This study reported in a 1982 article was described in Karl Svozil 'Censorship and the peer review system' (unpublished paper)". Nöthling Slabbert (2009:48) verwys na hierdie studie om die punt te maak dat "Studies have shown the reliability of the peer review process to be variable."
8 Research on scientific journals: Implications for editors and authors. Journal of Forecasting,1,1982:83–104.
9 Vgl. M.J. Mahoney, Publication prejudices: An experimental study of confirmatory bias in the peer review system. Cognitive therapy research, 1,1977:161–175.
10 Die redakteur van The Lancet by die terugtrekking van die Wakefield-artikel: "Portuurevaluasie is die beste stelsel wat ons het om akkuraatheid en aanvaarbaarheid van werk te kontroleer, ..." (Claassen 2010:14).
11 Die aanhaling kom uit K. Arrow, Foreword. In Shepherd, G.B. (Red.), Rejected: Leading Economists ponder the publication process. Thomas Horton, 1995.
12 Die bladsyverwysings van hierdie bron is na die bladsye van die artikel en nie na die bladsye van die tydskrif nie. Ongelukkig het die kopie wat ons ontvang het, nie bladsynommers bevat nie.