Machteld Strydom - 2011-05-05
'n Bydrae tot die rangordebepaling van akademiese tydskrifte
Machteld Strydom, Departement Besluitkunde, UNISA1
Die bestaande metodes om 'n rangorde vir akademiese tydskrifte te bepaal, lewer resultate wat nie altyd ooreenstem met navorsers se intuïtiewe oordeel nie. In hierdie artikel word 'n algoritme beskryf wat poog om uit verwysingsdata 'n maatstaf van die invloed van 'n tydskrif in die akademiese omgewing te bepaal. Die invloedwaardes van verskillende tydskrifte kan dan gebruik word om akademiese tydskrifte in 'n rangorde te plaas. 'n Variasie van die PageRank-algoritme van Google (wat 'n rangorde vir internetblaaie bereken) het resultate gelewer wat goed vergelyk met spesialisnavorsers se intuïtiewe gevoel oor die relatiewe invloed van tydskrifte in hulle spesialisgebiede. Hierdie algoritme kan dalk die basis van 'n beter ordening van akademiese tydskrifte vorm.
Trefwoorde: rangorde, PageRank-algoritme, akademiese tydskrifte
Keywords: ranking, PageRank-algorithm, academic journals
Daar bestaan 'n groot behoefte aan 'n objektiewe maatstaf om die gehalte van akademiese publikasies te bepaal en te vergelyk (Lim, Wen, Xu en Cheang 2007). 'n Aanlyn-tydskrifranglys-stelsel wat in 2007 bekendgestel is, is byvoorbeeld in die eerste maand van sy bestaan deur 400 000 internetgebruikers besoek.
Dit is regerings en bestuurders van navorsingsinstellings se plig om die gehalte en waarde van navorsing te meet. Belangrike besluite word beïnvloed deur die waarde wat aan navorsingswerk toegeken word, en daarom is die maatstawwe wat gebruik word, van groot belang. Mense en instansies se toekoms en befondsing word direk deur hierdie besluite geraak, en die kompetisie vir beskikbare fondse word al strawwer. Dit is dus in die belang van die navorsingsgemeenskap dat 'n objektiewe wetenskaplike manier gevind word om tydskrifte, artikels en die skrywers daarvan te vergelyk.
As 'n navorser tans in Suid-Afrika vir 'n subsidie wil kwalifiseer, moet sy of haar navorsingsresultate in 'n geakkrediteerde tydskrif gepubliseer word. Die Departement van Hoër Onderwys van Suid-Afrika akkrediteer tydskrifte wat aan sekere voorwaardes voldoen. Tydskrifte wat in die drie sitasie-databasisse – SCI, SSCI en AHCI van The Institute for Scientific Information (ISI Thomson Reuters) – opgeneem is, word byvoorbeeld geakkrediteer (ISI 2007). ISI Thomson Reuters is 'n kommersiële maatskappy wat verwysingsdata gebruik om tydskrifte te vergelyk (ISI 2007). Hulle bereken verskeie indekse om die "impak" van tydskrifte te meet.
Een so 'n indeks is die sogenaamde joernaal-impakfaktor (Garfield 1973). Die joernaal-impakfaktor van 'n tydskrif is 'n gemiddelde waarde wat bepaal word deur die aantal verwysings wat in byvoorbeeld 2010 ontvang is vir artikels wat in 2008 en 2009 gepubliseer is, te deel deur die aantal artikels wat in 2008 en 2009 in die tydskrif gepubliseer is.
Ander indekse is die halflewe-indeks en die onmiddellikheidsindeks.
Een van die faktore wat insluiting in die sitasie-databasisse beïnvloed, is die joernaal-impakfaktor, en dus beïnvloed dit in 'n sekere sin akkreditasie. Dit is onbevredigend dat 'n navorser beoordeel word slegs op grond van die getal verwysings wat sy werk ontvang. 'n Kwantitatiewe maatstaf soos die impakfaktor kan nie alléén gebruik word om die impak of invloed van navorsing te bepaal nie (De Bellis 2009).
Die ontleding van heen-en-weer-verwysings word verwysingsdata-analise genoem. Die toepassing van verwysingsdata-analise vir navorsingsevaluering vereis 'n hoë vlak van begrip. Verwysingsdata is deesdae elektronies en meer geredelik beskikbaar as in die verlede, en kan dus as inset vir 'n algoritme vir rangordebepaling gebruik word. Tegniese kennis en begrip word benodig om die data te verwerk en nie almal wat toegang tot die databasisse het, kan dit korrek interpreteer nie (Moed 2005).
Die gebruik van slegs verwysingsdata moet met omsigtigheid benader word, omdat daar vele ander faktore is wat die belangrikheid of impak van 'n tydskrif bepaal, maar dit gee tog 'n goeie objektiewe eerste benadering tot die invloed van 'n joernaal. Dit kan ook as gereedskap gesien word om die objektiwiteit van eweknie-evaluering te toets (Moed 2005).
Enige kwantitatiewe metode moet in die regte konteks gebruik word (Andrés 2009). Dit is moontlik om bibliometriese gereedskap te gebruik om te verstaan hoe nuwe navorsingsvelde ontwikkel, maar studies van veral ontluikende velde moet ook van nieverwysingsmaatstawwe gebruik maak (Borgman 1990).
In ISI Thomson Reuters se berekenings tel 'n verwysing van 'n artikel in 'n tydskrif met hoë aansien dieselfde as 'n verwysing van 'n artikel in 'n minder bekende tydskrif. In die geoutomatiseerde ontleding van verwysingsdata behoort daar egter onderskeid getref te word tussen verwysings van belangrike en minder belangrike bronne (Kleinberg 1999; Palacios-Huerta en Volij 2004).
Die publikasie van artikels in enige geakkrediteerde tydskrif word vir befondsingsdoeleindes in Suid-Afrika as van dieselfde belang beskou. Weens die feit dat navorsers gemeet word aan die impak wat hulle werk het, wil hulle egter graag in sterk, bekende en sigbare tydskrifte publiseer. Navorsers het verskeie pogings aangewend om hierdie probleem aan te spreek.
In die literatuur is verskillende tegnieke op verskillende navorsingsentiteite, soos tydskrifte, artikels, navorsers, departemente en instellings, toegepas. Die funksionering van die algoritmes word nie deur die aard van die entiteit beïnvloed nie, omdat die invoer in alle gevalle bloot getalle (verwysingsdata) is.
Reeds in 1976 is 'n artikel (Pinski en Narin 1976) gepubliseer waarin die skrywers 'n algoritme voorstel om 'n invloedgewig aan wetenskaplike artikels toe te ken. Die invloedgewig is iteratief bereken totdat dit konvergeer. Hierdie gewig moes 'n maatstaf wees vir die invloed van 'n entiteit op sy navorsingsveld. Onder entiteit kon 'n navorser, artikel, tydskrif of instansie verstaan word. Hierdie navorsing het op fisikatydskrifte gefokus.
Kalaitzidakis, Mamuneas en Stengos (2003) lig die belangrikheid van die rangskikking van ekonomiedepartemente van instellings op grond van navorsingsuitsette uit. Hulle stel 'n rangorde van ekonomiedepartemente voor wat gebaseer is op die getal bladsye wat in die top 30 ekonomietydskrifte gepubliseer is.
In 'n poging om die verskille in publikasie en verwysingskoerse tussen verskillende velde en dissiplines in ag te neem, het Popescu (2000) 'n relatiewe rangwaarde (ri) bereken, met
waar ni die absolute rangorde en N die totale getal tydskrifte in die dissipline is. 'n Waarde van ri = 0,75 beteken dat 75% van tydskrifte in die dissipline 'n relatiewe rangwaarde laer as dié van hierdie tydskrif het.
2. Definisie van invloed
Dit is onmoontlik om die waarde van 'n tydskrif te bepaal indien slegs verwysingsdata gebruik word. Dit is egter moontlik om 'n aanduiding van die invloed van die tydskrif te kry.
Die invloed van 'n publikasie is 'n maatstaf van die getal wetenskaplikes wat daarna verwys, asook hulle belangrikheid.
Die invloed van 'n publikasie kan gesien word as 'n maatstaf van die hoeveelheid reaksie wat daardie publikasie gegenereer het, met ander woorde die getal wetenskaplikes wat dit gelees en daarna verwys het. Die getal verwysings is gevolglik 'n maatstaf van die hoeveelheid aktiwiteit wat deur 'n publikasie gestimuleer is. Die invloedwaarde kan nie tussen positiewe en negatiewe reaksie onderskei nie.
Terwyl die joernaal-impakfaktor van ISI Thomson Reuters slegs die getal verwysings gebruik, poog die invloedwaarde om ook die belangrikheid van die bron van die verwysing in ag te neem. Die waarde word iteratief bereken, en die invloedwaarde van die een iterasie dra by tot die waarde van die volgende iterasie.
Die versoeking bestaan om invloed met gehalte te verwar, veral in 'n veld waar daar kompetisie ten opsigte van publikasies tussen tydskrifte bestaan. Hierdie projek moenie gesien word as 'n poging om gehalte of waarde te meet nie, maar slegs die invloed wat 'n publikasie op die spesifieke navorsingsveld gehad het.
Die miljoene soektogte wat elke dag op die internet gedoen word, moet op 'n sekere manier georden word om sinvolle antwoorde te gee. Indien alle blaaie wat die term bevat waarna gesoek is, net so aangebied word, is die resultate in 'n groot mate onbruikbaar. Die blaaie kan egter in 'n volgorde van belangrikheid aangebied word om die gebruiker op hierdie manier vinnig van die nodige inligting te voorsien. Daarom is daar in die onlangse verlede baie navorsing gedoen oor die rangordebepaling van webblaaie. Die web toon 'n verwysingstruktuur tussen webblaaie wat ooreenstem met bibliografiese verwysings van artikels en joernale (De Bellis 2009).
Die sukses van die Google-soekenjin word toegeskryf aan die bruikbaarheid van sy resultate – 'n gevolg van die PageRank-algoritme, wat deur Lawrence Page and Sergey Brin ontwikkel en gepatenteer is (Page, Brin, Motwani en Winograd 1998). Dit ken iteratief aan elke blad 'n waarde toe. Wanneer daar dan 'n soektog plaasvind, bepaal die PageRank-waarde watter webblad eerste aangebied word.
Die PageRank-waarde van 'n webblad tydens een van die iterasies word gedeel deur die getal skakels wat op die blad voorkom. Dié gedeelte word dan oorgedra na alle blaaie wat skakels van hierdie blad ontvang. Om die PageRank-waarde van 'n webblad in die volgende iterasie te bereken, word al sulke oorgedraagde waardes bymekaargetel en met 'n normaliseringsfaktor vermenigvuldig. Die proses word herhaal totdat die waardes van die algoritme konvergeer.
Die soekenjinmaatskappy Google het die diens Google Scholar geloods. Hierdie diens lewer soekresultate uit die navorsingsliteratuur, byvoorbeeld artikels, boeke, tesisse en tegniese verslae. Dit is nie bekend watter algoritme Google Scholar gebruik nie, maar dit is waarskynlik soortgelyk aan die PageRank-algoritme. Dié algoritme neem ook die skrywer, die tydskrif en aantal keer wat daarna verwys word, in ag om die rangorde te bepaal.
Kleinberg (1999) stel 'n algoritme voor wat die skakels tussen webblaaie tel, maar ook in aanmerking neem dat verwysings van belangrike webblaaie meer moet tel as dié van onbelangrike blaaie. Om so 'n maatstaf van belang te bereken, word iteratief te werk gegaan. Hy ken 'n naaf- en gesagwaarde aan elke blad toe. 'n Blad se gesagwaarde staan in verhouding tot die som van die naafwaardes van die blaaie wat daarna verwys, en die naafwaarde staan in verhouding tot die som van die gesagwaardes van blaaie waarheen dit verwys.
'n Sterk naafpunt het verskeie uitgaande verwysings na goeie gesagpunte, en 'n sterk gesagpunt het baie verwysings ontvang van blaaie met hoë naafwaardes. Blaaie met 'n hoë gesagwaarde het goeie inligting, en bladsye met 'n hoë naafwaarde verwys na bladsye met goeie inligting. Die algemene veronderstelling in hierdie proses is dat daar 'n groot groep verwante bronne bestaan wat ontleed kan word deur te kyk na die manier waarop daar na die belangrikste lede verwys word.
Hierdie studie is begin deur 'n klein netwerk van artikels op te stel. Die PageRank-waardes en naaf- en gesagwaardes is bereken, en die waardes is bestudeer en met intuïtiewe waardes vergelyk om te begryp wat gebeur. Die netwerk is uitgebrei deur nodusse een vir een by te voeg en aan die struktuur van die netwerk te verander.
Die netwerke was eers denkbeeldig om antwoorde vir spesifieke patrone te verkry. Om seker te maak dat die werk nie vergesog is nie, is twee voorbeelde van werklike data daarna bestudeer.
Die eerste was tien inskrywings uit die Citeseer-databasis. Die Citeseer-databasis is gratis op die internet beskikbaar. Verder is tien tydskrifte uit die ISI Thomson Reuters-databasis geneem met die verwysings van en na ander tydskrifte in hierdie databasis.
4.1 Die algoritme
Die algoritme om die PageRank-waarde te bereken soos dit in die oorspronklike dokument gegee word (Page e.a. 1998), is gebaseer op die volgende:
PR(A)k is die PageRank-waarde van blad A ná die k-de iterasie.
PR(T1) is die PageRank van blad T1 wat na blad A verwys ná die k-de iterasie.
C(T1) is die getal verwysings wat deur blad T1 gemaak word.
d is die normaliseringsfaktor, wat tussen 0 en 1 gestel kan word. Google stel d gelyk aan 0,85.
Brin en Page bewys dat die algoritme sal konvergeer (Brin en Page 1998). 'n Verklaring van die keuse van d = 0,85 kom nie in die eerste artikels oor PageRank voor nie (Boldi, Santini en Vigna 2005). Hoe vinnig die algoritme konvergeer, word bepaal deur die grootte van d (Langville en Meyer 2005). Hoe kleiner d is, hoe vinniger konvergeer die algoritme, maar 'n kleiner d impliseer dat minder waarde aan die ware skakelstruktuur van die web geheg word. 'n Groter d vertraag weer die konvergensie en plaas meer klem op die verbindings van die web en minder klem op die gedrag van die gebruiker.
Indien die PageRank-algoritme op verwysingsdata van akademiese tydskrifte toegepas word, word 'n rangorde gegenereer wat reeds beter is as om bloot die getal verwysings te tel.
Die PageRank-algoritme is egter afgestem op die internetomgewing, en neem dus nie die spesifieke aard van die verwysingstruktuur tussen akademiese tydskrifte in ag nie. Enkele aanpassings moet gemaak word:
Om die getal verwysings wat ontvang is deur die getal wat gegee is te deel, is nie vir 'n akademiese omgewing sinvol nie. 'n Verwysing wat in 'n akademiese artikel gemaak word, is nie minder belangrik namate daar meer verwysings is nie. Spesialisnavorsers wat geraadpleeg is, het met dié stelling saamgestem. Die PageRank-algoritme is aangepas deur nie die PageRank-waarde deur die getal verwysings te deel nie.
Bogenoemde wysiging het verdere normalisering genoodsaak. Dit is bewerkstellig deur die som van die kwadrate van die waardes te laat optel na een.
Die PageRank-algoritme is bereken met verskillende waardes van die normaliseringsfaktor d. Hoe kleiner d is, hoe gouer konvergeer die algoritme. Dit is omdat meer waarde aan elke eenheid toegeken word en minder aan die struktuur; dus tel die oorsprong van die verwysings minder.
'n Ander plek in die formule waar daar verbeter kan word, is in die faktor (1 – d). Dit is die waarde wat aan elke blad toegeken word, of dit enige skakels ontvang al dan nie. Indien hier 'n waarde bygevoeg word, kan sekere publikasies uitgelig word as belangriker as ander. In 'n akademiese omgewing kan dit gesien word as 'n waarde wat onafhanklik van die verwysingsdata aan 'n artikel toegeken word. 'n Moontlike variasie sou dus wees om dié faktor te vermenigvuldig met waardes wat onafhanklik aan publikasies gekoppel word.
Indien (1 – d) slegs vermenigvuldig word met die totale getal verwysings wat die tydskrif ontvang het, word die tydskrifte slegs in volgorde van getal verwysings gerangskik. Indien daar egter met die vierkantswortel of derdemagswortel van die getal verwysings vermenigvuldig word, word 'n ander rangorde verkry. Dit bring mee dat die getal verwysings 'n invloed het, maar dat die grootste getal nie die kleiner getal heeltemal verswelg nie. Daar is geëksperimenteer met die vierkantswortel, 2,5-demagswortel, derdemagswortel, 3,5-demagswortel en vierdemagswortel van die getal verwysings ontvang. Die vierkantswortel het 'n verskil gemaak tussen die eenhede waar die PageRank-algoritme nie kon onderskei nie. Die derdemagswortel het onderskeid getref tussen drie tydskrifte wat van dieselfde getal bronne verwysings gekry het, maar waar die getal verwysings verskil het. Tussen die derdemagswortel en 3,5-demagswortel het die rangorde van twee tydskrifte omgeruil, wat daarop dui dat die getal verwysings belangriker word as die getal bronne. Dit lyk na die beste balans tussen die getal verwysings en die getal tydskrifte waaruit die verwysings gekom het. Wanneer die 3,75-de- en vierdemagswortel van die getal geneem word, gaan die orde terug na die rangorde van PageRank sonder om die getal verwysings in aanmerking te neem. Die invloed van die getal verwysings word dan te klein.
4.3 Nuwe PageRank-variasie
Die (1 – d)-faktor van die PageRank-algoritme vermenigvuldig met die getal verwysings wat die tydskrif ontvang het plus d vermenigvuldig met die som van die PageRank-waardes van die tydskrifte wat hierna verwys, lyk na die beste variasie.
Die formule van hierdie variasie is:
Die spesialisnavorsers wat geraadpleeg is, het gevoel dat verwysing na artikels wat in dieselfde tydskrif gepubliseer is, minder gewig behoort te dra as verwysings na artikels in ander tydskrifte. Aangesien dit die invloed van die navorsing is wat getoets word, is dit beter as die verwysings meer verspreid voorkom. Verwysings na artikels in dieselfde tydskrif moet versigtig gehanteer word, omdat te veel sulke verwysings kan dui op 'n eksklusiewe groep wat die getal verwysings kunsmatig verhoog, terwyl geen verwysings van hierdie aard onnatuurlik sou wees. In die literatuur bestaan daar ook nie eenstemmigheid oor die hantering daarvan nie (Andrés 2009). Hier word dit hanteer deur dit minder gewig te gee.
Die formule is aangepas om (1 – d) te deel tussen die selfverwysings en verwysings van ander tydskrifte. Die selfverwysings dra die helfte van die gewig van verwysings van ander tydskrifte.
Die formule lyk dus nou so:
PR(A)k stel die PageRank-waarde van tydskrif A ná die k-de iterasie voor.
PR(T1)k stel die PageRank van tydskrif T1 wat na tydskrif A verwys ná die k-de iterasie voor. Die variasie waarop besluit is, moet getoets word om te bepaal of dit enigsins 'n beter rangorde gee as om eenvoudig net die getal verwysings te tel. Daar is besluit om van navorsers se kennis en ervaring van publikasies en verwysingsdata gebruik te maak. Alhoewel die navorsers se rangorde nie objektief is nie, kon vasgestel word of 'n numeriese waarde enigsins die intuïtiewe gevoel van spesialisnavorsers kan weergee.
Daar is besluit om die navorsers se rangorde te gebruik omdat die bestaande maatstawwe vir meting van rangordes 'n ideale of teiken-rangorde gebruik. Die maatstawwe kan dan meet watter poging die naaste aan dié van die spesialisnavorsers kom. Voorbeelde van hierdie maatstawwe is Kendall se tau en Spearman se maatstaf (Fag 2003).
Die spesialisnavorsers is genader om ses tot tien van die tydskrifte in hul onderskeie vakgebiede te identifiseer. Verwysingsdata vir dié tydskrifte is van die ISI Thomson Reuters-databasis verkry. Die variasie van die PageRank-algoritme is hierop toegepas.
Die rangorde wat só verkry is, is met navorsers se intuïtiewe gevoel vergelyk. Die resultate was belowend en die navorsers se gevoel is deur die algoritme weerspieël.
Die ses tydskrifte wat deur wiskundenavorsers geïdentifiseer is, is die volgende:
Die data is uit ISI Thomson Reuters se Journal Citation Report (JCR) verkry (Thomson 2004). Die getal verwysings wat in 2005 tussen artikels in die tydskrifte gemaak is, is getel. Dit is die verwysings van artikels (wat in 2005 gepubliseer is) na enige artikel in 'n vorige uitgawe van 'n ander tydskrif. Die formule vir die algoritme wat toegepas word, is die invloedwaarde-formule.
Dit verskil op twee plekke van die impakfaktor van ISI Thomson Reuters (Thomson 2006).
Die algoritme plaas Advances in Mathematics derde en nie tweede nie. Spesialisnavorsers voel dat Mathematische Annalen 'n groter invloed as Advances in Mathematics het. Advances in Mathematics is eksklusief, aangesien die navorsers wat daarin publiseer, deel is van 'n klein groep. Die laaste twee tydskrifte se rangordes verskil ook en die spesialisnavorsers stem saam dat Journal of Number Theory 'n groter invloed het as Journal of Symbolic Logic, wat 'n hoogs gespesialiseerde tydskrif is.
Indien die rangorde bereken met behulp van die invloedfaktor met die opinies van spesialisnavorsers en 'n wetenskaplike opname deur Olson (Olson 2005) vergelyk word, is die korrelasie goed. Die invloedfaktor en Olson se rangorde toon 'n Spearman se rangorde-korrelasiekoëffisiënt van 0,7818. Daar bestaan dus 'n sterk korrelasie tussen die twee rangordes. Die invloedfaktor gee dus 'n rangorde wat korreleer met die oordeel van wetenskaplikes en gee die intuïtiewe gevoel van navorsers beter weer as net die blote tel van verwysings.
Hierdie algoritme, wat op die suksesvolle PageRank-algoritme gebaseer is, se eerste klein empiriese studie het uitstekende resultate gelewer. Ek verwag dat hierdie benadering (moontlik met verdere aanpassings vir verskillende dissiplines) waarskynlik meer bevredigend sal wees as die metodes wat tans gebruik word.
Andrés, A. 2009. Measuring academic research. How to undertake a bibliometric study. Oxford: Chandos Publishing.
De Bellis, N. 2009. Bibliometrics and citation analysis. From the Science Citation Index to cybermetrics. Toronto: Scarecrow Press.
Boldi, P., M. Santini en S. Vigna. 2005. PageRank as a function of the damping factor. In Proceedings of the Fourteenth International World Wide Web Conference, Chiba, Japan, ACM Press. http://portal.acm.org/citation.cfm?id=1060827 (12 November 2009 geraadpleeg).
Borgman, C.L. 1990. Scholarly communication and bibliometrics. Londen: Sage Publications.
Brin, S. en L. Page. 1998. The anatomy of a large-scale hypertextual Web search engine. Computer Networks and ISDN Systems, 30(7):107–17.
Citeseer. Citeseer data base. http://citeseer.ist.psu.edu (12 November 2009 geraadpleeg).
Garfield, E. 1973. Citation analysis as a tool in journal evaluation. Information Scientist, 1:527–44.
Institute for Scientific Information. Web of knowledge. 2007. http://www.isinet.com (12 November 2009 geraadpleeg).
Kalaitzidakis, P., T. Mamuneas en T. Stengos. 2003. Rankings of academic journals and institutions in economics. Journal of the European Economic Association, 1(6):1346–66.
Kleinberg, J.M. 1999. Hubs, authorities, and communities. ACM Computing Surveys, 31(4).
Langville, A.N. en C.D. Meyer. 2005. Deeper inside PageRank. Internet Mathematics, 1:335–80.
Lim, A., Q. Wen, Z. Xu en B. Cheang. 2007. Assessing the influence of ORMS journals. Can analysis match perceptions? www.journal-ranking.com/ranking/web/content/whitepapers.html (Februarie 2007 geraadpleeg).
Moed, H.F. 2005. Citation analysis in research evaluation. Dordrecht: Springer.
Olson, J.E. 2005. Top 25 business school professors rate journals in operations management and related fields. Interfaces, 35(4):323–38. http://interface.highwire.org/cgi/reprint/35/4/323 (Februarie 2007 geraadpleeg).
Page, L., S. Brin, R. Motwani en T. Winograd. 1998. The PageRank citation ranking: Bringing order to the web. http://ilpubs.stanford.edu:8090/422/ (Februarie 2007 geraadpleeg).
Palacios-Huerta, I. en O. Volij. 2004. The measurement of intellectual influence. Econometrica, 72(3):963–97.
Pinski, G. en F. Narin. 1976. Citation influence for journal aggregates of scientific publications. Theory, with application to the literature of physics. Information Processing and Management, 12(5):297–312.
Popescu, I. 2000. Journal ranking and the average impact factors of basic and the allied sciences. http://alpha2.infim.ro/~ltpd/Jo_ranking.htm (Februarie 2007 geraadpleeg).