『査読なんか怖くない？』（さどくなんかこわくない）または『ピアレビューなんかこわくない』は、サイエンス誌特派員のが書いた論文で、著者に掲載料を要求するオープンアクセスジャーナルの査読に関する調査を解説するものである。2013年1月から8月にかけて、ボハノンは、著者が掲載料を払う必要があるオープンアクセス出版社が所有する合計304誌に、虚偽の科学論文を提出した。ボハノンによれば、これらの虚偽論文には「編集者や査読者により直ちにリジェクトされるべき論文になるように、重大かつ明白な科学的欠陥を意図的に組み込んだ」が、結局、投稿した学術誌のうち約60%が虚偽の論文を受理した。本論文とそれに関連するデータは、Science誌の2013年10月4日号にオープンアクセスで公開された。

背景 

掲載料を要求するオープンアクセスジャーナルは、2000年にBioMed Centralが創設されたのが最初であった。次いで、Public Library of Scienceが創設された。従来の学術誌のように購読料から収入を得るのではなく、これらの有償のオープンアクセスジャーナルは論文の著者あるいは資金提供者に掲載料を請求する。こうして公開された論文は、インターネット上で自由に利用できる。このビジネスモデルはゴールドオープンアクセスと呼ばれ、オープンアクセスでの出版を持続可能なものにするために考案された解決策の一つである。最初からオープンアクセスで公開される文献、あるいは一定期間有料で提供したのちに無料で公開される文献（遅延オープンアクセス）の数は急速に増加している。2013年には、2011年に発表された科学論文の半分以上が無料で利用可能だった。 

一方で、この市場の参入障壁が低く、投資に対する大きなリターンが速やかに見込めるため、多くのいわゆる「ハゲタカ出版社」が、査読や編集管理をほとんどあるいはまったく行わない低質なジャーナルを創設するようになった。これらの雑誌では通常、掲載料が支払われさえすれば、提出されたすべての文献を掲載する。こうした出版社の中には、掲載料について著者を騙したり、無関係の科学者の名前を無断で使用して編集者や査読者であると偽ったり、出版社の所在地を明らかにしないものもある。このような詐欺的な出版社が蔓延していることや、科学界がこうした課題についてどう取り組むべきかについては、大きな議論となっている。

手法

虚偽の論文投稿 
ボハノンは多数のジャーナルに論文を投稿するために、類似しているが異なる内容の論文を作ることを目的として、Pythonで書かれたプログラムコードを用いて空欄のあるテンプレートの文章に異なる単語を入れることで論文を生成する「Mad Libsの科学版」を作成した。論文のテンプレートは、「地衣類種Yに由来する分子Xが癌細胞Zの増殖を阻害する」というものであった。彼は、X、Y、およびZに当てはまるものとして、分子、地衣類、癌細胞のデータベースを準備した。データと結論は、すべての論文で同じものであった。また、著者とその所属もフェイクであった。論文はすべて、地衣類から得られた新たな抗がん剤の発見について説明していたが、データはその結論を裏付けるものになっておらず、論文には意図的に明らかな欠陥が含まれるようにされていた。また、がん細胞株を作るにあたり動物をどのように扱ったかについての文書が添付されていないといった研究倫理における問題もあった。

ターゲットとした出版社 
有償掲載のオープンアクセス出版社を包括するリストを作成するため、ボハノンは捕食出版を集めたとされるビールのリストと、信頼できるオープンアクセス出版社とされるオープンアクセス学術誌要覧（DOAJ）の2つの情報源を利用した。英語で出版されていて、著者に掲載料を請求しており、医学・生物学・化学の少なくとも1つの分野を含むオープンアクセスジャーナルをフィルタすると、上記の一覧のうち304誌が残った。内訳は、DOAJのみに掲載されていたもので167誌、ビールのリストのみに掲載されていたもので121誌 、両方に掲載されていたものが16誌あった。この調査は、有償で掲載されるオープンアクセスジャーナルに対象を絞ったものであった。この理由についてボハノンは、従来のジャーナルにおける査読の所要時間が長すぎるため、他のタイプのオープンアクセスジャーナルや購読型のジャーナルを含めなかったとしている。したがって、この調査ではジャーナルの種別間の相対的な品質については何も述べておらず、この問題に対する批判もある。

結果

虚偽論文の採否 
この調査の結果、合計で157誌が論文を受理した一方で、98誌がリジェクトした。また、残りの49誌はボハノンが『査読なんて怖くない？』を執筆した時点で評価を完了していなかった。ボハノンによれば、採否が決まるまでのプロセスを経た255誌のうち、少なくとも約60％において査読された形跡がない。査読された形跡がないジャーナルについて、リジェクトされたものについては編集者のフィルタリングによって採用されていない可能性が考えられるが、受理されるのはプロセスの欠陥を反映していると考えるほかないとボハノンは主張している。残りの106誌については何らかの査読が行われたと判断できるが、そのうちの70%において最終的には論文が受理された。投稿された虚偽論文の科学的な問題を認識している査読コメントが付与されたのは、全投稿のうち36件だけだった。さらにこの36件の投稿のうち16件は、査読者が批判的なコメントをしたにもかかわらず、編集者の判断で受理された。

論文を受理したジャーナルの中には権威のある機関や出版社によるものもあり、その中にはエルゼビアやSage、Wolters Kluwer（子会社のMedknow経由）などであったり、他には神戸大学などの著名な大学機関のジャーナルも含まれていた。
他方、論文をリジェクトしたジャーナルとして、PLOSやHindawiが発行しているものもあった。ボハノンはPLOS ONEによる査読は今回調査した中で最も厳しいものであったとしており、がん細胞株を作るにあたり動物をどのように扱ったかについての文書が添付されていないなどの、虚偽論文に含まれる研究倫理の課題を特定した唯一のジャーナルだった。

DOAJとビールのリストの妥当性 
ビールのリストに掲載された出版社で査読を完了したもののうち、82％が論文を受理した。ボハノンは、「今回の結果は、ビールのリストが、品質管理が不十分な出版社を見つけるのに優れていることを示している」と述べた一方で、5分の1の出版社が今回の実験では正しくリジェクトしていることにも言及している。リストを作成したジェフリー・ビールは、ボハノンの研究は「捕食出版が科学に悪影響を与えている」という自身の主張を裏付けていると主張している。しかし、裏を返すとビールのリストでハゲタカと評価された出版社のうち18％は虚偽論文をリジェクトしているのであり、科学コミュニケーターであるPhil Davisは「ビールのリストのうち1/5近くが誤って非難されている」と述べている。

また、DOAJに記載されている出版社で査読を完了したもののうち、45％が虚偽の論文を受理した。ジェフリー・ビールは、彼のリストに載っていないDOAJのジャーナルについても45％が受理したことに対して、学術的なオープンアクセス出版全体の指標としては不十分であることが明らかになったと主張した。DOAJはウェブサイトで声明を公開し、DOAJに掲載するための新たな基準を設定したと発表している。

詐欺的なジャーナルの世界地図 
Science誌は、調査結果を報告するとともに、出版社、編集者、およびその銀行口座の位置を示す地図を公開した。この地図は、論文が受理されたかどうかによって色分けされている。マッピングされる場所は、電子メールのヘッダーに含まれるIPアドレスのトレースやWHOISへの登録情報、掲載料の銀行請求書から導いたものである。この地図では、インドは有償のオープンアクセス出版社の世界最大の拠点であり、64誌が虚偽論文を受理し、15誌がリジェクトした。アメリカはインドに次ぐ規模で、29誌が論文を受理し、26誌がリジェクトしている。またアフリカではナイジェリアが最多で、その全てが論文を受理していた。

反応

オープンアクセスの学術出版社からの反応 
虚偽論文の投稿に関する一連の流れが発表されて以降、ジャーナルを閉鎖すると発表した出版社も出てきた。DOAJはリストの掲載内容を見直し、より厳しい掲載基準を設けた。オープンアクセス学術出版社協会（OASPA）は、構成員のうちの3社が虚偽論文を受理したことについて、調査委員会を立ち上げた。2013年11月11日にOASPAは、虚偽の論文を受理した出版社のうち2社（Dove MedicalPressとHikari Ltd.）の会員権を終了した。同様に虚偽の論文を受理したSage Publicationsは、6か月の間「審査中」の状態で留め置かれた。Sageは、虚偽の論文を受理したジャーナルを調査しているが、閉鎖することはないとする声明を発表した。ジャーナルの編集工程を変更した後、Sageの会員権は復活することになった。

調査への批判的な反応 
Science誌による調査に対しては、オープンアクセスジャーナルしか対象としておらず対照群がないこと、調査対象として悪質なジャーナルを意図的に選んでいることが批判された。さらに、このような調査の問題があるにもかかわらず、購買型ジャーナルであるScience誌が、オープンアクセスジャーナル全体に根本的な問題があるかのような見出しを付けたことはオープンアクセス運動の支持者以外からも批判された。

特にオープンアクセス運動の支持者の一部からは、『査読なんて怖くない？』が発表されて数時間もしないうちに激しく批判された。PLOSの共同創立者であるMichael Eisenは自身のブログに批判を投稿した。

Eisenはまた、2010年に発表されたヒ素がDNAのリンを置換するという文献について査読過程に大きな失敗があったことが話題になっている中、それと同様の購読型ジャーナルであるScience誌がこの報告を出版するという皮肉的な状況についても指摘した。

調査を支持する反応 
調査を支持する意見も多数あり、調査によって明らかになった出版詐欺に対する懸念も出てきた。出版規範委員会は、この報告が数々の問題を提起するのは間違いないとし、Science誌の報告によって未だに査読が十分でない学術誌があることやそうした学術誌が業界団体の一覧に掲載されてしまっていたことが浮き彫りになったとした。

その他の対応 
出版規範委員会は、科学界全体がメディアの批判にさらされる可能性があるとし、建設的な対応が必要だとしている。

捕食出版に対する取り組みについての議論 
科学者の中には、方法について議論しているものもいる。それにより、査読を全く行わないハゲタカジャーナルが生き残ることは難しくなると考えられる。何故ならば、そうしたジャーナルは査読の過程の記録が欠落していたり、さもなければ捏造するしかないからである。

他の選択肢としては、DOAJやOASPAといったオープンアクセスジャーナルの要覧を改善し、掲載するジャーナルをより厳密に精査することがある。DOAJは、ビールのリストがブラックリストであったのと同様、DOAJがホワイトリストとして機能することを目的とし、掲載する基準を厳しくした。