サイナビ！ブックレット

Vol. 1

心理学研究は信頼できるか？
再現可能性をめぐって
池田功毅，樋口匡貴，平石界，藤島喜嗣，三浦麻子
2015 年 11 月 16 日発行（Ver. 1.0）● 発行元：ちとせプレス

2015 年の 8 月，Science 誌に衝撃的な論文が発表されたというニュースが流れました。査読付きの主要なる正規の査読システムを通過して掲載が決定されました。すなわちそれが意味するところは，これまで「正学術誌に発表された心理学と社会科学の研究論文 100しい」とされてきた心理学研究の方法は，明確な疑似件についてその結果の再現を試みたところ，同じ結科学に基づいた虚偽の報告を見抜くことができない，果が得られたのは 39％にすぎなかったというのです。

何か科学として根本的な欠陥があるものだということ

2010 年以降，心理学の中で研究の信頼性に関する問題です。そして何よりも重要なことは，我々心理学者全がクローズアップされています。何が問題となってい員が，その間違ったシステムの中でこれまで研究を行るのか，またそれに対してどのような対応が進められってきたという事実です。それは端的に，我々自身のているのかを，日本でこうした問題に取り組まれていこれまでの研究報告の中にも，多くの噓が隠されている研究者の方々に話を伺いました。

る可能性があることを示しています。
それ以降，私は自身の研究遂行に大きな不安を抱え

Section 1

ることになりました。この問題を論理的，現実的に解決しない限り，自信をもって自分の研究成果を報告で取り組みのきっかけ

きないと強く感じたためです。以上のような経緯で，私は再現可能性問題こそ，何よりの優先課題と考える――こうした問題に取り組もうと思ったきっかけは何ようになりました。

だったのでしょうか。そのときにどう思ったのかも教
えてください。

平石界（以下，平石）：池田功毅（以下，池田）：最初の大きなきっかけは，ハーバード大学教授であっ私の場合，こうした問題に注意が向くようになった2010 年に，Daryl Bem の超能力論文（1） が社会心理

た Marc Hauser の「科学的に不適切な行為」（scientific

学のトップジャーナルである Journal of Personality andmisconduct）を原因とする辞職（2011 年）であったよう

Social Psychology（JPSP） 誌に近々掲載されるというニに思います。Hauser はカプチンモンキーを用いて非ュースを New Scientist 誌（2）で読んだことが直接のきっ

常に多くの（新奇な）比較認知実験を報告していまし

かけでした。

た。しかし彼が辞職する数年前（2008 ～ 09 年頃）から，

人間に未来予知が可能であるというこの論文の結論「Hauser の結果は，あそこの super monkey でないと出は，無論現代科学の視点からはありえない内容です。

せないと言われている」といった噂話を耳にし，不穏

その掲載を JPSP が認めたということは，いわば心理な空気を感じてはいました。しかしさすがにデータの学が自然科学全体を否定したという意味にもとれまし

捏造，改竄といった悪質な行為までしているとは思った。私はいったい何が起こっているのかわからず，非ていなかったので，このニュースは非常に衝撃でした。

常に困惑したのを覚えています。

Hauser 本人への信頼感というよりは，自分の参加しBem 論文によって示された問題は，データ改竄や捏造などとはまったく質の異なる，心理学研究の本質に関わるものでした。Bem 論文は JPSP が制定していている研究領域で，そこまで悪どいことが行われているとは，にわかに信じがたかった（3）。
その後，Bem の超能力論文があり，そこで池田さ心理学研究は信頼できるか？（サイナビ！ブックレット Vol. 1）…… 1

んと Twitter で，Bem は本気で超能力を信じているの

熟読していました。Stepel 論文がかなり引用されていか，それとも心理学の進め方の問題点を指摘するためます。どうなるのだろう。

のような形で），あえて超能力論とはいえ，私は楽観的でした。「それは追試すれば文を JPSP に投稿，受理させてみせたのかといった話

いいんだよ」。解決法はわかっていました。研究法のをしたことを覚えています（結論としては，Bem は本気

教科書には追試，特に，同じ研究手続きを繰り返す直に（いわば Alan Sokal

（4）

）。

（5）

接的追試よりも新しい手続きを用いて理論を検証する

で超能力を信じているらしい，ということになりました

その後，ニュースを追っているうちに，Bem の問題

概念的追試が大事だと書いてあります。Stapel の論文の「人ごとでなさ」がますます実感されるようになりには理論的には妥当だと思われるものがかなりありまました。例えば Bem 論文を元に心理学全体を皮肉っした。彼のデータがダメだったとしても，他の似たよた “We knew the future all along: Scientific hypothesizing is

うな理論から導かれたデータから対処可能だろう。ネmuch more accurate than other forms of precognition—A

ットワーク上の 1 つのノードが破壊されても周囲から

satire in one part” という論文にはショックを受けまし再生されるように，彼の捏造による欠落も補償される。この論文は，心理学論文のほとんどでは，最だろう。そう思っていました。実際，知り合いの大学初に書かれた予測が支持される結果が出ている。つ院生にはそのように伝えて，安心させようとしていま

まり心理学者は，本当に未来を予知している（結果

した。

た

（6）

を予知して仮説を立てている）と皮肉ったものでした。

しだいにそれが楽観的に過ぎることがわかってきまHauser を非難していた自分も，データ改竄ではないした。実は溯ること 20 年ほど前にも社会的認知で取ものの，科学的には不適切な行為を行ってきたのではり下げ騒ぎがありました。その後，その研究が追試さないかという恐怖感に襲われました（より正確に言えば，れたという話は聞きません。出版バイアスは昔からあ

これはまずいのかもしれないと感じつつ，でも自分の分析やって，有意差のないデータは刊行されないし，直接的論文の書き方は，まだまだ誠実にやっている方だと思ってい追試も刊行されません。風の噂で再現可能性の情報をたのが，まったくの勘違いであったと指摘された恐怖に近得る，これが 2011 年の社会心理学界隈での方法でしい）。その後，この危機感・恐怖感は，PPS 誌の特集た。だから，その研究を信用してよいかどうかはわか号読書会によって決定的なものとなりました。

らないままです。噂をどうやってつかめばよいのでし

読書会の終了後，三浦さんから，追試研究のためのょう。Twitter か？

科研申請グループに誘われました。ここで何か動かな

さらには，Bem 論文の話もありました。2010 年刊

いわけにはいかないと思い，参加を決めました。以上

行でずいぶん話題になっていました。学生時代に，直が，私がこの問題に関わったきっかけです。

観とデータからの示唆とどちらを信用するかといわれたら後者だ，と教わってきました。Bem 論文の掲載

藤島喜嗣（以下，藤島）：をして JPSP のエディターは偉いなあと思ったのを覚2011 年 9 月，Social Psychology Network の Twitter ア

えています。怪しい話もデータに関するルールがきち

カウント（7）からの情報で，Diederik Stapel がデータ捏

んとしていたら掲載せざるをえない。掲載したうえで造を疑われていることをつかみました。Stapel といえ追試しながら否定すればいいじゃん，と思っていたのば，社会心理学における社会的比較領域の主要な研究です。しかし，おかしなことになってきました。追試者で，社会的認知や自己に関わるテキストで頻繁に引データは論文にならないのです。直感的に怪しい，違用されていました。同化と対比に関する専門書の編者

う分析をしたら今イチそうだ，追試した人もダメだっもしていました。その彼が，データ捏造で大学の取りたといっている，といろいろ証拠が集まっているよう調べを受けているというのです。

でしたが，周囲で騒ぎ立てているだけの様相を呈してかなりのインパクトでした。私個人は研究で直接的に引用することはありませんでしたが，授業では何件いました。出版バイアスの見えない大きな壁がそこに立ちはだかってきました。

か彼の研究を紹介していました。論文購読を含む専門

そうしたら，別のところで，John Bargh の研究に関科目でも学生たちに読ませていました。それを撤回せわる論争が始まりました。Bargh は非意識過程の巨人

ねばなりません。知り合いの博士課程の大学院生は，であり，Cognitive Monster の生みの親です。彼の老人

Stapel 論文をかなりの数引用していました。彼の研究

プライミング実験（8） による知覚－行動リンクはそのはどうなるのだろう。2011 年 5 月には社会的比較に

核心の 1 つでした。その老人プライミングが単なる実関する優れた日本語テキストが刊行されており，私も験者効果だというのです（9）。ま，そういうこともあ

2 ……心理学研究は信頼できるか？（サイナビ！ブックレット Vol. 1）

るよねと思っていたら，Bargh がけんか腰の反論を始論すること自体だけでも非常におもしろくエキサイテ。「他にもいろんな手続きでデータいっぱ

ィングなメンバーがいることは，私自身が再現可能性いあるし，そもそもオマエが下手なだけだし」。いや問題についての取り組みを実際に続けていこうとする

いや，両者が同じプラットフォームに立って，一緒に大きな要素であったことは間違いありません。

めました

（10）

検証すればいいんじゃないの。データ提供して再分析したり，手続きを提供して追試すればいいじゃないの。
しかし，それは実現されず，ただ罵倒し合うだけでした。

三浦麻子（以下，三浦）：再現可能性問題について「関心をもった」きっか
け は， 数 年 の う ち に，Bem の JPSP 論 文 出 版，Bargh2010 ～ 2012 年は社会心理学の歴史で大きく語られと Daniel Kahneman のそれをはじめとする社会的プラるであろう時代となりました。いくつかの事件が，再イミング研究に関する論争，Stapel らの研究不正問題

現可能性問題，出版バイアス，手続きの透明化と共有， など，心理学における科学的研究とは何なのか，どというキーワードで合流し，単純だが大きな話になっうあるべきなのか，を考えさせられる出来事が立たのです。こういう話は「どげんかせにゃならん」話て続けに起こったことです。そして，Perspectives on

だし，みんな及び腰だったから旨味もありそうでした。 Psychological Science（PPS） 誌 で の 特 集 号 の 刊 行（2012
それで読書会もあったし飛びついてみたのですが，み年秋）があり，こうした出来事が実際に権威ある国際

んなが及び腰だった理由がよくわかりました。とにか誌の査読システムを変えるに至りそうだ，ということ

く大変な話で，理解も得られなければ，お金も得られを知ったことです。つまり，単なる対岸の火事でもな

ない，そして制度改革も必要な話だったのです。

んでもなく，この問題が，自らの研究に直接的な影響を与えることになるのだ，ということを自覚したわけです。こうした事態の進行と同業者たちの反応は，

樋口匡貴（以下，樋口）：取り組みのきっかけは，2013 年 2 月に有志で行った Perspectives on Psychological Science（PPS）誌の再現可
能性特集号の読書会です。

Twitter を見ていると手に取るようにわかりました。
ただしそれだけでは，先行研究の追試という形で，また「自ら」この問題に取り組もうとは思わなかった，（11）

Bem の超能力論文のような大きな話は承知していかもしれません。研究不正や QRPs については襟を正ましたが，それ以上に自分を動かしたのは，より身のせば，また，査読システムの変化には，ルールに愚直

周りの，ひいては自分自身という半径数 10 cm の問題に従ったやり方をすればよいだけです。別に追試に積でした。自分自身を含めた身の周りでの研究実践のあ極的に取り組む必要はないでしょう。

り方を考えつつあった当時の私自身にとって，PPS の再現可能性問題の他にも，興味をひかれる，つま再現可能性特集号の読書会で得た知識は非常に大きいり「手をつけてみたい」テーマは毎日のように現れま」すが，そのすべてに手をつけることは（当然ながら）（QRPs: Questionable Research Practices） に自分が携わり続ありません。実際に手をつけるには，「手をつけられけてきたという確信をつかんでしまったことは衝撃的る」と思えるテーマであることが必要で，そのためにでした。これから自分はどう生きていけばいいのか，

は（少なくとも私にとっては）手を組める人材に見当がどう研究をしていけばよいのか，どうこれまでのことつけられることが何より大切です。それが思い浮かばを “ 贖罪 ” すればよいのか。こういったあたかも思春ないテーマは「まあ，誰かやるやろ」と手放すことに期のような感覚が（この時は大学院入学からちょうど 16なります。また，私はやれるとなれば「すぐやる課」

年！），この問題への取り組みを自分自身に対して促なので，企画をじっくり温めるようなことはしません。

すことになりました。

すぐに動きます。

ものだったし，何よりも「問題のある研究実践（12）

ただ，“ 研究はこのように進めるべき ”“ このような両者がうまく同期した研究テーマの 1 つが再現可能

やり方はすべきでない ” といったある種の啓蒙的な話

性問題でした。前述の PPS 特集号の刊行を知ってす

題の場合，往々にしてその話題に触れたときから 1 週

ぐに読書会を企画し，その企画が盛り上がった現場で間もすれば熱が冷めることが多いでしょう。しかし今ある Twitter と，ちょうど開催された日本社会心理学

回の再現可能性の話題については，衝撃を受けたその会の大会＠筑波大学（2012 年）などを通してメンバー

ときの，“ 何かをしなければ，変えなければ ” というを募りました（13）。この企画を共同していたか，公表

思いを感じているまさにそのときに，同じような感覚

前から参加を表明してくれていたメンバーがほぼそのを共有できる仲間がいたことは非常に幸運でした。議まま研究プロジェクトのメンバーになっています。池心理学研究は信頼できるか？（サイナビ！ブックレット Vol. 1）…… 3

田さん以外とは企画前から交流がありましたが，共同

また，心理学論文の “ 作法 ” をでたらめに用いた論文を JPSP研究をしたことはなかったし，テーマ的にその後も直に載せることで，心理学者の研究手法のでたらめさを指摘す

接絡むことは難しかろうと思っていたので，良いチャンスだと思いました。池田さんとはそれまでまったく面識がなかった，というかお名前すら存じ上げなかったのですが，平石さんが「このテーマならぜひ彼を」と推薦してくださったのは僥倖でした。
たくらみどおり，この読書会が非常に面白かった

る意図があったのかと，当時の私は考えました。
ソーカル，A.・ブリクモン，J.（田崎晴明・大野克嗣・堀茂
樹訳）(2012).『「知」の欺瞞――ポストモダン思想における科学の濫用』岩波現代文庫，岩波書店（5）Bem については，拙文を紹介させていただきます。
平石界 (2013).「裏から読んでも心理学

超能力ってどうなんでしょうか？」『心理学ワールド』61, 32.
http://www.psych.or.jp/publication/world_pdf/61/61-32.pdf（個人的に，多人数でやる読書会が面白いと思った経験はあ（6）Bones, A. K. (2012). We knew the future all along: Scientific hy-

まりなかったので，これは印象的でした）ので，これは内

pothesizing is much more accurate than other forms of precognition

容もメンバーもいいし，プロジェクトとしてものにすることができそうだな，というある程度の確信を得たのです。もう少しかっこよく言うと，多士済々な研究者たちと一緒にやるテーマとして，これ以上適切なテーマはない，と思ったのです。何が面白かったか，については，要約すると「組織的な追試というやり方でこの問題に取り組むことには大きな意義がある」と実感した，ということになります

。

（14）

お題目以上の実質的な仕事に実際に着手できた理由
は，2 回目のチャレンジで科研費をいただくことができたからにほかなりません（15）。自分（たち）は「筋が良い」と思っている研究テーマが，それ以外の同業者によって取り組むべき研究テーマだと認められた，ということは大きな意味をもちます。それがなければ，—A satire in one part. Perspective on Psychology Science, 7, 307-309.
http://pps.sagepub.com/content/7/3/307.long（7）Social Psychology Network
http://www.socialpsychology.org/
Twitter：@SocialPsych
https://twitter.com/socialpsych（8）Bargh, J. A., Chen, M., & Burrows, L. (1996). Automaticity of social
behavior: Direct effects of trait construct and stereotype priming on
action. Journal of Personality and Social Psychology, 71, 230-244.
http://psycnet.apa.org/journals/psp/71/2/230/（9）Doyen S., Klein O., Pichon C. L., Cleeremans A. (2012). Behavioral
priming: it's all in the mind, but whose mind? PLoS ONE, 7(1),e29081.
http://journals.plos.org/plosone/article?id=10.1371/journal.
pone.0029081（10）Bargh, J. A. (2012). Priming effects replicate just fine, Thanks:
In response to a ScienceNews article on priming effects in social
psychology. Psychological Today, May 11.

あまり実践を伴わない，啓発的な見かけをした実際は自己満足ないくつかの取り組みに終始し，そのうちに忙しさに取り紛れて盛り下がってしまったかもしれません。

https://w w w.psycholog yto d ay.com/blog/t he-natura lunconscious/201205/priming-effects-replicate-just-fine-thanks（11）読書会 Web サイト「「実験結果の再現可能性」特集号読書会」

https://sites.google.com/site/ppsjournalclub/（12）問題のある研究実践（QRPs）については，『心理学ワール

文献・注（1）Bem, D. J. (2011). Feeling the future: Experimental evidence foranomalous retroactive influences on cognition and affect. Journal of
Personality and Social Psychology, 100, 407-425.
http://psycnet.apa.org/journals/psp/100/3/407/（2）Aldhous, P. (2010). Is this evidence that we can see the future? New
Scientist, 11 November.
https://www.newscientist.com/article/dn19712-is-this-evidencethat-we-can-see-the-future/（3）Hauser 事件の顛末については，ここらへんが結論になるかと思います。
Couzin-Frankel, J. (2014). Harvard misconduct investigation of
psychologist released. ScienceInsider, 30 May.

ド』68 号の平石・池田論文に詳しい。
平 石 界・ 池 田 功 毅 (2015).「 心 理 学 な 心 理 学 研 究 ――
Questionable Research Practice」『心理学ワールド』68, 5-8.
http://www.psych.or.jp/publication/world_pdf/68/68-5-8.pdf（13）（11）を参照。
（14）詳しくは『心理学ワールド』68 号の三浦論文を参照。
三浦麻子 (2015).「心理学研究の「常識」が変わる？――心理学界における再現可能性問題への取り組み」『心理学ワールド』68, 9-12.
http://www.psych.or.jp/publication/world_pdf/68/68-9-12.pdf（15）科研費研究 Web サイト「Replicability in Psychological Science（心理学における実験結果の再現可能性）」
https://sites.google.com/site/kgasasemi/replicability

http://news.sciencemag.org/people-events/2014/05/harvardmisconduct-investigation-psychologist-released

Section 2（4）Alan Sokal： 物 理 学 者 で あ る Sokal が， 物 理 学 や 数 学 な どの専門用語をでたらめに用いた論文を作成し投稿したところ，
人文社会学系の雑誌に掲載されてしまったという事件がありました。このことによって，これら雑誌の編集者，査読者が，Bem 論文の掲載

自然科学の概念を濫用していたことが暴かれました。Bem も――2010 年前後から，心理学研究の信頼性を揺る

4 ……心理学研究は信頼できるか？（サイナビ！ブックレット Vol. 1）

がすさまざまな出来事が続けて起きていたわけです

いる場合が多いのです。というのも，心理学の多くのね。 特 に 2010 年 の Bem 論 文 の イ ン パ ク ト が 大 き

研究は，低い統計的検定力しか持ち合わせていないか

かったようですが，Journal of Personality and Social

らです（例えば次の論文（4）を参照）。統計的検定力とは，

Psychology （JPSP）誌はなぜこの論文を掲載したの仮に予測された効果が実際に存在する場合に，その効でしょうか。

果を検出できる確率のことです。通常 80% ほどに高めることが望ましいとされますが，心理学の場合，20～ 40% 程度しかない場合が多いとされます。

池田：
JPSP の査読が特に他のジャーナルと比べて厳しい

すなわち検定力が低ければ，実際に当該の効果が存わけではないですが，近年特にこのジャーナルで顕在している場合でも，それを検出することがなかなか著だったのは，複数の（時には 10 近くの） 研究を並べ， できないはずだから，報告の数が増せば増すほど，そそのすべてで同じ方向性の結果が出ていることを示しの中に有意ではない報告が含まれる可能性が高くなって，知見の頑健性を喧伝する，という流れでした。そてしかるべきです。にもかかわらず，次々に予測通りはまさにこの流れに則って持論を展の報告が積み重ねられていくのであれば，それはあり開しました。9 つにも及ぶ実験を報告し，そのうち 8

えないほどに美しい――“too good to be true”――結果つが予測通りの（すなわち未来予知が存在するという）証だと言われても仕方がない（詳しくは次の論文（5） を参拠を提出することで，JPSP の編集者・査読者が「方照）。言い換えれば，そうした論文では，何らかの疑法論上で」反論できない形式の論文としたのです。

わしい方法によって統計的有意差を導き出している可して Bem 論文（1）

当然のことながら，JPSP の編集者たちも，この結論を素直に受け入れたわけではありません。彼らもま能性，すなわち p hacking が行われている可能性が高くなるのです。

た，この論文の知見が通常の因果性に対する一般的信念に反しており，受け入れがたいものであることは十分に承知の上で，それでもなお，他の投稿論文と同様，

Bem 論文の追試

正規の査読システムによって審査するべきだと考えて，出版に至ったと告白しています（2）。

――予想通りの報告しか出てこないのは，むしろ「あ編集者たち自身からの明確な反論はありませんでし
たが，Bem 論文が掲載された号に，心理統計学者でりえない」と。では，Bem 論文はその後，追試されたのでしょうか？

ある E.-J. Wagenmakers らの反対論文を同時に掲載した（3） ことからも，彼らの意図が，Bem 論文を通じて， 平石：
統計を含む心理学研究方法と査読システムの改革を促

Bem 論文については，Journal of Personality and Social
Psychology（JPSP） 誌に掲載される前から「どうやらすことにあったのは明白でしょう。
正直に言えば，私はこのニュースを聞いたとき，編JPSP に載るらしい」という話が広まっており，騒ぎ集者たちの正気を疑ったのですが，今振り返れば，彼が始まっていました。JPSP という雑誌は，社会心理学，

ら，Charles M. Judd と Bertram Gawronski の 判 断 が な

パーソナリティ心理学におけるトップ・ジャーナルでければ，それに続く心理学の方法論革命も起きえなか

すから，そこが超能力論文を載せることは大変なことったのであり，その意味で彼らの貢献は（彼らの当初なわけです（このあたりは，すでに書きました）。

の意図がどうだったにせよ）大きいと言えるでしょう。

その Bem 論文の追試ですが，特に有名になったものとしては PLoS ONE 誌に掲載された Stuart J. Ritchie――「未来予知」現象を示す結果が繰り返し得られたらの論文を挙げることができるでしょう。なぜこの論

ため方法論上は反論できず，掲載しないわけにはいか文が有名になったかというと，Bem 論文のシステマなかったわけですね。だとすると，「未来予知」現象

ティックな direct replication（直接的追試）を行ったこと，が実際にある，ということになるのでしょうか？

その結果が（多くの心理学者にとっては予想通り，超能力支持者にとっては予想に反して） ことごとく「超能力が上で述べた，同一方向の知見を複数並べるという手存在する証拠は得られなかった」という否定的（ネガ法は，一見すると確かに証拠の頑健さを示すのに最適ティブ）な結果であったこと，そして投稿した追試論の方法であるように思えるのですが，実際はまったく文が JPSP によって門前払いされたこと，の 3 点によ

逆の事実，すなわちその証拠の信用できなさを示してると考えられます。

心理学研究は信頼できるか？（サイナビ！ブックレット Vol. 1）…… 5

まずシステマティックな direct replication について

くその通りとうなずけるものだったのですが，自分で説明しましょう。池田さんがすでに Bem 論文の奇妙はそこまで考えが至っていなかったものであり，「なさ（予想通りの結果ばかりが並ぶ論文） について指摘しるほどなぁ」と感銘を受けたことを覚えています。

てくれていますが，Bem 論文が出た当時は，これが2 点目です。実験結果がネガティブであったという妙なことであるという共通理解は，少なくとも私の周ことです。池田さんが書かれているように Bem は 9

りではありませんでした。私もまったくそのことに気つの実験を JPSP 論文で報告しています。その中で最づいていませんでした。Bem 論文を契機として，今も効果量が大きく，Bem 本人も再現可能性が高いとや「常識」となりつつある，従来の心理学研究の手法

お墨つきを与えていたのが実験 9 です。この実験での危うさが次々と明確にされていったのです。その意は，まず参加者に 48 個の単語からなるリストを一度味では Bem 論文の追試は，私にとって「追試」の意

ざっと見せます。それから，出てきた単語を思い出し

味について目を開かせてくれたものでした。

て書き出してもらいます（心理学用語で言うと，記憶のこの追試研究の特徴は，まず第 1 に Bem の研究を再生実験です）。それからコンピュータが 48 のうち 24

できる限り正確に，そのまま追試したことです。実験

個の単語を選び出し，これらを何度もタイプしてもらに用いたプログラムも，Bem 本人から提供されたもうといった訓練を受けます。すると，後で訓練するこのを利用しています。それまで，特に社会心理学では，とになる単語ほど，（訓練の前に）思い出すことができ追試というと conceptual replication（概念的追試） といた，よく覚えていたという結果なのです。つまり未来うものの説得力がむしろ強調されていました。これはに勉強することになることは，勉強する前からすでにある実験で示された結果を，概念的には同じことをやよく記憶できるという結果です。書いているとバカバっていると考えられる別の実験で追認するという形でカしくなってくるような内容ではあるのですが，Bem

す。よい喩えかわかりませんが，例えば「マクドナル

論文では統計的に有意に差が出ています。しかし再現

ドのロゴを見せるとダイエットが気になる」という実論文では，独立に実験した 3 つの研究室とも，ネガテ験結果について，「ロッテリアのロゴを見せるとお菓ィブな結果でした。

子を食べなくなる」という実験で追試するといった塩3 つ目です。こうしてさまざまな準備をして追試実梅です。しかし概念的追試の場合には，結果が再現さ験を行い結果を得た著者らは，それを JPSP に投稿しれなかったときに「それはマックじゃなくてロッテリます。実際，Bem 本人が JPSP 論文の中で追試の重要アだったからだよ」とか「ダイエットは気になってい性を強調していたのですから，最初の投稿先としてたけど，お菓子には反応しなかったのだよ。だって使JPSP を選んだのは合理的な選択であったといえるでったお菓子があまりにおいしそうで，そんなの我慢でしょう（なお Bem は，実際に追試のためにプログラムの提きるはずがない」とか，いくらでも言い訳ができてし供も行うなど，追試について積極的にサポートをしていままうという問題があります。そこで追試研究の著者らす）。しかし JPSP はこの投稿を reject（掲載拒否） しま

は，まったく同じことをやって，結果が再現されるかす。しかもそれは，論文の内容について査読者が判断を示したのです。

した結果というのではなかったのです。論文を受け取

この直接的追試とセットで大きな意味をもっていたった編集者が，JPSP は追試研究は掲載しない方針でのが pre-registration（事前登録）です。すなわち著者らあるということで，査読者の判断を仰ぐ前の段階で，は「我々は追試をやるよ！」ということを事前に明ら

reject したのです。

かにしておいて，結果がポジティブであろうとネガテ

論文はその後，複数の雑誌に送られますが（Scienceィブであろうと発表すると宣言したのです。このようBrevia 誌，Psychological Science 誌，British Journal of Psychologyにしておかないと，直接的追試をしても，超能力支持〔BJP〕誌），いずれでも掲載拒否の憂き目を見ます。最者はポジティブなときだけ報告するし，反対者はネガ

後の BJP については，査読に回ったものの 2 人の査読ティブなときだけ報告するということをしてしまいま

者のうち 1 名が難色を示し，結果は reject。しかしこす。自分に縛りをかけることでそれを避けるのが，この難色を示した査読者というのが Bem 本人であったの方法なわけです。加えて著者らは 3 つの研究室で独そうです。これらの顛末については，著者の 1 人であ立に追試を行っています。このことで「失敗／成功とる Chris French のブログ記事（6） に詳しいです。また，

いっても 1 箇所だけでしょ」という批判にも対抗でき

こうした掲載までの右往左往は，New Scientist 誌でもるように準備をしたわけです。

記事（7）となりました。

これらの手続きそれぞれが，言われてみればまった

最終的には，この論文は PLoS ONE 誌というオー

6 ……心理学研究は信頼できるか？（サイナビ！ブックレット Vol. 1）

プン・アクセス誌に掲載されることになりました（8）。 Marion Petrie らが，尾羽根についている目玉模様の数
実は同時期に PLoS ONE 誌には，再現可能性問題を巡が多いオスほどメスにモテる（交尾に至る確率が高い）

るもう 1 人の重要人物，John Bargh の老人プライミンという鮮やかな研究を発表していたのです（10）。とこ

グ追試実験も掲載されていました。インターネットのろが長谷川研でこの研究を追試しても，まったくその力を使い，巨大出版社など “ 伝統的 ” な権威から科学ような傾向が出ませんでした。

を解放しようとするオープン・アクセス誌の，面目躍

この追試研究もまた，なかなか論文として掲載されませんでした。その原因の 1 つには，目新しさの問題

如たる雰囲気があったことを覚えています。
それではなぜ JPSP を始めとする “ 伝統的な ” ジャだけでなく，ネガティブ・データは論文になりにくい，ーナルは，追試論文の掲載を断ったのでしょうか。そという問題もありました。ネガティブ・データというこには人目を引く「目新しさ」「面白さ」に偏った研のはつまり「◯◯の関係はなかった」と主張するもの

究の価値判断があったのではないかと考えられます。

です。しかし，何かが存在しないことを証明すること

これは自分でも経験があることなのですが，自他の研は「悪魔の証明」とも呼ばれ，不可能なのです。例え究を評価するときに，「何が新しいの？」という基準

ば「白いカラスはいない」と証明するためには，古今で判断することが，非常に多くあります。誰かがやっ

東西過去現在未来のすべてのカラスの色を調べない

たことを繰り返した ” だけ ” では評価されず，そこに，といけないわけです。「目玉模様と交尾成功に関係がその研究者なりの新しさ，オリジナリティが加えられ“ ある ”」という Petrie らの論文は 2 年間のクジャクのていることを強く求めるのです。少なくとも心理学で調査データから書かれたものでしたが，「そうした関は，その傾向はかなり強固にあるという印象がありま係は “ ない ”」という追試研究が論文として認められす。

るまでには，結局，10 年以上の調査データの積み上

卑 近 な 例 を 挙 げ ま す と， 実 は 私 の 卒 業 論 文 は，げが必要となりました（11）。

Cosmides & Tooby（1992）（9） の 4 枚カード問題研究と話がずいぶん脇にそれましたが，Bem の追試研究

いう，進化心理学における古典ともいう論文の追試でに戻りましょう。一度は追試研究の掲載を拒否した

した。今にして思えば，これはかなりちゃんとした直JPSP ですが，実は，後になって別の研究グループに接的追試であったと思います。それではなぜ追試をしよる Bem 論文の追試論文を掲載しています（12）。こち

たのかというと，当時から再現可能性問題に気づいてらは Bem 論文の実験 8 と実験 9 の追試を，あわせている意識の高い学生であったから，ではまったくなく，

7 つ行い，そのほとんどでネガティブな結果を報告し指導教員であった長谷川壽一先生からのアドバイスでています（実験 8 も基本的には実験 9 と同じ手続きのものした。そもそも進化心理学をやっていこうと決心したです）。さらに彼らは Bem 論文の実験 8 および実験 9

きっかけがこの論文でしたし，私は素直な学生でしたについての，Bem 本人のもの（2 つ），彼らによるもの

から，指導に従って追試を行いました。しかし心の中（7 つ），他の研究者による出版済／未出版のもの（10），には，自分のオリジナルのアイディアに基づいて研究あわせて 19 実験の結果をあわせた全体としての傾向をしている同級生や先輩への引け目が強くありました。

を見る分析（メタアナリシス）を行い，そこでも結果は周囲の方々は追試をすることをけっこう高く評価してネガティブであったことを報告しています。

くださっていたのですが，追試しただけでは論文にはなぜ JPSP が Ritchie らの掲載を拒否し，Galak らのならないという空気も感じていて，卒論がそのまま業

掲載は許可したのかは，わかりません。ただ，この点績にならないことに対して焦りを感じたことも覚えてについては時系列を見ると面白いことになっています。

います。うぶな学部生であっても，目新しくて面白い

・New Scientist 誌の JPSP 拒否記事……2011 年 5 月 5

内容でないと雑誌に掲載されないという出版バイアス（publication bias）に気がつくほどに，心理学界隈における新しさへの要求は強い，少なくとも強かったといえるでしょう。

日・Ritchie らの PLoS ONE への投稿……2011 年 12 月
16 日
・Galak らの JPSP 投稿……2012 年 2 月 8 日

ついでに少し逸話的な話をさせてもらいますと，私が入る少し前から，長谷川研ではクジャクのオスの尾羽の研究をしていました。これも追試研究です。クジャクの尾羽根がなぜあんなにも派手で長いのかという問題は，かのダーウィンをも悩ませた問題でしたが，・Ritchie らの PLoS ONE 論文：掲載決定……2012 年
2 月 13 日
・Ritchie らの PLoS ONE 論文：出版……2012 年 3 月
14 日・French のぼやきブログ ……2012 年 3 月 15 日

心理学研究は信頼できるか？（サイナビ！ブックレット Vol. 1）…… 7

・Galak らの JPSP 修正投稿……2012 年 6 月 19 日
・Galak らの JPSP 電子出版……2012 年 8 月 27 日
Galak ら が JPSP に 投 稿 し た 時 期 と，Ritchie ら がPLoS ONE 誌から掲載決定を得た時期がきわめて近い

https://www.newscientist.com/article/dn20447-journal-rejectsstudies-contradicting-precognition/（8）Ritchie, S. J., Wiseman, R., & French, C. C. (2012). Failing thefuture: Three unsuccessful attempts to replicate Bemʼs ʻRetroactive
Facilitation of Recallʼ effect. PLoS ONE, 7(3), e33423.

のが面白いところです。PLoS ONE 誌に追試研究が載るという話を聞きつけた JPSP の編集者が，Galak らの論文については査読に回すことにしたのかも？とか，穿った見方をしてしまいますね（根拠は何もありません。
単なるお遊びです）。ただ，それぞれの論文のタイトル

まで見ると，そうした穿った見方がさらに面白くなるのも，愉快なところです。曰く，

http://journals.plos.org/plosone/article?id=10.1371/journal.
pone.0033423（9）Cosmides, L., & Tooby, J. (1992). Cognitive adaptations for social
exchange. In J. Barkow, L. Cosmides & J. Tooby (Eds.), The adapted
mind: Evolutionary psychology and the generation of culture. Oxford
University Press, pp. 163-228.
（10）Petrie, M., Tim, H., & Carolyn, S. (1991). Peahens prefer peacocks
with elaborate trains. Animal Behaviour, 41(2), 323-331.
h t t p : / / w w w. s c i e n c e d i r e c t . c o m / s c i e n c e / a r t i c l e / p i i /・“Feeling the future”（未来を感じる） Bem のオリジナル

→超能力研究の未来を感じるよ！

・“Failing the future”（ 先 を 読 み 違 え る ） Ritchie ら→追試やったらトップ・ジャーナルに載ると思S0003347205804841（11）Takahashi, M., Arita, H., Hiraiwa-Hasegawa, M., & Hasegawa, T.
(2008). Peahens do not prefer peacocks with more elaborate trains.
Animal Behaviour, 75(4), 1209-1219.
h t t p : / / w w w. s c i e n c e d i r e c t . c o m / s c i e n c e / a r t i c l e / p i i /ってたけど，先を読み違えたよ……。
・“Correcting the past”（ 過 去 を 修 正 す る ） Galak ら→ Bem 論文を載せちまった過去を修正するよ……。

S0003347207005301（12）Galak, J., LeBoeuf, R. A., Nelson, L. D., & Simmons, J. P. (2012).
Correcting the past: Failures to replicate psi. Journal of Personality
and Social Psychology, 103(6), 933-948.
http://psycnet.apa.org/journals/psp/103/6/933/

文献・注Section 3（1）Bem, D. J. (2011). Feeling the future: Experimental evidence foranomalous retroactive influences on cognition and affect. Journal of
Personality and Social Psychology, 100(3), 407-425.
http://psycnet.apa.org/journals/psp/100/3/407/

心理学研究の問題点（2）Judd, C. M., & Gawronski, B. (2011). Editorial comment. Journal of
Personality and Social Psychology, 100(3), 406.
http://psycnet.apa.org/journals/psp/100/3/406/（3）Wagenmakers, E.-J., Wetzels, R., Borsboom, D., & van der Maas,
H. L. J. (2011). Why psychologists must change the way they analyze――Bem 論文自体は否定されたけれども，2010 年頃
から続いた一連の出来事により，心理学の研究方法に関する問題点が浮き彫りになってきたわけですね。具

their data: The case of psi: Comment on Bem (2011). Journal of

体的にはどういった問題が明らかになったのでしょう

Personality and Social Psychology, 100(3), 426-432.

か。

http://psycnet.apa.org/journals/psp/100/3/426/（4）Sedlmeier, P., & Gigerenzer, G. (1989). Do studies of statisticalpower have an effect on the power of studies? Psychological Bulletin,
105(2), 309-316.
http://psycnet.apa.org/books/10109/032
Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint,J., Robinson, E. S. J., & Munafò, M. R. (2013). Power failure: Why
small sample size undermines the reliability of neuroscience. Nature
Reviews. Neuroscience, 14(5), 365-376.
http://www.nature.com/nrn/journal/v14/n5/full/nrn3475.html（5）Schimmack, U. (2012). The ironic effect of significant results on thecredibility of multiple-study articles. Psychological Methods, 17(4),551-566.
http://psycnet.apa.org/psycinfo/2012-23130-001/（6）French, C. (2012). Precognition studies and the curse of the failed
replications. The Guardian, 15 March.
ht t p : / / w w w. t h e g u a r d i a n . c o m / s c i e n c e / 2 0 1 2 / m a r / 1 5 /precognition-studies-curse-failed-replications?newsfeed=true（7）Aldhous, P. (2011). Journal rejects studies contradicting precognition. New Scientist, 5 May.

樋口：
心理学の研究におけるさまざまな問題点についての指摘は，Bem 論文が公刊された時期の前後にさまざ
まな形でなされていました（例えば J. P. Simmons ら（1）は，False-positive ＝偽陽性と呼ばれる現象に焦点を当て，本当は意味がないのに意味があると主張する心理学者のさまざまな“ 努力 ” について論じています）。問題についての体系的な整理は，やはり Perspectives on Psychological Science 誌の 2012 年の再現可能性特集号（2）によるところが大きい。A crisis of confidence と副題のつけられたこの特集においては，心理学における再現可能性の低さを引き起こすさまざまな “ 問題のあるやり方 ” が紹介されています。
問題の背景として大きく指摘されているのは，「論文を公刊すること」への圧力と，「どのような論文が8 ……心理学研究は信頼できるか？（サイナビ！ブックレット Vol. 1）

公刊されるのか」という性質です。研究業績が研究者

ジティブな結果が得られた部分のみを報告する。

の雇用や給与，さらには助成金の獲得に大きな影響を・さまざまな分析が可能であるにもかかわらず，特与えている現状においては，研究者は研究業績，すな定の分析結果しか報告しない。

わち論文の数を増やすことに非常に強く動機づけられ・新たな発見をあたかももともと仮説があったかます。しかし科学の世界では，論文はただ書けば公刊のように報告する（注：結果がわかってから仮説をされるのではなく，ピアレビューと呼ばれる査読のシ

作 る ＝ Hypothesizing After the Results are Known の 意 味

ステムを通過しなければなりません。研究者は論文をで HARKing と呼ばれます。HARKing については N. L.

書き上げたらまず関連するどこかの雑誌に投稿する。

Kerr の論文（5）参照）

その論文は，雑誌の編集者によって指名された査読者
によって査読され，さまざまな修正要求とともに研究・一度都合の良い結果が得られたら，その後それを確かめる追試をしない。

者のもとに返却される。研究者は査読者のコメントにこういった QRPs を指摘した Nosek はこうも述べて対する返信と修正した論文を再度雑誌に送る。このやいます。「目新しくポジティブな結果は論文の公刊にりとりを繰り返し，最終的に査読者や編集者の審査にはきわめて重要だ。しかしそれは真実とは限らない」「合格」した論文だけが，ようやく公刊されることに（p. 617）。

なお，数々の QRPs が実際にどのようにして行われなります。
査読を通過して論文が公刊されるための重要なポイていくのかは『心理学ワールド』第 68 号における特ントの 1 つは，データが「ポジティブ」であることで集「その心理学信じていいですか？」の中の「心理学す。目新しくオリジナリティのある仮説が存在し，そな心理学研究――Questionable Research Practice」と名の仮説に対してポジティブな（≒有意な） 結果が得らづけられた論文に詳しい（6）。この論文では心太と名れた研究ほど，査読に合格し，公刊されやすいようでづけられたどこにでもいるような心理学徒が，とても

す

。

（3）

ナチュラルに QRPs を実践していく様子が描かれてい論文を公刊するためには有意な結果が望ましいとなます。

れば，研究者たちは当然有意な結果が得られるように

また心理学・脳科学に関する有名ブロガー兼サイエ

努力することになります。統計的に有意であるかどう

ンスライターである Neuroskeptic（7）は，ダンテの『神かは p 値（probability）という値で判断しますが，その曲』における地獄篇のパロディを用いて，心理学者に

p をハックするという意味で “p hacking” と呼ばれたりよる 9 つの問題のある研究のやり方を “ 地獄 ” としてもします。もちろん多くの努力は適切な範囲でのもの

紹介しています（図参照）。詳細は論文を直接見てほしです。しかし中には，いろいろと問題があるやり方いですが（8），ここでは簡単に 9 つの地獄を紹介してお（Questionable Research Practices：QRPs ＝ 問 題 の あ る 研 究 実

きます。

践）も存在します。

第 1 の地獄：他の問題のあるやり方を見て見ぬふり，

近年の社会心理学における再現可能性プロジ
ェ ク ト の 旗 振 り 役 の 1 人 で も あ る Brian Nosek は，Persopectives on Psychological Science 誌の再現可能性特集号に寄せた論文において，目新しくポジティブな結果が推奨されている現状が，以下のような研究実践を増やしていると指摘しています（4）。
・1 回の検定力の大きい研究ではなく，何回もの検定力の小さい研究を行う。つまり，投資でいうところのレバレッジである。
・ポジティブな結果ばかり報告され，ネガティブな結果が報告されない。
・都合の良い結果が得られた段階でデータ収集をやめる。
・都合の良い結果が得られるまでデータ収集を続ける。

図・複数の独立変数や従属変数があったとしても，ポ9 circles of scientific hell

© Neuroskeptic より許諾を得て掲載。

心理学研究は信頼できるか？（サイナビ！ブックレット Vol. 1）…… 9

第 2 の地獄：過大に自分の研究を売り込む，第 3 の地重を修正しようとしています。日本の雑誌ではまだ明

獄：後づけで話を作る，第 4 の地獄：統計的に有意に確な指針は示されていませんが，将来的に修正，移行なるように手を変え品を変える，第 5 の地獄：外れ値がなされる可能性はあります。

を都合のいいように使う，第 6 の地獄：剽窃・盗作，

心理学界全体を考えると，すぐ移行できるかはわか

第 7 の地獄：都合の悪いデータを公開しない，第 8 のりません。困難もあります。研究者なら当然払うべき

地獄：都合の良いデータだけを選んで公開する，第 9

労力だと思いますが，新たに統計解析手法をマスターの地獄：データの捏造することは容易ではありません。大学院，学部におい心理学者の中で，自分は心太ではない，そしてどのて心理統計の手法を刷新することに難しさを感じる教

地獄にも堕ちたことがないと胸を張れる人ははたして員もいるでしょう。その点に関して，日本社会心理学

どれぐらいいるのだろうか。そしてどうすれば心太を会を始めとしていくつかの学会が新しい方法論についはじめとした心理学者は（あるいは心理学は？），地獄てシンポジウムやセミナーを開催しているのは非常にに堕ちず真実にたどりつくことができるのだろうか。

心強いことです（12）。
そもそも，雑誌で採用する統計手法を変えるというのは大きなルール改定です。雑誌の編集委員会のリー

QRPs を防げるのか

ダーシップと実行力が問われます。世界的に見ても，再現可能性の重要性認識には温度差があります。従来――研究実践上のさまざまな問題点が指摘され，それの方法で問題ないと考える研究者もいますので，合意が多くの研究者にとって他人事ではなかったわけですに時間がかかる可能性があります。また，心理学の研ね。しかも背景には論文公刊をめぐる制度的・構造的究手法は実験だけではないという点も見逃せません。

な問題もあったと。ことの重大さがわかってきましこれらの中には再現可能性それ自体を問うことが難した。では，どうすれば QRPs を防ぐことができるのでい研究もありえます。これらをどう扱うかについては

しょうか。

複数の意見が対立することも考えられます。

藤島：に対して有効なのであって，他の不正に関しては効力

また，帰無仮説検定からの移行は p hacking の駆逐
QRPs を防ぎ，再現可能性の検討を促進するにはどをもちません。さらには，新しい統計手法に対して不うすればいいか，これらの問題について論文が刊行さ正な手段が発生しないとも限りません。その意味では

れると同時に，いくつかの学会，雑誌の編集委員会

限定的な対策ですが，現状と比べると良い状況をもたが指針を示しています。例えば，Psychological Science

らすことは間違いないと思います。

誌 に 掲 載 さ れ た G. Cumming の 論 文

（9）

は非常に刺

激 的 な 論 文 で す。 ま た， 最 近 Social Psychological andPersonality Science（SPPS）誌は Editorial に再現可能性に

再現可能性の検証を促進するためには関する方向性も示しています（10）。これらを参考にしながら考えてみましょう。
まず，QRPs を用いた p hacking を抑止するにはどうすればいいでしょうか。根本的な解決としては，Null

次に，再現可能性の検証を促進するにはどうすればよいでしょうか。まずは，直接的追試やデータの再分
析がしやすい環境を整える必要があります。

Hypothesis Significance Test Procedure（NHSTP；帰無仮説

第 1 に，実験手続きが詳細に論文内で紹介される必検定）を捨て去るという方法があります。大胆に聞こ要があります。今から数十年前の研究論文では実験手えますが，p ＜ .05 という結果を得るために QRPs が続きが詳細に記されていました。1 論文に実験が 1 つ

なされているのですから，その目標自体をなくすことか 2 つしか紹介されませんでしたからそれが可能でしは理にかなっています。

た。現在では同じぐらいの紙幅で 3 つ以上の研究が紹

すでに帰無仮説検定に対する代替手法が存在します。 介されます。その結果，手続きの紹介が簡略化される
例えば，効果量や信頼区間を記載，少なくとも併記す傾向にあります。これでは追試は困難になります。雑るとか，ベイズ統計学に基づくアプローチに移行す

誌の執筆規程を改めて文字制限を緩和したり（オンラるといった方法があります。実際に Basic and Applied

イン・ジャーナルなら容易でしょう），付加情報の参照を

Social Psychology 誌は帰無仮説検定のみの論文投稿を可能にしたりするような措置が必要です。

禁じました。先述の SPPS 誌も帰無仮説検定への偏（11）

第 2 に，実験刺激や質問項目の公開，共有が必要で10 ……心理学研究は信頼できるか？（サイナビ！ブックレット Vol. 1）

す。Bem 論文の直接的追試が複数ラボで可能になっが上がるかもしれませんし，どれくらいの実験者トレ

たのは，Bem が実験刺激を提供したからです。このーニングが必要かの指針が得られるかもしれません。

ような公開，共有は直接的追試の大前提となります。

現在，null effect を示すデータを公開できる場所として，また，実験データとその分析手順も公開，共有される

PsychFileDrawer（15） があります。ここでの公開は研究とよいと思います。実験データの分析手順は本来実験業績となりませんが，それでも再現可能性に関する重手続きと密接に関連するもので，追試でも同じ手順で要な研究記録を公開する場として機能しています。

行われるべきものです。この第 2，第 3 の点に関して

ただ，直接的追試を行うときには，pre-registration

は，Open Science Framework（OSF）が共有の場を提供（事前登録）が必要だと思います。これは，平石さんのしています（13）。これを積極的に利用することで直接発言にあったように，直接的追試をする前にその実施的追試が促進されるはずです。

を宣言するというものです。この所作には，良い結果

さらに，平石さん，樋口さんの発言にもありました

であれ悪い結果であれ公開するという研究者の姿勢がが，「ポジティブな研究」が刊行されやすい状況を変あります。元研究に味方して良い結果だけ公表する

えなければなりません。現状では，目新しくオリジナのでもなく，元研究に敵対して悪い結果だけを公表

リティのある仮説が美しく支持されてはじめて刊行さするのでもないという公正な態度が保証されるのでれます。目新しさとオリジナリティは重要な価値観です。これを突き詰めると pre-review（事前審査）になりあり，これを求めることが学問の進展につながることます。これは，研究結果を事後的に審査するのではなは確かです。ただ，それに偏重するあまり，知見の頑く，研究計画を事前に審査して雑誌への掲載を決定す

健性の確認や理論の精緻化，特に制限状況の特定がおるという制度です。この場合，良い結果であれ悪い結

ろそかになった部分があります。Bem 論文の追試に果であれ掲載することになります。出版バイアスに対するいくつかの雑誌の reject（掲載拒否）対応はその対する雑誌の公正な態度が保証されます。このよう現れです。ここのバランスを修正しなければなりませな pre-review を制度化した雑誌も存在します（例えばん。

Comprehensive Results in Social Psychology 誌

）。

（16）

それには，やはり雑誌の編集方針の見直しが欠かせ

先ほど統計解析のルール変更には困難が伴うと発言ないでしょう。その 1 つとして，直接的追試研究の意したのと同じで，直接的追試研究，特にネガティブ・義を積極的に認めることが必要です。少なくとも，た

データの雑誌掲載，pre-review 制度の採用は大幅なルくさん引用されるような理論的に重要である知見につール変更で，合意には困難が伴うと思います。一方で，いては早々に直接的追試を行い，再現可能性を検証す

希望ももてます。2015 年 6 月 26 日，Science 誌にあるべきですし，その結果を出版して共有するべきだと思記事が掲載されました（17）。それは，“The Transparency

います。

and Openness Promotion Guidelines”（18）に関する記事で，そのときには，再現できた結果だけではなく，ネガ研究の透明性とそれに伴う再現可能性検証の促進を狙

ティブ・データもしくは null effect（効果なし）研究のったガイドラインの提言でした。この提言に 50 の学意義も認めることが必要です。特に，一定の要件を満会と 526 の雑誌が署名しており，中には心理学系の学たしたネガティブ・データは重要な意味合いをもつと会，雑誌も含まれています。すべての学会，雑誌が十思います。具体的には，明確な理論をもち，十分な統

全な透明性を確保できているわけではありませんが，計的検定力を備えた実験デザインで実施された研究は再現可能性を含む問題に多くが関心を寄せていること価値があるでしょう。それによって，かつてはあるとは明るい将来を感じさせます。

信じられていた現象が存在しない可能性が高まるのであれば論文として掲載する価値はあると思います。例
えば，血液型性格診断について，きちんとした手続きで十分な統計的検定力をもって検証した結果，ネガティブ・データが得られた（例えば，縄田健悟の論文（14）），というのはいろいろな意味で意義があると思います。
先ほど，すべてのネガティブ・データに価値を見出すことは難しいと言いましたが，それでもどのようなデータであれ，公開される，もしくは利用可能になるべきだと思います。そうすることで，メタ分析の精度

文献・注（1）Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). Falsepositive psychology: Undisclosed flexibility in data collection andanalysis allows presenting anything as significant. Psychological
Science, 22(11), 1359-1366.
http://pss.sagepub.com/content/22/11/1359.full（2）Perspectives on Psychological Science 誌再現可能性特集号
Special section on replicability in psychological science: A crisis ofconfidence? Perspectives on Psychological Science, 7(6), 528-654.
http://pps.sagepub.com/content/7/6.toc

心理学研究は信頼できるか？（サイナビ！ブックレット Vol. 1）…… 11

（3）Fanelli, D. (2010). Do pressures to publish increase scientists' bias?:
An empirical support from US states data. PLoS ONE, 5(4), e10271.
http://journals.plos.org/plosone/article?id=10.1371/journal.

156.
https://www.jstage.jst.go.jp/article/jjpsy/advpub/0/advpub_85.13
016/_article/-char/ja/（15）PsychFileDrawer

pone.0010271（4）Nosek, B. A., Spies, J. R., & Motyl, M. (2012). Scientific utopia:
II. Restructuring incentives and practices to promote truth overpublishability. Perspectives on Psychological Science, 7(6), 615-631.

http://psychfiledrawer.org/（16）Comprehensive Results in Social Psychology 誌
https://osf.io/8mpji/wiki/home/pre-registration，pre-review を認める雑誌一覧（OSF による）

http://pps.sagepub.com/content/7/6/615.full（5）Kerr, N. L. (1998). Hypothesizing after the results are known.
Personality and Social Psychology Review, 2(3), 196-217.

https://osf.io/8mpji/wiki/home/（17）Nosek, B. A., et al. (2015). Promoting open research culture.
Science, 348(6242), 1422-1425.

http://psr.sagepub.com/content/2/3/196.short（6） 平 石 界・ 池 田 功 毅 (2015).「 心 理 学 な 心 理 学 研 究 ――

http://www.sciencemag.org/content/348/6242/1422

Questionable Research Practice」『心理学ワールド』68, 5-8.

（18）Transparency and Openness Promotion (TOP) Guidelines

http://www.psych.or.jp/publication/world_pdf/68/68-5-8.pdf

https://cos.io/top/（7）Neuroskeptic のブログ
http://blogs.discovermagazine.com/neuroskeptic/
Neuroskeptic 氏 ：再現可能性の問題などについて積極的に発Section 4

言している匿名ブロガーであるが，その正体はニューロサイ
エンス領域の研究者であるという噂も。なおニューロサイエ
ンス領域では死んだ鮭の fMRI を測定し，視覚刺激に反応する

Science 誌掲載論文の内容とは脳部位を発見したという有名な論文がある。fMRI は脳の活動を測定する機器である が，もちろん死んだ鮭は視覚刺激に反応するはずがない。ちなみにこの論文ではあえて不適切な統計手法（= p hacking）が用いられており，オチとして「適切な――Science 誌にセンセーショナルな結果が掲載されたようですが，どのような内容だったのでしょうか。

統計手法を使おうね」という主張がなされている。
鮭論文は以下。
Bennett, C. M., Baird, A. A., Miller, M. B., & Wolford, G. L. (2009).
Neural correlates of interspecies perspective taking in the postmortem Atlantic Salmon An argument for multiple comparisonscorrection. NeuroImage, 47(1), S125.
http://prefrontal.org/files/posters/Bennett-Salmon-2009.pdf（8）Neuroskeptic, (2012). The nine circles of scientific hell. Perspectives
on Psychological Science, 7(6), 643-644

三浦：
この連載が始まるきっかけとなった，第 1 回冒頭で紹介された論文のことですね。これまでの記事をお読みいただければおわかりの通り，われわれは数年前からこうした動きを知り，自ら追試に取り組んでいたわ
けですから，「センセーショナル」とは思いませんでした。しかし，その内容を世界的に著名な 2 大科学雑

http://pps.sagepub.com/content/7/6/643.full（9）Cumming, G. (2014). The new statistics: Why and how.

誌 Nature 誌と Science 誌が速報し，論文を掲載したこと，そしてそれらを比較的詳しく紹介する日本語記

Psychological Science, 25(1), 7-29.
http://pss.sagepub.com/content/25/1/7（10）Vazire, S. (2015). Editorial. Social Psychological and Personality
Science.

事がオンライン・ニュースメディアで配信されたこと（1） で，普段は「学問としての心理学」にそれほど

http://spp.sagepub.com/content/early/2015/09/29/19485506156

関心をもたない人々も含めた世間の耳目を集めました。

03955.full

自分や他者の心の動きに関心をもつ人々，特に科学の（11）Trafimow, D., & Marks, M. (2015). Editorial. Basic and AppliedSocial Psychology, 37(1), 1-2.
http://www.tandfonline.com/doi/full/10.1080/01973533.2015.10
12991（12）日本社会心理学会 (2014).「春の方法論セミナー

あなたの実験結果，再現できますか？――false-positive psychology の最前線」
http://www.socialpsychology.jp/sympo/seminar_140317.html
日本社会心理学会 (2015).「第 2 回日本社会心理学会春の方法論セミナー

GLMM が切り開く新たな統計の世界」

http://www.socialpsychology.jp/sympo/seminar_150325.html＊後半で少しベイズ統計について触れられる。
（13）Open Science Framework
https://osf.io/（14）縄田健悟 (2014).「血液型と性格の無関連性――日本と米国の大規模社会調査を用いた実証的論拠」『心理学研究』85, 148-

無謬性，つまり「科学的研究には絶対に間違いなどないはずだ」という素朴な信念をもつ人々にとっては，「心理学ってなんていい加減なんだ」と思わせるに十分なニュースだったかもしれません。
ここではその内容のうち，日本語による報道にはない，あるいは正確さに欠ける部分を補足する形でかいつまんでご紹介します。Open Science Collaboration（OSC）（2） と は， 志 を 同 じ く す る 研 究 者 な ら 誰 で も参加できるオープンな共同研究グループで，「集合知」を目指す研究チームだと言えばわかりやすいでしょうか。この論文で追試対象となった研究は，
Psychological Science（PSCI）

誌，Journal of Personality

and Social Psychology（JPSP） 誌，Journal of Experimental

12 ……心理学研究は信頼できるか？（サイナビ！ブックレット Vol. 1）

有意確率
非有意
有意
再現力
0.6
0.7
0.8
0.9

1.00

0.75

追試研究の効果量

0.50

0.25

0.00

－0.25

－0.50
0.00

0.25

0.50

0.75

1.00

オリジナル研究の効果量

図オリジナルと追試の効果量の比較（4）Psychology: Learning, Memory, and Cognition（JEP: LMC）

イナスの部分（点線より下） にプロットされている点

誌の 3 誌は，追試ではオリジナルとは逆の効果が得られたこと（3）で 2008 年以降に刊行された論文のうち，事前に決められた一定の基準に該当する 100 本でした。

を意味しています。また斜線は縦横が同じ数値のライ

これら 3 誌はそれぞれ心理学全般，社会心理学，認知

ンなので，これより下の点が多いことは，オリジナル

心理学のトップ・ジャーナルです。

より追試の効果量が小さかった研究が多いことを示し

記事には「再現性が確認できた研究は ﹁100 件中のています。また，グラフ上で右へ行くほど赤丸が減り，39 件﹂ ﹁全体の 39％﹂ だった」といった表現が見られ青丸が増えていることから，オリジナルの効果量が大

ますが，これは，追試を実施した研究者たちの主観的

きいと結果の再現性も高まる傾向が見て取れます。さ

評価，つまり「オリジナルの結果が再現されましたらに，追試を実施した研究者たちには，オリジナルのか？」という質問に「はい」と答えた比率が 39％だ

知見の重要性や意外性，追試実施の困難さや質，オリった点を取り上げたものと思われます。より客観的

ジナルと追試両方の研究者の技量や経験について評価なデータを見ると，オリジナルの論文のうち 97％はを求めましたが，こうした要因は再現性にほとんど影

統計的に有意な効果が得られていた（つまり 3％は null

響しないことも示されました。

effect〔効果なし〕研究だった）のですが，追試では 36％，

論文は，「科学の究極の目標は真実である。われわ

追試の効果量の 95% 信頼区間に元論文の効果量が含れはエビデンスを蓄積することによって，科学コミュまれていた（つまり「ほぼ」も含めて再現されたと考えてニティにおける方法論に自己修正を施し，これの追究もよさそうな） 研究は 47％でした。また，オリジナルのために努力しなければならない」，と結ばれていまと追試をあわせると，もともと示されていた効果の有す。確かにやや心細い再現性だという感は否めません

意性が保たれたのは 68％でした。

が，特段に「センセーショナル」な結果でもないと思図は，効果量の散布図です。横軸がオリジナル，縦います。方法論の脆弱性を認めつつ，そのブラッシュ

軸が追試の効果量で，青丸が追試で「有意」，赤丸がアップを常に心がけることこそが，科学者に求められ同じく「有意ではない」結果だったことを，縦軸でマる科学的行為なのです。

心理学研究は信頼できるか？（サイナビ！ブックレット Vol. 1）…… 13

――まさに現在進行形で，今後の展開から目が離せま

そんな事情もあるせいか，日本の心理学系の学会

せん。かたや日本でも学会などで取り組みが始まってで再現可能性問題に積極的に取り組んでいるところいるようですが，今回の科研のプロジェクトではどうは，残念ながらまだほとんどありません。現在，私のいったことに取り組まれるのでしょうか。

知る限りにおいて追試研究歓迎を謳っている雑誌は，
人間行動進化学会刊行の英文誌 Letters on Evolutionary

われわれの科研プロジェクト「社会心理学研究の再Behavioral Science 誌（5）のみです。また『心理学研究』

現可能性検証のための日本拠点構築」（挑戦的萌芽研究『社会心理学研究』『教育心理学研究』誌など主要誌に，

2015-2017）は，社会心理学領域における再現可能性検研究材料や補足資料などを Web 公開する仕組みをも証の日本における拠点を構築することを目指していまつところもなく，自らの発信する研究成果を再現可能す。

性の検証に供する努力も未だしといった状況です。正わざわざ国内拠点形成というワンステップを踏まな

直なところ OSC とは比較にならないほど小さいです

くとも，世界規模の OSC に個人で参加すればよいでが，われわれの「実力行使」が少しでも制度や仕組みはないか，と思う方もいらっしゃるでしょう。しかし，を動かす原動力となればと願っています。

これまでのところ OSC に参加した日本の研究者はわ

科研費プロジェクトで着手した追試研究の具体的なれわれを含めてほぼ皆無です。こうした反応の鈍さを内容は，日本社会心理学会第 56 回大会（2015 年 11 月

説明する 1 つの要因は，初期参入コストの高さだと考1 日） のワークショップでご報告しました。先ほどごえられます。コストは種々ありますが，そのうち 1 つ

紹介した OSC のプロジェクトで追試対象となった研は「言葉の壁」です。標準化された手続きの日本語化，究も含まれています。報告内容や詳しいデータはぜひ

それを用いた実験の実施には人的・経済的コストがか

Web からご覧ください（6）。

かります。しかも，そのコストを負担して追試を行っ最後に，これまでの日本の心理学者たちが再現性のても，それが学界において正当に評価される保証もな

問題を看過してきたわけではないことも強調させてく

いとなれば，追試研究の実施は研究者個人のきわめてださい。例えば日本教育心理学会では，1988 年の年

高い「やる気」だけに依拠せざるをえなくなります。

次総会で開催されたシンポジウムの中でこの問題を取

われわれも人間ですから，たった 1 人で，カネもコネり上げています。『教育心理学研究』『心理学研究』もない環境でやる気を維持するのは困難です。そこで， 『実験社会心理学研究』誌に掲載された 97 編の論文にまずは徒党を組もうということになったわけです。高

ついて学部学生による追試研究を行い，原論文との一い意欲をもつ研究者グループが初動部隊となり組織的致率を求めたという労作です（7）。残念ながら具体的な検証実験の拠点となる研究者ネットワークを形成すなデータは記載されていませんが，一致率は全般的にれば，直接的追試への新規参入コストを下げられるのあまり高くなかったとの報告がなされています。

ではないか，と。

再現性問題は「古くて新しい」問題なのです。心理

このたびの Science 論文に触れて，危機感を抱かな

学研究の再現性の低さが問われるというピンチを，組い（社会）心理学者はいないでしょう。少しずつでも織的検証の取り組みを端緒につけるというチャンスに積み上げてきたつもりだった研究知見が，その地盤か変えて，解決に向けて新たな一歩を踏み出します。

ら崩れていくのですから，まるで杭打ちが不完全な施工不良のマンションのようなものです。ここで，わざ――よりよい心理学研究に向けた，意欲的な取り組み

わざ「（社会）」とカッコ書きを加えたことにも意味がですね。最後に，プロジェクトへの意気込みをひと言あります。心理学の中でも領域によりこの問題への対ずついただけますでしょうか。

応には温度差があるからです。知覚・認知心理学ある
いは心理物理学など行動指標を使う人たちにとっては，

池田：

再現性の問題はまだ対岸の火事というか，それほど大今後，さまざまな心理学のサブ研究領域で，先行研きな問題になっていないようです。当該領域を専門と究の再現可能性をチェックし，信頼できる知見だけをする同僚によれば，おそらくは追試にかかるリソース

選んだ教科書を作り直す必要があります。今はまだ余がそれほど大きくなく，なにか面白い現象が報告され裕がなくて全然できていませんが，特に僕の個人的なたらまずそれを追試するところからスタートするので，関心対象である感情研究や進化心理学などについては，再現性のない研究が一人歩きしにくいという事情があ

今後システマティックかつ継続的に，高い検定力を備るのかもしれない，とのことでした。

えた追試研究を行っていきたいので，できるだけ早く

14 ……心理学研究は信頼できるか？（サイナビ！ブックレット Vol. 1）

そのシステム作りを始めたいと思います。その際，すにおけるデフォルトの発想として定着するかどうかにでに述べたように個人の力には限界があるので，国ついてはあまり楽観的な見方をできていません。再現

内・国外を問わず，同じ関心をもつ研究者間でのネッ可能性問題への対策が定着していくためには，やはりトワーク作りが重要であると思われるので，今後積極

その活動が楽しいことである，素晴らしい意味をもつ的にその立ち上げを行っていきたいと思っています。

ことであると示されるのが重要でしょう。私が今一番大切にしたいのは，再現可能性の問題を考え検討していく活動がとてもエキサイティングで新しい知見を生藤島：
再現可能性の検証と直接的追試の促進について日本

み出すことができる，真に科学的な作業だということはずいぶん遅れています。日本のデータは何でも比較を身を以て示し続けるという点です。特に学部生や修文化データだと言われてしまう困難もあります。少し士の学生に対して，身を以て示し続けたい。それ自体

でも追いつく努力が必要ですし，他国の研究者との連が，自分自身への叱咤にもなります。

携も深めていくべきだと思います。その手がかりとしてこのプロジェクトを生かしたいと思っています。

三浦：

一連の騒動と今回のプロジェクトは，自分自身の研「息長く続けられるようガンバリマス！」はデフォ

究を見る目を変えてくれているような気がします。科

ルトとして，実験実習や卒論研究などに再現可能性プ学的手法をより自覚するようになりましたし，同時にロジェクトを組み込むことで，基礎的な心理学教育の科学的でない手法の意味も少し理解できるようになり効果も同時に高めたいと考えています。心理学は教育ました。これらを生かして，新しい中にも安定感のあプログラムが比較的きちんと確立されている学問領域

る研究を遂行できればと思っています。

ですが，中でも「自分たちで実験をしてデータを収集・分析してレポートを執筆する」という一連の流れを経験する「実験実習」は非常に重視されており，卒平石：
私個人としては「意気込み」というよりは，研究者

論研究はその延長線上に位置づけられます。再現性検という仕事をしている以上，やらねばならないなぁ，

証プロジェクトで対象となった研究を素材として使えというくらいの地味な覚悟です。研究という仕事のば，詳細な情報が手に入るうえに，オリジナルばかり（私にとっての）良さの 1 つは，噓をつかないことが尊ではなく世界各国の追試データも比較対象として手にばれる世界であるということです。自分が清廉潔白な入ります。こうすることで，前出 OSC 論文の結びに人間であるなどと言うつもりは毛頭ありませんが，正あった「科学的研究とは」という自覚をより強くもた直であることが尊重される社会の方が，自分は居心地せられるのではないかと考えています。

が良い。しかし人間というのは弱いもので，悪気はな
くとも，自分に好ましいようにデータを見てしまうことがあるのは，この連載でもすでに述べられている通りです。そういった歪みに気づいてしまったのであれ

文献・注（1）Baker, M. (2015). First results from psychologyʼs largest
reproducibility test. Nature News, 30 April.
http://www.nature.com/news/first-results-from-psychology-s-ば，少しでも治す努力はしないとね，ということです。
ただ人間は弱いものなので，志は高くとも 1 人でやるのはしんどい。仲間がいるから続けられるという意味
で，このプロジェクトにはとても感謝しています。

largest-reproducibility-test-1.17433
COURRiER (2015).「有名な心理学研究のうち「再現可能性がある」ものはわずか 39% だった」『COURRiER JAPON』7 月
7 日（Nature 誌の記事紹介）
http://courrier.jp/news/archives/1061
Open Science Collaboration (2015). Estimating the reproducibility

樋口：of psychological science. Science, 349(6251).

私にとってこのプロジェクトは，まさに自分自身への叱咤になっています。自分および自分の研究室で行っている今の研究のやり方，これは本当に正しい知識を得るために有効なのか，それを常に考え続けること

http://www.sciencemag.org/content/349/6251/aac4716
Sheridan, K. (2015).「心理学の研究結果，6 割以上が再現不可
能 検証調査」『AFPBB News』，8 月 28 日（Science 誌の論文紹介）
http://www.afpbb.com/articles/-/3058654（2）Open Science Collaborationができる装置がこのプロジェクトです。
また，このプロジェクトで目指していることは心理学の世界において非常に重要なことだと確信していますが，それが多くの人に重要だと認識され，心理学界

https://osf.io/vmrgu/（3）Psychological Science（PSCI）誌
http://pss.sagepub.com/

心理学研究は信頼できるか？（サイナビ！ブックレット Vol. 1）…… 15

Journal of Personality and Social Psychology（JPSP）誌
http://www.apa.org/pubs/journals/psp/
Journal of Experimental Psychology: Learning, Memory, andCognition（JEP: LMC）誌
http://www.apa.org/pubs/journals/xlm/

藤 島 喜 嗣（ふじしま・よしつぐ）：昭
和女子大学人間社会学部准教授。主要著
作・論文に「自尊感情と自己関連動機に基づく推論の歪み」（村田光二編『現代の認知心理学 6 社会と感情』北大路書房，（4）（1）の Open Science Collaboration（2015）Fig. 3 より作成。

2010 年 ），「 社 会 的 影 響 」（ 遠 藤 由 美 編（5）人間行動進化学会『社会心理学――社会で生きる人のいとなみを探る』ミネルヴ

http://beep.c.u-tokyo.ac.jp/~hbesj/

ァ書房，2009 年）。Twitter（@gsd9720）。

Letters on Evolutionary Behavioral Science 誌
http://lebs.hbesj.org/index.php/lebs（6）「実験結果の再現可能性検証に関する諸問題」日本社会心理学会第 56 回大会ワークショップ

三 浦 麻 子（みうら・あさこ）：関西学院大学文学部教授。主要著作・論文に「オンライン調査モニタの Satisfice に関https://sites.google.com/site/kgasasemi/replicability/jsps_kaken

する実験的研究」（『社会心理学研究』

hi/activity_log/jssp56ws

31(1), 1-12, 2015，共著），「東日本大震災（7）寺田晃ら (1988).「教育心理学研究」の方向性とあり方を考える――最近の動向を通して」『教育心理学年報』27, 20-29.
https://www.jstage.jst.go.jp/article/arepj1962/27/0/27_20/_

時のネガティブ感情反応表出――大規模データによる検討」（『心理学研究』86(2), 102-111, 2015，共著）。
web サイト（http://asarin.team1mile.com），Twitter（@asarin）。

article/-char/ja/

著者

池 田 功 毅（いけだ・こうき）：中京大学心理学研究科・日本学術振興会特別 研 究 員 PD。 主 要 著 作・ 論 文 にShape and spatial working memory capacities are mostly independent（Frontiers in
Psychology, 6, 581, 2015，共著），Fearful faces grab attention in
the absence of late affective cortical responses（Psychophysiology,
50(1), 60-69, 2013， 共 著 ）。web サ イ ト（https://sites.google.
com/site/kokiikedasresearch/home），Twitter: English（@kokiikeda），Twitter: 日本語（@kokiikedaJP）。

樋 口 匡 貴（ひぐち・まさたか）：上智
大学総合人間科学部准教授。主要著作・論文に「コンドーム購入行動に及ぼす羞
恥感情およびその発生因の影響」（『社会心理学研究』25(1), 61-69，2009 年，共著），「ビデオフィードバック法によるコンド
ーム購入トレーニングの効果に関する予備的検討」（『日本エイ ズ 学 会 誌 』12(2), 110-118，2010 年， 共 著 ）。Twitter（@
HIGUCHI_MA）。

平 石

界（ひらいし・かい）：慶應義塾大学文学部准教授。主要著作・論文にHeritability of decisions and outcomes ofpublic goods games.（Frontiers in Psychology,
6, 373, 2015，共著），「進化心理学――理論と実証研究の紹介」（『認知科学』7(4),341-356，2000 年 ）。web サ イ ト（https://sites.google.com/site/kaihiraishi/），Twitter（@kaihiraishi）。

＊サイナビ！（URL 参照）に連載された記事をもとに作成しています。
http://chitosepress.com/category/psychology-navigation/＊記載された内容の著作権等の知的財産権は，著者または著者に権利を許諾した者に帰属します。
＊購入者・利用者は印刷・配布して使用することができます。
＊ CC BY-ND ラ イ セ ン ス に よ っ て 許 諾 さ れ て い ます。 ラ イ セ ン ス の 内 容 を 知 り た い 方 は https://creativecommons.org/licenses/by-nd/4.0/deed.ja でご確認ください。

16 ……心理学研究は信頼できるか？（サイナビ！ブックレット Vol. 1）