Commentary

ASA 声明とこれからの統計学の使われ方
最近の心理統計分野の動向から
岡田謙介
専修大学人間科学部 准教授

1

ASA 声明の発表時，私はこの声明を主導してASA声明とりまとめた，当時の ASA 会長である Jessica

Utts 教授の所属するカリフォルニア大学アーバ2016年3月，データを扱う研究業界にとって，イン校で在外研究を行っていた。同大学ではとひとつの「事件」があった。統計学研究の世界

くに私の専門分野である，心理学での応用を念的な拠点団体であるアメリカ統計学会（American頭において統計改革やベイズ統計学の研究を主Statistical Association, ASA）が，学会の名のも導する研究者と日常的に交流する機会に恵まとに「p 値についての ASA 声明」を，その機関誌れていた。そのため，
ASA 声明のニュースもいAmerican Statistician に発表したのである（Was-

ち早く耳に入り，同僚たちといよいよ統計学のserstein and Lazar, 2016）。この声明は，「統計的使われ方も潮目が変わるかもしれない，と感慨に有意」であることの本来の意味を確認し，そ深く話したことが印象に残っている。の拡大解釈や誤用に警鐘を鳴らすものであった。

ASA 声明の概要
統計学的有意性

ASA 声明は，本来的な意味で p 値が何を表す統計学において，有意である（significant）と量なのかを確認し，それを超えた拡大解釈・拡は，統計的仮説検定を行って p 値が事前に定め大利用に対して強く注意を喚起するものである。

た有意水準よりも小さくなることを指す。仮

その本文は2ページに満たない分量であり，ぜ説検定を行う応用研究では，慣習的に有意水準

ひ読者にも一読をお勧めしたいが，本稿ではかαはα =0.05 ，つまり5％に設定されることが多いつまんでその内容を紹介する1）。

い。このとき，有意であるとは，仮説検定からASA 声明はまず，p 値が何であるのかを確認

p<.05である結果が得られたことを意味する。

する。
すなわち，統計的仮説検定におけるp 値は，20世紀前半に Fisher や Neyman, Pearson ら

帰無仮説のもとで，検定統計量が今回のデータによって仮説検定という方法が確立されて以から得られた観測データ以上に極端な，つまり来，結果が「統計学的に有意」であることは，実帰無仮説と整合的でない方向のものになる確証科学のさまざまな分野において，研究の価値率である。また，
Neyman-Pearson 流の立場にを左右する重要な指標と見なされてきた。したてば，
p 値はデータの，帰無仮説からの逸脱のかし，後述する再現性の危機や p-hacking の問程度を反映すると解釈できる。

題など，この慣習に伴う弊害が近年とくに顕在同声明は次に，p 値が何でないのかを確認す化してきたことから，
ASA 自らが p 値の本来のる。
まず，
p 値は帰無仮説が正しい確率ではない。

意味を確認し，その誤用や拡大解釈をいましめ

この解釈は p 値についてのよくある誤りである。

たのがこの声明である。

また「統計的に有意」とは検定の手続きにした

3

社会と調査 NO.19（2017 年 9 月）

88

33

Commentary

がうと帰無仮説が棄却されることを指すので思われる。統計学の論文誌では，現在でも新しあり，ビジネスや政策のような実社会において「意い検定が日々開発され，論文として出版されて味がある」ことを意味するわけではない。さらいる。新たな問題に対して検定を構成するこに，p 値は効果の大きさや，モデルや仮説についとは，統計学者の重要な仕事のひとつであり続ての証拠の大きさを表すわけでもない。

けてきた。
それにもかかわらず，統計学の学会が，そして声明は，単に p 値の限界を述べるだけ検定の濫用・誤用への危機感から，まかり間違に留まらず，p 値に代わる，もしくは p 値を補完えば自らの存在意義を低下させかねないようしうる方法について述べる。声明で挙げられな声明を出したのである。しかも，このようにているのは，（1）検定よりも推定を重視する信重要な統計学の問題について，学会としての推頼区間や信用区間，予測区間に基づく方法，（2）

奨事項を明示したのは，ASA の177年の歴史のベイズ統計学の方法，（3）尤度比やベイズファ中で初めてのことだったという（Baker, 2016）。

クター，そして（4）統計的決定理論など異なる観点からのアプローチ，の4点である。

今後はどうなるか？

ASA 声明のもつ意義

ASA とイギリス王立統計学会（Royal StatisticalASA 声明が出てから 1 年後の 2017 年 3 月，
実のところ，ASA 声明で述べられている p 値

Society, RSS）が共同出版している Significanceの性質やそれに代わる方法は，個々について言誌に ASA 声明のその後についての記事が掲載

えば特段新しいものではない。むしろ，
ASA 声された（Matthews, 2017）。そこでは，Lancet や明に付随するプレスリリースで Utts 会長が述べPNAS（米国科学アカデミー紀要）といった一流ているとおり，統計学者や科学者たちはこうし誌の最新号を見る限り，何事もなかったかのよた問題について，何十年にもわたって警鐘を鳴

うに p 値を報告している論文が依然として多いらし続けてきた。ASA 声明は本文わずか2ペーことが述べられている。
もっとも，研究を計画し，ジほどの短いものであるが，その末尾には，代実行して統計的データ分析を行い，論文が査読表的な既存の研究の系譜が参考文献リストといを経て論文誌に掲載されるまでには年単位のう形でつけられている。関連して，私たちも以時間がかかるのが一般的であろう。そう考え前，この声明に書かれたような内容の背景を掘ると，ASA 声明の実際的な影響を評価するにはり下げ，検定の本来の意味と誤用や，p 値を代替・やや時期尚早かもしれない。

補完する方法についての和書を上梓している（大また，ASA 声明の直接の効果とは言えないま久保・岡田，2012）。同書ではとくに私の専門でも，実証研究における統計学の使われ方に近である心理統計分野での動向を追ったが，同様年さまざまな変化が見られているのは事実での議論は医学や生態学など，他分野での統計学ある。本稿では以下，ASA 声明でもとりあげら研究者からも指摘されていた。

れていた，ベイズ統計学的方法と，研究の透明性内容的な新規性には乏しいにもかかわらず，を高めるためのオープンサイエンスというふたASA 声明は大きなインパクトをもって受け止めつのテーマについて，とくに心理統計分野の動られた。Nature 誌をはじめとする各分野の論向を見ていきたい。

文誌や，多くのメディアが声明をとりあげた。

ASA 声明のどこがそんなに衝撃的だったのだ
ろうか？

ひとつには，世界でも最も中心的な統計学の研究者団体が声をあげた点にあると社会と調査

NO.19（2017 年 9 月）

89

2とを調べるための便宜的な仮定，という位置づベイズ統計学的アプローチけであることが多かった。
これに対して，統計モデリングの考え方では，従来の p 値の役割を補完または代替する方法

分析者の手元にあるデータがどのようなメカニとして ASA 声明が挙げたものの多くは，ベイズズムによって得られたものなのかを，明示的に統計学の枠組みと関連している。ベイズ統計学

統計モデルによって表現しようとする。これには，未知パラメータを確率変数として，既知の定よって，データに適用される統計モデルは，各デー数であるデータから推定する統計学の立場でタの文脈や特徴を反映した，個別性や複雑性のある。従来の伝統的な統計学（頻度論）に基づ高いものであることが必然的に多くなる。よく検定では，パラメータを未知の定数として，い統計モデリングは，データが生成される過程データを母集団から確率的に得られる確率変についての理論を検証し，そこに量的な知見を数として扱っていた。つまり，ベイズ統計学と提供したり，将来の量的な予測を行ったりする

従来の統計学とでは，確率変数として扱うものことを可能にする。こうした方法論の具体的が逆の関係になっている。

な考え方や例は，和書では久保（2012）や松浦

ベイズ統計学の設定は，データ分析に際して（2016）などに詳しい。

通常研究者が持つ，直感的な考えに合致しているといわれる。たとえば，頻度論の枠組みでは，推定法とソフトウェアパラメータについての仮説である「帰無仮説がベイズ統計モデルの汎用的な推定法として，正しい確率」を考えることはできないが，
ベイマルコフ連鎖モンテカルロ（Markov chain Mon-ズ統計学の枠組みではそれが可能である。
また，

te Carlo, MCMC）法と呼ばれる一群の方法があ頻度論の p 値がサンプリング・デザインに依存る。MCMC 法を用いれば，ベイズ統計で目的とする問題に対して，ベイズ統計学の枠組みではする分布（事後分布）からの乱数を多数とりだこれを回避しうる（Rouder, 2014）。

すことができ，これを用いて目的の推論や予測こうしたことは，p 値の拡大解釈に対する批を行うことができる。MCMC 法は計算資源を判と同様に，ベイズ統計学の利点として長い間要求する数値的な方法であるが，コンピュータ統計学者たちが論じてきたことである。一方の普及と相まって，1990年代以降，ベイズ統計学で，こうした理由もさることながら，近年のベイを一般の研究者にとって実用的なものにする

ズ統計学の隆盛を支えているのは，統計モデリことに大きく貢献した。

ングという考え方の浸透と，汎用的な推定アルMCMC 法を実装した最初の汎用的なソフトゴリズムを搭載したソフトウェアの普及というウェアとして，WinBUGS はよく知られている。

2点が大きな要因となっていると考えられる。

また最近は，JAGS や Stan といった，より新しいMCMC 法を用いたベイズ推定のソフトウェアが統計モデリングの考え方多くの研究者に利用されている。とくに Stan

従来の統計学の応用では，2条件間での差をは，著名なベイズ統計学者である，コロンビア大調べたいのであれば t 検定を行う，といった具学の Andrew Gelman 教授のチームが，ハミルト合に，データの形式的設定に応じた形で「よくニアン・モンテカルロ法という新しく高性能な使われる分析」があった。そうした分析においMCMC アルゴリズム（和書では豊田，2015）を実て，統計モデルとは，データの生成過程を表現す装して活発に開発を行っている。こうしたこるというよりは，差の有無のような調べたいことから，
Stan は近年わが国でも，大学・企業を社会と調査 NO.19（2017 年 9 月）

90

Commentary

問わず，研究者やデータサイエンティストの間で物理的にも経済的にも不可能であった。しか普及してきている。一方，アルゴリズムの特性上，し現在，インターネット時代の我々は，こうした離散的なパラメータを明示的にモデリングできデータや研究素材などを簡単な操作で Web にないことや，心理学でよく利用されるような潜アップロードし，公表することができる。

在変数に対する制約の導入法の一部が使えな

たとえば，心理学のトップジャーナルである

いことといった，発展的なソフトウェアである

Psychological Science 誌は，「オープンデータ」がゆえの問題もある。その点では，ひと世代前「オープンマテリアル」「事前登録」の3点について，の推定アルゴリズムを用いているが高い安定性各々を達成した論文に対してオープンプラクティを誇る JAGS（や WinBUGS）も，現在でもその利ス・バッジと呼ばれるカラーの目立つアイコン用価値は高い。

をつけて，これを奨励する取り組みを2014年かこのように，ソフトウェア環境が整い，統計モら始めている。

デリングの利点が広く意識されてきたことで，オープンデータとオープンマテリアルは，読ん

ベイズ統計学は実用的なものになってきた。たで字のごとく，研究で収集したローデータと，とえばここ1 ，2年のうちに，Journal of Mathe-調査票や実験刺激といった研究素材（マテリア

matical Psychology 誌，Psychological Methods

ル）を公開するものである。また研究の事前登誌，
Psychonomic Bulletin & Review 誌，
European録（pre-registration）とは，まず研究デザインやJournal of Psychotraumatology 誌といった心理サンプルサイズを外部の機関や Web サイトに登学の論文誌がベイズ統計の特集号を組んでいる。

録し，その登録内容に沿った形で以降の研究，3

つまりデータ収集や統計分析を行うものである。

オープンサイエンス

サンプルサイズを決めるためには，統計学的な例
数設計が重要となる。このような手順を踏む

ASA 声明では，研究の透明性を高めることのことで，有意になるまでデータをとり続けたり，重要性も指摘されていた。近年，心理学は再現有意になった結果だけを発表するような問題性の危機（reproducibility crisis）を経験した。のある研究報告を減らすことができると考え教科書に載るような心理学，とくに社会心理学られている。

分野の知見の中に，再現性が担保できないもの

データや研究素材の公開，研究の事前登録のが少なくないことが多くの研究者から指摘さために研究者が無償で使えるサービスには，すれた。その原因が調査され，p 値だけが過度にでに多くのものがある。代表的なもののひと重視されたために生じた p-hacking のような不つに Open Science Framework（Open Science

適切な研究慣習や，ひどい場合には研究捏造がFramework, 2017）があり，私もこれを利用してあったことも明らかになった。このあたりのいる（図）。同 Web サイトの事前登録のページ2）

事情について，和文では『心理学評論』誌におを見ると，毎日いくつもの研究が事前登録されける心理学の再現可能性特集号が多数の論考るようになっていることが実感できるだろう。

を掲載している（友永・三浦・針生，2016）。

4

こうした経緯を受けて，心理学でもオープンサイエンスの機運が高まり，データや研究プロトむすびにコルの公開が急速に普及しつつある。インター

本稿では昨年出された ASA 声明を題材としネットのなかった時代には，生データや調査票て，仮説検定や p 値と，ベイズ統計学・心理統計などを論文誌の誌面にすべて掲載することは，学にまつわる最近の話題を概観した。

社会と調査

NO.19（2017 年 9 月）

91

図 Open Science Framework を著名にした，心理学の論文誌 3 誌に 2008 年以降刊行された100 の研究を世界各国の 270 の研究者が追試したプロジェクトのページ〈https://osf.io/ezcuj/ 〉

私たちが最近発表した研究（Okada et al.,

えば Open Science Collaboration, 2015）。

2017）では，心理学のオープンデータを用いて，統計学の応用は大きく変わりつつある。こオンライン調査の回答行動のベイズ統計モデリ

うした新しい動向を，関心下の現象の解明・理ングを行った。1次研究にはなかった統計モデ解という研究コミュニティが共有する目的へ向リングの視点を導入して既存のデータを再活用かって役立てていきたい。

することにより，調査回答行動のメカニズムをよりよく理解し，また予測できることを同論文では示した。このような統計モデリングやオープンサイエンスの動向を背景とした研究は，
今後【謝辞】本稿の内容は2016年度統計関連学会連も増加が予想される。

合大会における企画セッションでの研究発表「心統計学の応用は，従来の p 値一辺倒であった理学におけるオープンサイエンスの進展と，統計時代から，モデリングの方向へ，そしてオープン学にできること」に基づき，これを再構成した化の方向へと変化しつつある。従来型の研究ものである。本研究の実施にあたっては JSPS

では，たとえば2変数間の差や相関といった，科研費17H04787の助成を受けた。

仮説検定を使って評価できる形で研究計画や研究仮説が準備されることが少なくなかった。

注

しかし現代では，関心のある現象それ自体に注

1）本稿の締切日当日に，ASA 声明の和訳が日本計量生物学会のホームページにて公開された（http://biometrics.gr.jp/news/all/ASA.pdf）。原文と併せ目したモデリングや予測を行うことが可能である。オープンサイエンスの輪が広がれば，単一のて参照いただきたい。

研究では検証しえないことを研究コミュニティ

2）https://osf.io/activity/#newPublicRegistrationsの力で解明することが可能になるだろう（たと社会と調査 NO.19（2017 年 9 月）

92Commentary

文献

Baker, M., 2016, “ Statistician Issue Warning overMisuse of P values”, Nature, 531: 151.

the Reproducibility of Psychological Science”,
Science, 349, aac4716.

久保拓弥，2012 ，『データ解析のための統計モデリング入門 ── 一般化線形モデル・階層ベイズモ
デル・MCMC』岩波書店。

Open Science Framework, 2017, “ Resource
Review: Open Science Framework”, Journal of
Medical Library Association, 105 (2): 205-206.

松浦健太郎，
2016 ，『Stan と R でベイズ統計モデリン
グ』共立出版。

Rouder, J. N., 2014, “ Optional Stopping: No Problem for Bayesians ” , Psychonomic Bulletin &Review, 21: 301-308.

Matthews, R., 2017, “ The ASAʼs p-value Statement,
One Year on”, Significance, 14 (2): 38-41.

友永雅己・三浦麻子・針生悦子，2016 ，「心理学の再現可能性──我々はどこから来たのか 我々は何者か 我々はどこへ行くのか」『心理学評論』59（1）：1-2。

Okada, K., Vandekerckhove, J. and Lee, M.D., 2017,“Modeling When People Quit: Bayesian Censored Geometric Models with Hierarchical andLatent-Mixture Extensions”, Behavior Research
Methods, Online Ahead of Print, doi:10.3758/
s13428-017-0879-5.

豊田秀樹，2015 ，『基礎からのベイズ統計学──ハ
ミルトニアンモンテカルロ法による実践的入門』
朝倉書店。

大久保街亜・岡田謙介，
2012 ，『伝えるための心理統計──効果量・信頼区間・検定力』勁草書房。

Wasserstein, R. L. and Lazar, N. A., 2016, “ The ASAʼsStatement on p-values: Context, Process, andPurpose”, American Statistician, 70 (2): 129-133.

Open Science Collaboration, 2015, “ Estimating

社会と調査

NO.19（2017 年 9 月）

93