Commentary

ベイズ統計を用いた有意性検定からの脱却
小杉考司
専修大学人間科学部 教授

本稿ではまず，頻度主義的発想な有意性検定

帰無仮説検定のロジックは ，正しく使えば統p値の分かりにくさ ，脆さにの問題点として ，計の非専門家であっても一定の価値判断がで加え ，理論的仮定が実践上は満たされていなきるという意味で ，とても優れた技術である。

いことなどの問題点があることを再確認する。

だからこそ多くの研究領域で用いられ ，統計その上で解決策の一つとして ，ベイズ統計によソフトのパッケージに組み込まれて広まったるアプローチをあげ，その利点について論じる。のだろう。ここで見過ごされがちであるのは，ベイズ統計学ではp値のような仮想空間上のこの前提である「正しく使う」ことが ，実はこ値ではなく，実際のデータに基づいた確率分布とさら難しい技術だったということである。

が得られる。また，
この事後分布の導出には補

本稿では ，NHST やp値の何が問題であった正などが必要なく ，データとモデルに基づいてのかを改めてまとめ直した上で，これらの問題定まるため，検定の多重生の問題などを回避すを克服するためのベイズ統計学の利用についることができる。特に閾値によるカテゴリカルて解説を行う。

な判断を行わないことが研究実践の観点から2重要な利点であることを主張する。最後にこれらの分析方法を実践するための分析環境についても言及する。

1

NHSTは何が悪いか

2.1 p値はわかりにくい

NHST の手続きについて改めて確認しておはじめにこう。研究者は帰無仮説と対立仮説を用意する。帰無仮説は研究者の主張とは逆で ，差が“Nature”のコメンタリー論文で，「統計的有意ないとか相関がないといった仮説である。こはやめにしよう」という呼びかけがなされ，このもっとも保守的な仮説のもと ，実際のデーれに800人以上の賛同の署名が集まったというタから計算される統計量が算出される確率（p（Amrhein, Greenland, and McShane, 2019）。

値）が ，事前に定めた有意水準よりも低いよう帰無仮説有意性検定（Null Hypothesis Signifi-であれば ，「差がないという仮定が間違っていcance Testing，
以下 NHST），特にp値の使用につる」と判断する ，というものである。

いてはアメリカ統計協会も2016年に声明を出し

分散分析や t 検定など ，初めて NHST を学ぶており（Wasserstein and Lazar，2016），そこで多くの人は ，この手続きの複雑さを受け入れはp値にのみ基づいた判断がいかに問題であるるのに悩まされる。差があることを証明するかが論じられている。にもかかわらず，いまだために ，逆の立場に立ってその仮定を反駁すに数多くの研究が NHST の世界から脱却できなる ，いわゆる背理法を用いるからである。さいでいる。

らに ，ここから得られる結論は ，「差がないと社会と調査

NO.23（2019 年 9 月）

92Commentaryは言えない」であり ，しかもその判断にも二種いことと同じである。ひいては ，「5% 水準が類の間違い方が生じる可能性がある（Type I/II

緩いから厳しくすれば科学的な精度が上がる」。また ，結論の導出には ，「本当は差がなError）というのも同様に無意味であり ，例えば0.01%いのに ，差がないとは言えないと判断してし水準を学会基準としても本質的な問題は解決

まう可能性（p値）は5% なので十分に低い」，しない（Trafimow et al. ，2018）。

だから「統計的には意味がある」とする。このロジックは少し飛躍があり ，統計学に対する2.2 p値は脆い

異なる思想が混在している現状（Sober, 2008）

アメリカ心理学会の Publication Manual はに気づかぬままのユーザーも少なくない。

第6版から ，NHST の結果報告に際して効果量これらの判断の目安とされるp値についても ,と信頼区間の記載を義務付けた（American

多くの誤解がある。最もよくあるのが ，「p値。これは
Psychological Association，2010）が小さければ小さいほど仮説が強く支持されNHST の結果の報告が有意であったかなかった」と判断してしまうことである。帰無仮説

たか ，という1bit 判断にしかなっていないこと

p値で表されるものでや対立仮説の正しさは ，を問題視し ，どの程度意味があったのか ，といはない。p値は帰無仮説が正しいと想定されう量的な判断についての情報提供を促すもの

た世界において算出される値，すなわち仮想世であった。

界の値であって，現実的データにおける仮説の有意であったかどうかだけが重要であるな正しさを反映するものではない。

ら，研究者は有意にするための努力をしてしまそしてこの仮想世界は ，研究者がどのよういかねない。逆に言えば，
少しでも有意でなくな世界を前提としているかによって変わり得なってしまえば，その論文に価値がないと判断るものである。前提が変われば同じデータでしてしまいかねない。これは杞憂ではなく，実あっても，有意になったりならなかったりする。

際にこのような誤った価値観が，心理学においKruschke（2015）はこの点を強く批判し ，「研ては再現性の問題（友永・三浦・針生 ,2016; 池究者の意図によって結果が変わるような検証田・平石 , 2016）を引き起こしたとして批判さ手法は適切ではない」と論じている。ここでれている。学会誌に論文が掲載されることだ

言う「意図」をより正確に言うならば ，統計モけが目的になり，科学としての知識の積み重ね

デル ，すなわち尤度と事前分布のことである。

を放棄するような振る舞いを許してしまう一

NHST のこれまでのやり方では ，これらは暗示p値に基づく判断が指摘されている。
因として，されているだけで，不十分な言語的記述から読検定統計量はサンプルサイズに依存した値
p値はサンプルサイズに応じて値が変であり ，み取るしかなかったのである 。
1）

p値は仮説の正しさを表す数字ではな
また ，化する。つまり ，本当に差があるかどうかにく，ただの目安にすぎない。人文社会科学系でかかわらず ，サンプルサイズが大きければ微小は ，判断基準である有意水準を5% にすることな差異を検出し ，あるかないかの判断で言えが一般的であるが ，これはあくまでも慣例でば ，有意差があるという判断をしがちである。

p=0.06なので「有意な傾向がある」といあり ，「思ったような結果が出なかったので ，すこしう表現は無意味である。4月2日生まれの人が，頑張ってサンプルサイズを増やしたら ，有意な「もう少し誕生が早ければ1つ上の学年であっ差が得られた」というのは美談ではなく ，結果たのに」と悔しがっても現実が変わるものでの捏造に近い QRPs（Questionable Researchはないし ，「上級生になる傾向」など存在しなPractices, 疑わしい研究実践）である。p値は社会と調査

NO.23（2019 年 9 月）93こうした脆弱性があるため ，サンプルサイズにしないのである。総じて ，「ある」か「ない」か依存しない効果量（effect size）の記載は今やという判断に落とし込もうとすることこそ ，必須である。

考え直す必要がある点である。

p値の判断基準 ，危険率（α）は ，水準
また ，ここまで，昨今様々な方面で議論されているを一定に保つために常に補正することを考えNHST やp値についての問題点を概観した。でておかなければならない。5% の確率で有意は，これらの問題を克服する方法がないのかとというのは5% の間違った判断をする可能性

いえば ，幸い答えは「ある」であり ，その1つがを含んだ評価であるが ，この基準での検定を n

ベイズ統計を用いた考え方なのである。

回繰り返すと，どこかで間違えた判断をする確

3率は（1-0.95n）になる。ところが実際の運用では ，t 検定を行う前に分散の等質性の検定をベイズ統計によるブレイクスルー

3.1 事後分布はわかりやすい行ったり，分散分析をした後で下位検定を行ったりすることが少なくない。もちろん分散分

ベイズ統計学は18世紀ごろ ，Thomas Bayes

析における下位検定では ，こうしたαの上昇師によって見出された逆確率の法則 ，つまりを抑えるための様々な工夫がなされているが，現在のデータから過去の状態を推論する方法

それが有効なのは1つのデータに対する1回のについての数学的理論に依っている。その後分散分析の中においてであって ，1つの論文の200年の時を待っていま注目を集めている理

中に複数の分散分析が行われている場合は ，由は ，それまで原理的に可能でも実質的に計どこかで間違った判断を起こしている可能性

算不能だった問題が，計算機科学の発展によっがある。本来なら ，複数の従属変数について考て解決されたからである。

えたい場合は，多変量分散分析によって従属変

ベイズの定理は，モデルのパラメータをθ, デー数を要約し，検定の回数を減らすなどの対策をタをxとし ，あるパラメータのもとでデータが取るべきだが，この手法は分散分析ほど広まっ得られる条件付き確率をと表すと ，ていない。
p値には目安としての便利さはこのように ，あるが，実際問題として誤用や誤解を生みがちという式で表現される。ここでいうパラメーな問題点を多く含んでいる。これはもちろん，

タとは ，確率分布関数の形状や位置を作る値p値や NHST のロジックが間違っていることをのことであるが ，より具体的には我々が知り意味するのではなく ，問題はp値を基準にしてたい未知の値のことだと理解すればよい。例

差が「ある」・「ない」といったカテゴリカルなえば回帰分析では切片や傾きの値が未知の値判断をしてしまうユーザーの側にある。あるであり ，t 検定では二群の平均の差がそれであ一定の基準で効果が「ある」・「ない」と離散的る。ベイズ統計学では，これらの値もふくめて，に変化するのではなく ，検出できるかどうか ，「わからないこと」を確率分布で表現するこ

効果が大きいかどうかを判断しなければならとが特徴的である。この数式の中に含まれてない。また ，NHST の考え方では ，帰無仮説をいる採択することはできない。差がないことを証る。

明したい場合は ，対立仮説に「差がない」をおとでのパラメータθが得られる条件付き確率,やはいずれも確率分布であは事前確率（事前分布），データ x のもいたとしても ，「差がある」という帰無仮説がは事後確率（事後分布）と呼ばれる。

いかようにも立てられるので ，ロジックが成立

ベイズの定理の妙は ，データを取るまではわ

社会と調査

NO.23（2019 年 9 月）

94Commentary

3.2 事後分布は脆くないからなかったパラメータθの値が ，データを取ることで事後分布の形に変わることにある。

ベイズ統計の方法は ，ベイズの基本的なルーは尤度とよばれるが，調査や実験によっ

ル ，すなわち「事前分布と尤度を考え ，事後分てデータは手元にあるので ，これはパラメータ布へと情報をアップデートしたものを適用すについての関数である。あるパラメータからる」というシンプルなものである。対象ごとにこのデータが得られる確率の関数について ，統計量や仮定が異なったり，事前の検定，検定，事前分布を掛け合わせることで ，パラメータが事後の検定を繰り返し適用したりする必要はとると思われる値の分布（事後分布）が得られない。事前分布とデータから事後分布を得る，る（事後分布 尤度×事前分布）。

これだけである。すなわち，検定の多重性の問題に対して頑健である。

例えば t 検定をベイズ的に行いたい場合
は ，二群の平均値の差を未知パラメータ の事前の検定として，例えば t 検定では Leveneように定める。データは t 検定と同じく正規の検定によって分散が均質かどうかを検証する。

分布からの無作為サンプルを仮定すると ，一

この帰無仮説は「二群の分散は均質である」で方の群は，他方の群はあり，危険率によってカテゴリカルな判断を下す。と表現できる。ここ

さらにこの場合は，帰無仮説が棄却されたくなで「 」の記号は ，左の変数が右の確率分布にいことが多く，5% より大きなp値であればよい従うことを意味する。

は未知数なので ，とされる。もし帰無仮説が棄却されれば，以後それぞれに事前分布を考える必要がある。尤の t 検定は自由度の補正を行う必要がある。ま度は正規分布関数を適用し ，データと組み合た，
例えば反復測定の分散分析では，球面性の検わせて考えることで未知数の事後分布を得る。

定を行い，分散共分散行列の均質さを検定するについての情報がある確率分布として必要がある。ここでも均質でないことが示されれば，以後の分析で自由度の補正を行う。こ得られるのである。
このように，全てが分布として表現されていのように繰り返される検定と自由度の補正は，るため ，差の有無のようなカテゴリカルな情報

NHST の想定するp値が得られる仮想空間を維ではなく，差の大きさを最初から捉えられてい持するために必要な操作なのである。

るところが秘めたる利点である。効果を考え同様のこと，
例えばt検定をベイズ的に行う場合，たい場合は の大きさに基づいて考察するの先ほどの記号を使っていえば,であり，効果の大きさを分布の代表値で点推定とすればよい。すな

してもよいが ，確信区間（Credible Intervals）

2つの群で分散が均質でなければ ，それわち ，と呼ばれる区間幅で「ここからここまでの範ぞれ異なる分散囲の値を取りうる確率が p%」と表現してもよ分布を得ればよいのである。球面性の検定のとして ，それぞれの事後い。信頼区間（Confidential Intervals）と違っ場合も同じで，多次元正規分布の分散共分行列て確信区間は分布の情報であり，差の大きさをに検定を成立させるための制約を考えるので直接確率で表現しているのである 。このよはなく，分散共分散行列そのものを未知のもの

うに ，事後分布の解釈は直感的でわかりやすとして推定すればよいのである。推定結果にく，二値判断に陥りにくい性質をそもそも持っ補正はもちろん必要なく，差の大きさについてている。の事後分布をそのまま判断すればよい。

2）

事後の検定についても同様である。分散分析によって差が見られたので，次にどこに差が社会と調査

NO.23（2019 年 9 月）

95

あるかを見つけるために，危険率αを調整しな

2018; S. Brilleman et al.,2018）といった一般化

がら主効果 ，交互作用を順次検討し ，結果を総線形モデルのベイズ推定パッケージが用意され合的に解釈するというのは大変煩雑な作業でている。特に brms は Stan という確率的プロある。ベイズ的な分析の場合 ，どのような実験

グラミング言語（Carpenter et al.,2017）の開発

デザインであれ ，データと尤度 ，事前分布が定チームによるパッケージであり，とても使い勝

まれば事後分布が得られる。この事後分布は手がよい。説明変数をカテゴリカル変数（factor1つの分布（複数のパラメータによる同時確率型）であることを明示して回帰分析を行うと，分布）であるから ，どの側面から切り取って判

その結果は各群の平均値の事後分布を確信区断しようとも結果は変化しない。危険率の調間とともに示す形となる。このような形式で整や細切れになった結果を総合的に解釈する

結果を得ることは，カテゴリカルな判断に陥ら必要もない。例えば2×3の分散分析で交互作ずに豊富な情報を得ることになる。

用が見出され ， との間の差が見たいので他にも JASP とよばれる統計解析のフリーソ

あれば ，を算出してその分布をフトウェアがある（JASP Team,2018）。JASP は検討するだけでよいのである。

4

GUI を使って操作が可能であり，従来の分析とベイズ的分析がメニューの同じグループに配置

ベイズ分析への第一歩
パッケージの利用されているので，両者の結果を比較検討するこpともできる。平均値の差の検定については，ここまで述べてきたように ，ベイズ統計分析

値ではなくベイズファクター（BF）と呼ばれるを行う利点はとても多い。なかでも検定結果指標とともに表示される。BF は2つの仮説（モに誤用や誤解が入りにくいため，むしろ初学者デル）について，一方が他方に比べてどの程度はベイズ統計から始めるべきであるというのデータに支持されているかを示している指標が筆者の主張である。これまでベイズ統計学

p値と違ってである。BF を使う利点の第一は，が主流にならなかったのは ，コンピュータによサンプルサイズを増やす途中で判断が変わるこる計算速度が不足していたからに過ぎないのとがないことである。第二に，「差がない」とである。

いうモデル（）にくらべて「差がある（）」

平均の差の検定は ，それが二群であろうとというモデルがどの程度データに支持されてい要因計画であろうと ，線形モデルとして表現でるか，といった比較ができるため，「差がない」

きる（一般線形モデル）。このように形式化さというモデルを積極的に採用できる点が挙げられれば ，ベイズ的な分析であるかどうかは実はれる。

係数（未知数）の推定方法の違いにすぎない

これらの新しいツールを使うことで，今後はとも言える。従来は最尤法による点推定であt 検定や分散分析といった手法が一新されるこり，その結果を使ってカテゴリカルな判断を下とは論をまたないであろう。

していたのだが ，これをベイズ推定による事後5分布に基づく判断に変えるだけで ，ベイズ分析の利点を全て享受できる。

まとめと展望モデルが確定しているため，ベイズ統計の中NHST の問題点を指摘し ，それを本稿では ，でも分析ツールのパッケージ化は進んでいる。

克服するためのベイズ統計学の利用について

例えば統計環境 R では brms（Bürkner, 2017 ;解説を行った。

Bürkner, 2018）や rstanarm（Goodrich et al. ,社会と調査

p値の複雑さ ，難解さ ，NHST の問題として ，NO.23（2019 年 9 月）

96Commentary

誤用のしやすさ ，そもそもの限界などを指摘

は，一般化線形混合モデルで対応しなければな

したが ，分散分析をもはや使うべきではないらない。さらに反復測定や階層化されたデー別の理由も存在する。t 検定や分散分析といっタに対しては，階層線形モデルなどが考えられ，た一般線形モデルは ，パッケージングできる程こうした複雑なモデルになってくると ，最尤推度に単純な古典的モデルであり ，「これまでの定は現実的に不可能で ，ベイズ推定を行うしか調査や実験などの研究はそのモデルに合致すないのが現状である。とはいえ，これらも統計るように研究デザインを工夫せざるを得なかっパッケージで対応できる問題であり，要は柔軟た」という限界に覆われているのである。
「古なモデルの適用を考えていくと ，推定法として典的」と表現したことから明らかなように ，現のベイズが唯一の現実的な回答なのである。
もちろん，これまでどおりの分析モデルで，在ではより進んだ線形モデルが存在する。
一般線形モデルは正規分布に従うデータに推定法をベイズに変えるだけでもカテゴリカル限定されていたが，実際のデータは必ずしも左な判断から自然と脱却でき，その恩恵は少なく右対称の単峰分布とは限らない。例えば世帯ない。p値0.05のような仮想空間の恣意的な目収入などの分布は対数正規分布に従うことが安にとらわれず，実質的な差に目を向けるとい知られており ，このデータに対して平均値をう，研究者の本質にたちかえればよいのである。

検定の対象にするのは適切ではない。こうし

ただし ，この推定法はもっと強力で ，線形でた分布の問題に対応し ，様々な分布の平均パラはないモデリングにおいてもパラメータの推定メータを線形モデリングできるようにしたのを可能にする。研究者はより細かなモデリンが一般化線形モデル である 。本稿でも紹介

グで現象の記述ができ ，より実質的 ，具体的なした brms や rstanarm は一般化線形モデルに問題を検討できるようになるだろう。いずれ対応しており，一般線形モデルをその特殊系（ガにせよ ，もはや分析モデルの要請によってデーウス分布モデル）として含んでいる。

タの形を変えたり ，研究をデザインする必要は

3）

また ，調査データが複数の群や性質によっないのである。不自由な世界から脱却し ，自由て異なっているが ，それが混合した形で得らなモデリングの世界へと続く道は ，ベイズ統計れていることもあるだろう。そのような場合学で舗装されている。

注

1）Kruschke（2015）のいう研究者の意図と尤度については，小杉（2019）も参照のこと。

3）もう一つの方法として，平均値を目的とした回帰係数の最適化を行うのではなく，中央値など任意のパーセンタイル点に対するモデルである
Quantaile Regression法というのもある。詳し2007）などをくは（Hao, Naiman, and Naiman，参照。

2）確信区間も信頼区間もいずれも CIで表されるのは誤解を招きかねない表現ではあるが，同じ略記であっても意味が違うというベイジアンのユーモアでもあるだろう。

文献

American Psychological Association, 2010, Publication Manual of the American Psychological
Association. 6th ed. Washington, D.C.: American Psychological Association.

社会と調査

Amrhein, Valentin, Sander Greenland, and Blake
McShane, 2019, Scientists Rise up Against
Statistical Signiﬁcance. Nature, 567：305-307.

NO.23（2019 年 9 月）

97

Brilleman, SL, MJ Crowther, M Moreno-Betancur, J Buros Novik, and R Wolfe, 2018, Joint
Longitudinal and Time-to-Event Models via
Stan. （https://github.com/stan-dev/stancon_.
talks/）JASP Team, 2018, JASP (Version 0.9)[Computersoftware]. https://jasp-stats.org/.
小杉考司 , 2019,「新しい統計学とのつきあい方」: 167–73.
『基礎心理学研究』37（2）Kruschke, John K, 2015, Doing Bayesian Data
Analysis, a Tutorial with R,JAGS and Stan.
2nd ed. NewYork: Elsevier Inc.（前田和寛・小杉 考 司 監 訳 ,2017,『 ベイズ統 計モデリング──R,JAGS,Stanによるチュートリアル』,共立出版）

Bürkner, Paul-Christian, 2017 , brms: An R
Package for Bayesian Multilevel Models UsingStan. Journal of Statistical Software 80 (1):1–28.
──── , 2018, Advanced Bayesian Multilevel

Sober, Elliot. 2008. Evidence and Evolution:
The Logic Behind the Science. Cambridge
University Press.（松王政浩訳 ,2012,『科学と証拠──統計の哲学入門』,名古屋大学出版会）

Modeling with the R Package brms. The R
Journal 10 (1): 395–411.

Carpenter, Bob, Andrew Gelman, Matthew
Hoffman, Daniel Lee, Ben Goodrich, Michael
Betancourt, Marcus Brubaker, Jiqiang Guo,
Peter Li, and Allen Riddell, 2017, Stan: A
Probabilistic Programming Language. Journalof Statistical Software, Articles 76 (1): 1–32.

Trafimow, David, Valentin Amrhein, Corson N.
Areshenkoff, Carlos J. Barrera-Causil, Eric J.
Beh, Yusuf K. Bilgiç, Roser Bono, et al. 2018.
Manipulating the Alpha Level Cannot Cure
Signiﬁcance Testing. Frontiers in Psychology 9:699.

Goodrich, Ben, Jonah Gabry, Imad Ali, and Sam
Brilleman, 2018, Rstanarm: Bayesian AppliedRegression Modeling via Stan. http://mc-stan.
org/.（http://mc-stan.org/）

友永雅己・三浦麻子・針生悦子 , 2016,「心理学の再現可能性──我々はどこから来たのか我々は何『心理学評論』59
者か 我々はどこへ行くのか」: 1–2.
（1）

Hao, Lingxin, Daniel Q Naiman, and Daniel Q
Naiman, 2007, Quantile Regression. 149. Sage.

Wasserstein, Ronald L., and Nicole A. Lazar. 2016.
The Asa s Statement on P-Values: Context,Process, and Purpose. The American Statistician 70 (2). Taylor & Francis: 129–33.

池田功毅・平石界 , 2016,「心理学における再現可能『心理学評論』59
性危機──問題の構造と解決策」: 3–14.
（1）

社会と調査

NO.23（2019 年 9 月）

98