特集

その心理学信じていいですか？

統計的に有意？

─ 帰無仮説検定でわかること・わからないこと

専修大学人間科学部 教授

大久保街亜（おおくぼまちあ）Profile ─大久保街亜
2002 年，東京大学大学院人文社会系研究科博士課程修了。博士（心理学）。日本学術振興会特別研究員，同海外特別研究員，専修大学文学部講師，准教授を経て，2014 年より現職。専門は認知心理学。著訳書は『伝えるための心理統計：効果量・信頼区間・検定力』（共著，勁草書房），『新版 認知心理学：知のアーキテクチャを探る』（共著，有斐閣）など。

Facebook による感情伝染実験

レビ，さらにインターネットなどで大きく取りすこし前の話である。Facebook が，689,003上げられた。たとえば，2014 年 7 月 2 日の日本

人のユーザーを対象に大規模実験を行った。彼

経済新聞によると「肯定的（ポジティブ）な印らは投稿記事の内容表示をユーザーに気づか象を与える投稿を減らしたところ，利用者自身れないよう操作した。あるユーザーにはポジの投稿も否定的（ネガティブ）な内容が増えティブな内容が多く表示され，別のユーザーにた。逆にネガティブな投稿を減らすと，ユーはネガティブな内容が多く表示された。実験のザーの投稿ではポジティブな内容が増えたとい結果，図 1 のとおり，表示される投稿記事の内う」と報道された。New York Times でも 2014

容に従って感情が変化する，つまり感情伝染

年 6 月 29 日付けで「The people who saw moreが生ずることが示された（Kramer, Guillory &positive posts responded by writing more

Hankock, 2014）。

positive posts. Similarly, seeing more negative

この大規模実験の結果は，世界中の新聞，テ

content prompted the viewers to be morenegative in their own posts.」（Goel, 2014）という記事が配信された。
この実験はいくつかの点でセンセーショナルであった。Facebook がユーザーを実験動物扱いしたという批判もあった。ユーザーに対して事前にはっきりとした説明がなかったことも問題視された。Facebook が世論誘導を行うのではないかという疑問も呈された。これらの批判を受け Facebook は公式に謝罪した。
感情伝染実験で用いられた統計的手法
この研究では，感情伝染の効果を確認するためにいくつかの統計的手法が用いられた。わか

図 1 Kramer らの Facebook による感情伝染実験における結果 投稿の操作によって変化したポジ
ティブ語（上）とネガティブ語（下）の割合を示した（Kramer, Guillory, & Hankock, 2014, Proceedingsof the National Academy of Sciences of the UnitedStates of America, 111, Figure 1, p.8789）

りやすいものは，下位検定として行われた t 検定の結果だろう。ここで一番効果の大きかったポジティブな内容表示を減らした実験群とそれを行わなかった統制群の比較を取り上げよう。これはメディアでも中心的に取り上げられ17た結果である。この実験群において投稿記事内らが取ったデータが一連の手続きを経て（具体にポジティブ単語が占める比率は統制群に比的には帰無仮説検定という統計的手法を経て），べて 0.1％少なくなった。この差は統計的に有効果があるという結論が導かれたためである。

意だった。論文に書かれた統計量は以下の通り

統計的手法によって，私たちはさまざまな現である。t（310,044）= -5.63, P < 0.001, Cohen’s

象を捉えることができ，研究の俎上にあげるこ

d = 0.02。とができる。たとえば，Facebook の投稿をた

t 検定の結果に基づくと，この差が偶然で生だ眺めているだけで感情伝染が生ずるか判断すずることは，1000 回に 1 回より少ないことにることは難しい。現象をつかむため，そしてなる（p < .001）。なるほどたいしたものだ。だ

そこから結論を導くために統計的手法が必要が，気をつけなければならない。実験群と統になる。統計的手法は，大まかにいうと①問制群のポジティブ単語における比率の違いは題設定，②記述統計，③推測統計の順に進む。

0.1％しかない。要するに 1000 単語あったら 1Facebook の実験を例にとると，まず，感情感単語少ない程度の差である。Facebook では 10染が起こるかどうかという問題をたてる（問題〜 20 語程度の投稿記事が最も多い。そしてほ設定）。そして，それに適する実験条件を設定

ぼすべての投稿記事が 100 語以下である。そうし，データをまとめる（記述統計），それらに考えると取るに足らない小さな差と言ってよい。

対して検定や推定を行うことで差，効果，関係論 文 で 記 載 さ れた Cohen’s d とい う効 果量性を推測する（推測統計）。この一連の手続きも，この差が取るに足らないことを示していを経ることで，現象を適切に理解できるようにる。Cohen’s d は，二つの平均値の差をプールなるし，何がしかの結論を導くこともできる。

した標準偏差で割ったものである。つまり，検結論が出るのは良いことだ。しかし，しばし討対象となる差が標準偏差のいくつ分かを表す

ばこの結論だけがひとり歩きをする。当事者や指標である。標準偏差を基準とするので，測定ごく一部の専門家や好事家をのぞき，圧倒的大方法や単位に依存せず差の大きさを記述でき多数は統計的手法に基づく結論だけを知ることる。さて，上述の通り，この条件での感情伝になる。一般の人々はもちろん，専門分野の研染の効果は Cohen’s d = 0.02 であった。つまり，究者であっても，論文などの一次ソースをすべ標準偏差の 50 分の 1 の差しかないことになる。て精査するわけではない。そして，論文中で紹Facebook 実験で観察された感情伝染の効果介された（引用された）情報や，アブストラクは実に小さなものだった。だが，この実験を報トだけを眺めることも多い。しかしそれだけで告した論文はもちろんテレビ，ラジオ，インは多くの場合結論しか知ることができない。大ターネットなどの各種報道も感情伝染の効果が元の論文を丁寧に読まなければ，その研究で用あったことのみを喧伝した。その効果がとてもいられた統計手法の詳細はわからないし，その小さなものであったことを報じることは，ほぼ統計手法に基づいて導かれた結論が妥当か正しなかった。

く判断することは難しい。
また，統計的手法に対する知識が不十分な場

統計的手法というブラックボックス

合，論文など研究の一次ソースにふれたとしてなぜ，効果があったことのみが伝えられるのも，実質的には結論しか理解できない。残念なだろう。そして，その大きさについては，ながら統計的手法の理解はしばしば手続き的になぜふれられないのだろう。その理由は，統計りがちだ。手続きを機械的に当てはめるため，的手法と関わりがある。統計的手法は，デー統計的手法はブラックボックス化しているといタから結論を導くための一連の手続きである。

う批判が繰り返しなされてきた。ブラックボッ

Facebook による大規模実験において，感情伝クス化した統計手法は，データから結論を導く染が生じたという結論が広く流布したのは，彼魔法の箱になってしまう。実際の研究において

18

特集

その心理学信じていいですか？
統計的に有意？

も，いわゆる「ハウ・ツー」のノウハウだけがに，確率の意味そのものが劇的に変化するわけ流布しているため，手法を機械的に当てはめではない。それにもかかわらず，有意性の判断ることもしばしばだ。2 条件の平均値を取ったで，「あり・なし」の二つに分けてしまう。pら t 検定，3 条件を超えたら分散分析。カテゴ

値が確率であり，連続的なものであることを考2

リカル・データを取ったら，とにかくχ 検定。

えると，「あり・なし」の単純な二分法が現実こんな具合である。このような浅はかな理解しを正確に反映するとは言いがたい。

かなければ，結論をうのみにするしかない。

なお，この .05 という基準には明確な根拠がない。現代の推測統計を確立させたロナルド・

帰無仮説検定の論理とその問題点フィッシャーがなんとなくその辺がよいと述べ現在，心理学で使用される統計的手法においたことがきっかけとなり，慣習的に使い続けて，帰無仮説検定は支配的なものである。ほぼられているだけにすぎない。しかも，フィッすべての実証的な心理学研究で帰無仮説検定がシャー自身は .05 を絶対的な基準とするアイデ用いられる。心理学における統計教育も帰無仮アには徹頭徹尾批判的だった。

説検定が中心である。Facebook による感情伝

さらに，p 値がいくら小さくとも，その差や染の実験も帰無仮説検定が用いられていた。

効果の大きさとは全く関係がない。p 値は，い帰無仮説検定とは，検定対象となる効果や差わば観察された差や効果がゼロとは言えない確が全くないか，ないとは言えないのか調べるも率である。標本サイズが増えると，大数の法則のだ。帰無仮説検定では，効果や差がないといに従い，差や効果の推定は正確になる。そのたう前提のもと，観察された差や効果が生ずる確

め巨大な標本サイズで行う帰無仮説検定では，率を計算する。その確率がとても小さければ効精度が高くなりすぎて，ほんのわずかな差や効果がないとは言えない。ここで背理法の論理を果ですら p 値は有意水準を下回ってしまう（こ用い，ないとは言えないのだから，差や効果がれは帰無仮説〔すなわち効果ゼロ〕というきわあるという結論が導かれる。帰無仮説検定で得めて特殊な条件との比較を行うために生ずる）。

られる結論は，その論理を考えると「ないとは個人差があり，ノイズが大きい心理学の測定で言えない」という間接的な証拠に基づくことがは，比較条件間で測定値が完全に等しいことはわかる。

実質的にあり得ない。小数点以下のどこかに必ここで気をつけなければならないことがあず差はある。この性質のため，心理学関連の領る。帰無仮説検定で判断できるのは効果や差の域では，何万人という大規模標本サイズで帰無「あり・なし」だけだ。その大きさについて全仮説検定を行うとほぼ必ず有意という結果がでく情報は得られない。帰無仮説検定では，計算てしまう。ただし，このようなときに有意な効された確率が小さければ，検定対象の差や効果果や差があっても，効果がゼロではないことをを有意であると判断する。この確率を p 値と呼示すにすぎない。小数点以下のどこかに差はあぶ。また，その基準を有意水準と呼ぶ。心理学るのだから，あまり意味のある情報ではないか

では慣習的に有意水準は .05（つまり 5％）に設もしれない。689,003 人という大量の標本サイ定されている。つまり p 値が .05 を下回るか否ズで行った Facebook の感情伝染の実験でも同かで効果や差の「あり・なし」が決定される。

様のことが起こったと考えられる。

これは単純でわかりやすい。しかし，差や効まとめると，帰無仮説検定の結果として得ら果は「あり・なし」の二つにきれいに分類できれた結論は，「ないとは言えない」いう間接的るとは限らない。差や効果はどちらも全くないな証拠に基づき，差や効果の大きさの情報は含状態から非常に大きいあるいは強い状態まで連

まず，標本サイズに影響され，根拠が明確でな続し，さまざまな値をとりうる。そして，判断い慣習的な基準によって得られたものというこの基準となる確率も連続的である。.05 を境目とになる。列挙してみるとずいぶん心許ない。
19

基準と怠惰な精神ばらつきについて情報が得られる。また，検定

帰無仮説検定において，有意水準 .05 という力を見ることで標本サイズの問題についても留明確な基準があることは，わかりやすさの点で意することができる。つまり，統計改革で推奨利点がある。しかし，アメリカの疫学者ウイリされる手法を用いることで，帰無仮説検定でわアム・セジウィックが述べたように「基準とからないこともわかるようになる。

は，考えることを回避させ，怠惰な精神を作る帰無仮説検定の代わりにベイズ推定を行うこ格好の道具である」。しかも，一度基準ができとも推奨されている。ベイズ推定では，帰無仮上がってしまうと，なかなか変えることは難し説のような特殊な仮説が必要でないし，調べたい。ブラックボックス化して，ハウ・ツーだけい仮説にかかわる分布を直接求め，確率を計算が浸透した帰無仮説検定は，データから結論をできる。また，データを更新することで推定は導く過程において，しっかりと自分の頭で考え正確になるため，標本サイズの増大が致命的なない怠惰なデータ分析を生み出しているかもし問題にならない（ベイズ推定の利点についてはれない。

佐伯・松原〔2000〕が簡便にまとめている）。

ただし，帰無仮説検定を使用しても，基準をもっとも統計改革で推奨される手法やベイズ妄信せず丁寧にデータを吟味することでこれら推定を利用しても，その手続きだけを機械的にの問題をある程度避けることができる。しか取り入れるだけでは十分でない。それだけではし，手続きを機械的に当てはめ帰無仮説検定を帰無仮説検定に対する過度の依存と同質の問題行うだけなら避けることは難しいだろう。あるがいずれ生ずる。データから結論を得る手続き

いは，このような性質を逆手にとって，取るにについて，その内容や論理をきちんと理解する足らない差や効果をあたかも重要なものとして必要がある。それができて，データから適切な見せることも可能だ。

結論を導くことができる。また，データに基づいて他者が出した結論を正しいか判断できるよ

統計改革とベイズ推定うになる。

─ 帰無仮説検定だけに頼らない
帰無仮説検定には多くの問題がある。したがって過度な依存は避けるべきだ。1990 年代以
降，心理学において用いられる統計的手法には変化が出てきている。具体的には，帰無仮説検定に対する過度な依存を脱して，さまざまな面からデータを評価することが明示的に求められるようになってきた（詳しくは，大久保・岡田〔2012〕を参照）。具体的には，帰無仮説検定における p 値のみを判断の材料とせず，効果量や信頼区間，検定力などさまざまな指標から包括的にデータを検討することが強く推奨されるようになってきた。効果量の効果の大きさを表す指標である。たとえば，先述した Cohen’s d が代表的なものだ。一方，信頼区間は区間推定の一種である。平均値のような点だけではなく，区間という範囲をあわせて見ることで，データを多面的に評価できる。すなわち，効果量と信頼区間を考慮することで，効果の大きさとその20

文

献Goen, V.（2014）Facebook tinkers with user's
emotions in news feed experiment, stirring outcry.
The New York Times. <http://www.nytimes.
com/2014/06/30/technology/facebook-tinkers-withusers-emotions-in-news-feed-experiment-stirringoutcry.html>
Kramer, A.D.I, Guillory, J.E. & Hancock, J.T.（2014）
Experimental evidence of massive-scale emotional
contagion through social networks. Proceedingsof the National Academy of Sciences of the UnitedStates of America, 111, 8788-8790.
日 本 経 済 新 聞（2014） 米 フ ェ イ ス ブ ッ ク が 謝 罪，投稿 操 作 し 心 理 実 験． 日 本 経 済 新 聞 2014年7月2日<http://www.nikkei.com/article/DGXNASGM0100I_
S4A700C1000000/>
大久保街亜・岡田謙介（2012）『伝えるための心理統計：効果量・信頼区間・検定力』勁草書房
佐伯胖・松原望（2000）『実践としての統計学』東京大学出版会