Wasserstein RL, Lazar NA. Editorial: The ASA’s statement on p-values: Context, process, and purpose.
The American Statistician 2016; 70: 129-133.
より、“The ASA Statement of Statistical Significance and P-Values” の部分のみアメリカ統計協会の許可を得て翻訳・掲載した。
日本計量生物学会 浜田知久馬、寒水孝司 庶務理事には翻訳に際し貴重な助言をいただいきました。感謝いたします。
日本計量生物学会国際担当理事 佐藤俊哉, 2017 年 4 月 23 日

統計的有意性と P 値に関する ASA 声明
1. はじめに育、公共政策、ジャーナリズム、法律にも影響を近年の定量的な科学研究の増加と膨大で複与える。この声明は、健全な統計学の実践に関雑なデータセットの激増は、統計的方法の応用連したすべての問題を解決しようとするものでも範囲を拡張しつつある。このことは科学の進歩なければ、土台となる論争を解決するためのもに新たな道を開いたが、一方でデータから導かのでもない。この声明では、統計コミュニティでれる結論に対する懸念をもたらした。科学的結広く認められたコンセンサスに基づいて、専門論の妥当性が、その再現性も含めて依存して用語を使わずに、定量的な科学研究の実施やいるのは、統計的方法だけにとどまらない。適解釈を改善するえり抜きの原則を述べる。

切に選択された技術、適正になされた解析、および統計的結果の正しい解釈も、結論がしっか

2. P 値とは?

りしたものであり、かつ結論の不確実性が適正

おおざっぱにいうと、P 値とは特定の統計モに述べられていることを確かなものにするためデルのもとで、データの統計的要約（たとえば、に中心的な役割を果たしている。

2 グループ比較での標本平均の差）が観察され公表された多くの科学的結論の土台となってた値と等しいか、それよりも極端な値をとる確率いるのは「統計的有意性」という概念であり、通である。

常 P 値と呼ばれる指標で評価される。P 値は有用な統計指標ではあるが、誤用と誤解がまかり3. 原則通っている。このことにより、一部の学術雑誌で1. P 値はデータと特定の統計モデル（訳注:は P 値の利用を控えさせたり、一部の科学者や仮説も統計モデルの要素のひとつ）が矛統計家が P 値の使用をやめるよう勧めたりして盾する程度をしめす指標のひとつである。

いるが、その際の主張は P 値が導入されたときから本質的に変わっていない。

P 値は、特定のデータとそのデータにあてこのような背景を踏まえ、アメリカ統計協会はめたモデルとの矛盾する程度を要約する（American Statistical Association, ASA）は、公ひとつのアプローチに過ぎない。最も一般的式な声明により、P 値の適正な使用と解釈の基な内容は、一連の仮定のもとで構成され、い礎にある広く合意された原則を明らかにするこわゆる「帰無仮説」をともなうモデルである。とで、科学界が利益をえると考えている。ここで多くの場合、帰無仮説では 2 グループ間に言及する問題は研究だけではなく、研究費、論差がない、要因と結果の間に関係がない、と文査読と採否の判断、キャリアアップ、科学教いうように効果がないことを仮定する。P 値が1小さいほど、データと帰無仮説の統計的な矛ではない。「統計的有意性」（通常「P≤0.05」と盾の程度は大きくなる。ただし、P 値の計算される）は、科学的結論（つまり真実であるこの背後にある仮定がすべて正しければ、でと）を主張するための保証として広く用いられあるが。この矛盾の程度は帰無仮説を疑う、ているが、科学のプロセスを著しく損ねていあるいは帰無仮説に反対する証拠としても解る。

釈できるし、P 値の計算の背後にある仮定を疑う、あるいは反対する証拠としても解釈でき

4. 適正な推測のためには、すべてを報告する。

る透明性が必要である。

2. P 値は、調べている仮説が正しい確率や、P 値と関連した解析は選択して報告すべきデータが偶然のみでえられた確率を測るではない。複数のデータ解析を実施して、そものではない。のうち特定の P 値のみ（たいていは有意水準を下回った）を報告することは、報告された P研究者は、しばしば P 値を帰無仮説が正値を根本的に解釈不能としてしまう。見込みしいという記述や、偶然の変動でデータが観のありそうな結果をいいとこ取り――データの察される確率に変えたがるが、P 値はそのどどぶさらい、有意症、有意クエスト、選択的推ちらでもない。P 値は仮説やその計算の背後論、P 値ハッキングとも呼ばれる――すると、にある仮定に基づいたデータについての記出版された論文に統計的に有意な結果が誤述であり、仮説や背後にある仮定自身につって過剰に報告されるため、厳に避けなけれいての記述ではない。

ばならない。複数の統計的検定を行っていない場合でもこの問題は起こりうる。報告す3. 科学的な結論や、ビジネス、政策におけべきことを研究者が統計的な結果に基づいる決定は、P 値がある値（訳注: 有意水準）て選択する場合、選択を行ったことと選択のを超えたかどうかにのみ基づくべきではな

根拠を読者がしらなければ、報告された結果

い。の妥当な解釈は常に極めて難しくなる。研究の中で調べる仮説の数、データ収集の際に科学的な主張や結論を正当化するために、行ったすべての決定、実行したすべての統データ解析や科学的推論を機械的で明白な計解析、そして計算したすべての P 値を研究ルール（「P≤0.05」といった）に貶めるようなや者は開示すべきである。少なくとも、どのようり方は、誤った思いこみと貧弱な意思決定にな解析がいくつ行われたか、報告する際につながりかねない。二分割された一方の側で、解析と P 値をどのように選んだのかをしらなけ結論が直ちに「真実」となったり、他方の側でれば、P 値と関連した解析に基づいて妥当な「誤り」となったりすることはありえない。科学科学的結論を導くことはできない。

的推論を行う際、研究者はさまざまな背景情報を利用すべきであり、それには研究のデザ5. P 値や統計的有意性は、効果の大きさやイン、測定の質、研究対象である事象のこれ結果の重要性を意味しない。

までのエビデンス、データ解析の背後にある仮定の妥当性が含まれている。「可否」による統計的有意性は科学や人間、経済にとっ二分類の決定は実用的ではあるが、P 値だて意味のあることとはことなる。P 値が小さい

けで決定が正しいかどうかが保証されるものからといって、必ずしも大きな、より重大な効2

果があることを意味しないし、P 値が大きくての大きさとその不確実さ、あるいは仮説が正しも、重要ではないこと、あるいは効果がないこ

いかどうかについて、より直接的に述べることがとを意味しない。どんなに小さい効果でも、サ可能かもしれない。

ンプルサイズが大きかったり測定精度が十分高ければ小さい P 値となりうるし、大きな効果

5. 結語であっても、サンプルサイズが小さかったり測すぐれた科学の実践に必須の要素であるす

定精度が低ければ、大きな P 値となることもあぐれた統計学の実践のためには以下の点を強る。同様に、効果の推定値がおなじ値であっ調しておく。すぐれた研究デザインとその実施とたとしても、推定値の精度がことなれば、こという原則、多様な数値およびグラフによるデーなった P 値となる。

タの要約、研究対象である事象の理解、背景情報に基づく結果の解釈、すべてを報告すること、

6. P 値は、それだけでは統計モデルや仮説そしてデータの要約の意味の適正な論理的かに関するエビデンスの、よい指標とはならつ定量的理解。ひとつの指標が科学的推論のない。

代わりとはなりえない。

背景情報やほかのエビデンスがなければ、謝辞

P 値は限られた情報しか提供しないことを研ASA 理事会は声明の作成過程において、専究者は認識すべきである。たとえば、0.05 に門性と考え方を共有いただいた以下の方たち

近い P 値ひとつだけでは帰無仮説を否定すに謝意を表する。声明は必ずしも以下のすべてる弱いエビデンスでしかない。同様に、比較の方たちの意見が反映されたものではなく、実的大きな P 値であっても、帰無仮説を支持す際一部の方たちは声明のすべてまたは一部にるエビデンスとはならない。ほかのたくさんの反対意見を述べている。それでも、われわれは仮説が、帰無仮説と同等か、それ以上に観察されたデータと矛盾しない可能性がある。

以下の方たちの貢献に深く感謝する。
Naomi Altman, Jim Berger, Yoav Benjamini, Don

これらの理由から、P 値以外のアプローチがBerry, Brad Carlin, John Carlin, George Cobb,

適切かつ実施可能な場合は、P 値を計算しMarie Davidian, Steve Fienberg, Andrew Gelman,

ただけでデータ解析を終えるべきではない。

Steve Goodman, Sander Greenland, GuidoImbens, John Ioannidis, Valen Johnson, Michael

4. P 値以外のアプローチ

Lavine, Michael Lew, Rod Little, Deborah Mayo,

P 値に関するあまねく誤用と誤解により、一部

Chuck McCulloch, Michele Millar, Sally Morton,の統計家は P 値を別なアプローチで補うか、もRegina Nuzzo, Hilary Parker, Kenneth Rothman,

っと極端には別なアプローチと置き換えることをDon Rubin, Stephen Senn, Uri Simonsohn,

推奨している。P 値以外のアプローチには以下Dalene Stangl, Philip Stark, Steve Ziliakのものがある。信頼区間、信用区間、予測区間などの、検定よりも推定を強調した方法、ベイズ

アメリカ統計協会理事会を代表して、流の方法、尤度比やベイズファクターなどのこと

編集担当 Ronald L. Wasserman、常任理事なったエビデンスの指標、そして決定理論やFalse Discovery Rate といったアプローチである。
これらの指標やアプローチすべてがさらなる仮定に依存している。しかし P 値とくらべると、効果3

P 値と統計的有意性に関する簡潔な文献リスト
Altman D.G., and Bland J.M. (1995), “Absence― (1999b), “Toward Evidence-Based MedicalStatistics. 2: The Bayes Factor,” Annals ofof Evidence is not Evidence of Absence,”

Internal Medicine, 130, 1005–1013.
― (2008), “A Dirty Dozen: Twelve P-Value

British Medical Journal, 311, 485.
Altman, D.G., Machin, D., Bryant, T.N., andMisconceptions,” Seminars in Hematology, 45,

Gardner, M.J. (eds.) (2000), Statistics with

135–140.

Confidence (2nd ed.), London: BMJ Books.

Greenland, S. (2011), “Null Misinterpretation inBerger, J.O., and Delampady, M. (1987), “TestingStatistical Testing and its Impact on HealthPrecise Hypotheses,” Statistical Science, 2,Risk Assessment,” Preventive Medicine, 53,317–335.

225–228.

Research: Ubiquitous and Necessary Evils,”― (2012), “Nonsignificance Plus High Power
Does Not Imply Support for the Null Over theJournal of the National Cancer Institute, 104,Alternative,” Annals of Epidemiology, 22,1124–1132.

364–368.

Berry, D. (2012), “Multiplicities in Cancer

Christensen, R. (2005), “Testing Fisher, Neyman,Pearson,andBayes,”

The

Greenland, S., and Poole, C. (2011), “Problems inAmerican

Common Interpretations of Statistics in

Statistician, 59, 121–126.

Scientific Articles,

Cox, D.R. (1982), “Statistical Significance Tests,”

ExpertReports,andTestimony,” Jurimetrics, 51, 113–129.

British Journal of Clinical Pharmacology, 14,Hoenig, J.M., and Heisey, D.M. (2001), “The325–331.

Abuse of Power: The Pervasive Fallacy ofEdwards, W., Lindman, H., and Savage, L.J.

Power Calculations for Data Analysis,” The(1963), “Bayesian Statistical Inference for
PsychologicalResearch,”

American Statistician, 55, 19–24.

Psychological

Ioannidis, J.P. (2005), “Contradicted and InitiallyReview, 70, 193–242.

Stronger Effects in Highly Cited ClinicalGelman, A., and Loken, E. (2014), “TheStatisticalCrisis

inAmerican

Scientist,Science102.

Research,” Journal of the American Medical[online],”Available

Association, 294, 218–228.
―at(2008), “Why Most Discovered True

http://www.americanscientist.org/issues/featur

Associations are Inflated” (with discussion),

e/2014/6/the-statistical-crisis-in-science

Epidemiology 19, 640–658.

Gelman, A., and Stern, H.S. (2006), “TheJohnson, V.E. (2013), “Revised Standards forDifference Between ‘Significant’ and ‘Not

Statistical Evidence,” Proceedings of theSignificant’National Academy of Sciences, 110(48),isnotItself

StatisticallySignificant,” The American Statistician, 60,19313–19317.
― (2013), “Uniformly Most Powerful Bayesian

328–331.
Gigerenzer, G. (2004), “Mindless Statistics,”

Tests,” Annals of Statistics, 41, 1716–1741.

Journal of Socioeconomics, 33, 567–606.

Lang, J., Rothman K.J., and Cann, C.I. (1998),

Goodman, S.N. (1999a), “Toward Evidence-“ThatBasedMedical Statistics 1: The P-Value

ConfoundedP-value”(editorial),

Epidemiology, 9, 7–8.

Fallacy,” Annals of Internal Medicine, 130,Lavine, M. (1999), “What is Bayesian Statistics

995–1004.

and Why Everything Else is Wrong,” UMAP

4

Journal, 20, 2.

Schervish, M.J. (1996), “P-Values: What They

Lew, M.J. (2012), “Bad Statistical Practice in

Are and What They Are Not,” The American

Pharmacology (and Other Basic Biomedical

Statistician, 50, 203–206.

Disciplines): You Probably Don’t Know P,”

Simmons, J.P., Nelson, L.D., and Simonsohn, U.

British Journal of Pharmacology, 166, 5, 1559–(2011),

1567.

Undisclosed Flexibility in Data Collection and“False-PositivePsychology:Phillips, C.V. (2004), “Publication Bias In Situ,”

Analysis Allows Presenting Anything as

BMC Medical Research Methodology, 4, 20.

Significant,” Psychological Science, 22, 1359–

Poole, C. (1987), “Beyond the Confidence

1366.

Interval,” American Journal of Public Health,

Stang, A., and Rothman, K.J. (2011), “That77, 195–199.

Confounded P-value Revisited,” Journal of― (2001), “Low P-values or Narrow ConfidenceIntervals:

WhichareMore

Clinical Epidemiology, 64, 1047–1048.

Durable?”Stang, A., Poole, C., and Kuss, O. (2010), “TheEpidemiology, 12, 291–294.

Ongoing Tyranny of Statistical SignificanceRothman, K.J. (1978), “A Show of Confidence”

Testing in Biomedical Research,” European(editorial), New England Journal of Medicine,

Journal of Epidemiology, 25, 225–230.

299, 1362–1363.

Sterne, J. A. C. (2002). “Teaching Hypothesis― (1986), “Significance Questing” (editorial),
Annals of Internal Medicine, 105, 445–447.

Tests—TimeforSignificantChange?”

Statistics in Medicine, 21, 985–994.

― (2010), “Curbing Type I and Type II Errors,”
European Journal of Epidemiology, 25, 223–

Sterne, J. A. C., and Smith, G. D. (2001), “Siftingthe224.

Evidence—What’sWrongwithSignificance Tests?” British Medical Journal,Rothman, K.J., Weiss, N.S., Robins, J., Neutra, R.,

322, 226–231.

and Stellman, S. (1992), “ Amicus Curiae

Ziliak, S.T. (2010), “The Validus Medicus and aBrief for the U. S. Supreme Court, Daubert v.

New Gold Standard,” The Lancet, 376, 9738,

Merrell Dow Pharmaceuticals, Petition for

324–325.

Writ of Certiorari to the United States Court ofZiliak, S.T., andMcCloskey, D.N. (2008), The

Appeals for the Ninth Circuit,” No. 92-102,

Cult of Statistical Significance: How theOctober Term, 1992.

Standard Error Costs Us Jobs, Justice, andRozeboom, W.M. (1960), “The Fallacy of theNull-Hypothesis

SignificanceLives, Ann Arbor, MI: University of Michigan

Test,”

Press.

Psychological Bulletin, 57, 416–428.

5