確率統計
Probability and Statistics

第７回講義資料
Lecture notes 7

区間推定と仮説検定
Interval Estimation and Hypothesis Testing

豊橋技術科学大学
Toyohashi University of Technology

電気・電子情報工学系
Department of Electrical and Electronic Information Engineering

准教授 竹内啓悟
Associate Professor

Keigo Takeuchi
1区間推定の目的(Purpose of interval estimation)
推定誤差(Estimation error)
標本の大きさは有限なので、母数の点推定値には誤差が生じている。
A finite sample size results in an error for point estimation of a parameter.

推定誤差をどのように評価すべきか？
Should we evaluate the estimation error?

平均二乗誤差による評価(Evaluation based on mean-square error (MSE))
推定値の平均二乗誤差を評価して、理論的な下界と比べる。
Compare the MSE in estimation with a theoretical lower bound.

欠点(Disadvantages)
真の母数が既知でないと、平均二乗誤差を評価できない。
It is impossible to evaluate the MSE, unless the true parameter is known.

真の母数が既知であったとしても、評価するには多数の標本が必要である。
Even if the true parameter were known, we would need many samples to evaluate the MSE.

区間推定の目的(Purpose of interval estimation)
真の母数が未知の場合に、単一の標本から点推定の誤差を評価する。
Evaluation of errors in point estimation for unknown parameters with a single sample.
2

例(Example)問題(Problem)
大きさ1の標本𝑋𝑋の実現値𝑥𝑥 = 0.5から、母平均𝜃𝜃の推定誤差を評価せよ。

Evaluate the error in estimation of the population mean based on a realization of a sample with size 1.

母平均の推定値(Estimate of the population mean)
予備知識がないので、母平均の推定値を𝜃𝜃̂ = 𝑥𝑥 = 0.5とするしかない。

What we can do with no a priori knowledge is to select 𝜃𝜃� = 𝑥𝑥 as an estimate of the population mean.

誤差の評価(Evaluation of the error)
不可能である。(Impossible)

標本𝑋𝑋が分散𝜎𝜎 2 =1の正規分布に従うことを知っていたとしたら、
If we knew that the sample 𝜃𝜃 followed a normal distribution with variance 𝜎𝜎 2 =1,母平均𝜃𝜃は区間[0.5 − 3𝜎𝜎, 0.5 + 3𝜎𝜎]に入っていそうだと言える。

we could say that the population mean was likely to be included into the interval [0.5 − 3𝜎𝜎, 0.5 + 3𝜎𝜎].
3区間推定の手順(Procedure of interval estimation)
仮定(Assumption)
母集団分布族 𝑃𝑃(𝑋𝑋; 𝜃𝜃) 𝜃𝜃 ∈ Θ }は既知である。
The family of population distributions is known.

１ 分布が未知の母数𝜃𝜃に依存しない統計量𝑇𝑇を設定せよ。
Select a statistic 𝑇𝑇 such that the distribution of 𝑇𝑇 is independent of the unknown parameter.

２ 𝑇𝑇の分布を評価し、100(1 − 𝛼𝛼)%信頼水準に基づく信頼区間を導出せよ。
100(1 − 𝛼𝛼)%信頼水準の信頼区間：Confidence interval with a confidence level of 100(1 − 𝛼𝛼)%

統計値が区間に含まれない確率が、左右均等に合計で𝛼𝛼に等しくなるような区間

Interval that does not include a realization of the statisticwith probability 𝛼𝛼, which is equally allocated on both sides.

Pdf 𝑝𝑝𝑇𝑇 (𝑡𝑡)

Evaluate the distribution of 𝑇𝑇, and derive a confidence interval based on a confidence level of 100(1 −𝛼𝛼)%.

𝛼𝛼2Confidence interval

𝑡𝑡4

信頼区間の意義(Significance of confidence interval)
母数を確率変数とみなしていないので、区間推定は、信頼水準に等しい確率で母数は信頼区間の中に入るという定式化にはなっていない。
Since the parameter is not regarded as a random variable, the formulation of interval estimation
does not indicate that the parameter is included into the confidence interval with probability that isequal to the confidence level.

例：今現在の日本人の男女比(Male-to-female ratio in Japan just now)
ある標本調査を行った結果、95%信頼水準における男女比の信頼区間は[0.985, 1.015]であったとする。この結果を真の男女比は95%の確率でこの区間に入ると解釈するのはおかしい。
For the male-to-female ratio, suppose that we obtained the confidence interval [0.985, 1.015] with aconfidence level of 95% from a sample. The following interpretation of this result is wrong: The true
ratio is included into the interval with a probability of 95%.

正しい解釈(Correct interpretation)
同じ標本調査を独立に1000回行って男女比の信頼区間を計算した結果、約950個の信頼区間は真の男女比を含んでいる。
Compute 1000 confidence intervals for the male-to-female ratio from independent trials of theidentical survey. Then, approximately 950 intervals would include the true ratio.

5分散既知の正規母集団の母平均Population mean of the normal population with known variance

分散𝜎𝜎 2 が既知の正規母集団から無作為抽出された大きさ𝑁𝑁の標本
𝑿𝑿 = {𝑋𝑋1 , … , 𝑋𝑋𝑁𝑁 }から、標本値𝒙𝒙 = {𝑥𝑥1 , … , 𝑥𝑥𝑁𝑁 }が得られたとする。未知の母平均𝜇𝜇を95%の信頼水準で区間推定せよ。
Suppose that we obtained a realization 𝒙𝒙 of an independent and identically distributed (i.i.d.)sample 𝑿𝑿 from the normal population with known variance 𝜎𝜎 2 . Interval-estimate the unknown
population mean at a confidence level of 95%.

統計量(Statistic)

𝑁𝑁

𝑋𝑋𝑛𝑛 − 𝜇𝜇 𝑋𝑋� − 𝜇𝜇𝑇𝑇 ==�,𝜎𝜎𝑁𝑁𝜎𝜎/ 𝑁𝑁定理7.1(Theorem 7.1)

1

𝑛𝑛=1

�
(Sample mean)
𝑋𝑋：標本平均

正規確率変数の線形結合は、正規分布に従う。
A linear combination of normal random variables follows a normal distribution.

定理7.1から、𝑇𝑇は任意の標本の大きさ𝑁𝑁に対して標準正規分布に従う。
From Theorem 7.1, 𝑇𝑇 follows the standard normal distribution for any sample size 𝑁𝑁.

6分散既知の正規母集団の母平均
Population mean of the normal population with known variance

統計量(Statistic)

𝑁𝑁

𝑋𝑋𝑛𝑛 − 𝜇𝜇 𝑋𝑋� − 𝜇𝜇𝑇𝑇 ==�,𝜎𝜎𝑁𝑁𝜎𝜎/ 𝑁𝑁
1

𝑛𝑛=1

�
(Sample mean)
𝑋𝑋：標本平均

数値計算により、𝑃𝑃 𝑇𝑇 ≤ 𝑡𝑡0 = 0.95を満たす閾値は𝑡𝑡0 ≈ 1.95996である。
Numerical computation implies that the threshold 𝑡𝑡0 ≈ 1.95996 results in 𝑃𝑃 𝑇𝑇 ≤ 𝑡𝑡0 = 0.95.

𝑇𝑇 ≤ 𝑡𝑡0 を 𝜇𝜇 に関して解くと、信頼区間 𝜇𝜇 ∈ 𝑋𝑋� − 𝑁𝑁 −1/2 𝑡𝑡0 𝜎𝜎, 𝑋𝑋� + 𝑁𝑁 −1/2 𝑡𝑡0 𝜎𝜎 を得る。

Solving 𝑇𝑇 ≤ 𝑡𝑡0 with respect to 𝜇𝜇 yields the confidence interval 𝜇𝜇 ∈ 𝑋𝑋� − 𝑁𝑁 −1/2 𝑡𝑡0 𝜎𝜎, 𝑋𝑋� + 𝑁𝑁 −1/2 𝑡𝑡0 𝜎𝜎 .

∵𝑋𝑋� − 𝜇𝜇𝜎𝜎/ 𝑁𝑁≤ 𝑡𝑡0−𝑡𝑡0 ≤𝑋𝑋� − 𝜇𝜇𝜎𝜎/ 𝑁𝑁≤ 𝑡𝑡0𝑡𝑡0 𝜎𝜎𝑡𝑡0 𝜎𝜎��𝑋𝑋 −≤ 𝜇𝜇 ≤ 𝑋𝑋 +.
𝑁𝑁
𝑁𝑁7

仮説検定の目的(Purpose of hypothesis testing)
データのみから、ある仮説の真偽を検定したい。
Test true or false for a hypothesis by using only data.

例： 2015年9月14日重力波の直接観測(Example: Direct observation of gravitational waves on 14 Sep. 2015)

観測信号が重力波であることを立証したい。
Verify that the observed signals are a gravitational wave.

© LIGO

http://mediaassets.caltech.edu/gwave

問題：ただの観測ノイズである可能性をどのように否定するか？
Problem: How should we deny that the signals are just noise in observations?

困難：ノイズではないことの証明は原理的に不可能である。
Difficulty: It is impossible in principle to prove that they are not noise.

回避策：ノイズである可能性(正確にはp値)が十分に低いことを立証する。
Solution: Verify that a possibility of noise (more precisely, p-value) is very rare.

本例の場合、p値は約𝑝𝑝 = 0.00006%である。
The p-value is approximately 𝑝𝑝 = 0.00006% in this example.

8

仮説検定の手順(Procedure of hypothesis testing)１ 帰無仮説𝐻𝐻0 を立てる―注目している事象は偶然起こったという仮説(Postulate a null hypothesis 𝐻𝐻0 ―An event we focus on occurred by chance.)

観測信号はノイズである。(The observed signals are noise.)

２ 対立仮説𝐻𝐻1 を立てる―帰無仮説を論理否定した仮説(Set the alternative hypothesis 𝐻𝐻1 ―Logical negation of the null hypothesis.)

観測信号はノイズではない。(The observed signals are not noise.)

３ 検定統計量𝑇𝑇を設定して、帰無仮説𝐻𝐻0 を有意水準𝛼𝛼で棄却する。
Define a test statistic 𝑇𝑇, and reject the null hypothesis 𝐻𝐻0 at a significance level 𝛼𝛼.

p値が𝛼𝛼を下回ったとき、ただのノイズである可能性を棄却する。
さもなければ、この可能性を棄却はしない。
When the p-value is below 𝛼𝛼, reject a possibility that they are just noise. Otherwise, do
not reject this possibility
9用語の定義(Definitions of terminology)
棄却域(Rejection region)：ℛ ⊂ ℝ

検定統計量𝑇𝑇が領域ℛに含まれるならば、帰無仮説を棄却する。

Reject the null hypothesis if the test statistic is in the rejection region.

第１種の誤り(Type I error)
帰無仮説が真のときに帰無仮説を棄却してしまう誤り
Incorrect rejection of a true null hypothesis

第１種誤り確率(Type I error probability)：𝑃𝑃(𝑇𝑇 ∈ ℛ |𝐻𝐻0 )第２種の誤り(Type II error)

帰無仮説が偽のときに帰無仮説を棄却しない誤り
Incorrect non-rejection of a false null hypothesis

第２種誤り確率(Type II error probability)：𝑃𝑃(𝑇𝑇 ∉ ℛ |𝐻𝐻1 )有意水準(Significance level)𝛼𝛼：

第１種誤り確率が有意水準以下になるように、棄却域を設定する。

Define a rejection region such that the type I error probability is below the significance level.
10用語の定義(Definitions of terminology)
p値(p-value)： 帰無仮説が真のときに、得られた統計値𝑡𝑡以上に稀な統計値が、検定統計量𝑇𝑇が従う分布から発生する確率𝑝𝑝
Probability 𝑝𝑝 with which the distribution of the statistic 𝑇𝑇 generates rarer realizations
than an obtained realization 𝑡𝑡 of the statistic.

検出力： 帰無仮説が偽のときに帰無仮説を棄却する確率1 − 𝛽𝛽(Power)Probability 1 − 𝛽𝛽 with which a false null hypothesis is rejected.

片側検定の場合(Case of a one-sided test)
第１種誤り確率が有意水準𝛼𝛼と等しくなるように、棄却域の閾値𝑐𝑐を設定
Select a threshold 𝑐𝑐 such that the type I error
probability is equal to the significance level.

ℛ = 𝑐𝑐, ∞ s.t. α = 𝑃𝑃 𝑇𝑇 ∈ ℛ 𝐻𝐻0 .
p値(p-value)：𝑝𝑝 = 𝑃𝑃(𝑇𝑇 ≥ 𝑡𝑡 |𝐻𝐻0 )Pdf of 𝑇𝑇

第２種誤り確率(Type II error probability)：𝛽𝛽 = 𝑃𝑃(𝑇𝑇 ∉ ℛ |𝐻𝐻1 )有意水準とp値を比べて、棄却するか否かを決めればよい。

𝑝𝑝𝛼𝛼𝑐𝑐𝑡𝑡Compare the significance level and p-value to decide whether rejection should be selected.

11

例：母集団分布の検定(Example: Testing for population distributions)
母集団分布は𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃0 )か𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃1 )のどちらかであることを突き止めた。

標本値𝑥𝑥が得られたときに、𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃1 )が真の分布であることを立証したい。
We have found the fact that the population distribution is 𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃0 ) or 𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃1 ). Verify that thelatter is the true distribution, when a sample realization 𝑥𝑥 has been obtained.

𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃)

帰無仮説(Null hypothesis)𝐻𝐻0 ：𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃0 ) 対立仮説(Alternative hypothesis)𝐻𝐻1 ：𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃1 )𝜃𝜃0𝜃𝜃1𝑥𝑥どのように検定統計量を設定すべきか？(How should a test statistic be set?)12尤度比検定(Likelihood ratio test)
帰無仮説(Null hypothesis)𝐻𝐻0 ：𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃0 ) 対立仮説(Alternative hypothesis)𝐻𝐻1 ：𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃1 )
検定統計量𝑇𝑇として、尤度比を取る。

(Select the likelihood ratio as a test statistic.)

𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃1 )𝑇𝑇 𝑥𝑥 =𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃0 )

有意水準𝛼𝛼に対して、棄却域ℛ = [𝑐𝑐, ∞)の閾値𝑐𝑐をα = 𝑃𝑃 𝑇𝑇 ∈ ℛ 𝐻𝐻0 を満たすように定める。
For s significance level 𝛼𝛼, take a threshold 𝑐𝑐 such that α = 𝑃𝑃 𝑇𝑇 ∈ ℛ 𝐻𝐻0 is satisfied for the rejection
region ℛ = [𝑐𝑐, ∞).

補題7.1：ネイマン・ピアソンの補題(Lemma 7.1: Neyman-Pearson Lemma)

任意の有意水準𝛼𝛼に対して、尤度比検定は検出力1 − 𝛽𝛽を最大にする。
For any significance level, the likelihood ratio test is the most powerful test.)

目標とする第１種誤り確率 𝛼𝛼 を定めたときに、あらゆる検定の中で、尤度比検定は第２種誤り確率𝛽𝛽 を最小にする最良な検定法である。
For any target type I error probability 𝛼𝛼, the likelihood ratio test is the best test thatminimizes the type II error probability 𝛽𝛽 among all possible tests.

13

証明(Proof)
最初に記号の準備を行う。
We first introduce the notation.

尤度比統計量𝑇𝑇の棄却域ℛに入る標本値の集合をℛd = 𝑥𝑥 ∶ 𝑇𝑇(𝑥𝑥) ∈ ℛ と書く。

We write the set of sample realizations that fall in therejection region for the likelihood ratio statistic as ℛd .

𝑥𝑥𝑇𝑇ℛdData domain

𝑇𝑇(𝑥𝑥)ℛStatistic domain

母数𝜃𝜃に対して、標本値が棄却域ℛd に入る確率は以下となる。
For a parameter 𝜃𝜃, the probability of data falling in the rejection region ℛd is given byPr𝜃𝜃 ℛd = � 𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃)𝑑𝑑𝑑𝑑ℛd��
α = 𝑃𝑃 𝑇𝑇� ∈ ℛ� 𝐻𝐻0 を満たす任意の検定統計量𝑇𝑇と棄却域ℛを取り、上記と同様にℛ� d とPr𝜃𝜃 ℛ� d を定義する。

Let 𝑇𝑇� and ℛ� denote any test statistic and the corresponding rejection region that satisfy
α = 𝑃𝑃 𝑇𝑇� ∈ ℛ� 𝐻𝐻0 , and define ℛ� d and Pr𝜃𝜃 ℛ� d in the same manner.

��
検定統計量𝑇𝑇と𝑇𝑇の検出力は、それぞれPr𝜃𝜃1 ℛ d とPr𝜃𝜃1 ℛ d である。

The powers of the test statistics 𝑇𝑇 and 𝑇𝑇� are Pr𝜃𝜃1 ℛd and Pr𝜃𝜃1 ℛ� d , respectively.

14

証明(Proof)
二つの検出力の差を評価すると、(Evaluating the difference between the two powers, we have)Pr𝜃𝜃1 ℛd − Pr𝜃𝜃1 ℛ� d = Pr𝜃𝜃1 ℛd ∩ ℛ� d + Pr𝜃𝜃1 ℛd ∩ ℛ� dc−{Pr𝜃𝜃1 ℛd ∩ ℛ� d + Pr𝜃𝜃1 ℛdc ∩ ℛ� d }= Pr𝜃𝜃1 ℛd ∩ ℛ� dc − Pr𝜃𝜃1 ℛdc ∩ ℛ� d .
(7.1)
尤度比検定の棄却域の定義ℛd = {𝑥𝑥: 𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃1 ) ≥ 𝑐𝑐𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃0 )}を使って、Using the definition of the rejection region for the likelihood ratio test yields

Pr𝜃𝜃1 ℛd ∩ ℛ� dc = �cℛd ∩ℛ� d𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃1 )𝑑𝑑𝑑𝑑 ≥ 𝑐𝑐Pr𝜃𝜃0 ℛd ∩ ℛ� dc .

式(7.1)の議論を母数𝜃𝜃0 に関して行うと、𝛼𝛼 = Pr𝜃𝜃0 ℛd = Pr𝜃𝜃0 ℛ� d から
Repeating the argument in (7.1) for the parameter 𝜃𝜃0 , from 𝛼𝛼 = Pr𝜃𝜃0 ℛd = Pr𝜃𝜃0 ℛ� d we havePr𝜃𝜃0 ℛd ∩ ℛ� dc = Pr𝜃𝜃0 ℛdc ∩ ℛ� d .

尤度比検定の非棄却域ℛdc = {𝑥𝑥: 𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃1 ) < 𝑐𝑐𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃0 )}の定義からUsing the definition of the complement of the rejection region for the likelihood ratio test yields
𝑐𝑐Pr𝜃𝜃0 ℛdc ∩ ℛ� d ≥ Pr𝜃𝜃1 ℛdc ∩ ℛ� d
等号(Equality)：ℛdc = ∅.

これらを組み合わせると、Pr𝜃𝜃1 ℛd ≥ Pr𝜃𝜃1 ℛ� d が成立する。

Combining these observations, we arrive at Pr𝜃𝜃1 ℛd ≥ Pr𝜃𝜃1 ℛ� d .

∎15

例：分散１の正規分布の場合
Example: Case of the normal distributions with unit variance

帰無仮説(Null hypothesis)𝐻𝐻0 ： 𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃0 = 0) =1𝑥𝑥 2𝑒𝑒 − 22𝜋𝜋
1 −(𝑥𝑥−1)22𝑒𝑒
対立仮説(Alternative hypothesis)𝐻𝐻1 ： 𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃1 = 1) =2𝜋𝜋
帰無仮説𝐻𝐻0 の下で対数尤度比を計算すると、Under the null hypothesis, we compute the log likelihood ratio as

11確認せよ。(Confirm it.)log 𝑇𝑇(𝑋𝑋) = 𝑋𝑋 − ~𝒩𝒩 − , 122
有意水準𝛼𝛼 = 0.05に対して閾値を数値計算すると、𝑐𝑐 ≈ 3.14198。
1+ log 𝑐𝑐2𝛼𝛼

Pdf 𝑝𝑝𝑇𝑇 (𝑡𝑡)

Pdf 𝑝𝑝𝑋𝑋 (𝑥𝑥; 𝜃𝜃)For a significance level of 0.05, numerical computation of the threshold implies 𝑐𝑐 ≈ 3.14198.

𝛼𝛼𝑐𝑐
𝑂𝑂
𝑡𝑡
0 1
標本値𝑥𝑥が閾値1.64485以上であれば、帰無仮説は棄却される。

When a realization of the sample is larger than the threshold, the null hypothesis is rejected.
16