確率統計
Probability and Statistics

第６回講義資料
Lecture notes 6

統計学の基礎と点推定
Introduction of Statistics and Point Estimation

豊橋技術科学大学
Toyohashi University of Technology

電気・電子情報工学系
Department of Electrical and Electronic Information Engineering

准教授 竹内啓悟
Associate Professor

Keigo Takeuchi1統計学の目的(Purpose of statistics)
ある集団の性質を特徴付けるような指標を低コストで推計したい。
Estimate indicators that characterize properties of a group with low costs.

国勢調査(Census)
日本に常住する全世帯を対象とする。(Survey of all families that are living in Japan.)
利点(Merits)：正確な推計ができる。(Accurate estimation)
欠点(Demerits)：調査に費用がかかる。(High cost)
所得調査(Survey for income)
日本に住む全世帯の所得の傾向を特徴付けるには、どんな指標に注目すべきか？
What indicators should we focus on to characterize
the trends of income of all families in Japan.

平均値、中央値、最頻値?
Mean, median, or mode?

私見：分布を示せば良い。
My opinion: Show the distribution.

厚生労働省平成27年国民生活基礎調査より抜粋
2

統計的推測の定式化(Formulation of statistical inference)

母集団(Population)
調査したい集団の属性値の集合
The set of attribution of a group to be investigated.

例(Example)：世帯所得(Income)
母集団分布(Population distribution)
母集団から計算される相対度数分布
Relative frequency distribution computed from a population.

以下の表記を使う。
離散分布
Discrete distribution

𝑃(𝑋 = 𝑥)連続分布𝑝𝑋 (𝑥)Continuous distribution

仮説(Hypotheses)

母集団の要素数は十分に多い。(Population contains a huge number of members.)
真の母集団分布は、有限個の母数によって決まる分布で近似できる。
The true population distribution can be approximated by one with a finite number of parameters.

統計学の目的(Purpose of statistics)
ある集団の性質を特徴付けるような指標を低コストで推計したい。
Estimate indicators that characterize properties of a group with low costs.

母集団分布の母数を低コストで推定したい。
Estimate the parameters in the population distribution with low costs.
3

標本抽出による推計(Estimation via sampling)
標本(Sample)

母集団から抽出された属性値の集合(The set of members sampled from a population.)
標本の大きさ(Sample size)
母集団から抽出された属性値の数(The number of members sampled from a population.)
標本の大きさを標本数と言ってはいけない。
Do not confuse the sample size with the number of samples.

標本数とは、母集団が複数の集団から構成される場合の集団の数のことである。(例：所得の母集団を60歳以下とその他との二集団に分けた場合、標本数は２。)
The number of samples means the number of groups when a population is composed of multiplegroups. (Example: The number of groups is 2 when the income population is divided into two groups:
under or over 60.)

数学的には(Mathematically)
大きさ𝑁 の標本は、周辺分布が母集団分布に従う𝑁個の確率変数列である。
A sample of size 𝑁 is a sequence of random variables of which the marginal distributions are equal tothe population distribution.

実現値ではないことに注意。(They are not realizations.)
4

標本抽出による推計(Estimation via sampling)
無作為抽出(Random sampling)
全部で𝑀個の要素から成る母集団の中から、等確率で𝑁個の標本を抽出する。
Sample 𝑁 different members out of the population that are composed of 𝑀 members with uniform probability.

𝑀が十分に大きいとき、無作為抽出は、母集団から独立かつ一様な確率で𝑁個の要素を取り出す復元抽出と等価である。
When 𝑀 is sufficiently large, random sampling is equivalent to sampling with replacement that picksup 𝑁 members from the population independently and uniformly.

数学的には(Mathematically)
大きさ𝑁の無作為抽出された標本とは、母集団分布に従う𝑁個の独立な確率変数列である。
A sample of size 𝑁 via random sampling is a sequence of independent random variables that follows
the population distribution.

統計的推測の目的(Purpose of statistical inference)
無作為抽出された標本(値)から母集団分布の母数を推定したい。
Estimate the parameters in the population distribution from (a realization of) a sample obtained
via random sampling.
5統計量(Statistic)

ある母数の推定量に対応する標本𝑋の関数𝑇(𝑋)A function 𝑇(𝑋) of a sample 𝑋 that corresponds to an estimator of a parameter.

注意(Remarks)
統計量は未知の母数に依存してはいけない。
Any statistic must not depend on unknown parameters.

統計量は確率変数である。その実現値である統計値と混同してはいけない。
A statistic is a random variable. Do not confuse it with a realization.

例(Examples)：
標本平均：母集団の平均(母平均)に対する統計量
Sample mean: A statistic of the population mean

標本分散：母集団の分散(母分散)に対する統計量
Sample variance: A statistic of the population variance6点推定の目的(Purpose of point estimation)
母集団分布の標準的推定法(Standard method for estimation of population distributions)
ある特定の母集団分布族の中から、データに基づいて最良な母集団分布を選択する。
(Select the best distribution based on data out of a certain family of population distributions.)

母集団分布族(Family of population distributions)：𝑃(𝑋; 𝜃), 𝜃 ∈ Θ.
標本𝑋の分布は、母数𝜃によって分布が完全に特定されると仮定する。
The distribution of the sample 𝑋 is assumed to be determined by the parameter 𝜃.

母集団分布(Population distribution)

母数(Parameters)

二項分布(Binomial distribution)

1が出る確率(Probability of an outcome of 1)

正規分布(Normal distribution)

平均と分散(Mean and variance)

母数の点推定(Point estimation of the parameter)
標本𝑋の実現値𝑥が得られたときに、母数𝜃を推定せよ。
Estimate the parameter 𝜃 when a realization of the sample has been obtained.

7

点推定の例(Example of point estimation)
正規母集団から無作為抽出された標本𝑿 = {𝑋1 , … , 𝑋𝑁 }i.i.d. sample 𝑿 from the normal population

𝑝𝑋𝑛 (𝑥; 𝜽) =1
2𝜋𝜎 2(𝑥−𝜇)2−𝑒 2𝜎2 ,𝜽 = {𝜇, 𝜎 2 }標本𝑋から、平均𝜇と分散𝜎 2 をどのように推定するのが最良だろうか？
What is the best estimation of the mean and variance based on the sample?

標本平均：

ത(Sample mean) 𝑋 =𝑁1
෍ 𝑋𝑛𝑁

標本分散：
(Sample variance)𝑁𝜎ො 2 =𝑛=1

1
ത 2
෍ (𝑋𝑛 − 𝑋)
𝑁𝑛=1

直観的には尤もらしい推定法であるが、これよりも良い方法はないのか？
While they are intuitively reasonable methods, are not there better methods?

そもそも、推定法の良し悪しをどのような基準で比較すべきか？
What criteria should we use in comparing merits or demerits of estimation?

8推定量が満たすべき性質(Properties desired in estimators)
መ
母数𝜃の推定量を𝜃መ = 𝜃(𝑋)と書く。
Let 𝜃෠ denote an estimator of the parameter 𝜃.

不偏性(Unbiasedness)መመ
推定量𝜃が𝔼𝜃መ = 𝜃を満たすとき、 𝜃を不偏推定量と呼ぶ。
An estimator 𝜃෠ is called unbiased if 𝔼 𝜃෠ = 𝜃 is satisfied.

一致性(Consistency)መ
標本の大きさが無限大のとき、推定量𝜃が真の母数𝜃に確率収束するなመ
らば、 𝜃は一致推定量と呼ばれる。
An estimator 𝜃෠ is called consistent if 𝜃෠ converges in probability to the true parameter 𝜃 as thesample size tends to infinity.

有効性(Efficiency)መመ 2 ]の理論限界を達成するとき、不偏推定量𝜃が平均二乗誤差Ε[(𝜃− 𝜃)መ
𝜃は有効推定量と呼ばれる。
An unbiased estimator 𝜃෠ is called efficient if 𝜃෠ achieves a theoretical lower bound on the mean෠ 2 ].
square error (MSE) Ε[(𝜃 − 𝜃)9

不偏推定量の例(Examples of unbiased estimators)
平均𝜇と分散𝜎 2 を母数𝜽 = {𝜇, 𝜎 2 }とする母集団分布𝑃(𝑋; 𝜽)から無作為抽出された標本𝑿 = {𝑋1 , … , 𝑋𝑁 }を使って、母数を推定しよう。
Estimate the parameters 𝜽 = {𝜇, 𝜎 2 } from an independent and identically distributed (i.i.d.)sample 𝑿 drawn from the population distribution 𝑃(𝑋; 𝜽) with mean 𝜇 and variance 𝜎 2 .
𝑁

標本平均(Sample mean)： 𝑋ത = 1 ෍ 𝑋𝑛
𝑁
𝑛=1
標本平均は不偏である。(The sample mean is unbiased.)
𝑁𝑁11∵
𝔼 𝑋ത = ෍ 𝔼[𝑋𝑛 ] = ෍ 𝜇 = 𝜇.
𝑁𝑁𝑛=1

不偏分散(Unbiased sample variance):𝑛=1

Sത 2 =𝑁1
ത 2
෍ (𝑋𝑛 − 𝑋)
𝑁−1𝑛=1
不偏分散は不偏推定量である。(The unbiased sample variance is unbiased.)

証明： 𝑌𝑛 = 𝑋𝑛 − 𝜇 とおくと、𝔼 𝑌𝑛 = 0と𝕍 𝑌𝑛 = 𝜎 2 が成り立つので、一般性を失うことなく、𝜇 = 0を仮定できる。
ProofLet 𝑌𝑛 = 𝑋𝑛 − 𝜇. Since 𝔼 𝑌𝑛 = 0 and 𝕍 𝑌𝑛 = 𝜎 2 hold, without loss of generality,
we can assume 𝜇 = 0.
10

不偏分散の不偏性の証明(Proof of the unbiasedness of the unbiased sample variance)
標本平均の定義を使って、(Using the definition of the sample mean yields)𝑁𝑁𝑁ത 2 = ෍ 𝑋𝑛2 − 2𝑋𝑋
ത 𝑛 + 𝑋ത 2 = ෍ 𝑋𝑛2 − 𝑁𝑋ത 2 .
෍ (𝑋𝑛 − 𝑋)
𝑛=1𝑛=1𝑛=1

標本𝑿に関する期待値を取ると、Taking the expectation with respect to the sample 𝑿, we have2ത2
ത2

𝑁 − 1 𝔼 S = 𝑁𝜎 − 𝑁𝔼 𝑋 ,ここで、不偏分散の定義と仮定𝜇 = 0を使った。
where we have used the definition of the unbiased sample variance and the assumption of 𝜇 = 0.

標本平均は𝜇 = 0の不偏推定量なので、Since the sample mean is an unbiased estimator of 𝜇 = 0, we have2𝜎ത2തത 2ത

𝔼𝑋= 𝔼 (𝑋 − 𝔼 𝑋 )=𝕍𝑋 =.
𝑁
最後の等号は、標本平均の定義と標本の独立同一性とから従う。
The last equality follows from the definition of the sample mean and the i.i.d. property of the sample.

これらの式を組み合わせると、𝔼 Sത 2 = 𝜎 2 を得る。
Combining these equations, we arrive at 𝔼 Sത 2 = 𝜎 2 .

∎11最尤推定(Maximum likelihood (ML) estimation)

母集団分布に統計値𝑥を代入した母数𝜃の関数𝑃(𝑋 = 𝑥; 𝜃)を尤度と呼ぶ。
We refer to the function 𝑃(𝑋 = 𝑥; 𝜃) of 𝜃 obtained by substituting a realization 𝑥 of the sample into thepopulation distribution as likelihood.

最尤推定量(ML estimator)：𝜃መ = argmax 𝑃(𝑋 = 𝑥; 𝜃)𝜃∈Θ

統計値𝑥の出現確率である尤度を最大にするような母数を選ぶ。
Select a parameter that maximizes the likelihood―the probability of the occurrence of 𝑥.

日本語と英語の違い(Difference between Japanese and English)
尤もらしさ≒道理に合っている(reasonable)様子≒適切さ(suitability)
Likelihood≒possibility(可能性)≒probability(確率)最尤推定は最大出現確率に基づく推定という意味なので、なぜ一番尤もらしい推定と言えるのかという議論はしない方が良い。
Since the ML estimation means estimation based on the maximum probability of outcome, weshould not discuss why the ML estimation is the most reasonable estimation.

12最尤推定の例(Example of ML estimation)
正規母集団から無作為抽出された標本𝑿 = {𝑋1 , … , 𝑋𝑁 }i.i.d. sample 𝑿 from the normal population

𝑝𝑋𝑛 (𝑥; 𝜽) =1(𝑥−𝜇)2−𝑒 2𝜎2 ,𝜽 = {𝜇, 𝜎 2 }2𝜋𝜎 22
平均𝜇と分散𝜎 2 の最尤推定量𝜇ොML と𝜎ොMLを計算しよう。
Compute the ML estimators of the mean and variance.

尤度を最大化することは、対数尤度を最大化することと等価である。
The maximization of the likelihood is equivalent to that of the log likelihood.
𝑁𝑁

2𝜇ොML , 𝜎ොML
= argmax log ෑ 𝑝𝑋𝑛 (𝑋𝑛 ; 𝜽) = argmax ෍ log 𝑝𝑋𝑛 (𝑋𝑛 ; 𝜽).
𝜇,𝜎2𝑛=1𝜇,𝜎2𝑛=1

ത
対数尤度を標本平均𝑋を使って表現すると、Representing the log likelihood with the sample mean yields𝑁𝑁

ത + 𝑋2𝑁 𝜇 − 2𝑋𝜇1222෍ log 𝑝𝑋𝑛 (𝑋𝑛 ; 𝜽) = −+log(2𝜋𝜎),
𝑋=෍𝑋.
𝑛2𝜎2𝑁

𝑛=12𝑛=113

最尤推定の例(Example of ML estimation)
平均の最尤推定量𝜇ොML は、𝜎 2 によらず標本平均と等しい。
The ML estimator 𝜇Ƹ ML of the mean is independent of 𝜎 2 , and equal to the sample mean.

𝜇ොML = 𝑋ത

確かめよ。(Confirm it.)

2分散の最尤推定量𝜎ොMLは、標本分散と等しい。
2The ML estimator 𝜎ොMLof the variance is equal to the sample variance.

2𝜎ොML= argmin
𝜎2 >0

ത + 𝑋2𝜇2 − 2𝑋𝜇+ log 2𝜋𝜎 2 อ2𝜎𝜇=𝑋ത𝜎ො 2= argmin 2 + log 𝜎 2𝜎𝜎2 >0,

ここで、𝜎ො 2 は標本分散を表す。(where 𝜎ො 2 denotes the sample variance.)関数𝑓 𝑥 = log 𝑥 + 𝜎ො 2 /𝑥は、
𝑥 = 𝜎ො 2 のときに最小値を取る。
The function 𝑓(𝑥) is minimized at 𝑥 = 𝜎ො 2 .

∴𝑓(𝑥)

2𝜎ොML
＝𝜎ො 2 .

𝜎ො 2𝑥14最尤推定の性質(Properties of ML estimation)
適切な正則条件を満たす母集団確率密度関数𝑝𝑋 (𝑥; 𝜃)から無作為抽出された標本𝑿 = {𝑋1 , … , 𝑋𝑁 }に基づく母数𝜃の最尤推定量に関して、Consider the ML estimator of the parameter based on the i.i.d. sample drawn from a population
pdf 𝑝𝑋 (𝑥; 𝜃) satisfying regularity conditions.

不偏性(Unbiasedness)
最尤推定量は必ずしも不偏ではない。(ML estimators are not necessarily unbiased.)
一致性(Consistency)
最尤推定量は一致推定量である。(ML estimators are consistent.)

それ故、標本の大きさが無限大のときに、最尤推定量は不偏推定量である。
Thus, the ML estimators are unbiased as the sample size tends to infinity.

有効性(Efficiency)
標本の大きさが無限大のときに、最尤推定量は有効推定量である。
ML estimators are efficient as the sample size tends to infinity.

標本の大きさが十分に大きいとき、最尤推定は最良な推定法であると言える。
We can conclude that ML estimation is the best method of estimation for a sufficiently large sample size.
15宿題(Homework)
5. 𝑿 = {𝑋1 , … , 𝑋𝑁 }を正規母集団から無作為抽出された標本とする。母平2均𝜇と母分散𝜎 2 に対する最尤推定量𝜇ොML と𝜎ොMLを導出せよ。
Let 𝑿 = {𝑋1 , … , 𝑋𝑁 } denote an i.i.d. sample from the normal population. Derive the ML estimators 𝜇Ƹ ML2and 𝜎ොMLfor the population mean 𝜇 and variance 𝜎 2 .

16