情報通信システム(特)論II
Information and Communication Systems II

第５回講義資料
Lecture notes 5

ベイズ推定
Bayesian Inference

豊橋技術科学大学
Toyohashi University of Technology

電気・電子情報工学系
Department of Electrical and Electronic Information Engineering

准教授 竹内啓悟
Associate Professor

Keigo Takeuchi1母数の点推定 (Point estimation of parameters)
母集団分布𝑃𝑃(𝑋𝑋 |𝜃𝜃)*を既知とする。標本𝑋𝑋から標本値𝑥𝑥が得られたときに、母数𝜃𝜃を点推定したい。

Point-estimate the parameter from the known population distribution and a realization of the sample.

最尤推定 (Maximum likelihood (ML) estimation)𝜃𝜃̂ = argmax 𝑃𝑃(𝑋𝑋 = 𝑥𝑥 |𝜃𝜃)𝜃𝜃̂• 尤度𝑃𝑃(𝑋𝑋 = 𝑥𝑥 |𝜃𝜃)が最大になる母数𝜃𝜃を推定量とする。
Select an estimator that maximizes the likelihood.

• 多数の無作為標本値を利用できる場合には、最尤推定の性能を上回る推定量は存在しない。
No estimators outperform the ML estimator, when many realizations of random sampling can be utilized.

ベイズ推定(Bayesian inference)
有限個の標本値しか得られない場合に、母数の事前情報を使って推定性能を改善したい。
When a finite number of realizations are given, use a priori information on the parameter toimprove the performance in estimation.

*：母数は確率変数とみなされる。(Regard the parameter as a random variable.)2

ベイズ推定における基本仮定 (Basic assumptions on Bayesian inference)• 母数𝜃𝜃は事前分布𝑃𝑃(𝜃𝜃)に従って発生する。
The parameter is drawn from a priori distribution.

• 事前分布は既知である。
The a priori distribution is known.

ベイズ推定では、データを観測した後に母数が従う分布(事後分布)𝑃𝑃(𝜃𝜃 |𝑋𝑋)が使用される。
The a posteriori distribution―distribution of the parameter after observing the data―is used in
Bayesian inference.

𝑃𝑃 𝑋𝑋 𝜃𝜃 𝑃𝑃(𝜃𝜃)
ベイズの公式 (Bayes’ formula)： 𝑃𝑃 𝜃𝜃 𝑋𝑋 =𝑃𝑃(𝑋𝑋)(5.1)

事後分布は、母集団分布𝑃𝑃 𝑋𝑋 𝜃𝜃 と事前分布𝑃𝑃(𝜃𝜃)から計算できる。

The a posteriori distribution can be computed with the population distribution and the a priori distribution.

証明： 同時分布𝑃𝑃(𝑋𝑋, 𝜃𝜃)を二通りの方法で表現する。
Proof

We represent the joint distribution in two ways.

𝑃𝑃 𝑋𝑋, 𝜃𝜃 = 𝑃𝑃 𝜃𝜃 𝑋𝑋 𝑃𝑃 𝑋𝑋 = 𝑃𝑃 𝑋𝑋 𝜃𝜃 𝑃𝑃 𝜃𝜃

中辺と右辺を𝑃𝑃(𝑋𝑋)で割ると、ベイズの公式(5.1)を得る。
Dividing the last two expressions by 𝑃𝑃(𝑋𝑋), we arrive at Bayes’ formula (5.1).

∎3

例１：コイン投げ (Example 1: Coin tossing)
標本 (Sample) 𝑋𝑋 = 1：表 (head)、𝑋𝑋 = 0：裏 (tail)
母集団分布

Population distribution

𝜃𝜃 for 𝑥𝑥 = 1
𝑃𝑃 𝑋𝑋 = 𝑥𝑥 𝜃𝜃 = �1 − 𝜃𝜃 for 𝑥𝑥 = 0.

母数𝜃𝜃 ∈ [0, 1]は表が出る確率を表す。

The parameter represents the probability of the occurrence of a head.

事前確率密度関数(A priori probability density function (pdf))

𝑝𝑝 𝜃𝜃 = 1

本資料では、𝑝𝑝𝜃𝜃 (𝜃𝜃)を𝑝𝑝(𝜃𝜃)と略記する。(In this notes, 𝑝𝑝𝜃𝜃 (𝜃𝜃) is simply written as 𝑝𝑝(𝜃𝜃).)

表を１回観測したときの母数𝜃𝜃の最尤推定値は、𝜃𝜃̂ML = 1である。
The ML estimate of the parameter is 𝜃𝜃�ML = 1 when one head is observed.

∵ 𝜃𝜃̂ = argmax 𝑃𝑃 𝑋𝑋 = 1 𝜃𝜃 = argmax 𝜃𝜃 = 1
𝜃𝜃∈[0,1]

𝜃𝜃∈[0,1]２番目の等号は母集団分布の定義から従う。
The second equality follows from the definition of the population distribution.

データのみを使って推定すると、確率１で表が出ると推定するしかない。
The estimation based only on the data just predicts that a head occurs with probability 1.
4

例１：コイン投げ (Example 1: Coin tossing)
事前確率密度関数
母集団分布
𝜃𝜃 for 𝑥𝑥 = 1𝑃𝑃𝑋𝑋=𝑥𝑥𝜃𝜃=�𝑝𝑝 𝜃𝜃 = 1 Population distribution
A priori pdf
1 − 𝜃𝜃 for 𝑥𝑥 = 0.

表を一回観測した後の𝜃𝜃の事後確率密度関数を計算しよう。
Compute the a posteriori pdf of 𝜃𝜃 given an observation of one head.

最初に、ベイズの公式(5.1)の分母を計算する。
We first compute the denominator in Bayes’ formula.
111
𝑃𝑃 𝑋𝑋 = 1 = � 𝑃𝑃 𝑋𝑋 = 1 𝜃𝜃 𝑝𝑝 𝜃𝜃 𝑑𝑑𝜃𝜃 = � 𝜃𝜃𝑑𝑑𝜃𝜃 =200

この式をベイズの公式に代入すると、次の事後確率密度関数を得る。
Substituting this equation into Bayes’ formula, we obtain the following a posteriori pdf:

この事後確率密度関数から𝜃𝜃をどう推定すべきか？
How should we estimate the parameter from this a posteriori pdf?

2𝑝𝑝(𝜃𝜃 |𝑋𝑋 = 1)

𝑃𝑃 𝑋𝑋 = 1 𝜃𝜃 𝑝𝑝(𝜃𝜃)= 2𝜃𝜃𝑝𝑝 𝜃𝜃 𝑋𝑋 = 1 =𝑃𝑃(𝑋𝑋 = 1)

𝑂𝑂

1 𝜃𝜃

5

例２：ビット列の伝送 (Example 2: Transmission of a bit sequence)
標本(Sample) 𝑿𝑿 = 𝑋𝑋𝑖𝑖 ∈ 0, 1 : 𝑖𝑖 = 1,2,3

𝑋𝑋𝑖𝑖 は𝑖𝑖番目の受信ビットを表す。(𝑋𝑋𝑖𝑖 represents the 𝑖𝑖th received bit.)
3母集団分布𝑝𝑝 for 𝑥𝑥 ≠ 𝜃𝜃𝑖𝑖
𝑃𝑃 𝑿𝑿 𝜽𝜽 = � 𝑃𝑃(𝑋𝑋𝑖𝑖 |𝜃𝜃𝑖𝑖 ) , 𝑃𝑃 𝑋𝑋𝑖𝑖 = 𝑥𝑥 𝜃𝜃𝑖𝑖 = �1 − 𝑝𝑝 for 𝑥𝑥 = 𝜃𝜃Population distribution𝑖𝑖𝑖𝑖=1

母数𝜽𝜽 = 𝜃𝜃𝑖𝑖 ∈ 0, 1 : 𝑖𝑖 = 1,2,3 は送信ビット列に対応する。
The parameters correspond to a transmitted bit sequence.

各送信ビット𝜃𝜃𝑖𝑖 は独立に確率𝑝𝑝(< 1/2)でビット反転する。
Each transmitted bit is independently bit-flipped with probability 𝑝𝑝 (< 1/2).

事前分布a priori distribution

1𝑃𝑃 𝜽𝜽 =2for 𝜽𝜽 ∈ {𝜽𝜽0 = 000, 𝜽𝜽1 = 111}

ビット列𝒙𝒙 = 101が受信されたときに、送信ビット列を推定しよう。

Estimate the transmitted bit sequence when the bit sequence has been received.

� ML = 111
最尤推定値(ML estimate)： 𝜽𝜽∵

𝑃𝑃 𝑿𝑿 = 𝒙𝒙 𝜽𝜽 = 𝜽𝜽0 = 𝑝𝑝2 1 − 𝑝𝑝 < 𝑝𝑝(1 − 𝑝𝑝)2 = 𝑃𝑃(𝑿𝑿 = 𝒙𝒙 |𝜽𝜽 = 𝜽𝜽1 )6

例２：ビット列の伝送 (Example 2: Transmission of a bit sequence)
ビット列𝒙𝒙 = 101が受信されたときの𝜽𝜽の事後分布を計算しよう。

Compute the a posteriori distribution of the parameter when the bit sequence has been received.

最初に、ベイズの公式(5.1)の分母を計算する。
We first compute the denominator in Bayes’ formula.

𝑃𝑃 𝑿𝑿 = 𝒙𝒙 = 𝑃𝑃 𝑿𝑿 = 𝒙𝒙 𝜽𝜽 = 𝜽𝜽0 𝑃𝑃 𝜽𝜽 = 𝜽𝜽0 + 𝑃𝑃 𝑿𝑿 = 𝒙𝒙 𝜽𝜽1 𝑃𝑃(𝜽𝜽 = 𝜽𝜽1 )1
1= 𝑝𝑝2 1 − 𝑝𝑝 + 𝑝𝑝(1 − 𝑝𝑝)2 (前ページの最後の式を参照)
22(See the last equation in the preceding page)

この式をベイズの公式に代入すると、次の事後分布を得る。

Substituting this equation into Bayes’ formula, we arrive at the following a posteriori distribution:

𝑃𝑃 𝑿𝑿 = 𝒙𝒙 𝜽𝜽 𝑃𝑃(𝜽𝜽)𝑝𝑝= �1 − 𝑝𝑝𝑝𝑝 𝜽𝜽 𝑿𝑿 = 𝒙𝒙 =𝑃𝑃(𝑿𝑿 = 𝒙𝒙)

この事後分布から𝜃𝜃をどう推定すべきか？

for 𝜽𝜽 = 𝜽𝜽0for 𝜽𝜽 = 𝜽𝜽1

How should we estimate the parameter from this a posteriori distibution?

7

評価基準の例１ (Example 1 for evaluation criteria)
平均二乗誤差Mean-square error (MSE)̂ 2𝔼𝔼 (𝜃𝜃 − 𝜃𝜃)

事後平均推定量
A posteriori mean estimator (PME)𝜃𝜃̂PME = 𝔼𝔼[𝜃𝜃 |𝑋𝑋]定理5.1：

事後平均推定量は平均二乗誤差を最小にする。

Theorem 5.1

The PME minimizes the MSE.

事後平均推定量は、最小平均二乗誤差推定量とも呼ばれる。
The PME is also called the minimum MSE (MMSE) estimator.

̂ 2 = 𝔼𝔼𝑋𝑋 𝔼𝔼𝜃𝜃|𝑋𝑋 { 𝜃𝜃 − 𝜃𝜃̂PME + 𝜃𝜃̂PME − 𝜃𝜃̂ }2証明(proof)： 𝔼𝔼 (𝜃𝜃 − 𝜃𝜃)

推定量は𝑋𝑋の関数なので、条件付き平均𝔼𝔼𝜃𝜃|𝑋𝑋 の計算では定数とみなせる。

Any estimator is a function of 𝑋𝑋, and thus regarded as a constant in calculating the conditional expectation.

𝜃𝜃̂PME = 𝔼𝔼[𝜃𝜃 |𝑋𝑋]なので、平方展開すると、2 𝜃𝜃 − 𝜃𝜃̂PME 𝜃𝜃̂PME − 𝜃𝜃̂ は消える。
Since 𝜃𝜃�PME = 𝔼𝔼[𝜃𝜃 |𝑋𝑋] holds, the cross term vanishes in expanding the square.

̂ 2 = 𝔼𝔼 𝜃𝜃 − 𝜃𝜃̂PME 2 + 𝔼𝔼 𝜃𝜃̂PME − 𝜃𝜃̂ 2 ≥ 𝔼𝔼 𝜃𝜃 − 𝜃𝜃̂PME 2𝔼𝔼 (𝜃𝜃 − 𝜃𝜃)

等号は𝜃𝜃̂ = 𝜃𝜃̂PME のときに限る。(The equality holds only for 𝜃𝜃� = 𝜃𝜃�PME.)∎8

例１：コイン投げ (Example 1: Coin tossing)
表を一回観測した後の𝜃𝜃の事後確率密度関数は以下であった。
The a posteriori pdf of 𝜃𝜃 given an observation of one head has been derived as follows:𝑝𝑝 𝜃𝜃 𝑋𝑋 = 1 = 2𝜃𝜃

事後平均推定値𝜃𝜃̂PME = 𝔼𝔼[𝜃𝜃 |𝑋𝑋 = 1]を計算しよう。

Compute the a posteriori mean estimate.

11𝜃𝜃̂PME = � 𝜃𝜃𝑝𝑝 𝜃𝜃 𝑋𝑋 = 1 𝑑𝑑𝜃𝜃 = � 2𝜃𝜃 2 𝑑𝑑𝜃𝜃 =0023

データと事前情報を使って推定すると、確率2/3で表が出るという推定値を得る。
The estimation based on the data and a priori information predicts that a head occurs with probability 2/3.

比較：最尤推定の場合(cf: Case of the ML estimation)
𝜃𝜃̂ML = 1

データのみを使って推定すると、確率１で表が出ると推定するしかない。
The estimation based only on the data just predicts that a head occurs with probability 1.

9評価基準の例２ (Example 2 for evaluation criteria)
誤り確率：̂ ,𝑝𝑝er = 𝔼𝔼 1(𝜃𝜃 ≠ 𝜃𝜃)
1 true = 1,Error probability

最大事後確率推定量：

Maximum a posteriori (MAP) estimator𝜃𝜃̂MAP = argmax 𝑃𝑃 𝜃𝜃 𝑋𝑋)

1 false = 0𝜃𝜃

定理5.2：

最大事後確率推定量は誤り確率を最小にする。

Theorem 5.2

The MAP estimator minimizes the error probability.

証明(proof)： 簡単化のため、𝜃𝜃 ∈ {0, 1}を仮定する。(For simplicity, assume 𝜃𝜃 ∈ {0, 1}.)

̂𝑝𝑝er = 𝔼𝔼𝑋𝑋 𝔼𝔼𝜃𝜃|𝑋𝑋 1(𝜃𝜃 ≠ 𝜃𝜃)= 𝔼𝔼𝑋𝑋 1 𝜃𝜃̂ ≠ 0 𝑃𝑃 𝜃𝜃 = 0 𝑋𝑋 + 1 𝜃𝜃̂ ≠ 1 𝑃𝑃 𝜃𝜃 = 1 𝑋𝑋

定義により、1 𝜃𝜃̂ ≠ 0 と1 𝜃𝜃̂ ≠ 1 はどちらか一方が0で、もう一方が1となる。
By definition, either of the two indicator functions takes 0, and the other takes 1.

̂
大きい方の事後確率の係数が0になるように𝜃𝜃を定義すると、𝑝𝑝er は最小となる。
𝑝𝑝er is minimized when one selects 𝜃𝜃� such that the coefficient of the larger a posteriori probability vanishes.

この推定量は最大事後確率推定量に他ならない。
This estimator is exactly equal to the MAP estimator.

∎10例２：ビット列の伝送 (Example 2: Transmission of a bit sequence)
ビット列𝒙𝒙 = 101が受信されたときの𝜽𝜽の事後分布は以下であった。

We have computed the following a posteriori distribution of 𝜽𝜽 when the bit sequence has been received:

𝑝𝑝𝑝𝑝 𝜽𝜽 𝑿𝑿 = 𝒙𝒙 = �1 − 𝑝𝑝for 𝜽𝜽 = 000for 𝜽𝜽 = 111

最大事後確率推定値𝜃𝜃̂MAP を計算しよう。(Compute the MAP estimate.)
𝑝𝑝 < 1/2なので、(Because of 𝑝𝑝 < 1/2,)

𝜃𝜃̂MAP =111

比較：最尤推定の場合(cf: Case of the ML estimation) 𝜃𝜃̂ML = 111

この場合は、最大事後確率推定値と最尤推定値とが等しい。

In this case, the MAP estimate is equal to the ML estimate.

この一致は偶然か？(Does this coincidence occur by chance?)11

偶然の一致ではない。(No, it does not.)定理5.3：
Theorem 5.3

事前分布が一様分布のとき、最大事後確率推定量は最尤推定量と一致する。
If the a priori distribution is uniform, the MAP estimator is equivalent tothe ML estimator.

証明(proof)： ベイズの公式(5.1)を最大事後確率推定の定義に代入すると、Substituting Bayes’ formula into the definition of the MAP estimator yields

𝜃𝜃̂MAP = argmax 𝑃𝑃 𝜃𝜃 𝑋𝑋 = argmax𝜃𝜃𝜃𝜃𝑃𝑃 𝑋𝑋 𝜃𝜃 𝑃𝑃(𝜃𝜃)= argmax 𝑃𝑃 𝑋𝑋 𝜃𝜃 𝑃𝑃(𝜃𝜃) .
𝑃𝑃(𝑋𝑋)
𝜃𝜃

最後の等号は、𝜃𝜃に関する最大化に𝑃𝑃(𝑋𝑋)は影響を与えないためである。
The last equality holds because 𝑃𝑃(𝑋𝑋) provides no impacts on the maximization with respect to 𝜃𝜃.

事前分布𝑃𝑃(𝜃𝜃) は𝜃𝜃に依存しないため、同じ議論を繰り返して、Since the a priori distribution is independent of 𝜃𝜃, we repeat the same argument to obtain𝜃𝜃̂MAP = argmax 𝑃𝑃 𝑋𝑋 𝜃𝜃 = 𝜃𝜃̂ML .
𝜃𝜃12

ベイズ推定の基本仮定に対する批判
Criticisms against the basic assumptions in Bayesian inference• 母数𝜃𝜃は事前分布に従って発生する。
The parameter is drawn from a priori distribution.

• 事前分布は既知である。
The a priori distribution is known.

批判１(Criticism 1)：
事前分布など存在するのか？存在したとしても、それを正確に知ることはできるのか？
Is there really the a priori distribution? Even if there were, would it be possible to know
the distribution exactly?

• 事後分布は低計算量で計算可能である。
The a posteriori distribution is computable with low complexity.

批判２(Criticism 2)：
仮に知ることができたとしても、事後分布は計算できるのか？
Even if it were possible, could we compute the a posteriori distribution?
13統計学の歴史(History of Statistics)
トーマス・ベイズ(Thomas Bayes) 1702－1761
主観確率(Subjective probability)：ベイズ統計学(Bayesian statistics)の始まり
確率とは、人間の主観的な信念の度合いを数値化したものである。
Probability is a value to quantify human subjective “belief.”

ロナルド・フィッシャー(Ronald A. Fisher) 1890－1962
客観確率(Objective probability)：頻度主義統計学(Frequentist statistics)の始まり
確率とは、実験によってのみ判明する事象の発生頻度である。
Probability is a relative frequency of occurrence determined only via experiments.

彼は前ページの批判をして、統計学から主観を徹底的に排除した。
He provided the criticisms in the preceding page, and eliminated subjectivity from statistics.

14統計学の歴史(History of Statistics)
20世紀後半(Latter half of 20th century)～今日(now)
客観主義ベイズ統計学(Objective Bayesian statistics)
客観的にもっともらしい事前分布の研究ー無情報事前分布
Researches of “objective” a priori distributions―non-informative a priori distirbutions

批判１に対する対抗（Defence against criticism 1）
計算機科学の進化(Evolution of computer science)
事後分布を高速で近似計算する手法の発展
Development of methods for computing the a posteriori distribution quickly and approximately.

批判２に対する対抗（Defence against criticism 2）
ベイズ統計学は今日の情報通信技術を支える基盤である。
Bayesian statistics is a base that supports modern Information and communication technology.
15