音声中の補題3.1という発言は、補題4.1のことと理解してください。
Understand Lemma Lemma 3.1 in voice as Lemma 4.1

確率統計
Probability and Statistics

第４回講義資料
Lecture notes 4

平均、分散、正規分布
Mean, Variance, and Normal Distribution

豊橋技術科学大学
Toyohashi University of Technology

電気・電子情報工学系
Department of Electrical and Electronic Information Engineering

准教授 竹内啓悟
Associate Professor

Keigo Takeuchi1総和の性質(Properties of summation)
性質１(Property 1)
𝑛𝑛

𝑛𝑛

𝑛𝑛

𝑖𝑖=1

𝑖𝑖=1

𝑖𝑖=1

�(𝑎𝑎𝑥𝑥𝑖𝑖 + 𝑏𝑏𝑦𝑦𝑖𝑖 ) = 𝑎𝑎 � 𝑥𝑥𝑖𝑖 + 𝑏𝑏 � 𝑦𝑦𝑖𝑖 .

∵ 帰納法で証明する。𝑛𝑛 = 1の場合は自明なので、𝑛𝑛 = 𝑘𝑘の場合の成立を仮定して、𝑛𝑛 = 𝑘𝑘 + 1の場合を示す。
The proof is by induction. Since the case 𝑛𝑛 = 1 is trivial, we assume the correctness of thestatement for 𝑛𝑛 = 𝑘𝑘, and prove the statement for 𝑛𝑛 = 𝑘𝑘 + 1.

𝑘𝑘+1𝑘𝑘𝑖𝑖=1𝑖𝑖=1

� (𝑎𝑎𝑥𝑥𝑖𝑖 + 𝑏𝑏𝑦𝑦𝑖𝑖 ) = 𝑎𝑎𝑥𝑥𝑘𝑘+1 + 𝑏𝑏𝑦𝑦𝑘𝑘+1 + �(𝑎𝑎𝑥𝑥𝑖𝑖 + 𝑏𝑏𝑦𝑦𝑖𝑖 )𝑘𝑘𝑘𝑘

𝑖𝑖=1𝑖𝑖=1= 𝑎𝑎𝑥𝑥𝑘𝑘+1 + 𝑏𝑏𝑦𝑦𝑘𝑘+1 + 𝑎𝑎 � 𝑥𝑥𝑖𝑖 + 𝑏𝑏 � 𝑦𝑦𝑖𝑖𝑘𝑘𝑘𝑘

= 𝑎𝑎 𝑥𝑥𝑘𝑘+1 + � 𝑥𝑥𝑖𝑖 + 𝑏𝑏 𝑦𝑦𝑘𝑘+1 + � 𝑦𝑦𝑖𝑖
𝑖𝑖=1𝑖𝑖=1𝑘𝑘+1𝑘𝑘+1𝑖𝑖=1𝑖𝑖=1= 𝑎𝑎 � 𝑥𝑥𝑖𝑖 + 𝑏𝑏 � 𝑦𝑦𝑖𝑖 .

∎2期待値の性質(Properties of Expectation)

性質１(Property 1) 任意の確率変数𝑋𝑋と𝑌𝑌に対して、(For all random variables 𝑋𝑋 and 𝑌𝑌, )𝔼𝔼 𝑎𝑎𝑎𝑎 + 𝑏𝑏𝑏𝑏 = 𝑎𝑎𝑎𝑎 𝑋𝑋 + 𝑏𝑏𝑏𝑏 𝑌𝑌

for all 𝑎𝑎, 𝑏𝑏 ∈ ℝ.

∵ 期待値の定義における総和や積分の線形性から従う。

Due to the linearity of the summation or integral in the definition of expectation.

性質２(Property 2)

𝕍𝕍 𝑋𝑋 = 𝔼𝔼 𝑋𝑋 − 𝔼𝔼 𝑋𝑋

2= 𝔼𝔼 𝑋𝑋 2 − 𝔼𝔼 𝑋𝑋

2.

∵ 𝜇𝜇 = 𝔼𝔼[𝑋𝑋]とおく。性質１を使って、(Let 𝜇𝜇 = 𝔼𝔼[𝑋𝑋]. Using Property 1 yields)
𝔼𝔼 𝑋𝑋 − 𝜇𝜇 2 = 𝔼𝔼 𝑋𝑋 2 − 2𝜇𝜇𝜇𝜇 + 𝜇𝜇2 = 𝔼𝔼 𝑋𝑋 2 − 2𝜇𝜇𝜇𝜇 𝑋𝑋 + 𝜇𝜇2= 𝔼𝔼 𝑋𝑋 2 − 2𝜇𝜇2 + 𝜇𝜇2 = 𝔼𝔼 𝑋𝑋 2 − 𝔼𝔼 𝑋𝑋

2.

3

離散分布の例(Examples of discrete distributions)
ベルヌーイ分布(Bernoulli distribution)
ベルヌーイ確率変数𝑋𝑋は確率𝑝𝑝で1を取り、確率1 − 𝑝𝑝で0を取る。

A Bernoulli random variable 𝑋𝑋 takes 1 and 0 with probabilities 𝑝𝑝 and 1 − 𝑝𝑝, respectively.

二項分布(Binomial distribution)：ℬ(𝑛𝑛, 𝑝𝑝)

二つのパラメータ𝑛𝑛 ∈ ℕと𝑝𝑝 ∈ [0, 1]を持つ二項確率変数𝑋𝑋は、整数𝑘𝑘 ∈{0, … , 𝑛𝑛}を確率𝑝𝑝𝑘𝑘 で取る。

A binomial random variable 𝑋𝑋 with two parameters 𝑛𝑛 and 𝑝𝑝 takes an integer 𝑘𝑘 ∈ {0, … , 𝑛𝑛} withprobability 𝑝𝑝𝑘𝑘 .
𝑛𝑛 𝑘𝑘
𝑛𝑛𝑛𝑛!
𝑛𝑛−𝑘𝑘
𝑝𝑝 1 − 𝑝𝑝=.
𝑝𝑝𝑘𝑘 =,𝑘𝑘

ポアソン分布(Poisson distribution)𝑘𝑘

𝑛𝑛 − 𝑘𝑘 ! 𝑘𝑘!

パラメータ𝜆𝜆 > 0を持つポアソン確率変数𝑋𝑋は、𝑛𝑛 = 0,1, …を確率𝑝𝑝𝑛𝑛 で取る。
A Poisson random variable 𝑋𝑋 with a parameter 𝜆𝜆 > 0 takes 𝑛𝑛 = 0,1, … with probability 𝑝𝑝𝑛𝑛 .

𝜆𝜆𝑛𝑛 𝑒𝑒 −𝜆𝜆.
𝑝𝑝𝑛𝑛 =𝑛𝑛!

4

平均と分散の計算(Computation of mean and variance)
ベルヌーイ分布(Bernoulli distribution)
𝔼𝔼 𝑋𝑋 = 𝑝𝑝,𝕍𝕍 𝑋𝑋 = 𝑝𝑝 1 − 𝑝𝑝 .

確かめよ。(Confirm them.)

ポアソン分布(Poisson distribution)∞
確率の正規化∑𝑛𝑛=0𝑝𝑝𝑛𝑛 = 1を使う。(use the normalization ∑∞𝑛𝑛=0 𝑝𝑝𝑛𝑛 = 1.)
∞

∞

∞

∞

𝑛𝑛=0

𝑛𝑛=1

𝑛𝑛=1

𝑛𝑛=0

𝜆𝜆𝑛𝑛 𝑒𝑒 −𝜆𝜆𝜆𝜆𝑛𝑛−1 𝑒𝑒 −𝜆𝜆𝜆𝜆𝑛𝑛 𝑒𝑒 −𝜆𝜆= 𝜆𝜆 �= 𝜆𝜆 �= 𝜆𝜆.
𝔼𝔼 𝑋𝑋 = � 𝑛𝑛𝑝𝑝𝑛𝑛 = �(𝑛𝑛 − 1)!
(𝑛𝑛 − 1)!
𝑛𝑛!
∞

∞

∞

𝑛𝑛 𝑒𝑒 −𝜆𝜆𝜆𝜆= � (𝑛𝑛 − 1 + 1)
𝔼𝔼 𝑋𝑋 2 = � 𝑛𝑛2 𝑝𝑝𝑛𝑛 = �(𝑛𝑛 − 1)!
𝑛𝑛 − 1 !
𝑛𝑛=0
∞

𝑛𝑛=1

𝑛𝑛𝜆𝜆𝑛𝑛 𝑒𝑒 −𝜆𝜆∞𝑛𝑛=1𝜆𝜆𝑛𝑛 𝑒𝑒 −𝜆𝜆𝜆𝜆𝑛𝑛 𝑒𝑒 −𝜆𝜆+�= 𝜆𝜆2 + 𝜆𝜆 .
=�𝑛𝑛 − 2 !
𝑛𝑛 − 1 !
𝑛𝑛=2𝑛𝑛=1∴ 𝕍𝕍 𝑋𝑋 = 𝔼𝔼 𝑋𝑋 2 − 𝔼𝔼 𝑋𝑋

2 = 𝜆𝜆.

5

平均と分散の計算(Computation of mean and variance)
二項分布(Binomial distribution)：ℬ(𝑛𝑛, 𝑝𝑝)

確率の正規化(二項定理)を使う。(Use the normalization (binomial theorem).)
𝑛𝑛

𝑛𝑛

𝑘𝑘=0

𝑘𝑘=0

𝑛𝑛 𝑘𝑘
𝑝𝑝 1 − 𝑝𝑝 𝑛𝑛−𝑘𝑘 = 𝑝𝑝 + 1 − 𝑝𝑝 𝑛𝑛 = 1.
� 𝑝𝑝𝑘𝑘 = �𝑘𝑘

𝑛𝑛

𝑛𝑛𝑛𝑛

𝑘𝑘=0

𝑘𝑘=1

𝑘𝑘 1 − 𝑝𝑝 𝑛𝑛−𝑘𝑘
𝑛𝑛 𝑘𝑘
𝑛𝑛!
𝑝𝑝𝑝𝑝 1 − 𝑝𝑝 𝑛𝑛−𝑘𝑘 = �𝔼𝔼 𝑋𝑋 = � 𝑘𝑘𝑝𝑝𝑘𝑘 = � 𝑘𝑘
𝑘𝑘
𝑛𝑛 − 𝑘𝑘 ! 𝑘𝑘 − 1 !
𝑘𝑘=0
𝑛𝑛−1

𝑛𝑛−1

𝑛𝑛! 𝑝𝑝𝑘𝑘+1 1 − 𝑝𝑝 𝑛𝑛−1−𝑘𝑘
𝑛𝑛 − 1 ! 𝑝𝑝𝑘𝑘 1 − 𝑝𝑝 𝑛𝑛−1−𝑘𝑘= 𝑛𝑛𝑛𝑛 �= 𝑛𝑛𝑛𝑛.
=�𝑛𝑛 − 1 − 𝑘𝑘 ! 𝑘𝑘!
𝑛𝑛 − 1 − 𝑘𝑘 ! 𝑘𝑘!
𝑘𝑘=0

𝔼𝔼 𝑋𝑋 2 = 𝑛𝑛𝑛𝑛 1 − 𝑝𝑝 + 𝑛𝑛𝑛𝑛 2 .
∴ 𝕍𝕍 𝑋𝑋 = 𝔼𝔼 𝑋𝑋 2 − 𝔼𝔼 𝑋𝑋

𝑘𝑘=0

確かめよ。(Confirm it.)2 = 𝑛𝑛𝑛𝑛(1 − 𝑝𝑝).

6

連続分布の例(Examples of continuous distributions)
一様分布(Uniform distribution)
区間[𝑎𝑎, 𝑏𝑏]上の一様確率変数𝑋𝑋の確率密度関数は、以下で与えられる。
The pdf of a uniform random variable 𝑋𝑋 on [𝑎𝑎, 𝑏𝑏] is given by

1,𝑝𝑝𝑋𝑋 𝑥𝑥 =𝑏𝑏 − 𝑎𝑎𝑥𝑥 ∈ 𝑎𝑎, 𝑏𝑏 .

指数分布(Exponential distribution)

パラメータ𝜆𝜆 > 0を持つ指数確率変数𝑋𝑋の確率密度関数は、以下である。
The pdf of an exponential random variable 𝑋𝑋 with a parameter 𝜆𝜆 > 0 is defined as

𝑝𝑝𝑋𝑋 𝑥𝑥 = 𝜆𝜆𝑒𝑒 −𝜆𝜆𝜆𝜆 ,ラプラス分布(Laplace distribution)

𝑥𝑥 ∈ 0, ∞ .

パラメータ𝜇𝜇 ∈ ℝと𝜙𝜙 > 0を持つラプラス確率変数𝑋𝑋は、次の確率密度関数を持つ。
A Laplace random variable 𝑋𝑋 with parameters 𝜇𝜇 ∈ ℝ and 𝜙𝜙 > 0 has the following pdf:

1 − 𝑥𝑥−𝜇𝜇𝑒𝑒 𝜙𝜙 ,𝑝𝑝𝑋𝑋 𝑥𝑥 =2𝜙𝜙𝑥𝑥 ∈ ℝ.

7

平均と分散の計算(Computation of mean and variance)
一様分布(Uniform distribution)
𝑏𝑏𝑏𝑏𝑥𝑥𝑥𝑥 2𝑑𝑑𝑑𝑑 =𝔼𝔼 𝑋𝑋 = � 𝑥𝑥𝑝𝑝𝑋𝑋 𝑥𝑥 𝑑𝑑𝑑𝑑 = �𝑏𝑏−𝑎𝑎2 𝑏𝑏 − 𝑎𝑎𝑎𝑎𝑎𝑎𝑏𝑏

23𝑥𝑥
𝑥𝑥
𝑑𝑑𝑑𝑑 =𝔼𝔼 𝑋𝑋 2 = �𝑏𝑏−𝑎𝑎
3 𝑏𝑏 − 𝑎𝑎𝑎𝑎

𝑥𝑥=𝑏𝑏

𝑥𝑥=𝑏𝑏𝑎𝑎 + 𝑏𝑏.
=
2𝑥𝑥=𝑎𝑎𝑎𝑎2 + 𝑎𝑎𝑎𝑎 + 𝑏𝑏 2.
=
3𝑥𝑥=𝑎𝑎2𝑏𝑏−𝑎𝑎.
∴ 𝕍𝕍 𝑋𝑋 = 𝔼𝔼 𝑋𝑋 2 − 𝔼𝔼 𝑋𝑋 2 =12指数分布(Exponential distribution)
∞

∞

𝑥𝑥=∞

−𝜆𝜆𝜆𝜆𝑒𝑒
1𝑥𝑥=∞−𝜆𝜆𝜆𝜆−𝜆𝜆𝜆𝜆−𝜆𝜆𝜆𝜆𝔼𝔼 𝑋𝑋 = � 𝑥𝑥𝑥𝑥𝑒𝑒𝑑𝑑𝑑𝑑 = −𝑥𝑥𝑒𝑒+ � 𝑒𝑒 𝑑𝑑𝑑𝑑 = −= .
𝑥𝑥=0𝜆𝜆𝜆𝜆00𝑥𝑥=01𝕍𝕍 𝑋𝑋 = 2 .
𝜆𝜆確かめよ。(Confirm it.)8

平均と分散の計算(Computation of mean and variance)
ラプラス分布(Laplace distribution)
変数変換𝑦𝑦 = 𝑥𝑥 − 𝜇𝜇から、(From the change of a variable 𝑦𝑦 = 𝑥𝑥 − 𝜇𝜇,)∞∞𝑦𝑦
1 − 𝑥𝑥−𝜇𝜇
1−𝑒𝑒 𝜙𝜙 𝑑𝑑𝑑𝑑 = � (𝑦𝑦 + 𝜇𝜇)𝑒𝑒 𝜙𝜙 𝑑𝑑𝑑𝑑
𝔼𝔼 𝑋𝑋 = � 𝑥𝑥
2𝜙𝜙−∞ 2𝜙𝜙−∞∞𝑦𝑦𝑦𝑦 − 𝜙𝜙𝑒𝑒=�𝑑𝑑𝑑𝑑 + 𝜇𝜇 = 𝜇𝜇.
2𝜙𝜙−∞

３番目の等号は確率密度関数の正規化から、最後の等号は第一項の被積分関数が奇関数であることから従う。
The second last equality follows from the normalization of the pdf, and the lastequality from the fact that the integrand in the first term is an odd function.

𝕍𝕍 𝑋𝑋 = 2𝜙𝜙 2確かめよ。(Confirm it.)9

正規分布(Normal distribution)
正規確率変数𝑋𝑋の確率密度関数
Probability density function (pdf) of a normal random variable 𝑋𝑋

𝑋𝑋 ∼ 𝒩𝒩(𝜇𝜇, 𝜎𝜎 2 )𝑝𝑝𝑋𝑋 𝑥𝑥 =12𝜋𝜋𝜎𝜎 2𝑒𝑒−𝑥𝑥−𝜇𝜇 22𝜎𝜎2 ,𝑥𝑥 ∈ ℝ.

Pdf 𝑝𝑝𝑋𝑋 (𝑥𝑥)

工学では、ガウス分布とも呼ばれる。(It is called Gaussian distribution in engineering.)

𝑃𝑃 𝑋𝑋 ≥ 𝜇𝜇 + 𝜎𝜎 ≈ 15.9%𝜎𝜎𝜎𝜎𝜇𝜇

𝑃𝑃 𝑋𝑋 ≥ 𝜇𝜇 + 2𝜎𝜎 ≈ 2.28%

𝑃𝑃 𝑋𝑋 ≥ 𝜇𝜇 + 3𝜎𝜎 ≈ 0.135%

𝑃𝑃 𝑋𝑋 ≥ 𝜇𝜇 + 4𝜎𝜎 ≈ 3.17 × 10−3 %𝑃𝑃 𝑋𝑋 ≥ 𝜇𝜇 + 5𝜎𝜎 ≈ 2.87 × 10−5 %𝑥𝑥10正規分布の規格化(Normalization of normal distributions)補題4.1(Lemma 4.1)
任意の𝜇𝜇 ∈ ℝと𝜎𝜎 2 > 0に対して、(For any 𝜇𝜇 and 𝜎𝜎 2 > 0,)∞𝑥𝑥−𝜇𝜇 21−
𝐼𝐼 = �𝑒𝑒 2𝜎𝜎2 𝑑𝑑𝑑𝑑 = 1.
2−∞ 2𝜋𝜋𝜎𝜎証明(Proof)： 二重積分を使って、𝐼𝐼2 = 1を証明する。(Prove 𝐼𝐼2 = 1 with a double integral.)𝑥𝑥−𝜇𝜇 2 + 𝑦𝑦−𝜇𝜇 21−2𝜎𝜎2𝐼𝐼2 = �𝑒𝑒
𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑
22𝜋𝜋𝜎𝜎ℝ2𝑥𝑥 = 𝜇𝜇 + 𝑟𝑟 cos 𝜃𝜃、𝑦𝑦 = 𝜇𝜇 + 𝑟𝑟 sin 𝜃𝜃と変数変換するために、ヤコビアンを計算する。
To perform the change of variables, we compute the Jacobian.

𝐽𝐽 =𝜕𝜕𝜕𝜕/𝜕𝜕𝜕𝜕𝜕𝜕𝑦𝑦/𝜕𝜕𝜕𝜕

2−𝑟𝑟 sin 𝜃𝜃= 𝑟𝑟 cos2 𝜃𝜃 + 𝑟𝑟 sin2 𝜃𝜃 = 𝑟𝑟.
𝑟𝑟 cos 𝜃𝜃22∞
2𝜋𝜋𝑥𝑥−𝜇𝜇 + 𝑦𝑦−𝜇𝜇𝑟𝑟
11−− 222𝜎𝜎𝑒𝑒
𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑 =� 𝑑𝑑𝑑𝑑 � 𝑑𝑑𝑑𝑑 𝑒𝑒 2𝜎𝜎 𝐽𝐽
222𝜋𝜋𝜎𝜎 0ℝ2 2𝜋𝜋𝜎𝜎0𝑟𝑟=∞2∞2𝑟𝑟
1𝑟𝑟− 22𝜎𝜎= 2 � 𝑟𝑟𝑒𝑒𝑑𝑑𝑑𝑑 = − exp − 2= 1.
∎
𝜎𝜎 02𝜎𝜎 𝑟𝑟=0

それゆえ、 2𝐼𝐼 = �Thus, we have𝜕𝜕𝜕𝜕/𝜕𝜕𝜃𝜃cos 𝜃𝜃=𝜕𝜕𝑦𝑦/𝜕𝜕𝜃𝜃
sin 𝜃𝜃

11正規分布の性質(Properties of normal distributions)
平均(Mean)： 𝑢𝑢 = 𝑥𝑥 − 𝜇𝜇 /𝜎𝜎と変数変換すると、(Using the change of a variable yields)∞∞

� 𝑥𝑥𝑝𝑝𝑋𝑋 𝑥𝑥 𝑑𝑑𝑑𝑑 = � 𝑥𝑥−∞−∞

12𝜋𝜋𝜎𝜎 2𝑒𝑒−∞
𝑥𝑥−𝜇𝜇 22𝜎𝜎2 𝑑𝑑𝑑𝑑 = 𝜇𝜇 + � 𝜎𝜎𝜎𝜎−∞12𝜋𝜋𝑢𝑢2𝑒𝑒 − 2 𝑑𝑑𝑑𝑑 = 𝜇𝜇.

二番目の等号で、補題4.1を使った。(In the second equality, we have used Lemma 4.1.)
最後の等号は、第二項の被積分関数の奇関数性から従う。

The last equality follows from the fact that the integrand in the second term is an odd function.

分散(Variance)：�∞−∞𝑥𝑥 − 𝜇𝜇 2 𝑝𝑝𝑋𝑋 𝑥𝑥 𝑑𝑑𝑑𝑑 = 𝜎𝜎 2 .

確かめよ。(Confirm it.)

ヒント(Hint)： 平均の場合と同じ変数変換をした後、部分積分と補題4.1を使って積分を評価せよ。
After using the same change of a variable as in the mean case, use the integration
by parts and Lemma 4.1 to evaluate the integral.

12宿題(Homework)
1. 4ページ目のスライドで定義したベルヌーイ確率変数𝑋𝑋の平均𝔼𝔼[𝑋𝑋]と分散𝕍𝕍[𝑋𝑋]を計算せよ。
Compute the mean and variance of a Bernoulli random variable 𝑋𝑋 shown in page 4.

2. 6ページ目のスライドで定義した二項確率変数𝑋𝑋の二次モーメント𝔼𝔼[𝑋𝑋 2 ]を計算せよ。
Compute the second moment of a Binomial random variable 𝑋𝑋 shown in page 6.

𝑘𝑘
𝑘𝑘 − 1 + 1
1
1
ヒント(Hint)： 𝑘𝑘 2
===+.
𝑘𝑘!
𝑘𝑘 − 1 !
𝑘𝑘 − 1 !
𝑘𝑘 − 2 !
𝑘𝑘 − 1 !

3. 7ページ目のスライドで定義した指数確率変数𝑋𝑋の平均𝔼𝔼[𝑋𝑋]と分散𝕍𝕍[𝑋𝑋]を計算せよ。
Compute the mean and variance of an exponential random variable 𝑋𝑋 shown in page 7.

4. 7ページ目のスライドで定義したラプラス確率変数𝑋𝑋の平均𝔼𝔼[𝑋𝑋]と分散𝕍𝕍[𝑋𝑋]を計算せよ。
Compute the mean and variance of a Laplace random variable 𝑋𝑋 shown in page 7.
13