確率統計
Probability and Statistics

第２回講義資料
Lecture notes 2連続確率分布
Continuous Probability Distributions

豊橋技術科学大学
Toyohashi University of Technology

電気・電子情報工学系
Department of Electrical and Electronic Information Engineering

准教授 竹内啓悟
Associate Professor

Keigo Takeuchi1

確率空間(Ω, ℱ, 𝑃)の公理系(Axiomatic system of probability space)
標本空間(Sample space) Ω = ℝ or 有限集合(Finite set)𝜎-集合体(𝜎-field) ℱ (≠ Ωの部分集合全体(all subsets of Ω))
1.

ℱは標本空間Ωを含む。(ℱ contains the sample space Ω.)

2. 事象𝐴がℱに含まれるならば、余事象𝐴c = Ω ∖ 𝐴もℱに含まれる。
If ℱ contains an event 𝐴, ℱ also contains the complement 𝐴c .

3. 可算個の事象列 𝐴𝑖 ∞𝑖=1 がℱに含まれるならば、可算個の和集合∪∞𝑖=1 𝐴𝑖 もℱに含まれる。
If ℱ contains a countable number of events 𝐴𝑖 ∞𝑖=1 , ℱ also contains the union of∞countable events ∪𝑖=1 𝐴𝑖 .

確率分布(Probability distribution) 𝑃
1.

任意の事象𝐴 ∈ ℱに対して、(For any event 𝐴 ∈ ℱ,) 𝑃 𝐴 ∈ 0, 1 .

2.

𝑃 Ω = 1.

3.

可算個の排反事象列 𝐴𝑖 ∞𝑖=1 (𝐴𝑖 ∩ 𝐴𝑗 = ∅ for 𝑖 ≠ 𝑗)に対して、
For a countable number of exclusive events 𝐴𝑖 ∞𝑖=1 (𝐴𝑖 ∩ 𝐴𝑗 = ∅ for 𝑖 ≠ 𝑗),∞𝑃 ∪∞𝑖=1 𝐴𝑖 = σ𝑖=1 𝑃(𝐴𝑖 ). 可算加法性(Countable additivity)2

公理系から導かれる基本性質(Basic properties derived from the axiomatic system)
性質１(Property 1)∞
𝐴𝑖 ∈ ℱ ∞𝑖=1 ⟹ ∩𝑖=1 𝐴𝑖 ∈ ℱ.

∵ ∩∞𝑖=1 𝐴𝑖 =c c∞c c∩∞
𝐴=
∪𝐴
∈ ℱ.
𝑖=1 𝑖
𝑖=1 𝑖

後半の等号はド・モルガンの法則から従う。(The latter equality follows from De Morgan’s law.)
最後は、𝐴c𝑖 ∈ ℱなので∪𝑖 𝐴c𝑖 ∈ ℱが従い、その補集合はℱに含まれるためである。
The last is because 𝐴c𝑖 ∈ ℱ implies ∪𝑖 𝐴c𝑖 ∈ ℱ, of which the complement is included into ℱ.

性質１から、集合演算によって生成される集合がℱに入っていることを確かめる必要はなく、安心して集合演算を行うことができる。
Property 1 implies that we can safely use set operations, without confirming the inclusion of a set
generated via set operations into ℱ.

性質２(Property 2)

𝑃 𝐴c = 1 − 𝑃 𝐴 .

∵ 𝐴と𝐴c は互いに排反かつ𝐴 ∪ 𝐴c = Ωなので、Since 𝐴 and 𝐴c are mutually exclusive and 𝐴 ∪ 𝐴c = Ω holds, we have

1 = 𝑃 Ω = 𝑃 𝐴 ∪ 𝐴c = 𝑃 𝐴 + 𝑃 𝐴c .

最後の等号は、可算加法性から従う。(The last equality follows from the countable additivity.)3

公理系から導かれる基本性質(Basic properties derived from the axiomatic system)
性質３(Property 3)∵For 𝐴 ⊂ 𝐵,

𝑃 𝐴 ≤𝑃 𝐵 .

𝐶 = 𝐵 ∖ 𝐴と定義すると、𝐴と𝐶は排反事象かつ𝐴 ∪ 𝐶 = 𝐵なので、Let 𝐶 = 𝐵 ∖ 𝐴. Since 𝐴 and 𝐶 are mutually exclusive and 𝐴 ∪ 𝐶 = 𝐵 holds,

𝑃 𝐵 =𝑃 𝐴∪𝐶 =𝑃 𝐴 +𝑃 𝐶 ≥𝑃 𝐴 .
後半の等号は可算加法性から、不等号は確率の非負性から従う。
The latter equality follows from the countable additivity, and the inequality does from the non-negative
property of probability.

𝐵𝐴𝐶4

公理系から導かれる重要な性質(Important properties derived from the axiomatic system)

補題2.1 (Lemma 2.1)
連続性(Continuity)
事象列 𝐴𝑖 ∞
𝑖=1 が減少列(𝐴𝑖 ⊃ 𝐴𝑖+1 )ならば、
If events 𝐴𝑖 ∞𝑖=1 are decreasing (𝐴𝑖 ⊃ 𝐴𝑖+1 ),事象列 𝐴𝑖 ∞
𝑖=1 が増加列(𝐴𝑖 ⊂ 𝐴𝑖+1 )ならば、
If events 𝐴𝑖 ∞𝑖=1 are increasing (𝐴𝑖 ⊂ 𝐴𝑖+1 ),∞𝑃 ሩ 𝐴𝑖 = lim 𝑃(𝐴𝑛 ) .
𝑖=1∞

𝑛→∞

𝑃 ራ 𝐴𝑖 = lim 𝑃(𝐴𝑛 ) .
𝑖=1𝑛→∞

連続性の有用性は、極限𝑛 → ∞を確率分布の外側に取り出せる点にある。
The usefulness of the continuity is that the limit 𝑛 → ∞ can be moved from the inside of the probability
distribution to the outside.

5

補題2.1の連続性の証明(Proof of the continuities in Lemma 2.1)
前半の主張は後半の主張を使って証明できるため、後半のみを証明する。
We only prove the latter statement since the former follows from the latter.
c∞𝑃 ∩∞𝐴=1−𝑃∪𝐴lim 𝑃 𝐴c𝑛 = lim 𝑃 𝐴𝑛 .
𝑖=1 𝑖
𝑖=1 𝑖 = 1 − 𝑛→∞𝑛→∞c
２番目の等号は、{𝐴𝑖 }が減少ならば、{𝐴𝑖 }は増加することと後半の主張とから従う。
The 2nd equality follows from the fact that 𝐴c𝑖 is increasing if {𝐴𝑖 } is decreasing, and from the latter statement.

𝐵1 = 𝐴1 かつ𝐵𝑖 = 𝐴𝑖 ∩ 𝐴c𝑖−1 とする。後で示すように、(i) 𝐵𝑖 ∞𝑖=1 は互いに排反、∞(ii)任意の𝑛 ∈ ℕに対して∪𝑛𝑖=1 𝐵𝑖 = 𝐴𝑛 , (iii)∪∞
𝑖=1 𝐴𝑖 =∪𝑖=1 𝐵𝑖 なので、Let 𝐵1 = 𝐴1 and 𝐵𝑖 = 𝐴𝑖 ∩ 𝐴c𝑖−1 . As shown shortly, the following properties hold: (i) 𝐵𝑖 ∞𝑖=1 are mutually𝑛∞∞
exclusive, (ii) ∪𝑖=1 𝐵𝑖 = 𝐴𝑛 for any 𝑛 ∈ ℕ, and (iii) ∪𝑖=1 𝐴𝑖 =∪𝑖=1 𝐵𝑖 . Thus, we have

∞

∞

∞

𝑛𝑛

𝑃 ራ 𝐴𝑖 = 𝑃 ራ 𝐵𝑖 = ෍ 𝑃(𝐵𝑖 ) = lim ෍ 𝑃(𝐵𝑖 ) = lim 𝑃 ራ 𝐵𝑖
𝑖=1𝑖=1𝑖=1𝑛→∞𝑖=1𝑛→∞

𝑖=1= lim 𝑃(𝐴𝑛 ) .
𝑛→∞

最初の等号は(iii)から、２番目は可算加法性、４番目は有限加法性、最後は(ii)から従う。
The first equality follows from (iii), the 2nd from the countable additivity, the 4th from finiteadditivity, and the last follows from (ii).
6補題2.1の連続性の証明(Proof of the continuities in Lemma 2.1)
For 𝐵1 = 𝐴1 and 𝐵𝑖 = 𝐴𝑖 ∩ 𝐴c𝑖−1 , prove∞(i) 𝐵𝑖 ∩ 𝐵𝑗 = ∅ for 𝑖 > 𝑗, (ii) 𝐴𝑛 =∪𝑛𝑖=1 𝐵𝑖 , (iii) ∪∞𝐴=∪
𝑖=1 𝑖𝑖=1 𝐵𝑖 .
c(i) 𝐵𝑖 ∩ 𝐵𝑗 = 𝐴𝑖 ∩ 𝐴c𝑖−1 ∩ 𝐴𝑗 ∩ 𝐴𝑗−1= 𝐴𝑗 ∩ 𝐴c𝑖−1 ⊂ 𝐴𝑖−1 ∩ 𝐴c𝑖−1 = ∅.
c
二番目の等号は、𝑖 > 𝑗に対して𝐴𝑗 ⊂ 𝐴𝑖 と𝐴𝑗−1⊃ 𝐴c𝑖−1 から従う。⊂は𝐴𝑗 ⊂ 𝐴𝑖−1 のためである。
cThe second equality follows from 𝐴𝑗 ⊂ 𝐴𝑖 and 𝐴𝑗−1
⊃ 𝐴c𝑖−1 for 𝑖 > 𝑗. ⊂ is due to 𝐴𝑗 ⊂ 𝐴𝑖−1 .

(ii) 帰納法で証明する。𝑛 = 1の場合は、𝐴1 = 𝐵1 より従う。𝐴𝑛−1 =∪𝑛−1𝑖=1 𝐵𝑖を仮定して、𝐴𝑛 =∪𝑛𝑖=1 𝐵𝑖 を示す。
The proof is by induction. The case 𝑛 = 1 follows from 𝐴1 = 𝐵1 . Assume 𝐴𝑛−1 =∪𝑛−1𝑖=1 𝐵𝑖 , and𝑛prove 𝐴𝑛 =∪𝑖=1 𝐵𝑖 .
𝑛𝐴𝑛 = 𝐵𝑛 ∪ 𝐴𝑛−1 = 𝐵𝑛 ∪ ∪𝑛−1𝑖=1 𝐵𝑖 =∪𝑖=1 𝐵𝑖 .

最初の等号は、{𝐴𝑖 }が増加列であることと𝐵𝑛 の定義とから従う。
𝐴𝑛２番目の等号は帰納法の仮定のためである。
𝐴𝑛−1 𝐵𝑛(iii) ∪∞ 𝐴𝑖 =∪∞ 𝐵𝑖 は以下から従う。(∪∞𝑖=1 𝐴𝑖 =∪∞𝑖=1 𝐵𝑖 follows from)𝑖=1𝑖=1∞
𝐴𝑖 ⊃ 𝐴𝑖 ∩ 𝐴c𝑖−1 = 𝐵𝑖 ⟹ ∪∞𝑖=1 𝐴𝑖 ⊃∪𝑖=1 𝐵𝑖 ,∞∞For any 𝑛 ∈ ℕ, 𝐴𝑛 =∪𝑛𝑖=1 𝐵𝑖 ⊂∪∞𝑖=1 𝐵𝑖 ⟹∪𝑖=1 𝐴𝑖 ⊂∪𝑖=1 𝐵𝑖 .

∎7

確率分布関数の性質(Properties of probability distribution functions)
確率変数𝑋の確率分布関数𝑃𝑋 (𝑥)は以下で定義される。
The probability distribution function 𝑃𝑋 (𝑥) of a random variable 𝑋 is defined as follows:

𝑃𝑋 𝑥 = 𝑃 𝜔 ∈ Ω ∶ 𝑋 𝜔 ≤ 𝑥 .
性質１(Property 1)∵𝑥1 ≤ 𝑥2 ⟹ 𝑃𝑋 𝑥1 ≤ 𝑃𝑋 𝑥2 .

𝜔 ∶ 𝑋 𝜔 ≤ 𝑥1 ⊂ {𝜔 ∶ 𝑋 𝜔 ≤ 𝑥2 }と確率の単調性から従う。
It follows from 𝜔 ∶ 𝑋 𝜔 ≤ 𝑥1 ⊂ {𝜔 ∶ 𝑋 𝜔 ≤ 𝑥2 } and the monotonicity of probability.

性質２(Property 2)

lim 𝑃𝑋 (𝑥) = 1.

𝑥→∞

∵ 分布関数は有界な単調非減少関数なので、左辺の極限は存在する。
特に、数列 𝑃𝑋 𝑛 ∞𝑛=1 に対して極限を計算すると、
The limit on the left-hand side (LHS) exists, since any distribution function is bounded and nondecreasing. In particular, computing the limit for a sequence 𝑃𝑋 𝑛 ∞𝑛=1 yields∞

lim 𝑃𝑋 (𝑥) = lim 𝑃 𝑋 ≤ 𝑛 = 𝑃 ራ𝑥→∞𝑛→∞𝑋≤𝑛= 𝑃 𝑋 ≤ ∞ = 1,𝑛=1二番目の等号は、確率の連続性から従う。
The second equality follows from the continuity of probability.
8確率分布関数の性質(Properties of probability distribution functions)
性質３(Property 3)

lim 𝑃𝑋 (𝑥) = 0.

𝑥→−∞

∵ 性質２の証明を繰り返せ。(Repeat the proof of Property 2.)
性質４(Property 4)

lim 𝑃𝑋 𝑥 + 𝑎 = 𝑃𝑋 (𝑥) for any 𝑥 ∈ ℝ.
𝑎↓0

∵

∞11
lim 𝑃𝑋 𝑥 + 𝑎 = lim 𝑃𝑋 𝑥 +=𝑃 ሩ𝑋≤𝑥+
𝑎↓0𝑛→∞
𝑛𝑛𝑛=1二番目の等号は、確率の連続性から従う。

=𝑃 𝑋≤𝑥 .

The second equality follows from the continuity of probability.

性質５(Property 5) 左極限lim 𝑃𝑋 (𝑥 + 𝑎) が存在する。(The limit from the left exists.)𝑎↑0∵lim 𝑃𝑋 𝑥 + 𝑎 = lim 𝑃𝑋
𝑎↑0𝑛→∞∞
11𝑋−=𝑃 ራ𝑋≤𝑥−𝑛𝑛𝑛=1=𝑃 𝑋<𝑥 .

注意(Remark)分布関数が𝑥で連続であるための必要十分条件は以下である。
The distribution function is continuous at 𝑥 if and only if𝑃 𝜔∈Ω∶𝑋 𝜔 =𝑥= 0.
9確率分布関数の性質(Properties of probability distribution functions)
性質６(Property 6)分布関数の不連続点は、高々可算個である。
There are at most countable number of discontinuous points in any distribution function.

∵ 不連続点全体の集合𝐷は、次で表現できる。
The set 𝐷 of all discontinuous points can be represented as∞

𝐷=ራ𝐷𝑛 ,𝑛=1

𝐷𝑛 = 𝑥 ∈ ℝ ∶ 𝑃𝑋 𝑥 + 0 − 𝑃𝑋 𝑥 − 0 > 1/𝑛 .

分布関数の単調性から、𝐷𝑛 に属する不連続点を一つ通過すると、関数値は少なくとも1/𝑛増加する。分布関数の値域は[0, 1]なので、𝐷𝑛 に属する不連続点の個数に関する次の上界式を得る。
The monotonicity of 𝑃𝑋 implies that 𝑃𝑋 increases by at least 1/𝑛 when one discontinuous
point in 𝐷𝑛 is passed. Since the image of 𝑃𝑋 is [0, 1], we have the following upper bound on
the number of discontinuous points in 𝐷𝑛 :0, 1|𝐷𝑛 |:𝐷𝑛 の要素数(Number of elements in 𝐷𝑛 )𝐷𝑛 ≤=𝑛1/𝑛
これは、任意の𝑛 ∈ ℕに対して𝐷𝑛 は有限集合であることを意味する。
それゆえ、不連続点全体𝐷は高々可算個である。
which implies that 𝐷𝑛 is finite for any 𝑛 ∈ ℕ. Thus, the set 𝐷 of all discontinuous points is at
most countable.
10確率分布関数の分解(Decomposition of probability distribution functions)
𝑃𝑋 𝑥 = 𝑃𝑋d 𝑥 + 𝑃𝑋c 𝑥 + 𝑃𝑋s 𝑥 .

離散分布(Discrete distribution)
𝑃𝑋d は𝑃𝑋 の不連続点でのみ増加する階段関数である。
𝑃𝑋d is a step function that increases only at the discontinuous points of 𝑃𝑋 .

連続分布(Continuous distribution)
確率密度関数𝑝𝑋 (𝑥)が存在して、以下で表現できる。
For a probability density function (pdf) 𝑝𝑋 (𝑥), a continuous distribution has the following representation:

𝑥𝑃𝑋c 𝑥 = න 𝑝𝑋 𝑥′ 𝑑𝑥′ .
−∞特異分布(Singular distribution)
𝑃𝑋s は連続であるが、至るところ微分不可能である。本講義では議論しない。
𝑃𝑋s is continuous but not differentiable almost everywhere. It will not be discussed in this class.

11確率密度関数の性質(Properties of pdfs)

性質１(Property 1)
𝑑 c
𝑃 𝑥 = 𝑝𝑋 𝑥 .
𝑑𝑥 𝑋∵確率密度関数の定義と微分積分学の基本定理から従う。
Due to the definition of probability distribution function and the fundamental theorem of calculus.

性質２(Property 2)
𝑝𝑋 𝑥 ≥ 0.
∵ 性質１と確率分布関数の単調非減少性から従う。
Due to Property 1 and the non-decreasing property of any probability distribution function.

性質３(Property 3)∞

න 𝑝𝑋 𝑥 𝑑𝑥 = 1 .
−∞∵ lim 𝑃𝑋 𝑥 = 1から従う。(Due to 𝑥→∞
lim 𝑃𝑋 𝑥 = 1 . )𝑥→∞12

確率密度関数の意味(Meaning of pdfs)

連続確率変数𝑋の分布関数
Distribution function of a continuous random variable 𝑋𝑥

𝑃𝑋 𝑥 = 𝑃 𝑋 ≤ 𝑥 = න 𝑝𝑋 𝑥′ 𝑑𝑥′ .
−∞確率密度関数𝑝𝑋 の区間[𝑎, 𝑏]に対する積分は、確率変数𝑋が区間(𝑎, 𝑏]に入る確率を表す。
The integral of the pdf 𝑝𝑋 over the interval [𝑎, 𝑏] means the probability with which therandom variable 𝑋 falls into the interval (𝑎, 𝑏].

𝑏𝑏𝑎න 𝑝𝑋 𝑥 𝑑𝑥 = න 𝑝𝑋 𝑥 𝑑𝑥 − න 𝑝𝑋 𝑥 𝑑𝑥
𝑎−∞−∞𝑝𝑋= 𝑃 𝑋 ≤ 𝑏 − 𝑃(𝑋 ≤ 𝑎)
=𝑃 𝑎<𝑋≤𝑏 .

𝑎𝑏𝑥

最後の等号は、排反事象𝐴 = {𝑋 ≤ 𝑎}と𝐵 = {𝑎 < 𝑋 ≤ 𝑏}の性質𝐴 ∪ 𝐵 ={𝑋 ≤ 𝑏}と確率の有限加法性とから従う。
The last equality follows from finite additivity of probability and the property 𝐴 ∪ 𝐵 = {𝑋 ≤ 𝑏} for theexclusive events 𝐴 = {𝑋 ≤ 𝑎} and 𝐵 = {𝑎 < 𝑋 ≤ 𝑏}.
13量子化(Quantization)
非一様な頻度で発生する連続値信号𝑋 ∈ ℝを４つの離散値 𝑄𝑖 3𝑖=0 に量子化する。各離散値の出現頻度を実験結果と合致するように定義したい。
Quantize a continuous signal 𝑋 ∈ ℝ occurring at a non-uniform ratio into four discrete values 𝑄𝑖 3𝑖=0 .
Define the occurrence ratio of each discrete value that is consistent with experimental results.

信号𝑋の確率密度関数𝑝𝑋 は既知であると仮定する。次のように量子化関数𝑄(𝑥)を定義すると、Suppose that the pdf 𝑝𝑋 of the signal 𝑋 is known. We define a quantization function 𝑄(𝑥) as

𝑄0 for 𝑥 ≤ 𝐿0 ,𝑄1 for 𝐿0 < 𝑥 ≤ 𝐿1 ,𝑄 𝑥 =𝑄2 for 𝐿1 < 𝑥 ≤ 𝐿2 ,𝑄3 for 𝐿2 < 𝑥.
例えば、離散値𝑄2 の出現頻度は以下に等しくなるはずである。
For example, the occurrence ratio of 𝑄2 should be equal to𝐿2

න 𝑝𝑋 𝑥 𝑑𝑥 .
𝐿114

連続分布の期待値(Expectation of continuous distributions)
離散分布の期待値の自然な一般化として、連続分布の期待値を定義したい。
Define the expectation of continuous distributions as a natural generalization of the expectation ofdiscrete distributions.

整数𝑖 ∈ ℤに対して、𝑋を𝑝𝑖 = 𝑃 𝑋 = 𝑥𝑖 (𝑥𝑖 < 𝑥𝑗 , 𝑖 < 𝑗)を満たす離散確率変数とすると、分布関数𝑃𝑋 は次のように表現できる。
Let 𝑋 denote a discrete random variable with 𝑝𝑖 = 𝑃 𝑋 = 𝑥𝑖 (𝑥𝑖 < 𝑥𝑗 , 𝑖 < 𝑗) for integers 𝑖 ∈ ℤ. The
distribution function 𝑃𝑋 can be represented as follows:

𝑖𝑃𝑋 𝑥 = ෍ 𝑝𝑗 for 𝑥 ∈ 𝑥𝑖 , 𝑥𝑖+1 .
𝑗=−∞

確率𝑝𝑖 の分布関数による表現𝑝𝑖 = 𝑃𝑋 𝑥𝑖 − 𝑃𝑋 𝑥𝑖−1 を使うと、Using the representation 𝑝𝑖 = 𝑃𝑋 𝑥𝑖 − 𝑃𝑋 (𝑥𝑖−1 ) based on the distribution function yields

𝐸𝑓 𝑋∞

∞

𝑖=−∞

𝑖=−∞
∞

𝑃𝑋 𝑥𝑖 − 𝑃𝑋 𝑥𝑖−1
≝ ෍ 𝑓 𝑥𝑖 𝑝𝑖 = ෍ 𝑓 𝑥𝑖
(𝑥𝑖 − 𝑥𝑖−1 )𝑥𝑖 − 𝑥𝑖−1→ න 𝑓 𝑥 𝑝𝑋 𝑥 𝑑𝑥 𝑎𝑠 𝑥𝑖 − 𝑥𝑖−1 → 0.
−∞15

連続分布の期待値の定義(Definition of the expectation of continuous distributions)∞‫׬‬−∞ 𝑥 𝑝𝑋 𝑥 𝑑𝑥 < ∞のとき、連続確率変数𝑋の期待値を以下で定義する。
∞If ‫׬‬−∞ 𝑥 𝑝𝑋 𝑥 𝑑𝑥 < ∞ holds, the expectation of a continuous random variable 𝑋 is defined as∞

𝔼 𝑋 ≝ න 𝑥𝑝𝑋 𝑥 𝑑𝑥 .
−∞一般化(Generalization)∞

ある決定論的な関数𝑓に対して‫׬‬−∞ 𝑓(𝑥) 𝑝𝑋 𝑥 𝑑𝑥 < ∞のとき、𝑓(𝑋)の期待値を以下で定義する。
∞If‫׬‬−∞ 𝑓(𝑥) 𝑝𝑋 𝑥 𝑑𝑥 < ∞ holds for some deterministic function 𝑓, the expectation of 𝑓(𝑋) is defined as∞

𝔼 𝑓(𝑋) ≝ න 𝑓(𝑥)𝑝𝑋 𝑥 𝑑𝑥 .
−∞特に、𝑓 𝑥 = 𝑥の場合の期待値𝔼[𝑋]を平均、𝑓 𝑥 = 𝑥 − 𝔼 𝑋の期待値𝕍 𝑋 = 𝔼[ 𝑋 − 𝔼 𝑋 2 ]を分散と呼ぶ。
In particular, we refer to the expectations for 𝑓 𝑥 = 𝑥 and 𝑓 𝑥 = 𝑥 − 𝔼 𝑋
variance, respectively.

22 の場合as mean and16