確率統計
Probability and Statistics

第１回講義資料
Lecture notes 1

確率変数と離散分布
Random Variables and Discrete Probability Distributions

豊橋技術科学大学
Toyohashi University of Technology

電気・電子情報工学系
Department of Electrical and Electronic Information Engineering

准教授 竹内啓悟
Associate Professor

Keigo Takeuchi

1確率論の目標(Goal of probability theory)

例：量子化(Example: Quantization)
非一様な頻度で発生する連続値信号𝑋 ∈ ℝ(ℝ:実数全体)を４つの離散値 𝑄𝑖 3𝑖=0に量子化する。各離散値の出現頻度を実験結果と合致するように定義したい。
Quantize a continuous signal 𝑋 ∈ ℝ (ℝ:real field) occurring at a non-uniform ratio into four discrete values
𝑄𝑖 3𝑖=0 . Define the occurrence ratio of each discrete value that is consistent with experimental results.

困難(Challenges)• 非一様な確率をどのように取り扱うべきか？
How should we treat non-uniform probability?

• 連続値を取る事象の確率をどのように定義すべきか？
How should we define the probability of events that take continuous values?

• 理論が実験と合致することをどのように立証すべきか？
How should we justify the consistency between theory and experiments?

目標(Goal)
これらの困難を解決する確率論を樹立すること。
Establishment of probability theory to solve these challenges.
2

講義の流れ(Outline of lectures)
1. 古典的確率論(Classical probability theory)• 離散確率分布(事象の数が有限個の場合)Discrete probability distribution (Case of a finite number of events)• 確率構造の抽出(Extraction of probabilistic structure)
2. 公理的確率論(Axiomatic probability theory)• 公理系の樹立(Establishment of an axiomatic system)• 連続確率分布の定義(Definition of continuous probability distributions)
3. 理論の検証(Verification of the theory)• 大数の法則 (Law of large numbers)
公理的確率論は実験と合致するか？
Is the axiomatic probability theory consistent with experiments?

3

集合と演算(Sets and operations)全体集合(Universal set)

Ω部分集合(Subset)

𝐴⊂𝐵≝𝑥∈𝐴⟹𝑥∈𝐵

和集合(Union)𝐴 ∪ 𝐵 ≝ {𝑥 ∈ Ω ∶ 𝑥 ∈ 𝐴 or 𝑥 ∈ 𝐵}

共通部分(Intersection)

𝐴 ∩ 𝐵 ≝ {𝑥 ∈ Ω ∶ 𝑥 ∈ 𝐴 and 𝑥 ∈ 𝐵}

補集合(Complement)𝐴c ≝ {𝑥 ∈ Ω ∶ 𝑥 ∉ 𝐴}

差集合(Relative complement)𝐴 ∖ 𝐵 ≝ 𝐴 ∩ 𝐵c

空集合(Empty set)∅ ≝ ΩcΩ𝐴𝐴∩𝐵

𝐵

補集合の補集合(Complement of complement)𝐴c c = 𝐴

ド・モルガンの法則(De-Morgan’s law)𝐴 ∩ 𝐵 c = 𝐴c ∪ 𝐵c4

可算(無限)個の集合演算(Operations for a countable (=countably infinite) number of sets)
可算個の集合列(Countable number of sets)

𝐴𝑖 ∈ Ω ∞𝑖=1∞

和集合(Union)

ራ 𝐴𝑖 ≝ {𝑥 ∈ Ω ∶ ∃𝑛 ∈ ℕ s. t. 𝑥 ∈ 𝐴𝑛 }𝑖=1ある自然数𝑛が存在して、𝑥 ∈ 𝐴𝑛 が成り立つ。
共通部分(Intersection)

There exists some natural number 𝑛 such that 𝑥 ∈ 𝐴𝑛 holds.

∞

ሩ 𝐴𝑖 ≝ {𝑥 ∈ Ω ∶ 𝑥 ∈ 𝐴𝑛 for ∀𝑛 ∈ ℕ}
𝑖=1すべての自然数𝑛に対して、𝑥 ∈ 𝐴𝑛 が成り立つ。
𝑥 ∈ 𝐴𝑛 holds for all natural number 𝑛.

ド・モルガンの法則(De-Morgan’s law)
∞

ሩ 𝐴𝑖
𝑖=1

∵c∞

ሩ𝑖=1

𝐴𝑖c

∞

= ራ 𝐴c𝑖𝑖=1∞= 𝑥∈Ω∶𝑥∉ሩ
𝑖=1=𝐴𝑖 = 𝑥 ∈ Ω ∶ ∃𝑛 ∈ ℕ s. t. 𝑥 ∉ 𝐴𝑛𝑥 ∈ Ω ∶ ∃𝑛 ∈ ℕ s. t. 𝑥 ∈ 𝐴c𝑛∞=ራ
𝑖=1𝐴c𝑖 .
5例：コイン投げ(Example: Coin tossing)
コインを１回投げたときに、表が出る事象を𝜔0 、裏が出る事象を𝜔1 とする。
Let 𝜔0 and 𝜔1 denote the occurrence events of a head and tail in one coin-tossing, respectively.

二つの事象は等確率で起きる。
The two events occur with an equal probability.

𝑃 𝜔0 = 𝑃 𝜔11= .
2

確率構造の抽出(Extraction of probabilistic structure)• 表か裏のどちらかは確率１で出る。(Either a head or a tail occurs with probability 1.)
𝑃 Ω = 𝑃 𝜔0 + 𝑃 𝜔1 = 1,

Ω = 𝜔0 ∪ 𝜔1 .

• 表が出ない確率は1/2である。(A head does not occur with probability 1/2)

𝑃 𝜔0c = 𝑃 Ω ∖ 𝜔0 = 𝑃 𝜔1 =1.
2• 何も出ない確率は0である。(Nothing occurs with zero probability.)𝑃 ∅ = 0.
6事象は集合である(An event is a set.)

事象を集合とみなすと、数学的構造が単純になる。
Regarding an event as a set simplifies the mathematical structure.

確率空間(Probability space): (Ω, ℱ, 𝑃)
Ω = {𝜔0 , 𝜔1 } 標本空間(Sample space)
特に、標本空間Ωの各元𝜔𝑖 を標本点と呼ぶ。
In particular, each element of the sample space is called an outcome.

ℱ = {∅, 𝜔0 , 𝜔1 , Ω} 集合体(Field of sets)
集合体ℱの各元(Ωの部分集合)を事象と呼ぶ。
Each element (subset of Ω) of ℱ is called an event.

𝑃: ℱ → [0, 1] 確率分布(Probability distribution)
𝑃 Ω = 1を満たす集合関数(入力が集合)である。
A set function (Input is a set) satisfying 𝑃 Ω = 1.

7確率構造の抽出(Extraction of probabilistic structure)
集合体ℱの性質(Properties of the field ℱ of sets)
1.

ℱは標本空間Ωを含む。(ℱ contains the sample space Ω.)

2. 事象𝐴がℱに含まれるならば、余事象𝐴c = Ω ∖ 𝐴もℱに含まれる。
If ℱ contains an event 𝐴, ℱ also contains the complement 𝐴c .

3. 事象𝐴と𝐵がℱに含まれるならば、和集合𝐴 ∪ 𝐵もℱに含まれる。
If ℱ contains events 𝐴 and 𝐵, ℱ also contains the union 𝐴 ∪ 𝐵.

確率分布𝑃の性質(Properties of the probability distribution 𝑃)
1.

任意の事象𝐴 ∈ ℱに対して、(For any event 𝐴 ∈ ℱ,) 𝑃 𝐴 ∈ 0, 1 .

2.

𝑃 Ω = 1.

3.

二つの排反事象𝐴と𝐵(𝐴 ∩ 𝐵 = ∅)に対して、
For two exclusive events 𝐴 and 𝐵 (𝐴 ∩ 𝐵 = ∅),𝑃 𝐴 ∪ 𝐵 = 𝑃 𝐴 + 𝑃(𝐵).
8離散分布の確率構造(Probabilistic structure of discrete distributions)
標本空間(Sample space) Ω 有限集合(Finite set)集合体(Field of sets) ℱ
1.

ℱは標本空間Ωを含む。(ℱ contains the sample space Ω.)

2. 事象𝐴がℱに含まれるならば、余事象𝐴c = Ω ∖ 𝐴もℱに含まれる。
If ℱ contains an event 𝐴, ℱ also contains the complement 𝐴c .

3. 事象列 𝐴𝑖 𝑘𝑖=1 がℱに含まれるならば、有限和集合∪𝑘𝑖=1 𝐴𝑖 もℱに含まれる。
If ℱ contains events 𝐴𝑖 𝑘𝑖=1 , ℱ also contains the finite union ∪𝑘𝑖=1 𝐴𝑖 .

確率分布(Probability distribution) 𝑃
1.

任意の事象𝐴 ∈ ℱに対して、(For any event 𝐴 ∈ ℱ,) 𝑃 𝐴 ∈ 0, 1 .

2.

𝑃 Ω = 1.

3.

排反事象列 𝐴𝑖 𝑘𝑖=1 (𝐴𝑖 ∩ 𝐴𝑗 = ∅ for 𝑖 ≠ 𝑗)に対して、For exclusive events 𝐴𝑖 𝑘𝑖=1 (𝐴𝑖 ∩ 𝐴𝑗 = ∅ for 𝑖 ≠ 𝑗),

𝑃 ∪𝑘𝑖=1 𝐴𝑖 = σ𝑘𝑖=1 𝑃(𝐴𝑖 ). 有限加法性(Finite additivity)9

確率空間(Ω, ℱ, 𝑃)の公理系(Axiomatic system of probability space)
標本空間(Sample space) Ω = ℝ or 有限集合(Finite set)𝜎-集合体(𝜎-field) ℱ (≠ Ωの部分集合全体(all subsets of Ω))
1.

ℱは標本空間Ωを含む。(ℱ contains the sample space Ω.)

2. 事象𝐴がℱに含まれるならば、余事象𝐴c = Ω ∖ 𝐴もℱに含まれる。
If ℱ contains an event 𝐴, ℱ also contains the complement 𝐴c .

3. 可算個の事象列 𝐴𝑖 ∞𝑖=1 がℱに含まれるならば、可算個の和集合∪∞𝑖=1 𝐴𝑖 もℱに含まれる。
If ℱ contains a countable number of events 𝐴𝑖 ∞𝑖=1 , ℱ also contains the union of∞countable events ∪𝑖=1 𝐴𝑖 .

確率分布(Probability distribution) 𝑃
1.

任意の事象𝐴 ∈ ℱに対して、(For any event 𝐴 ∈ ℱ,) 𝑃 𝐴 ∈ 0, 1 .

2.

𝑃 Ω = 1.

3.

可算個の排反事象列 𝐴𝑖 ∞𝑖=1 (𝐴𝑖 ∩ 𝐴𝑗 = ∅ for 𝑖 ≠ 𝑗)に対して、
For a countable number of exclusive events 𝐴𝑖 ∞𝑖=1 (𝐴𝑖 ∩ 𝐴𝑗 = ∅ for 𝑖 ≠ 𝑗),∞𝑃 ∪∞𝑖=1 𝐴𝑖 = σ𝑖=1 𝑃(𝐴𝑖 ). 可算加法性(Countable additivity)10確率変数の例(Example of random variables)

サイコロ(Dice)
サイコロを一回投げて、３以上が出たら100円、2以下であれば10円が得られるゲームを考える。このゲームを行ったときに獲得賞金としてどのような値が期待できるか？
Consider a dice game in which one gets 100 yen if 3 to 6 occur, otherwise 10 yen. How muchcan he/she expect as a cash prize in this game?

標本空間(Sample space) Ω = {𝜔0 , 𝜔1 }
𝜔0 : 2以下が出る。(outcomes of 1 and 2.)確率分布(Probability distribution) 𝑃 𝜔0

𝜔1 : ３以上が出る。(outcomes of 3 to 6.)

1= ,3

𝑃 𝜔1 =2.
3

獲得賞金を表す確率変数(Random variable to represent the cash prize)
𝑋 𝜔0 = 10,𝑋 𝜔1 = 100.

賞金の期待値(Expectation of the cash prize)
𝔼 𝑋 = 10 ⋅ 𝑃 𝜔0 + 100 ⋅ 𝑃 𝜔1 = 70.
11

(実)確率変数の定義(Definition of (real) random variables)
標本空間から実数体への関数𝑋: Ω → ℝが以下を満たすとき、関数𝑋を(実)確率変数と呼ぶ。
A mapping 𝑋: Ω → ℝ from the sample space to the real field is called a (real) randomvariable if the following holds:

For all 𝑥 ∈ ℝ, 𝜔 ∈ Ω ∶ 𝑋 𝜔 ≤ 𝑥 ∈ ℱ.
任意の𝑥 ∈ ℝに対して、𝑋 𝜔 ≤ 𝑥となる事象の発生確率を定義できる。
For any 𝑥 ∈ ℝ, the occurrence probability of the event {𝑋 𝜔 ≤ 𝑥} is well defined.

サイコロの例(The dice example)
𝑃𝑋 (𝑥) = 𝑃 𝜔 ∈ Ω ∶ 𝑋 𝜔 ≤ 𝑥

0 for 𝑥 < 10.
= ቐ1/3 for 𝑥 ∈ [10, 100),
1 for 𝑥 ≥ 100.

𝑃𝑋 𝑥

10100𝑥12確率分布関数の定義(Definition of probability distribution functions)
確率変数𝑋の確率分布関数𝑃𝑋 (𝑥)は以下で定義される。
The probability distribution function 𝑃𝑋 (𝑥) of a random variable 𝑋 is defined as follows:

𝑃𝑋 𝑥 = 𝑃 𝜔 ∈ Ω ∶ 𝑋 𝜔 ≤ 𝑥 .
注意１(Remark 1)
確率分布関数は、分布関数あるいは累積分布関数とも呼ばれる。
The probability distribution function is also called distribution function or cumulative distribution function.

注意２(Remark 2)
確率分布か分布関数のどちらかを明示することなく、「分布」という言葉を確率変数の統計的性質を定義するものという意味で使用する場合がある。
The terminology distribution may be used to indicate something to define the statistical properties ofa random variable, without specifying probability distribution or distribution function.

注意３(Remark 3)
確率分布関数は、以下のように略記される場合がある。
The probability distribution function may be abbreviated as follows:

𝑃𝑋 𝑥 = 𝑃 𝑋 𝜔 ≤ 𝑥 = 𝑃 𝑋 ≤ 𝑥 = 𝑃 𝑥 .
13離散分布(Discrete distributions)
ベルヌーイ分布(Bernoulli distribution)
ベルヌーイ確率変数𝑋は確率𝑝で1を取り、確率1 − 𝑝で0を取る。
A Bernoulli random variable 𝑋 takes 1 and 0 with probabilities 𝑝 and 1 − 𝑝, respectively.

二項分布(Binomial distribution)：ℬ(𝑛, 𝑝)

二つのパラメータ𝑛 ∈ ℕと𝑝 ∈ [0, 1]を持つ二項確率変数𝑋は、整数𝑘 ∈{0, … , 𝑛}を確率𝑝𝑘 で取る。
A binomial random variable 𝑋 with two parameters 𝑛 and 𝑝 takes an integer 𝑘 ∈ {0, … , 𝑛} withprobability 𝑝𝑘 .
𝑛 𝑘𝑛𝑛!
𝑛−𝑘𝑝𝑘 =𝑝 1−𝑝,=.

𝑘𝑘𝑛 − 𝑘 ! 𝑘!

ポアソン分布(Poisson distribution)
パラメータ𝜆 > 0を持つポアソン確率変数𝑋は、𝑛 = 0,1, …を確率𝑝𝑛 で取る。
A Poisson random variable 𝑋 with a parameter 𝜆 > 0 takes 𝑛 = 0,1, … with probability 𝑝𝑛 .

𝜆𝑛 𝑒 −𝜆𝑝𝑛 =.
𝑛!
14離散分布の期待値(Expectation of discrete distributions)
離散集合 𝑥𝑖 𝑘𝑖=1 上の分布𝑃𝑋 から多数の実現値を得たときに、期待値𝔼[𝑋]を実現値の算術平均に等しくなるように定義したい。
Suppose that we obtained many realizations sampled from a distribution 𝑃𝑋 on a discrete set 𝑥𝑖 𝑘𝑖=1 .
Define the expectation 𝔼[𝑋] such that it is equal to the arithmetic mean of the realizations.

確率𝑃 𝑋 = 𝑥𝑖 = 𝑝𝑖 *を𝑥𝑖 の発生頻度とみなすと、𝑁個の実現値の並び替え後に、以下のようになるはずである。
Regarding the probability 𝑃 𝑋 = 𝑥𝑖 = 𝑝𝑖 as the occurrence ratio of 𝑥𝑖 , after a permutation of 𝑁
realizations, we should obtain the following sequence:𝑁→∞(𝑥1 , … , 𝑥1 , 𝑥2 , … , 𝑥2 , … , 𝑥𝑘 , … , 𝑥𝑘 )𝑁𝑝1
Arithmetic mean =𝑁𝑝2

σ𝑘𝑖=1 𝑥𝑖 ⋅ 𝑁𝑝𝑖
𝑁𝑁𝑝𝑘𝑘= ෍ 𝑥𝑖 𝑝𝑖 ≝ 𝔼[𝑋].

𝑖=1*：確率分布関数と区別するために確率関数と呼ぶことがあるが、本講義では使わない。離散分布の場合に確率分布を確率関数の意味で使用することがある。
While it may be called probability mass function (pmf) to distinguish it from the probability distributionfunction, this lecture does not use pmf. The probability distribution may mean pmf in the discrete case.
15離散分布の期待値の定義(Definition of the expectation of discrete distributions)σ∞𝑖=1 |𝑥𝑖 |𝑃(𝑋 = 𝑥𝑖 ) < ∞のとき、離散確率変数𝑋の期待値を以下で定義する。
If σ∞
𝑖=1 |𝑥𝑖 |𝑃(𝑋 = 𝑥𝑖 ) < ∞ holds, the expectation of a discrete random variable 𝑋 is defined as∞

𝔼 𝑋 ≝ ෍ 𝑥𝑖 𝑃 𝑋 = 𝑥𝑖 .
𝑖=1

一般化(Generalization)
ある決定論的な関数𝑓に対してσ∞𝑖=1 |𝑓(𝑥𝑖 )|𝑃(𝑋 = 𝑥𝑖 ) < ∞のとき、𝑓(𝑋)の期待値を以下で定義する。
If σ∞
𝑖=1 |𝑓(𝑥𝑖 )|𝑃(𝑋 = 𝑥𝑖 ) < ∞ holds for some deterministic function 𝑓, the expectation of 𝑓(𝑋) isdefined as∞

𝔼 𝑓(𝑋) ≝ ෍ 𝑓(𝑥𝑖 )𝑃 𝑋 = 𝑥𝑖 .
𝑖=1

特に、𝑓 𝑥 = 𝑥の場合の期待値𝔼[𝑋]を平均、𝑓 𝑥 = 𝑥 − 𝔼 𝑋の期待値𝕍 𝑋 = 𝔼[ 𝑋 − 𝔼 𝑋 2 ]を分散と呼ぶ。
In particular, we refer to the expectations for 𝑓 𝑥 = 𝑥 and 𝑓 𝑥 = 𝑥 − 𝔼 𝑋
variance, respectively.

22 の場合as mean and16