確率統計
Probability and Statistics

第３回講義資料
Lecture notes 3

多変数確率分布Multi-variate Probability Distributions

豊橋技術科学大学
Toyohashi University of Technology

電気・電子情報工学系
Department of Electrical and Electronic Information Engineering

准教授 竹内啓悟
Associate Professor

Keigo Takeuchi1がん検診(Cancer screening)
がんである（ない）という事象を𝜔𝜔11 (𝜔𝜔12 )、検診の結果が陽性(陰性)であるという事象を𝜔𝜔21 (𝜔𝜔22 )とする。
Let 𝜔𝜔11 (𝜔𝜔12 ) and 𝜔𝜔21 (𝜔𝜔22 ) denote events indicating that a person has a (no) cancer, and that an
examination alerts positive (negative).

確率空間(Probability space) (Ω, ℱ, 𝑃𝑃)
標本空間(Sample space)： Ω = Ω1 × Ω2 ,

Ω𝑖𝑖 = {𝜔𝜔𝑖𝑖𝑖 , 𝜔𝜔𝑖𝑖𝑖 }𝜎𝜎-集合体(𝜎𝜎-field)： ℱ = {∅, 𝜔𝜔11 , 𝜔𝜔21 , 𝜔𝜔11 , 𝜔𝜔22 , 𝜔𝜔12 , 𝜔𝜔21 , 𝜔𝜔12 , 𝜔𝜔22 ,𝜔𝜔11 , 𝜔𝜔21 , 𝜔𝜔11 , 𝜔𝜔22 , { 𝜔𝜔11 , 𝜔𝜔21 , 𝜔𝜔12 , 𝜔𝜔21 },𝜔𝜔11 , 𝜔𝜔21 , 𝜔𝜔12 , 𝜔𝜔22 , { 𝜔𝜔11 , 𝜔𝜔22 , 𝜔𝜔12 , 𝜔𝜔21 },𝜔𝜔11 , 𝜔𝜔22 , 𝜔𝜔12 , 𝜔𝜔22 , { 𝜔𝜔12 , 𝜔𝜔21 , 𝜔𝜔12 , 𝜔𝜔22 },{ 𝜔𝜔11 , 𝜔𝜔21 , 𝜔𝜔11 , 𝜔𝜔22 , 𝜔𝜔12 , 𝜔𝜔21 },{ 𝜔𝜔11 , 𝜔𝜔21 , 𝜔𝜔11 , 𝜔𝜔22 , 𝜔𝜔12 , 𝜔𝜔22 },{ 𝜔𝜔11 , 𝜔𝜔21 , 𝜔𝜔12 , 𝜔𝜔21 , 𝜔𝜔12 , 𝜔𝜔22 },{ 𝜔𝜔11 , 𝜔𝜔22 , 𝜔𝜔12 , 𝜔𝜔21 , 𝜔𝜔12 , 𝜔𝜔22 }, Ω}2確率分布(Probability distribution)：𝑃𝑃同時分布(Joint distribution)：𝑃𝑃 𝜔𝜔11 , 𝜔𝜔21 = 𝑝𝑝𝑝𝑝

「がんである」かつ「陽性である」(“w cancer” and “positive”)

𝑃𝑃 𝜔𝜔11 , 𝜔𝜔22 = 𝑝𝑝(1 − 𝑞𝑞) 「がんである」かつ「陰性である」(“w cancer” and “negative”)
𝑃𝑃 𝜔𝜔12 , 𝜔𝜔21 = 𝑟𝑟 − 𝑝𝑝𝑝𝑝

「がんでない」かつ「陽性である」(“w/o cancer” and “positive”)「がんでない」かつ「陰性である」(“w/o cancer” and “negative”)

𝑃𝑃 𝜔𝜔12 , 𝜔𝜔22 = 𝑃𝑃 Ω − 𝑃𝑃 𝜔𝜔11 , 𝜔𝜔21 − 𝑃𝑃 𝜔𝜔11 , 𝜔𝜔22 − 𝑃𝑃 𝜔𝜔12 , 𝜔𝜔21

= 1 − 𝑝𝑝𝑝𝑝 − 𝑝𝑝 1 − 𝑞𝑞 − 𝑟𝑟 − 𝑝𝑝𝑝𝑝 = 1 − 𝑟𝑟 − 𝑝𝑝 + 𝑝𝑝𝑝𝑝.
周辺分布(Marginal distribution)：「がんであるかつ陽性」または「がんであるかつ陰性」＝「がんである」“w cancer and positive” or “w cancer and negative” = “w cancer”

𝑃𝑃 𝜔𝜔11 , Ω2 ≝ 𝑃𝑃 𝜔𝜔11 , 𝜔𝜔21 , 𝜔𝜔11 , 𝜔𝜔22
= 𝑝𝑝𝑝𝑝 + 𝑝𝑝 1 − 𝑞𝑞 = 𝑝𝑝.
条件付き分布(Conditional distribution)：= 𝑃𝑃 𝜔𝜔11 , 𝜔𝜔21 ∪ 𝜔𝜔11 , 𝜔𝜔22

「がんである」という条件の下で「陽性である」(“positive” conditioned on “w cancer”)
𝑃𝑃 𝜔𝜔11 , 𝜔𝜔21𝑝𝑝𝑝𝑝= 𝑞𝑞.
𝑃𝑃 𝜔𝜔21 𝜔𝜔11 , Ω2 ≝=𝑝𝑝
𝑃𝑃 𝜔𝜔11 , Ω23

独立性(Independence)
周辺分布(Marginal distribution)：「がんであるかつ陽性」または「がんでないかつ陽性」＝「陽性である」“w cancer and positive” or “w/o cancer and positive” = “positive”

𝑃𝑃 Ω1 , 𝜔𝜔21 ≝ 𝑃𝑃 𝜔𝜔11 , 𝜔𝜔21 , 𝜔𝜔12 , 𝜔𝜔21
= 𝑝𝑝𝑝𝑝 + 𝑟𝑟 − 𝑝𝑝𝑝𝑝 = 𝑟𝑟.
独立性(Independence)：= 𝑃𝑃 𝜔𝜔11 , 𝜔𝜔21 ∪ 𝜔𝜔12 , 𝜔𝜔21

「陽性である」確率が、「がんである」という条件に依存いない。

The probability of “positive alert” is independent of conditioning “w cancer.”𝑃𝑃 𝜔𝜔21 𝜔𝜔11 , Ω2= 𝑃𝑃 Ω1 , 𝜔𝜔21 .

⟺ 𝑃𝑃 𝜔𝜔11 , 𝜔𝜔21 = 𝑃𝑃 𝜔𝜔11 , Ω2 𝑃𝑃(Ω1 , 𝜔𝜔21 )𝑟𝑟 = 𝑞𝑞はこの場合における独立性の必要十分条件である。
The independence in this case holds if and only if 𝑟𝑟 = 𝑞𝑞.

がんであろうがなかろうが、同じ確率で陽性と診断される検査を受ける意味はない。
Regardless of whether or not a person has a cancer, it makes no sense for him/her to take an
examination that alerts “positive” with an identical probability.
4

同時確率分布関数(Joint probability distribution function)ℝ𝑛𝑛 上の確率空間(Probability space on ℝ𝑛𝑛 ) (Ω = ℝ𝑛𝑛 , ℱ, 𝑃𝑃)

確率ベクトル(Probability vector)： 𝑿𝑿(𝝎𝝎) = 𝑋𝑋1 𝝎𝝎 , … , 𝑋𝑋𝑛𝑛 𝝎𝝎T

任意のベクトル𝒙𝒙 = 𝑥𝑥1 , … , 𝑥𝑥𝑛𝑛 T ∈ ℝ𝑛𝑛 に対して、以下を満たす実ベクトル値関数𝑿𝑿を確率ベクトルと呼ぶ。

A real vector-valued function 𝑿𝑿 is called a random vector if the following holds forany vector 𝒙𝒙 = 𝑥𝑥1 , … , 𝑥𝑥𝑛𝑛 T ∈ ℝ𝑛𝑛 :𝝎𝝎 ∈ Ω ∶ 𝑋𝑋1 𝝎𝝎 ≤ 𝑥𝑥1 , … , 𝑋𝑋𝑛𝑛 𝝎𝝎 ≤ 𝑥𝑥𝑛𝑛 ⊂ ℱ.

同時確率分布関数(Joint probability distribution function)

𝑃𝑃𝑿𝑿 𝒙𝒙 = 𝑃𝑃( 𝝎𝝎 ∈ Ω ∶ 𝑋𝑋1 𝝎𝝎 ≤ 𝑥𝑥1 , … , 𝑋𝑋𝑛𝑛 𝝎𝝎 ≤ 𝑥𝑥𝑛𝑛 )同時確率分布関数は同時分布関数あるいは同時分布とも呼ばれ、確率ベクトル𝑿𝑿の統計的性質のすべてを決定する。
The joint probability distribution function is also called joint distribution function or joint
distribution, and determines all statistical properties of the random vector 𝑿𝑿.

略記(Abbreviation)

𝑃𝑃𝑿𝑿 𝒙𝒙 = 𝑃𝑃 𝑋𝑋1 ≤ 𝑥𝑥1 , … , 𝑋𝑋𝑛𝑛 ≤ 𝑥𝑥𝑛𝑛 ≝ 𝑃𝑃 𝑿𝑿 ≤ 𝒙𝒙 .

5

周辺確率分布関数(Marginal probability distribution functions)
番号集合の部分集合𝐼𝐼 ⊂ {1, … , 𝑛𝑛}に対して、確率ベクトル𝑿𝑿を二つのグループに分割する。

For a subset 𝐼𝐼 ⊂ {1, … , 𝑛𝑛} of the set of indices, decompose the random vector 𝑿𝑿 into disjoint two groups.

𝑿𝑿𝐼𝐼 = {𝑋𝑋𝑖𝑖 ∶ 𝑖𝑖 ∈ 𝐼𝐼},

𝑿𝑿𝐼𝐼c = {𝑋𝑋𝑖𝑖 ∶ 𝑖𝑖 ∈ 𝐼𝐼c ｝.

ベクトル𝒙𝒙𝐼𝐼 ∈ ℝ|𝐼𝐼| も同様に定義する。

The vector 𝒙𝒙𝐼𝐼 ∈ ℝ|𝐼𝐼| is also defined in the same manner.

周辺確率分布関数(Marginal probability distribution functions)
𝑃𝑃𝑿𝑿𝐼𝐼 𝒙𝒙𝐼𝐼 ≝ 𝑃𝑃 𝑋𝑋𝑖𝑖 ≤ 𝑥𝑥𝑖𝑖 ∶ 𝑖𝑖 ∈ 𝐼𝐼= 𝑃𝑃𝑋𝑋 𝒙𝒙 ∈ ℝ𝑛𝑛 ∶ 𝑥𝑥𝑖𝑖 = ∞ for 𝑖𝑖 ∈ 𝐼𝐼c .

周辺分布は同時分布から計算できるが、逆はできない。

Any marginal distribution can be computed from the joint distribution, while the converse is not correct.

同時分布から周辺分布を計算する操作のことを「周辺化」と呼ぶことがある。
We may refer to operations to compute marginal distributions from the joint distribution as“marginalization.”6独立性(Independence)
組ごとの独立性(Pairwise Independence)
𝑃𝑃𝑋𝑋𝑖𝑖 ,𝑋𝑋𝑗𝑗 𝑥𝑥𝑖𝑖 , 𝑥𝑥𝑗𝑗 = 𝑃𝑃𝑋𝑋𝑖𝑖 𝑥𝑥𝑖𝑖 𝑃𝑃𝑋𝑋𝑗𝑗 𝑥𝑥𝑗𝑗 for all 𝑖𝑖 ≠ 𝑗𝑗.

独立性(Independence)𝑛𝑛

𝑃𝑃𝑿𝑿 𝒙𝒙 = � 𝑃𝑃𝑋𝑋𝑖𝑖 (𝑥𝑥𝑖𝑖 ) .
𝑖𝑖=1

独立性は組ごとの独立性を示唆するが、逆は必ずしも正しくない。
Independence implies pairwise independence, while the converse is not necessarily correct.

∵ 独立性の定義式を𝑋𝑋 と𝑋𝑋 を除いて周辺化すると、
𝑖𝑖
𝑗𝑗

Marginalizing the definition of independence over all random variables with the exceptionof 𝑋𝑋𝑖𝑖 and 𝑋𝑋𝑗𝑗 , we have

𝑃𝑃𝑋𝑋𝑖𝑖,𝑋𝑋𝑗𝑗 𝑥𝑥𝑖𝑖 , 𝑥𝑥𝑗𝑗 =lim

{𝑥𝑥𝑘𝑘 →∞∶𝑘𝑘≠𝑖𝑖,𝑗𝑗}

𝑃𝑃𝑿𝑿 (𝒙𝒙) = 𝑃𝑃𝑋𝑋𝑖𝑖 𝑥𝑥𝑖𝑖 𝑃𝑃𝑋𝑋𝑗𝑗 (𝑥𝑥𝑗𝑗 ) � lim 𝑃𝑃𝑋𝑋𝑘𝑘 (𝑥𝑥𝑘𝑘 )= 𝑃𝑃𝑋𝑋𝑖𝑖 𝑥𝑥𝑖𝑖 𝑃𝑃𝑋𝑋𝑗𝑗 𝑥𝑥𝑗𝑗 .

𝑘𝑘≠𝑖𝑖,𝑗𝑗

𝑥𝑥𝑘𝑘 →∞

7

離散分布(Discrete distributions)
確率ベクトル𝑿𝑿の同時分布が高々可算個の点でのみ増加するとき、𝑿𝑿を離散確率ベクトルと呼ぶ。

A random vector 𝑿𝑿 is called discrete if the joint distribution of 𝑿𝑿 increases only in the set ofat most countable points.

周辺確率分布(Marginal probability distribution)
離散確率ベクトル𝑿𝑿の同時分布𝑃𝑃(𝑿𝑿 = 𝒙𝒙)に対して、周辺分布𝑃𝑃(𝑿𝑿𝐼𝐼 = 𝒙𝒙𝐼𝐼 )は以下で与えられる。
For a joint distribution 𝑃𝑃(𝑿𝑿 = 𝒙𝒙) of a discrete random vector 𝑿𝑿, the marginal distribution 𝑃𝑃(𝑿𝑿𝐼𝐼 = 𝒙𝒙𝐼𝐼 ) isgiven by

𝑃𝑃 𝑿𝑿𝐼𝐼 = 𝒙𝒙𝐼𝐼 = � 𝑃𝑃(𝑿𝑿 = 𝒙𝒙) ,𝒙𝒙𝐼𝐼c

ここで、総和は𝒙𝒙𝐼𝐼c のすべての組み合わせに関して取られる。
where the summation is over all possible combinations of 𝒙𝒙𝐼𝐼c .

∵ 周辺分布関数の定義から従う。(Due to the definition of marginal distribution functions.)
この総和操作のことを「周辺化」と呼ぶことがある。
This summation operation may be called “marginalization.”8条件付き確率分布(Conditional probability distributions)
For 𝑃𝑃 𝑿𝑿 = 𝒙𝒙
𝐼𝐼 c

注意1(Remark 1)

𝐼𝐼 c

≠ 0,

𝑃𝑃 𝑿𝑿𝐼𝐼 𝑿𝑿 = 𝒙𝒙
𝐼𝐼 c

𝐼𝐼 c

𝑃𝑃 𝑿𝑿𝐼𝐼 , 𝑿𝑿𝐼𝐼c = 𝒙𝒙𝐼𝐼c≝.
𝑃𝑃 𝑿𝑿𝐼𝐼c = 𝒙𝒙𝐼𝐼c

この定義は離散分布のみに対して意味を持つ。
This definition makes sense only for discrete distributions.

注意２(Remark 2)
周辺分布𝑃𝑃 𝑿𝑿𝐼𝐼c と条件付き分布𝑃𝑃 𝑿𝑿𝐼𝐼 𝑿𝑿𝐼𝐼c が与えられたときの同時分布𝑃𝑃(𝑿𝑿)の定義式ともみなせる。
It can be regarded as a definition of the joint distribution 𝑃𝑃(𝑿𝑿) when marginal andconditional distributions 𝑃𝑃 𝑿𝑿𝐼𝐼c and 𝑃𝑃 𝑿𝑿𝐼𝐼 𝑿𝑿𝐼𝐼c are given.

𝑃𝑃 𝑿𝑿𝐼𝐼 𝑿𝑿𝐼𝐼c 𝑃𝑃 𝑿𝑿𝐼𝐼c = 𝑃𝑃 𝑿𝑿 .

応用上は、周辺分布と条件付き分布が与えられることが多い。
Marginal and conditional distributions are usually given in practice.

9二項分布(Binomial distribution)
𝑛𝑛𝑋𝑋𝑖𝑖 𝑖𝑖=1
を独立同一分布(𝑃𝑃 𝑋𝑋𝑖𝑖 = 1 = 𝑝𝑝, 𝑃𝑃 𝑋𝑋𝑖𝑖 = 0 = 1 − 𝑝𝑝)に従うベルヌーイ確率変数列とする。確率変数𝑌𝑌 = ∑𝑛𝑛𝑖𝑖=1 𝑋𝑋𝑖𝑖 が二項分布に従うことを示せ。

Let 𝑋𝑋𝑖𝑖 𝑛𝑛𝑖𝑖=1 denote independent and identically distributed (i.i.d.) Bernoulli random variables. Show
that 𝑌𝑌 = ∑𝑛𝑛𝑖𝑖=1 𝑋𝑋𝑖𝑖 is binomial-distributed.

𝑃𝑃 𝑌𝑌 = 𝑘𝑘 =�𝒙𝒙∈ 0,1 𝑛𝑛 :∑𝑛𝑛𝑖𝑖=1 𝑥𝑥𝑖𝑖 =𝑘𝑘

𝑃𝑃 𝑿𝑿 = 𝒙𝒙 =�𝒙𝒙∈ 0,1 𝑛𝑛 :∑𝑛𝑛𝑖𝑖=1 𝑥𝑥𝑖𝑖 =𝑘𝑘

𝑝𝑝𝑘𝑘 1 − 𝑝𝑝 𝑛𝑛−𝑘𝑘 .

最後は、1が𝑘𝑘回、0が𝑛𝑛 − 𝑘𝑘回出る確率は𝑝𝑝𝑘𝑘 1 − 𝑝𝑝 𝑛𝑛−𝑘𝑘 であることから従う。
The last follows from the fact that 𝑘𝑘 ones and 𝑛𝑛 − 𝑘𝑘 zeros occur with probability 𝑝𝑝𝑘𝑘 1 − 𝑝𝑝 𝑛𝑛−𝑘𝑘 .

総和における組み合わせ数を数え上げると、Counting the number of combinations in the summation, we obtain𝑛𝑛 𝑘𝑘
𝑝𝑝 1 − 𝑝𝑝 𝑛𝑛−𝑘𝑘 .
𝑃𝑃 𝑌𝑌 = 𝑘𝑘 =𝑘𝑘

周辺化には膨大な数の和の計算が必要なことを理解せよ。
Understand the requirement of a huge number of additions in marginalization.

10連続分布(Continuous distributions)
確率ベクトル𝑿𝑿の同時分布が同時確率密度関数𝑝𝑝𝑿𝑿 𝒙𝒙 を使って以下で表現できるとき、𝑿𝑿を連続確率ベクトルと呼ぶ。

A random vector 𝑿𝑿 is called continuous if the joint distribution of 𝑿𝑿 has the following
representation based on a joint probability density function (pdf) 𝑝𝑝𝑿𝑿 𝒙𝒙 :𝑝𝑝𝑿𝑿 𝒚𝒚 𝑑𝑑𝒚𝒚 for all 𝒙𝒙 ∈ ℝ𝑛𝑛 .

𝑃𝑃𝑿𝑿 𝒙𝒙 = �

性質１(Property 1)∩𝑛𝑛𝑖𝑖=1 (−∞,𝑥𝑥𝑖𝑖 ]𝑝𝑝𝑿𝑿 𝒙𝒙 ≥ 0.

性質２(Property 2)ℝ𝑛𝑛

周辺確率密度関数(Marginal pdf)
𝑃𝑃𝑿𝑿𝐼𝐼 𝒙𝒙𝐼𝐼 = �

性質３(Property 3)

� 𝑝𝑝𝑿𝑿 𝒙𝒙 𝑑𝑑𝒙𝒙 = 1.

𝑝𝑝𝑿𝑿𝐼𝐼 𝒚𝒚𝐼𝐼 𝑑𝑑𝒚𝒚𝐼𝐼 for all 𝑥𝑥𝐼𝐼 ∈ ℝ 𝐼𝐼 .

∩𝑖𝑖∈𝐼𝐼 (−∞,𝑥𝑥𝑖𝑖 ]𝑝𝑝𝑿𝑿𝐼𝐼 𝒙𝒙𝐼𝐼 = �cℝ|𝐼𝐼 |

𝑝𝑝𝑿𝑿 𝒙𝒙 𝑑𝑑𝒙𝒙𝐼𝐼c .

∵ 周辺分布関数の定義から従う。(Due to the definition of marginal distribution functions.)
この積分操作のことを「周辺化」と呼ぶことがある。
This integration operation may be called “marginalization.”11条件付き確率密度関数(Conditional pdfs)
𝑝𝑝𝑿𝑿𝐼𝐼|𝑿𝑿𝐼𝐼c 𝒙𝒙𝐼𝐼 |𝒙𝒙𝐼𝐼c ≝For 𝑝𝑝𝑿𝑿𝐼𝐼c 𝒙𝒙𝐼𝐼c ≠ 0,

𝑝𝑝𝑿𝑿 𝒙𝒙.
𝑝𝑝𝑿𝑿𝐼𝐼c 𝒙𝒙𝐼𝐼c

独立性(Independence) 連続確率ベクトル𝑿𝑿の要素が独立なとき、𝑛𝑛

When all elements of a continuous random vector 𝑿𝑿 are independent,

𝑝𝑝𝑿𝑿 𝒙𝒙 = � 𝑝𝑝𝑋𝑋𝑖𝑖 (𝑥𝑥𝑖𝑖 ) ,𝑖𝑖=1

𝑝𝑝𝑿𝑿𝐼𝐼|𝑿𝑿𝐼𝐼c 𝒙𝒙𝐼𝐼 |𝒙𝒙𝐼𝐼c = � 𝑝𝑝𝑋𝑋𝑖𝑖 (𝑥𝑥𝑖𝑖 ) .
𝑖𝑖∈𝐼𝐼∵ 独立性の定義から、(From the definition of independence, we have)
𝑃𝑃𝑿𝑿 𝒙𝒙 = �𝑛𝑛𝑛𝑛𝑥𝑥𝑖𝑖𝑝𝑝𝑿𝑿 𝒚𝒚 𝑑𝑑𝒚𝒚 = � 𝑃𝑃𝑋𝑋𝑖𝑖 (𝑥𝑥𝑖𝑖 ) = � � 𝑝𝑝𝑋𝑋𝑖𝑖 𝑦𝑦𝑖𝑖 𝑑𝑑𝑦𝑦𝑖𝑖 .

∩𝑛𝑛𝑖𝑖=1 (−∞,𝑥𝑥𝑖𝑖 ]𝑖𝑖=1𝑖𝑖=1−∞

両辺を𝑥𝑥𝑖𝑖 (𝑖𝑖 = 1, … , 𝑛𝑛)に関して偏微分することで、前半の主張を得る。

The former is obtained via the partial derivatives of both sides with respect to 𝑥𝑥𝑖𝑖 for 𝑖𝑖 = 1, … , 𝑛𝑛.

条件付き確率密度関数の定義式に前半の主張を代入すると、後半の主張が従う。
Substituting the former statement into the definition of the conditional pdf yields the latter statement.
12期待値(Expectation)
関数𝑔𝑔: ℝ𝑛𝑛 → ℝに対して𝔼𝔼 𝑔𝑔(𝑿𝑿) < ∞のとき、離散確率ベクトル(Discrete random vector) 𝑋𝑋𝔼𝔼 𝑔𝑔 𝑿𝑿≝ � 𝑔𝑔 𝒙𝒙 𝑃𝑃(𝑿𝑿 = 𝒙𝒙) ,𝒙𝒙

ここで、総和は𝒙𝒙のすべての組み合わせに関して取られる。
where the summation is over all possible combinations of 𝒙𝒙.

連続確率ベクトル(Continuous random vector) 𝑋𝑋𝔼𝔼 𝑔𝑔 𝑿𝑿≝ � 𝑔𝑔 𝒙𝒙 𝑝𝑝𝑿𝑿 𝒙𝒙 𝑑𝑑𝒙𝒙 .
ℝ𝑛𝑛

特に、𝔼𝔼[𝑋𝑋𝑖𝑖 ]、𝕍𝕍[𝑋𝑋𝑖𝑖 ] ≝ 𝔼𝔼[ 𝑋𝑋𝑖𝑖 − 𝔼𝔼 𝑋𝑋𝑖𝑖 2 ]、𝔼𝔼[ 𝑋𝑋𝑖𝑖 − 𝔼𝔼 𝑋𝑋𝑖𝑖 𝑋𝑋𝑗𝑗 − 𝔼𝔼 𝑋𝑋𝑗𝑗 ]をそれぞれ𝑋𝑋𝑖𝑖 の平均、𝑋𝑋𝑖𝑖 の分散、 𝑖𝑖 ≠ 𝑗𝑗に対して𝑋𝑋𝑖𝑖 と𝑋𝑋𝑗𝑗 の共分散と呼ぶ。

In particular, 𝔼𝔼[𝑋𝑋𝑖𝑖 ], 𝕍𝕍[𝑋𝑋𝑖𝑖 ] ≝ 𝔼𝔼[ 𝑋𝑋𝑖𝑖 − 𝔼𝔼 𝑋𝑋𝑖𝑖 2 ], and 𝔼𝔼[ 𝑋𝑋𝑖𝑖 − 𝔼𝔼 𝑋𝑋𝑖𝑖 𝑋𝑋𝑗𝑗 − 𝔼𝔼 𝑋𝑋𝑗𝑗 ] are called the meanof 𝑋𝑋𝑖𝑖 , the variance of 𝑋𝑋𝑖𝑖 , and the covariance of 𝑋𝑋𝑖𝑖 and 𝑋𝑋𝑗𝑗 for 𝑖𝑖 ≠ 𝑗𝑗, respectively.
13条件付き期待値(Conditional expectation)
関数𝑔𝑔: ℝ|𝐼𝐼| → ℝに対して𝔼𝔼 𝑔𝑔(𝑿𝑿𝐼𝐼 ) < ∞のとき、離散確率ベクトル(Discrete random vector) 𝑋𝑋

𝔼𝔼 𝑔𝑔 𝑿𝑿𝐼𝐼 |𝑿𝑿𝐼𝐼c ≝ � 𝑔𝑔 𝒙𝒙𝐼𝐼 𝑃𝑃(𝑿𝑿𝐼𝐼 = 𝒙𝒙𝐼𝐼 |𝑿𝑿𝐼𝐼c ) ,𝒙𝒙𝐼𝐼

ここで、総和は𝒙𝒙𝐼𝐼 のすべての組み合わせに関して取られる。

where the summation is over all possible combinations of 𝒙𝒙𝐼𝐼 .

連続確率ベクトル(Continuous random vector) 𝑋𝑋
𝔼𝔼 𝑔𝑔 𝑿𝑿𝐼𝐼 |𝑿𝑿𝐼𝐼c ≝ �ℝ|𝐼𝐼|𝑔𝑔 𝒙𝒙𝐼𝐼 𝑝𝑝𝑿𝑿𝐼𝐼|𝑿𝑿𝐼𝐼c 𝒙𝒙𝐼𝐼 𝑑𝑑𝒙𝒙𝐼𝐼 .

計算上は、条件として与えられた確率変数を決定論的な変数とみなして期待値を計算すればよい。
In computation, we can regard conditioned random variables as deterministic variables.

14