通信工学概論
Introduction to Communication Engineering

第６回講義資料
Lecture notes 6

ガウス雑音
Gaussian Noise

豊橋技術科学大学
Toyohashi University of Technology

電気・電子情報工学系
Department of Electrical and Electronic Information Engineering

准教授 竹内啓悟
Associate Professor

Keigo Takeuchi1熱雑音(Thermal noise)
抵抗等の受信回路内の素子では、熱雑音が発生する。
Thermal noise occurs in circuit elements in the receiver, such as resistors.

加法性(Additivity)
熱雑音は信号振幅に足し算される。(Thermal noise is added to the signal amplitude.)
白色性 (Whiteness)
熱雑音をどんな速さでサンプリングしても、サンプル値は独立である。
Samples of thermal noise are independent regardless of the sampling rate.

ガウス性(Gaussianity)
各サンプル値は平均0のガウス分布に従う。
Each sample of thermal noise is zero-mean and Gaussian-distributed.

熱雑音を加法的白色ガウス雑音とみなす。
We regard thermal noise as additive white Gaussian noise (AWGN).
2

連続確率変数の定義に向けて(Toward the definition of continuous random variables)
例６.１
Example 6.1

矢を的に向かって投げたときに、矢の先端が的の中心点に当たる確率を答えよ。ただし、矢の先端は的と一点で接するものとする。
Answer the probability with which, in throwing an arrow toward thetarget, the arrowhead hits the center point of the target. Assume thatthe arrowhead touches a point on the target.

答え(Answer)0

背理法による証明(Proof by contradiction)
名手の投げた矢の先端は、的の中心点を中心とする微小円盤上で一様分布すると仮定する。中心点に当たる確率を𝑝𝑝 > 0とすると、円盤内の他の点に当たる確率も𝑝𝑝である。すると、円盤上に点は無限にあるので、微小円盤内の点に当たる確率の総和が１を超えてしまう。したがって、的の中心に当たる確率は𝑝𝑝 = 0である。

Suppose that, with uniform probability, the arrowhead thrown by an expert player hits a point inside a small
disk of which the center is the center point of the target. Assume that the arrowhead hits the center point withprobability 𝑝𝑝 > 0. Then, the summation of probabilities with which the arrowhead hits points inside the small
disk is above 1 because the small disk contains an infinite number of points. Thus, the answer is 𝑝𝑝 = 0.

3

連続確率変数の定義(Definition of continuous random variables)
連続確率変数では、点ではなく、集合に入る確率を議論する。
For continuous random variables, we discuss an inclusion probability not at a point but inside a set.

定義の方針(Definition direction)
連続確率変数𝑋𝑋がすべての区間[𝑎𝑎, 𝑏𝑏]に含まれる確率を定義すればよい。

Sufficient to define a probability with which a continuous random variable 𝑋𝑋 is contained in any interval [𝑎𝑎, 𝑏𝑏].

ℙ 𝑋𝑋 ∈ 𝑎𝑎, 𝑏𝑏

加法性(Additivity)=?

ℙ 𝑋𝑋 ∈ 𝑎𝑎 , 𝑏𝑏 ∪ 𝑐𝑐, 𝑑𝑑

例６.２(Example 6.2)

確率は自由に割り当てられるわけではない。
The probabilities cannot be necessarily set freely.

= ℙ 𝑋𝑋 ∈ 𝑎𝑎, 𝑏𝑏+ ℙ 𝑋𝑋 ∈ 𝑐𝑐, 𝑑𝑑for 𝑏𝑏 < 𝑐𝑐

定義ℙ 𝑋𝑋 < 0 = 1/3とℙ 𝑋𝑋 ≥ 0 = 1/3の問題点を指摘せよ。
Point out a problem in the definitions ℙ 𝑋𝑋 < 0 = 1/3 and ℙ 𝑋𝑋 ≥ 0 = 1/3.

2
ℙ 𝑋𝑋 ∈ −∞, ∞ = ℙ 𝑋𝑋 < 0 + ℙ 𝑋𝑋 ≥ 0 = < 1.
3
全事象の発生確率が１にならない。(The occurrence probability of all events is not 1.)
4

連続確率変数の定義(Definition of continuous random variables)
例６.３(Example 6.3)
定義ℙ 𝑋𝑋 ∈ [0, 1] = 2/3とℙ 𝑋𝑋 ∈ [0, 2] = 1/3の問題点を指摘せよ。
Point out a problem in the definitions ℙ 𝑋𝑋 ∈ [0, 1] = 2/3 and ℙ 𝑋𝑋 ∈ [0, 2] = 1/3.

1ℙ 𝑋𝑋 ∈ 1, 2 = ℙ 𝑋𝑋 ∈ 0, 2 − ℙ 𝑋𝑋 ∈ 0, 1 = − < 03
単調性
区間[𝑎𝑎, 𝑏𝑏]が区間[𝑐𝑐, 𝑑𝑑]に含まれるならば、Monotonicity

If the interval [𝑎𝑎, 𝑏𝑏] is included in the interval [𝑐𝑐, 𝑑𝑑],

ℙ 𝑋𝑋 ∈ 𝑎𝑎, 𝑏𝑏（累積）分布関数(Cumulative) distribution function••

𝑃𝑃𝑋𝑋 (𝑥𝑥)は単調非減少≤ ℙ(𝑋𝑋 ∈ 𝑐𝑐, 𝑑𝑑 )𝑃𝑃𝑋𝑋 𝑥𝑥 = ℙ(𝑋𝑋 ≤ 𝑥𝑥)

𝑃𝑃𝑋𝑋 (𝑥𝑥) is monotonically non-decreasing.

lim 𝑃𝑃𝑋𝑋 (𝑥𝑥) = 1𝑥𝑥→∞•

lim 𝑃𝑃𝑋𝑋 (𝑥𝑥) = 0𝑥𝑥→−∞5

連続確率変数の定義(Definition of continuous random variables)
確率密度関数(Probability density function)
以下を満たす関数𝑝𝑝𝑋𝑋 を連続確率変数𝑋𝑋の確率密度関数と呼ぶ。

A function 𝑝𝑝𝑋𝑋 satisfying the following is called the probability density function of a continuousrandom variable 𝑋𝑋.
𝑥𝑥
𝑃𝑃𝑋𝑋 (𝑥𝑥) = � 𝑝𝑝𝑋𝑋 𝑥𝑥 ′ 𝑑𝑑𝑑𝑑𝑑−∞

意味(Meaning)

連続確率変数𝑋𝑋が、区間[𝑎𝑎, 𝑏𝑏]に入る確率は以下の積分で与えられる。

A continuous random variable 𝑋𝑋 is included in the interval [𝑎𝑎, 𝑏𝑏] with probability given in the following integral:ℙ 𝑋𝑋 ∈ 𝑎𝑎, 𝑏𝑏𝑏𝑏= ℙ 𝑋𝑋 ≤ 𝑏𝑏 − ℙ 𝑋𝑋 ≤ 𝑎𝑎 = � 𝑝𝑝𝑋𝑋 𝑥𝑥 𝑑𝑑𝑑𝑑𝑎𝑎

連続確率変数𝑋𝑋は、次ページにまとめる性質を満たす確率密度関数を与えることで定義される。
A continuous random variable 𝑋𝑋 is defined via a probability density functionthat satisfies properties presented in the next page.
6

確率密度関数の性質(Properties of probability density functions)
非負性(Non-negativity)∵

𝑝𝑝𝑋𝑋 𝑥𝑥 ≥ 0

微分積分学の基本定理から、(From the fundamental theorem of calculus)
𝑃𝑃𝑋𝑋′ 𝑥𝑥 = 𝑝𝑝𝑋𝑋 𝑥𝑥 ≥ 0

不等式は分布関数の単調非減少性から従う。
The inequality is because the distribution function is monotonically non-decreasing.

正規化(Normalization)∞∵� 𝑝𝑝𝑋𝑋 𝑥𝑥 𝑑𝑑𝑑𝑑 = 1−∞

性質 lim 𝑃𝑃𝑋𝑋 𝑥𝑥 = 1から、(From the property 𝑥𝑥→∞lim 𝑃𝑃𝑋𝑋 𝑥𝑥 = 1)𝑥𝑥→∞∞

1 = lim 𝑃𝑃𝑋𝑋 (𝑥𝑥) = � 𝑝𝑝𝑋𝑋 𝑥𝑥 𝑑𝑑𝑑𝑑
𝑥𝑥→∞

−∞

7

連続確率変数の期待値(Expectation of a continuous random variable)
決定論的な関数𝑓𝑓と連続確率変数𝑋𝑋に対して、期待値𝔼𝔼[𝑓𝑓(𝑋𝑋)]は以下で定義される。
For a deterministic function 𝑓𝑓 and a continuous random variable 𝑋𝑋, the expectation 𝔼𝔼[𝑓𝑓(𝑋𝑋)] is defined as∞

𝔼𝔼 𝑓𝑓 𝑋𝑋= � 𝑓𝑓 𝑥𝑥 𝑝𝑝𝑋𝑋 𝑥𝑥 𝑑𝑑𝑑𝑑

定義の意義(Significance of the definition)−∞

𝑓𝑓 𝑥𝑥 = 𝑥𝑥として、定義は離散の場合の自然な拡張になっていることを確認する。
Let 𝑓𝑓 𝑥𝑥 = 𝑥𝑥 and confirm that the definition is a natural generalization of the discrete case.

区間(−∞, ∞)を𝑁𝑁個の区間に分割し、𝑋𝑋が(𝑥𝑥𝑛𝑛 , 𝑥𝑥𝑛𝑛+1 ]に入る確率を𝑝𝑝𝑛𝑛 とする。

Decompose (−∞, ∞) into 𝑁𝑁 intervals and let 𝑝𝑝𝑛𝑛 denote the probability with which 𝑋𝑋 is included in 𝑥𝑥𝑛𝑛 , 𝑥𝑥𝑛𝑛+1 .

−∞, ∞ = 𝑥𝑥1 , 𝑥𝑥2 ∪ 𝑥𝑥2 , 𝑥𝑥3 ∪ ⋯ ∪ (𝑥𝑥𝑁𝑁 , 𝑥𝑥𝑁𝑁+1 ),−∞ = 𝑥𝑥1 < 𝑥𝑥2 < ⋯ < 𝑥𝑥𝑁𝑁+1 = ∞,𝑋𝑋の期待値を上下から近似する離散確率変数をそれぞれ𝑋𝑋𝑁𝑁 と𝑋𝑋𝑁𝑁 とする。

Let 𝑋𝑋𝑁𝑁 and 𝑋𝑋𝑁𝑁 denote discrete random variables that approximate
the expectation of 𝑋𝑋 from above and below, respectively.

𝑝𝑝𝑛𝑛 = �𝑥𝑥𝑛𝑛+1𝑥𝑥𝑛𝑛

𝑝𝑝𝑋𝑋 𝑥𝑥 𝑑𝑑𝑑𝑑

ℙ 𝑋𝑋𝑁𝑁 = 𝑥𝑥𝑛𝑛+1 = 𝑝𝑝𝑛𝑛 ,ℙ 𝑋𝑋𝑁𝑁 = 𝑥𝑥𝑛𝑛 = 𝑝𝑝𝑛𝑛 ,𝔼𝔼 𝑋𝑋𝑁𝑁 ≤ 𝔼𝔼 𝑋𝑋𝑁𝑁

8

連続確率変数の期待値(Expectation of a continuous random variable)
すべての𝑛𝑛に対して、𝑥𝑥𝑛𝑛+1 − 𝑥𝑥𝑛𝑛 → 0となる極限𝑁𝑁 → ∞で以下を確認する。
Confirm the following in the limit 𝑁𝑁 → ∞, where 𝑥𝑥𝑛𝑛+1 − 𝑥𝑥𝑛𝑛 → 0 holds for any 𝑛𝑛.

𝑝𝑝𝑛𝑛min =minlim 𝔼𝔼 𝑋𝑋𝑁𝑁 = lim 𝔼𝔼 𝑋𝑋𝑁𝑁 = 𝔼𝔼[𝑋𝑋]𝑁𝑁→∞

𝑥𝑥∈ 𝑥𝑥𝑛𝑛 ,𝑥𝑥𝑛𝑛+1𝑁𝑁→∞

𝑝𝑝𝑋𝑋 𝑥𝑥 とする。(Let 𝑝𝑝𝑛𝑛min = 𝑥𝑥∈ 𝑥𝑥min,𝑥𝑥𝑛𝑛𝑛𝑛+1𝑝𝑝𝑋𝑋 𝑥𝑥 .)𝑥𝑥 ∈ (𝑥𝑥𝑛𝑛 , 𝑥𝑥𝑛𝑛+1 ]に対して𝑝𝑝𝑛𝑛 ≥ 𝑝𝑝𝑛𝑛min (𝑥𝑥𝑛𝑛+1 − 𝑥𝑥𝑛𝑛 )なので、
For 𝑥𝑥 ∈ (𝑥𝑥𝑛𝑛 , 𝑥𝑥𝑛𝑛+1 ], we have 𝑝𝑝𝑛𝑛 ≥ 𝑝𝑝𝑛𝑛min (𝑥𝑥𝑛𝑛+1 − 𝑥𝑥𝑛𝑛 ). Thus,𝑁𝑁

𝑁𝑁

𝔼𝔼 𝑋𝑋𝑁𝑁 = � 𝑥𝑥𝑛𝑛 𝑝𝑝𝑛𝑛 ≥ � 𝑥𝑥𝑛𝑛 𝑝𝑝𝑛𝑛min 𝑥𝑥𝑛𝑛+1 − 𝑥𝑥𝑛𝑛
𝑛𝑛=1𝑛𝑛=1

同様に、 𝑝𝑝𝑛𝑛max =Similarly, let 𝑝𝑝𝑛𝑛max =𝑁𝑁max𝑥𝑥∈ 𝑥𝑥𝑛𝑛 ,𝑥𝑥𝑛𝑛+1max

𝑥𝑥∈ 𝑥𝑥𝑛𝑛 ,𝑥𝑥𝑛𝑛+1𝑝𝑝𝑋𝑋 𝑥𝑥 とすると、

𝑝𝑝𝑋𝑋 𝑥𝑥 . Then,𝑁𝑁∞→ � 𝑥𝑥𝑝𝑝𝑋𝑋 𝑥𝑥 𝑑𝑑𝑑𝑑 = 𝔼𝔼[𝑋𝑋]−∞∞

𝔼𝔼 𝑋𝑋𝑁𝑁 = � 𝑥𝑥𝑛𝑛+1 𝑝𝑝𝑛𝑛 ≤ � 𝑥𝑥𝑛𝑛+1 𝑝𝑝𝑛𝑛max 𝑥𝑥𝑛𝑛+1 − 𝑥𝑥𝑛𝑛 → � 𝑥𝑥𝑝𝑝𝑋𝑋 𝑥𝑥 𝑑𝑑𝑑𝑑 = 𝔼𝔼[𝑋𝑋] ∎𝑛𝑛=1𝑛𝑛=1−∞9

ガウス分布(Gaussian distribution)
連続確率変数𝑋𝑋の確率密度関数𝑝𝑝𝑋𝑋 が以下で与えられるとき、𝑋𝑋はガウス分布に従うと言い、𝑋𝑋 ∼ 𝒩𝒩(𝜇𝜇, 𝜎𝜎 2 )と書く。

A continuous random variable 𝑋𝑋 is said to follow the Gaussian distribution andwritten as 𝑋𝑋 ∼ 𝒩𝒩(𝜇𝜇, 𝜎𝜎 2 ) if the probability density function 𝑝𝑝𝑋𝑋 of 𝑋𝑋 is given by𝑝𝑝𝑋𝑋 𝑥𝑥 =12𝜋𝜋𝜎𝜎 2𝑥𝑥−𝜇𝜇 2−𝑒𝑒 2𝜎𝜎2 ,𝑥𝑥 ∈ (−∞, ∞)ガウス分布は、確率論では正規分布とも呼ばれる。
The Gaussian distribution is also called normal distribution in probability theory.

注意(Remark)
確率密度関数𝑝𝑝𝑋𝑋 は、正規化条件を満たす。(証明省略)

The probability density function satisfies the normalization. (The proof is omitted.)�∞−∞

12𝜋𝜋𝜎𝜎 2𝑥𝑥−𝜇𝜇 2−𝑒𝑒 2𝜎𝜎2 𝑑𝑑𝑑𝑑 = 110

ガウス分布の平均(Mean of the Gaussian distribution)
𝑋𝑋 ∼ 𝒩𝒩(𝜇𝜇, 𝜎𝜎 2 )に対して、(For 𝑋𝑋 ∼ 𝒩𝒩(𝜇𝜇, 𝜎𝜎 2),)
証明(Proof)

𝔼𝔼 𝑋𝑋 = �∞

𝔼𝔼 𝑋𝑋 = 𝜇𝜇−∞𝑥𝑥

12𝜋𝜋𝜎𝜎 2𝑒𝑒−𝑥𝑥−𝜇𝜇 22𝜎𝜎 2 𝑑𝑑𝑑𝑑𝑢𝑢 = 𝑥𝑥 − 𝜇𝜇と変数変換すると、(Under the change of variables 𝑢𝑢 = 𝑥𝑥 − 𝜇𝜇,)𝔼𝔼 𝑋𝑋 = �∞𝑢𝑢−∞∞= 𝜇𝜇 �−∞12𝜋𝜋𝜎𝜎 212𝜋𝜋𝜎𝜎 2𝑒𝑒−∞
𝑢𝑢22𝜎𝜎 2 𝑑𝑑𝑢𝑢 + 𝜇𝜇 �−∞

𝑢𝑢2−𝑒𝑒 2𝜎𝜎2 𝑑𝑑𝑑𝑑 = 𝜇𝜇12𝜋𝜋𝜎𝜎 2𝑒𝑒−𝑢𝑢22𝜎𝜎 2 𝑑𝑑𝑑𝑑

２番目の等号は被積分関数の奇関数性、最後の等号は確率密度関数の正規化条件から従う。
The second equality is because the integrand is an even function. The last follows
from the normalization of the probability density function.
11ガウス分布の分散(Variance of the Gaussian distribution)
𝑋𝑋 ∼ 𝒩𝒩(𝜇𝜇, 𝜎𝜎 2 )に対して、(For 𝑋𝑋 ∼ 𝒩𝒩(𝜇𝜇, 𝜎𝜎 2),)

𝕍𝕍 𝑋𝑋 = 𝔼𝔼 𝑋𝑋 − 𝜇𝜇 2 = 𝜎𝜎 2証明(Proof)

𝕍𝕍 𝑋𝑋 = �∞−∞𝑥𝑥 − 𝜇𝜇 212𝜋𝜋𝜎𝜎 2𝑒𝑒−𝑥𝑥−𝜇𝜇 22𝜎𝜎 2 𝑑𝑑𝑑𝑑

𝑢𝑢 = (𝑥𝑥 − 𝜇𝜇)/𝜎𝜎と変数変換し、部分積分を行うと、After the change of variables 𝑢𝑢 = (𝑥𝑥 − 𝜇𝜇)/𝜎𝜎, performing the integration by parts yields

𝕍𝕍 𝑋𝑋 = 𝜎𝜎 2 �∞−∞+𝜎𝜎 2 �𝑢𝑢2∞−∞

112𝜋𝜋2𝜋𝜋𝑒𝑒

𝑢𝑢2−𝑒𝑒 2 𝑑𝑑𝑑𝑑 = 𝜎𝜎 2−−𝑢𝑢∞
𝑢𝑢22 𝑑𝑑𝑑𝑑 = 𝜎𝜎 2 �−∞

112𝜋𝜋2𝜋𝜋𝑒𝑒

𝑢𝑢2−𝑒𝑒 2−∞−∞𝑢𝑢22 𝑑𝑑𝑑𝑑 = 𝜎𝜎 2

最後の等号で、確率密度関数の正規化条件を用いた。
In the last equality, we have used the normalization of the probability density function.
12𝑝𝑝𝑋𝑋 (𝑥𝑥)ガウス分布の性質(Properties of the Gaussian distribution)𝜇𝜇 − 𝜎𝜎𝜇𝜇𝑥𝑥

𝜇𝜇 + 𝜎𝜎13

平均の計算 (Computation of mean)
確率密度関数が以下を満たす一様確率変数𝑋𝑋の平均を計算せよ。
Compute the mean of a uniform random variable 𝑋𝑋 of which the probability density function satisfies

𝑝𝑝𝑋𝑋 𝑥𝑥 = �解答(Answer)∞𝑏𝑏 − 𝑎𝑎 −10𝑏𝑏for 𝑥𝑥 ∈ [𝑎𝑎, 𝑏𝑏]
otherwise𝑥𝑥𝑥𝑥 2𝑑𝑑𝑑𝑑 =𝔼𝔼 𝑋𝑋 = � 𝑥𝑥𝑝𝑝𝑋𝑋 𝑥𝑥 𝑑𝑑𝑑𝑑 = �𝑏𝑏−
𝑎𝑎2 𝑏𝑏 − 𝑎𝑎∞
𝑎𝑎𝑏𝑏𝑏𝑏 2 − 𝑎𝑎2
𝑎𝑎 + 𝑏𝑏==22(𝑏𝑏−𝑎𝑎)
𝑎𝑎14

演習(Exercise)
指数確率変数𝑋𝑋の平均を計算せよ。(Compute the mean of an exponential random variable 𝑋𝑋.)𝑒𝑒 −𝑥𝑥 for 𝑥𝑥 ≥ 0
𝑝𝑝𝑋𝑋 𝑥𝑥 = �0 otherwise

ラプラス確率変数𝑋𝑋の平均を計算せよ。(Compute the mean of a Laplace random variable 𝑋𝑋.)
1 −|𝑥𝑥|𝑝𝑝𝑋𝑋 𝑥𝑥 = 𝑒𝑒for 𝑥𝑥 ∈ (−∞, ∞)215