通信工学概論
Introduction to Communication Engineering

第８回講義資料
Lecture notes 8

通信路容量Channel Capacity

豊橋技術科学大学
Toyohashi University of Technology

電気・電子情報工学系
Department of Electrical and Electronic Information Engineering

准教授 竹内啓悟
Associate Professor

Keigo Takeuchi1加法的白色ガウス雑音通信路 (Additive white Gaussian noise channel)
第１回講義資料p.11でまとめた通信システムに、第６回講義資料で議論した白色ガウス雑音の影響を考慮した通信路モデルを考える。
In the communication system summarized in Lecture notes 1, p. 11, consider a channel model thattakes into account the influence of white Gaussian noise, discussed in Lecture notes 6.

𝑌𝑌𝑛𝑛 = 𝑥𝑥b

𝑛𝑛= 𝑋𝑋𝑛𝑛 + 𝑊𝑊𝑛𝑛 ,𝑊𝑊𝑛𝑛 = 0, … , 𝑁𝑁 − 1

加法的白色ガウス雑音(Additive white Gaussian noise){𝑊𝑊𝑛𝑛 }は独立で、各𝑊𝑊𝑛𝑛 は平均0分散𝜎𝜎 2 のガウス分布に従う。

{𝑊𝑊𝑛𝑛 } are independent and each 𝑊𝑊𝑛𝑛 follows the Gaussian distribution with zero mean and variance 𝜎𝜎 2 .

送信信号(Transmitted signals){𝑋𝑋𝑛𝑛 }は雑音と独立で、以下の平均電力制約を満たす。

{𝑋𝑋𝑛𝑛 } are independent of the noise and satisfy the following average power constraint.
𝑁𝑁−11
� 𝔼𝔼 𝑋𝑋𝑛𝑛 2 ≤ 𝑃𝑃𝑁𝑁
𝑛𝑛=02

独立なガウス確率変数の和 (Sum of independent Gaussian random variables)
定理８.１(Theorem 8.1)
独立なガウス確率変数𝑋𝑋1 ∼ 𝒩𝒩(𝜇𝜇1 , 𝜎𝜎12 )と𝑋𝑋2 ∼ 𝒩𝒩(𝜇𝜇2 , 𝜎𝜎22 )に対して、
For independent Gaussian random variables 𝑋𝑋1 ∼ 𝒩𝒩(𝜇𝜇1 , 𝜎𝜎12 ) and 𝑋𝑋2 ∼ 𝒩𝒩(𝜇𝜇2 , 𝜎𝜎22 ),証明(Proof)

𝑌𝑌 = 𝑋𝑋1 + 𝑋𝑋2 ∼ 𝒩𝒩(𝜇𝜇1 + 𝜇𝜇2 , 𝜎𝜎12 + 𝜎𝜎22 )ガウス確率変数の和がガウス分布に従うことの証明は省略する。よって、𝑌𝑌の平均と分散がそれぞれ𝜇𝜇1 + 𝜇𝜇2 と𝜎𝜎12 + 𝜎𝜎22 であることを示せばよい。
We omit proving that the sum of Gaussian random variables is also Gaussian. Thus, it is sufficient
to prove that the mean and variance of 𝑌𝑌 is 𝜇𝜇1 + 𝜇𝜇2 and 𝜎𝜎12 + 𝜎𝜎22 , respectively.

期待値の線形性を使うと、(Using the linearity of expectation yields)
𝔼𝔼 𝑌𝑌 = 𝔼𝔼 𝑋𝑋1 + 𝔼𝔼 𝑋𝑋2 = 𝜇𝜇1 + 𝜇𝜇2

分散については、次ページの補題で証明する。
See a lemma in the next page for the variance.

∎3

独立な確率変数の和の分散 (Variance of the sum of independent random variables)
補題８.１
Lemma 8.1

証明(Proof)

独立な確率変数𝑋𝑋1 と𝑋𝑋2 に対して、
For independent random variables 𝑋𝑋1 and 𝑋𝑋2 ,𝕍𝕍 𝑋𝑋1 + 𝑋𝑋2 = 𝕍𝕍 𝑋𝑋1 + 𝕍𝕍[𝑋𝑋2 ]𝜇𝜇1 = 𝔼𝔼[𝑋𝑋1 ]と𝜇𝜇2 = 𝔼𝔼[𝑋𝑋2 ]とおく。(Let 𝜇𝜇1 = 𝔼𝔼[𝑋𝑋1] and 𝜇𝜇2 = 𝔼𝔼[𝑋𝑋2].)

𝕍𝕍 𝑋𝑋1 + 𝑋𝑋2 = 𝔼𝔼 𝑋𝑋1 + 𝑋𝑋2 − 𝜇𝜇1 + 𝜇𝜇22= 𝔼𝔼[ 𝑋𝑋1 − 𝜇𝜇1 + (𝑋𝑋2 − 𝜇𝜇2 ) 2 ]= 𝔼𝔼 𝑋𝑋1 − 𝜇𝜇1 2 + 2𝔼𝔼 𝑋𝑋1 − 𝜇𝜇1 𝑋𝑋2 − 𝜇𝜇2= 𝕍𝕍 𝑋𝑋1 + 2𝔼𝔼 𝑋𝑋1 − 𝜇𝜇1 𝑋𝑋2 − 𝜇𝜇2+ 𝕍𝕍[𝑋𝑋2 ]+ 𝔼𝔼[ 𝑋𝑋2 − 𝜇𝜇2 2 ]2番目の等号は、期待値の線形性から従う。

The second equality follows from the linearity of expectation.

𝑓𝑓 𝑥𝑥 = 𝑥𝑥 − 𝜇𝜇1 と𝑔𝑔 𝑥𝑥 = 𝑥𝑥 − 𝜇𝜇2 とおき、𝑋𝑋1 と𝑋𝑋2 の独立性を使うと、

Let 𝑓𝑓 𝑥𝑥 = 𝑥𝑥 − 𝜇𝜇1 and 𝑔𝑔 𝑥𝑥 = 𝑥𝑥 − 𝜇𝜇2 . Using the independence between 𝑋𝑋1 and 𝑋𝑋2 yields

𝔼𝔼 𝑋𝑋1 − 𝜇𝜇1 𝑋𝑋2 − 𝜇𝜇2= 𝔼𝔼 𝑓𝑓 𝑋𝑋1 𝑔𝑔 𝑋𝑋2= 𝔼𝔼 𝑓𝑓 𝑋𝑋1 𝔼𝔼 𝑔𝑔 𝑋𝑋2= (𝔼𝔼 𝑋𝑋1 − 𝜇𝜇1 )(𝔼𝔼 𝑋𝑋2 − 𝜇𝜇2 ) = 𝜇𝜇1 − 𝜇𝜇1 𝜇𝜇2 − 𝜇𝜇2 = 0∎

4

定理８.１の別証(Another proof of Theorem 8.1)
𝑌𝑌の確率密度関数の定義を使う。(We use the definition of the probability density function of 𝑌𝑌.)
∞𝑝𝑝𝑌𝑌 𝑦𝑦 = � 𝑝𝑝𝑌𝑌|𝑋𝑋1 𝑦𝑦 𝑥𝑥1 𝑝𝑝𝑋𝑋1 𝑥𝑥1 𝑑𝑑𝑥𝑥1−∞

まず、𝑋𝑋1 が与えられたときの𝑌𝑌の条件付き分布関数を考える。
We first consider the conditional distribution function of 𝑌𝑌 given 𝑋𝑋1 .

ℙ 𝑌𝑌 ≤ 𝑦𝑦 | 𝑋𝑋1 = 𝑥𝑥1 = ℙ 𝑋𝑋1 + 𝑋𝑋2 ≤ 𝑦𝑦 𝑋𝑋1 = 𝑥𝑥1 ) = ℙ 𝑋𝑋2 ≤ 𝑦𝑦 − 𝑥𝑥1 𝑋𝑋1 = 𝑥𝑥1 )= ℙ(𝑋𝑋2 ≤ 𝑦𝑦 − 𝑥𝑥1 ) = �𝑦𝑦−𝑥𝑥1−∞12𝜋𝜋𝜎𝜎22𝑒𝑒−(𝑢𝑢−𝜇𝜇2 )2𝑦𝑦22𝜎𝜎2 𝑑𝑑𝑑𝑑 = �−∞12𝜋𝜋𝜎𝜎22𝑒𝑒−𝑥𝑥2 −𝜇𝜇2 −𝑥𝑥1 22𝜎𝜎22𝑑𝑑𝑥𝑥2

３番目の等号で𝑋𝑋1 と𝑋𝑋2 の独立性、最後の等号で変数変換𝑥𝑥2 = 𝑢𝑢 + 𝑥𝑥1 を用いた。

We have used the independence between 𝑋𝑋1 and 𝑋𝑋2 in the third equality, and the change of variables 𝑥𝑥2 =𝑢𝑢 + 𝑥𝑥1 in the last equality.

両辺を𝑦𝑦に関して微分すると、(Differentiating both sides with respect to 𝑦𝑦, we have)
𝑝𝑝𝑌𝑌|𝑋𝑋1 𝑦𝑦 𝑥𝑥1 =12𝜋𝜋𝜎𝜎22𝑒𝑒−𝑦𝑦−𝜇𝜇2 −𝑥𝑥1 22𝜎𝜎225

定理８.１の別証(Another proof of Theorem 8.1)
𝑝𝑝𝑌𝑌|𝑋𝑋1 𝑦𝑦 𝑥𝑥1 𝑝𝑝𝑋𝑋1 𝑥𝑥1 =12𝜋𝜋𝜎𝜎2212𝜋𝜋𝜎𝜎12𝑒𝑒−𝑦𝑦−𝜇𝜇2 −𝑥𝑥1 2 𝑥𝑥1 −𝜇𝜇1 2−2𝜎𝜎222𝜎𝜎12

積分を実行するために、指数部を𝑥𝑥1 に関して平方完成する。

To compute the integration, we complete a square in the exponent with respect to 𝑥𝑥1 .

1 11𝑦𝑦 − 𝜇𝜇2 𝜇𝜇12=−+ 2 𝑥𝑥1 ++ 2222 𝜎𝜎1 𝜎𝜎2Exponent
𝜎𝜎2𝜎𝜎1
指数部𝑦𝑦 − 𝜇𝜇2 2𝜇𝜇12𝑥𝑥1 −− 222𝜎𝜎22𝜎𝜎11 𝜎𝜎12 + 𝜎𝜎22𝜎𝜎12 𝑦𝑦 − 𝜇𝜇2 + 𝜎𝜎22 𝜇𝜇1=−𝑥𝑥1 −2 𝜎𝜎12 𝜎𝜎22𝜎𝜎12 + 𝜎𝜎222𝑦𝑦 − 𝜇𝜇1 − 𝜇𝜇2 2−2(𝜎𝜎12 + 𝜎𝜎22 )確率密度関数の正規化条件を使って𝑥𝑥1 に関する積分を行うと、Computing the integration with respect to 𝑥𝑥1 via the normalization of the probability density function, we have

𝑝𝑝𝑌𝑌 𝑦𝑦 =12𝜋𝜋𝜎𝜎2212𝜋𝜋𝜎𝜎1221 −𝜇𝜇22𝜋𝜋𝜎𝜎12 𝜎𝜎22 − 𝑦𝑦−𝜇𝜇22(𝜎𝜎1 +𝜎𝜎22 ) =𝑒𝑒
𝜎𝜎12 + 𝜎𝜎2212𝜋𝜋(𝜎𝜎12 + 𝜎𝜎22 )𝑒𝑒−𝑦𝑦−𝜇𝜇1 −𝜇𝜇2 22(𝜎𝜎12 +𝜎𝜎22 )∎6

誤り確率(Error probabilty)
𝑁𝑁 = 1として、BPSK信号𝑋𝑋0 = ± 𝑃𝑃の伝送を考える。𝑌𝑌0 > 0のときに𝑋𝑋0 = 𝑃𝑃が、𝑌𝑌0 ≤ 0のときに𝑋𝑋0 = − 𝑃𝑃が伝送されたものと判定することにする。この復調方式のビット誤り率を計算せよ。

For 𝑁𝑁 = 1, consider transmission of the BPSK signal 𝑋𝑋0 = ± 𝑃𝑃 and a method in which
𝑋𝑋0 = 𝑃𝑃 is detected if 𝑌𝑌0 > 0. Otherwise, 𝑋𝑋0 = − 𝑃𝑃 is detected. Compute the bit error
rate (BER) of this demodulation method.

𝑋𝑋0 = − 𝑃𝑃が伝送されたときに、誤って判定する確率は以下で与えられる。
When 𝑋𝑋0 = − 𝑃𝑃 has been sent, the error probability of detection is given by∞ℙ 𝑌𝑌0 > 0 𝑋𝑋0 = − 𝑃𝑃 = � 𝑝𝑝𝑌𝑌0 |𝑋𝑋0 𝑦𝑦 − 𝑃𝑃 𝑑𝑑𝑑𝑑 = �0∞012𝜋𝜋𝜎𝜎 2𝑦𝑦+ 𝑃𝑃−𝑒𝑒 2𝜎𝜎2

最後は、定理８.１の別証を参照(See another proof of Theorem 8.1 for the last.)

2𝑑𝑑𝑑𝑑

𝑢𝑢 = (𝑦𝑦 + 𝑃𝑃)/𝜎𝜎と変数変換すると、(Under the change of variables 𝑢𝑢 = (𝑦𝑦 + 𝑃𝑃)/𝜎𝜎,)ℙ 𝑌𝑌0 > 0 𝑋𝑋0 = − 𝑃𝑃 = �∞𝑃𝑃/𝜎𝜎12𝜋𝜋𝑒𝑒−𝑢𝑢22 𝑑𝑑𝑑𝑑 ≡ 𝑄𝑄

𝑃𝑃𝜎𝜎7

誤り確率(Error probabilty)
同様に、𝑋𝑋0 = 𝑃𝑃が伝送されたときに、誤る確率は以下で与えられる。
Similarly, when 𝑋𝑋0 = 𝑃𝑃 has been sent, the error probability is given byℙ 𝑌𝑌0 ≤ 0 𝑋𝑋0 = 𝑃𝑃 = �− 𝑃𝑃/𝜎𝜎−∞12𝜋𝜋𝑒𝑒−∞𝑢𝑢22 𝑑𝑑𝑑𝑑 = �𝑃𝑃/𝜎𝜎12𝜋𝜋𝑒𝑒−𝑢𝑢22 𝑑𝑑𝑑𝑑 = 𝑄𝑄

二番目の等号は、ガウス分布の確率密度関数の対称性から従う。

𝑃𝑃𝜎𝜎The second equality follows from the symmetry of the Gaussian probability density function.

よって、ビット誤り率BERは以下となる。(Thus, the bit error rate BER is given by)

= 𝑄𝑄

SNR ,

SNR = 𝑃𝑃/𝜎𝜎 2有限の信号対雑音比SNRでは、BERは0にならない。
For finite signal-to-noise ratio SNR,
BER is strictly positive.

BER

BER = ℙ 𝑋𝑋0 = − 𝑃𝑃 ℙ 𝑌𝑌0 > 0 𝑋𝑋0 = − 𝑃𝑃 + ℙ 𝑋𝑋0 = 𝑃𝑃 ℙ 𝑌𝑌0 ≤ 0 𝑋𝑋0 = 𝑃𝑃

10 log10 SNR

8繰り返し符号(Repetition coding)
BPSK信号𝑋𝑋0 を𝑁𝑁回繰り返し伝送する。

Consider 𝑁𝑁 repetitions of transmission of the BPSK signal 𝑋𝑋0 .

復調(Demodulation)

𝑋𝑋𝑛𝑛 = 𝑋𝑋0 for 𝑛𝑛 = 0, … , 𝑁𝑁 − 1

復調問題を符号化なしの場合に帰着させる。
Reduce the demodulation problem to the uncoded case.

𝑁𝑁−1

𝑍𝑍 = � 𝑌𝑌𝑛𝑛 = 𝑁𝑁𝑋𝑋0 + 𝑊𝑊 ′ ,𝑛𝑛=0

𝑁𝑁−1𝑊𝑊 ′ = � 𝑊𝑊𝑛𝑛
𝑛𝑛=0′

信号𝑁𝑁𝑋𝑋0 は±𝑁𝑁 𝑃𝑃を取る。𝑊𝑊𝑊は定理８.１から𝑊𝑊 ∼ 𝒩𝒩(0, 𝑁𝑁𝜎𝜎 2 )である。
The signal 𝑁𝑁𝑋𝑋0 takes ±𝑁𝑁 𝑃𝑃. 𝑊𝑊 ′ ∼ 𝒩𝒩(0, 𝑁𝑁𝜎𝜎 2 ) holds from Theorem 8.1.

ビット誤り率Bit error rate

BER = 𝑄𝑄

𝑁𝑁 2 𝑃𝑃= 𝑄𝑄( 𝑁𝑁SNR)
2𝑁𝑁𝜎𝜎

符号長無限の極限𝑁𝑁 → ∞で、ビット誤り率はゼロに収束する。
The bit error rate converges to zero as the code length 𝑁𝑁 tends to infinity.

9伝送レート(Transmission rate)
伝送レート(Transmission rate)
伝送された情報ビット数 (Transmitted bits of information)[bits/s/Hz]
𝑅𝑅 =𝑁𝑁

符号化なしの場合(Uncoded case)

１時点当たり１ビットの情報を伝送する。
One bit of information per channel use is sent.

繰り返し符号(Repetition coding)

𝑅𝑅 = 1 bits/s/Hz

１時点当たり1/𝑁𝑁ビットの誤りなしの情報伝送ができる。 𝑅𝑅 = 1 → 0
𝑁𝑁
1/𝑁𝑁 bits of information per channel use can be sent without errors.
有限のレート𝑅𝑅 > 0で、誤りなしの伝送は実現可能か?
Is it possible to realize error-free transmission for a finite rate 𝑅𝑅 > 0?

10

相互情報量(Mutual information)
条件付きエントロピー(Conditional entropy)
𝑌𝑌 が与えられたときの離散確率変数 𝑋𝑋 の条件付きエントロピーを以下で定義する。
The conditional entropy of a discrete random variable 𝑋𝑋 given 𝑌𝑌 is given by

𝐻𝐻 𝑋𝑋 𝑌𝑌 = 𝔼𝔼 𝐹𝐹 𝑌𝑌 ,𝐹𝐹 𝑦𝑦 = 𝐻𝐻 𝑋𝑋 𝑌𝑌 = 𝑦𝑦 = − � ℙ 𝑋𝑋 = 𝑥𝑥 𝑌𝑌 = 𝑦𝑦 log 2 ℙ(𝑋𝑋 = 𝑥𝑥|𝑌𝑌 = 𝑦𝑦)𝑥𝑥

意味(Meaning)

条件付きエントロピーは、𝑌𝑌を観測したときの𝑋𝑋に関する不確かさを表す。
The conditional entropy means the amount of uncertainty on 𝑋𝑋 when 𝑌𝑌 has been observed.

相互情報量(Mutual information)

𝐼𝐼 𝑋𝑋; 𝑌𝑌 = 𝐻𝐻 𝑋𝑋 − 𝐻𝐻(𝑋𝑋|𝑌𝑌)

𝑌𝑌を観測したときに𝑋𝑋に関して得られる情報量

The newly obtained amount of information on 𝑋𝑋 when 𝑌𝑌 has been observed.

11連続の場合 (The continuous case)
連続確率変数𝑋𝑋に対して、(For a continuous random variable 𝑋𝑋,)
微分エントロピー(Differential entropy)∞ℎ 𝑋𝑋 = − � 𝑝𝑝𝑋𝑋 𝑥𝑥 log 2 𝑝𝑝𝑋𝑋 𝑥𝑥 𝑑𝑑𝑑𝑑 ,−∞0 log 2 0 = 0

微分エントロピーにエントロピーのような操作的な意味はない。
The differential entropy does not have operational meaning such as entropy.

条件付き微分エントロピー(Conditional differential entropy)ℎ 𝑋𝑋 𝑌𝑌 = 𝔼𝔼 𝑓𝑓 𝑌𝑌 ,∞𝑓𝑓 𝑦𝑦 = ℎ 𝑋𝑋 𝑌𝑌 = 𝑦𝑦 = − � 𝑝𝑝𝑋𝑋|𝑌𝑌 𝑥𝑥 𝑦𝑦 log 2 𝑝𝑝𝑋𝑋|𝑌𝑌 (𝑥𝑥|𝑦𝑦) 𝑑𝑑𝑑𝑑

相互情報量(Mutual information)−∞

𝐼𝐼 𝑋𝑋; 𝑌𝑌 = ℎ 𝑋𝑋 − ℎ(𝑋𝑋|𝑌𝑌)

離散の場合と同じ意味(The same meaning as the discrete case)12微分エントロピーの計算(Computation of differential entropy)
例８.１(Example 8.1)
連続確率変数 𝑋𝑋 は、区間 [0, 𝑎𝑎]上 の一様分布に従うとする。
𝑋𝑋の微分エントロピーを計算せよ。
A continuous random variable 𝑋𝑋 is uniformly distributed on the interval [0, 𝑎𝑎].
Compute the differential entropy of 𝑋𝑋.

定義から、𝑋𝑋の確率密度関数は以下で与えられる。
By definition, the probability density function of 𝑋𝑋 is given by−1𝑎𝑎
𝑝𝑝𝑋𝑋 𝑥𝑥 = �0

よって、(Thus,)

for 𝑥𝑥 ∈ [0, 𝑎𝑎]
otherwise𝑎𝑎

11log 2 𝑑𝑑𝑑𝑑 = log 2 𝑎𝑎𝑎𝑎
0 𝑎𝑎ℎ 𝑋𝑋 = − �𝑎𝑎 < 1のとき、微分エントロピーℎ(𝑋𝑋)は負になる。
For 𝑎𝑎 < 1, the differential entropy ℎ(𝑋𝑋) is negative.

13

通信路符号化定理(Channel coding theorem)
符号長無限大の極限𝑁𝑁 → ∞で、誤りなしの伝送を実現する符号化方法が存在するための必要十分条件は、伝送レートが 𝑅𝑅 < 𝐶𝐶 を満たすことである。

There exists some coding method such that error-free transmission is possible as the code length 𝑁𝑁
tends to infinity if and only if the transmission rate satisfies 𝑅𝑅 < 𝐶𝐶.

通信路容量(Channel capacity)
𝐶𝐶 = 𝐼𝐼 𝑋𝑋0 ; 𝑌𝑌0

信号系列 𝑋𝑋𝑛𝑛 𝑁𝑁−1
𝑛𝑛=0 は独立で、各信号は平均0分散𝑃𝑃 のガウス分布に従う。
The signal sequence 𝑋𝑋𝑛𝑛 𝑁𝑁−1
𝑛𝑛=0 are independent. Each signal follows the Gaussian distribution withzero mean and variance 𝑃𝑃.

証明は情報理論の講義を参照(Learn Information Theory for the proof.)

注意(Remark)
デジタル変調を行っている限り、通信路容量は達成できない。
Digital modulation can never achieve the channel capacity.
14通信路容量の計算(Computation of the channel capacity)
補題８.２(Lemma 8.2)
𝑋𝑋 ∼ 𝒩𝒩(𝜇𝜇, 𝜎𝜎 2 )に対して、(For 𝑋𝑋 ∼ 𝒩𝒩(0, 𝜎𝜎 2),)
1ℎ 𝑋𝑋 = log 2 (2𝜋𝜋𝜋𝜋𝜎𝜎 2 )2証明(Proof)
第６回講義資料から、(From Lecture nodes 6,)
𝑥𝑥 − 𝜇𝜇 21− log 2 𝑝𝑝𝑋𝑋 𝑥𝑥 =log 2 𝑒𝑒 + log 2 (2𝜋𝜋𝜎𝜎 2 )222𝜎𝜎微分エントロピーの定義を使うと、(Using the definition of differential entropy yields)∞ℎ 𝑋𝑋 = − � 𝑝𝑝𝑋𝑋 𝑥𝑥 log 2 𝑝𝑝𝑋𝑋 𝑥𝑥 𝑑𝑑𝑑𝑑 = −𝔼𝔼 log 2 𝑝𝑝𝑋𝑋 𝑋𝑋−∞𝔼𝔼[ 𝑋𝑋 − 𝜇𝜇 2 ]1122loglog=log𝑒𝑒+(2𝜋𝜋𝜎𝜎)=(2𝜋𝜋𝜋𝜋𝜎𝜎)22222𝜎𝜎22∵ 𝔼𝔼 𝑋𝑋 − 𝜇𝜇 2 = 𝜎𝜎 2∎15通信路容量の計算(Computation of the channel capacity)
補題８.３(Lemma 8.3)
連続確率変数𝑋𝑋と𝑌𝑌に対して、(For continuous random variables 𝑋𝑋 and 𝑌𝑌,)
証明(Proof)

𝐼𝐼 𝑋𝑋; 𝑌𝑌 = ℎ 𝑋𝑋 − ℎ 𝑋𝑋 𝑌𝑌 = ℎ 𝑌𝑌 − ℎ(𝑌𝑌|𝑋𝑋)

同時確率密度関数の定義から、(From the definition of joint probability density function,)
𝑝𝑝𝑋𝑋|𝑌𝑌 𝑋𝑋 𝑌𝑌
𝑝𝑝𝑌𝑌|𝑋𝑋 𝑌𝑌 𝑋𝑋
𝑝𝑝𝑋𝑋,𝑌𝑌 𝑋𝑋, 𝑌𝑌==𝑝𝑝𝑋𝑋 (𝑋𝑋)𝑝𝑝𝑌𝑌 (𝑌𝑌)𝑝𝑝𝑋𝑋 𝑋𝑋 𝑝𝑝𝑌𝑌 (𝑌𝑌)𝑝𝑝𝑋𝑋,𝑌𝑌 𝑋𝑋, 𝑌𝑌= − log 2 𝑝𝑝𝑋𝑋 𝑋𝑋 + log 2 𝑝𝑝𝑋𝑋|𝑌𝑌 𝑋𝑋 𝑌𝑌 = − log 2 𝑝𝑝𝑌𝑌 𝑌𝑌 + log 2 𝑝𝑝𝑌𝑌|𝑋𝑋 (𝑌𝑌|𝑋𝑋)log 2𝑝𝑝𝑋𝑋 𝑋𝑋 𝑝𝑝𝑌𝑌 (𝑌𝑌)
中辺と右辺の期待値を取ると、(Taking the expectation of the middle and right-hand sides yields)ℎ 𝑋𝑋 − ℎ 𝑋𝑋 𝑌𝑌 = ℎ 𝑌𝑌 − ℎ(𝑌𝑌|𝑋𝑋)∎16

通信路容量の計算(Computation of the channel capacity)
通信路容量
Channel capacity

𝐶𝐶 =1log 2 (1 + SNR) bits/s/Hz ,2SNR =𝑃𝑃𝜎𝜎 2

証明 定理８.１の別証から、(From another proof of Theorem 8.1,)
𝑦𝑦−𝑥𝑥 2Proof
1−𝑝𝑝𝑌𝑌0 |𝑋𝑋0 𝑦𝑦 𝑥𝑥 =𝑒𝑒 2𝜎𝜎22𝜋𝜋𝜎𝜎 2
よって、補題８.２を使って、ℎ 𝑌𝑌0 𝑋𝑋0 = 2−1 log 2 (2𝜋𝜋𝜋𝜋𝜎𝜎 2 )を得る。
Thus, we use Lemma 8.2 to obtain ℎ 𝑌𝑌0 𝑋𝑋0 = 2−1 log 2 (2𝜋𝜋𝜋𝜋𝜎𝜎 2 ).

さらに、定理８.1から、𝑌𝑌0 ∼ 𝒩𝒩(0, 𝑃𝑃 + 𝜎𝜎 2 )である。したがって、
Furthermore, Theorem 8.1 implies 𝑌𝑌0 ∼ 𝒩𝒩(0, 𝑃𝑃 + 𝜎𝜎 2 ). Therefore,

1ℎ 𝑌𝑌0 = log 2 {2𝜋𝜋𝜋𝜋 𝑃𝑃 + 𝜎𝜎 2 }2

補題８.３から、𝐶𝐶 = 𝐼𝐼 𝑋𝑋0 ; 𝑌𝑌0 = ℎ 𝑌𝑌0 − ℎ(𝑌𝑌0 |𝑋𝑋0 )を評価すると、
From Lemma 8.3, we evaluate 𝐶𝐶 = 𝐼𝐼 𝑋𝑋0 ; 𝑌𝑌0 = ℎ 𝑌𝑌0 − ℎ(𝑌𝑌0 |𝑋𝑋0 ),111𝑃𝑃22𝐶𝐶 = log 2 {2𝜋𝜋𝜋𝜋 𝑃𝑃 + 𝜎𝜎 } − log 2 2𝜋𝜋𝜋𝜋𝜎𝜎 = log 2 1 + 2222𝜎𝜎∎

17Mutual information 𝐼𝐼(𝑋𝑋0 ; 𝑌𝑌0 ) [bits/s/Hz]

デジタル変調の比較(Comparison between digital modulation)

Capacity

23 PAM
22 PAMBPSK

SNR [dB] = 10 log10 SNR

18

演習(Exercise)
連続確率変数𝑋𝑋の確率密度関数は、以下で与えられるものとする。
𝑋𝑋の微分エントロピーを計算せよ。
The probability density function of a continuous random variable 𝑋𝑋 is given as follows.
Compute the differential entropy of 𝑋𝑋.

𝑒𝑒 −𝑥𝑥 for 𝑥𝑥 ≥ 0
𝑝𝑝𝑋𝑋 𝑥𝑥 = �0 otherwise

以下の加法的ラプラス雑音通信路を通じて、BPSK信号𝑋𝑋 = ± 𝑃𝑃を伝送する。𝑌𝑌 > 0のときに𝑋𝑋 = 𝑃𝑃が、𝑌𝑌 ≤ 0のときに𝑋𝑋 = − 𝑃𝑃が伝送されたものと判定する。この復調方式のビット誤り率を計算せよ。

Consider transmission of the BPSK signal 𝑋𝑋 = ± 𝑃𝑃 over the following additive Laplacenoise channel. 𝑋𝑋 = 𝑃𝑃 is detected if 𝑌𝑌 > 0. Otherwise, 𝑋𝑋 = − 𝑃𝑃 is detected. Computethe bit error rate of this demodulation method.

𝑌𝑌 = 𝑋𝑋 + 𝐿𝐿

ラプラス雑音𝐿𝐿の確率密度関数(Probability density function of the Laplace noise 𝐿𝐿)
𝜆𝜆 −𝜆𝜆|𝑙𝑙|𝑝𝑝𝐿𝐿 𝑙𝑙 = 𝑒𝑒,2𝑙𝑙 ∈ −∞, ∞ ,𝜆𝜆 > 019