通信路容量
ある長さの時間を任意に定め、 X をその時間に送信される信号、Y を同じ時間に通信路を介して受信される信号をそれぞれあらわす確率変数とする。通信路のノイズの性質などをすべてまとめて、X が与えられたときの Y の条件付き確率分布関数
p Y | X ( y | x ) {\displaystyle p_{Y|X}(y|x)}
によって通信路の入出力特性が完全に記述されるものとする。すると、X と Y の同時分布
p X , Y ( x , y ) {\displaystyle p_{X,Y}(x,y)}
は、通信路 p Y | X ( y | x ) {\displaystyle p_{Y|X}(y|x)} と、その通信路を介して送信される信号の周辺分布 p X ( x ) {\displaystyle p_{X}(x)} とによって決定される:
p X , Y ( x , y ) = p Y | X ( y | x ) p X ( x ) {\displaystyle p_{X,Y}(x,y)=p_{Y|X}(y|x)\,p_{X}(x)}
以上の条件の下で、通信路を介して伝送することのできる情報の量をなるべく大きくすることを考える。伝送情報量に対する尺度として相互情報量 I ( X ; Y ) {\displaystyle I(X;Y)} を用いることができる。相互情報量の上限が通信路容量であり、以下のように定義される。
C = sup p X I ( X ; Y ) {\displaystyle C=\sup _{p_{X}}I(X;Y)\,}