情報理論
この通信路での X と Y の同時分布は、我々がこの通信路に送り出すメッセージの周辺分布 f ( x ) {\displaystyle f(x)} から求められる。この条件で通信できる情報量を最大化したい。この尺度となるのが伝達情報量であり、伝達情報量の最大値を通信路容量と呼んで次の式で表す:
C = max f I ( X ; Y ) . {\displaystyle C=\max _{f}I(X;Y).\!}
通信路容量は情報レート R(ここで R は記号ごとのビット数)による通信と次のような関係がある。R < C であるような情報レートで符号誤り率 ε > 0 である場合、十分大きな数 N について、コードの長さが N で情報レートが R 以上かつ誤り率が ε 以下となるような符号化アルゴリズムが存在し、非常に低い誤り率で通信を行える可能性がある。さらに R > Cであるような情報レートでは、低い誤り率で通信を行うことは不可能である。