シャノンの通信路符号化定理
P ( error ) = P ( error | W = 1 ) ≤ P ( E 1 c ) + ∑ i = 2 2 n R P ( E i ) ≤ P ( E 1 c ) + ( 2 n R − 1 ) 2 − n ( I ( X ; Y ) − 3 ε ) ≤ ε + 2 − n ( I ( X ; Y ) − R − 3 ε ) . {\displaystyle {\begin{aligned}P({\text{error}})&{}=P({\text{error}}|W=1)\leq P(E_{1}^{c})+\sum _{i=2}^{2^{nR}}P(E_{i})\\&{}\leq P(E_{1}^{c})+(2^{nR}-1)2^{-n(I(X;Y)-3\varepsilon )}\\&{}\leq \varepsilon +2^{-n(I(X;Y)-R-3\varepsilon )}.\end{aligned}}}
通信路に関して R < I ( X ; Y ) {\displaystyle R<I(X;Y)} であれば、 n {\displaystyle n} を無限大に持って行くと、誤り率は0に近付くことが分かる。
最終的に、平均的な符号表が「良好」であることが示されたわけだが、性能が平均よりも優れている符号表が存在することは明らかであるため、雑音のある通信路を通じて任意の小さな誤り率で通信するという要求を満たしている。
また、両者は通信路が使用している遷移行列 p ( y | x ) {\displaystyle p(y|x)} を知っているものと仮定する。
メッセージ W は、符号語の集合上の一様分布に従って選択される。その一様分布は、 P r ( W = w ) = 2 − n R , w = 1 , 2 , ... , 2 n R {\displaystyle Pr(W=w)=2^{-nR},w=1,2,\dots ,2^{nR}} である。
メッセージ W は、通信路を通じて送信される。
受信者は、 P ( y n | x n ( w ) ) = ∏ i = 1 n p ( y i | x i ( w ) ) {\displaystyle P(y^{n}|x^{n}(w))=\prod _{i=1}^{n}p(y_{i}|x_{i}(w))} に従って系列を受信する。
これらの符号語を通信路を通じて送信すると、 Y 1 n {\displaystyle Y_{1}^{n}} が受信され、Y に同時典型な符号語が丁度1個だけ存在するのであれば、何らかの情報源系列に復号される。同時典型な符号語が存在しない、あるいは2つ以上存在する場合は、誤りが宣言される。さらに、復号された符号語が元の符号語と一致しない場合にも誤りが発生する。これを典型集合復号(typical set decoding)という。
この枠組みにおける誤り率は、2つの部分に分けられる。
受信系列Yに対して同時典型な系列Xが存在しない場合、誤りが発生する可能性がある。