シャノンの情報源符号化定理
漸近的等分配性(英語版)(AEP)が示すところによると、十分に大きい n に対して、情報源によって生成された列が典型集合 Aεn に含まれる確率は 1 に近づく。特に、十分に大きい n に対しては、 P ( ( X 1 , X 2 , ⋯ , X n ) ∈ A n ε ) {\displaystyle P((X_{1},X_{2},\cdots ,X_{n})\in A_{n}^{\varepsilon })} は任意に 1 に近く、具体的には 1 − ε {\displaystyle 1-\varepsilon } より大きくすることができる。
典型集合の定義は、典型集合にある列が以下を満足することを意味する。
2 − n ( H ( X ) + ε ) ≤ p ( x 1 , ⋯ , x n ) ≤ 2 − n ( H ( X ) − ε ) {\displaystyle 2^{-n(H(X)+\varepsilon )}\leq p\left(x_{1},\cdots ,x_{n}\right)\leq 2^{-n(H(X)-\varepsilon )}}
注意:
Aεnから導かれる列 ( X 1 , X 2 , ⋯ X n ) {\displaystyle (X_{1},X_{2},\cdots X_{n})} の確率は 1 − ε より大きい。
p ( x 1 , x 2 , ⋯ x n ) {\displaystyle p(x_{1},x_{2},\cdots x_{n})} の左側(下限)からは | A n ε | ≤ 2 n ( H ( X ) + ε ) {\displaystyle \left|A_{n}^{\varepsilon }\right|\leq 2^{n(H(X)+\varepsilon )}} となる。