質問: 情報量・エントロピーはどうにか理解したのですが、情報源符号化定理の式がわかりません 平均符号長L=エントロピーs(H)という風に考えていいということですか このサイトを参考にしています
回答: > > 平均符号長L=エントロピーs(H)という風に考えていいということですか > > > ある情報源Sに対して、“最短の”平均符号長L は エントロピーH(S)に等しい、という解釈が正確かと思います。 引用元サイトに `H(S) ≦ L <H(S)+ε`(εは任意の正数)とある通り、情報源符号化定理は「どのようなアルゴリズムをもってしても、平均符号長LをエントロピーH(S)より短くすることは原理的に不可能」なことを示しています。