情報源符号化とは、情報源の記号（の列）からアルファベット記号（通常はビット）の列への写像である。情報源の記号は二進数ビットから正確に復元できる（可逆圧縮）か、何らかの歪みを伴って復元される（非可逆圧縮）。これが、データ圧縮の背後にあるコンセプトである。
情報源符号化定理.
情報量 を持つ 個の独立同分布の確率変数は、のとき、無視できるほどの情報損失のリスクをもって ビット以上に圧縮できる。しかし、 ビット以下に圧縮されたとき、情報が失われることは事実上確実である。
シンボルコードの情報源符号化定理.
 を の値をとる確率変数とし、 を から への一意復号可能な符号とする（ここで、）。 を単語長 で与えられる確率変数とする。
 が の最小単語長さという意味で最適であるとき、
証明.
情報源符号化定理の証明.
達成可能性の証明。 いくつかの を修正し、
とする。 は、以下のように定義される。
典型集合の定義は、典型集合にある列が以下を満足することを意味する。 
注意:
エンコードアルゴリズム : エンコーダは、入力列が典型集合内にあるかどうかをチェックする。そうであれば、典型集合内の入力列のインデックスを出力する。そうでなければ、エンコーダは任意の 桁の数を出力する。入力列が典型集合内にある限り（少なくとも の確率で）、エンコーダは何の誤りも生じない。従って、エンコーダの誤りの確率の上限は である。
シンボルコードの情報源符号化定理の証明.
よって である。
とすると、
であり
であり
よって、クラフトの不等式には、これらの語長を持つ接頭辞のない符号が存在する。従って、最小の は以下を満たす。
非定常独立系への拡張.
離散時間非定常独立情報源のための固定レート可逆情報源符号化.
典型集合 を
と定義する。
従って、 より大きい確率で符号化するには、平均して ビットで十分である。ここで、 を大きくすることによって、 と を任意に小さくすることができる。
情報源符号化定理
王立スペイン語アカデミー
略歴.
いかちゃん (お笑い芸人)
来歴・人物.
いずれもバレーボール選手である藤中謙也、藤中優斗、藤中颯志の三兄弟はいとこ。
芸風.