情報理論
符号理論は、情報理論の中でも最も重要かつ直接的な応用分野である。その領域は、情報源符号化理論(データ圧縮)と通信路符号化理論(誤り検出訂正)に大別される。データの統計的記述を用いて、符号化に必要とされるビット数(情報源の情報エントロピー)を定量化する。
データ圧縮(情報源符号化): 圧縮方式は次の2つに分類される: 可逆圧縮: データの復元が正確に行われる 非可逆圧縮: 歪関数によって指定された忠実度レベルでデータを再現するために必要なビット数を割り当てる。この情報理論のサブセットをレート歪理論と呼ぶ。
誤り訂正符号(通信路符号化): データ圧縮によって可能な限り冗長性を排除する一方、誤り訂正符号を付与することで正しい性質の冗長性を導入し、ノイズのある通信路でデータを効率的かつ忠実に転送可能にする。
圧縮と転送に関する符号理論は情報理論に裏打ちされている。ただし、それは1対1の通信に関してのみである。発信者が複数の場合(複数アクセス通信路)、受信者が複数の場合(同報通信路)、仲介者がいる場合(リレー通信路)、それらの複合であるコンピュータネットワークなどについて、転送後の圧縮は最適とは言えないかもしれない。このようなマルチエージェント通信モデルを扱うのはネットワーク情報理論 (Network Information Theory) である。
その中で情報の定量化は H = log  S n = n log  S {\displaystyle H=\log S^{n}=n\log S} で表され、S は文字の種類数、n は伝送された文字数であるとした。後に十進の情報量を表す単位をハートレー(Hartまたはhartley)と呼ぶようになった。1940年、アラン・チューリングは、第二次世界大戦時のドイツ軍の暗号統計解析の一部として同様の考え方を使った。
確率の異なる事象群を扱う情報理論の基礎となる数学は、ルートヴィッヒ・ボルツマンとウィラード・ギブスによる統計力学からもたらされた。情報理論におけるエントロピーと熱力学におけるエントロピーは単なる用語の類似以上の関連がある(ランダウアーの原理参照)。
シャノンの革新的論文については、ベル研究所での研究で1944年末ごろには実際の研究はほとんど済んでいた。シャノンの理論は情報理論の基礎となる静的プロセスとしての通信のモデルを提案し、論文冒頭で次のように表明している。
「通信の基本的課題は、ある地点で選択されたメッセージを正確または近似的に別の地点で再生することである」
それと共に次のような概念が提唱された。
情報源の情報エントロピー、冗長性、情報源符号化
ノイズのある通信路での伝達情報量、通信路容量、通信路符号化
シャノン=ハートレーの定理の応用としてのガウスノイズのある通信路での通信路容量
情報の基本単位であるビット