情報理論
情報理論の概念は、暗号理論や暗号解読でも広く使われている。シャノン自身、現在では判別距離と呼ばれている暗号理論上重要な概念を定義した。平文の冗長性に基づき、暗号文の復号で平文が一意に定まるのに必要な暗号文の量の下限を定めるものである。
シャノンの情報理論は、暗号理論での利用が示すよりずっと重要である。諜報機関は機密情報の保持に情報理論を応用し、常により安全な方法で敵に関する情報を最大限引き出そうとしている。シャノン・ハートレイの定理は、情報を秘密にしておく困難さを示している。一般に機密情報の漏洩を完全に防ぐことは不可能であり、ただ漏洩の速度を遅くできるだけである。さらに、ある情報に触れる人間が多ければ多いほど、その情報の冗長性は増していく。そして、冗長性の高い情報を封じ込めることは極めて困難である。このような機密情報の避けられない漏洩は、人々が何かを知ることでその振る舞いに影響が出てしまうという心理学的事実によるものである。
情報理論の応用例として、GPSの符号化方式での信号隠蔽がある。このシステムでは擬似乱数を使って信号をノイズフロアのレベル以下に抑えている。そのため、一般の電波受信者は信号があることにさえ気づかないが、秘密の擬似乱数列を使ってある期間の信号を積分することで信号を検出できる。GPSシステムでは、C/A信号は一般に公開されているが、P(Y)信号に使われている擬似乱数列は秘密とされている。同様の手法は短距離の秘密通信にも使われており、低電力で敵に気づかれずに通信が可能である。これはステガノグラフィーの一種とも言える。また、スペクトラム拡散通信も参照されたい。
情報理論(じょうほうりろん、英: Information theory)は、情報・通信を数学的に論じる学問である。応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。情報エントロピーとして知られるデータの尺度は、データの格納や通信に必要とされる平均ビット数で表現される。例えば、日々の天気が3ビットのエントロピーで表されるなら、十分な日数の観測を経て、日々の天気を表現するには「平均で」約3ビット/日(各ビットの値は 0 か 1)と言うことができる。
情報理論の基本的な応用としては、ZIP形式(可逆圧縮)、MP3(非可逆圧縮)、DSL(伝送路符号化)などがある。この分野は、数学、統計学、計算機科学、物理学、神経科学、電子工学などの交差する学際領域でもある。その影響は、ボイジャー計画の深宇宙探査の成功、CDの発明、携帯電話の実現、インターネットの開発、言語学や人間の知覚の研究、ブラックホールの理解など様々な事象に及んでいる。