情報量

情報量やエントロピーは、情報理論の概念で、あるできごとが起きた際、それがどれほど起こりにくいかを表す尺度である。ありふれたできごとが起こったことを知ってもそれはたいした「情報」にはならないが、逆に珍しいできごとが起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとが本質的にどの程度の情報を持つかの尺度であるとみなすこともできる。

なおここでいう「情報」とは、あくまでそのできごとの起こりにくさだけによって決まる数学的な量でしかなく、個人・社会における有用性とは無関係である。たとえば「自分が宝くじに当たった」と「見知らぬAさんが宝くじに当たった」は、前者の方が有用な情報に見えるが、両者の情報量は全く同じである。

1. 選択情報量と平均情報量
--------------

それぞれのできごとの情報量だけでなく、それらのできごとの情報量の平均値も情報量と呼ぶ。両者を区別する場合には、前者を選択情報量、後者を平均情報量と呼ぶ。

2. 選択情報量
--------

事象 が起こる確率を とするとき、事象 が起こったことを知らされたとき受け取る情報量 は以下で定義される：

確率の値域 より選択情報量の値域は を満たす。また対数の単調増加性により、起こりにくい事象の情報量ほど値が大きい。

対数の底として何を選んでも情報量の値が定数倍変わるだけなので本質的な差はない。慣習的に底に2を選ぶことが多い。底が2の場合、 の確率で起こる事象の情報量は である。

2.1. 直観的意味
----------

整数に対し、の対数は進法でのの桁数にほぼ等しい値を表す。したがって、確率で起こる事象の情報量は、ほぼの桁数になる。

2.2. 情報量の加法性
------------

情報量は加法性を持つ。すなわち独立な事象A/Bに対し、事象「AもBも起こる」の情報量は、Aの情報量とBの情報量の和である。これは以下で証明される。

例えば、52枚のトランプから無作為に1枚を取り出すという試行を考える。「取り出したカードはハートの4である」という事象の情報量は、前述の定義からlog52 であると分かる。ここで、「取り出したカードのスートはハートである」という事象と「取り出したカードの数字は4である」という事象の二つを考えると、前者の情報量はlog4、後者はlog13 である。この両者の和はlog4 + log13 = log = log52 となり、「取り出したカードはハートの4である」という事象の情報量と等しい。これは「独立した情報の和が、全体の情報量と一致する」という直感的要請に合致する。

2.3. 導出
-------

情報量に対する直感的要請には「発生確率が低いほど大きく」「確率に関して連続的に変化し」「独立同時事象の情報量が周辺事象の情報量和に等しい」の三条件が挙げられる。この3条件を満たす関数はコーシーの函数方程式を利用することでと一意に求まる。よって情報量の定義は上記の3条件から一意に導出できる。典型的には対数の底を2としてp=1/2で1となるようにCを設定する。

3. 平均情報量
--------

を、台が有限集合である確率空間とする。 上の確率分布 が与えられたとき、各事象 の選択情報量 の期待値

を のエントロピーと呼ぶ。

ただし、ここで//P//=0のときは、とみなす。これはであることによる。

また有限集合U上の値を取る確率変数 が確率分布 に従う場合には、 のエントロピーを//H//=//H//によって定める。すなわち、

よりエントロピーは常に非負の値を取る。

値//x//、//y//がそれぞれ確率変数//X//、//Y//に従う場合には、組も確率変数とみなせる。この確率変数を 、この組の発生確率すなわち同時確率を とすると、 のエントロピー は

になる。これを結合エントロピーと呼ぶ。

が互いに独立な確率変数である場合には、 は に一致する。すなわち、全体の情報量 は、それぞれの確率変数の情報量の和である。

しかし、//X//と//Y//が互いに独立ではない場合は、 と は一致せず、前者より後者の方が大きい値になる。両者の情報量の差を相互情報量と呼び、

で表す。相互情報量は常に非負の値になる。

事象//B//が生じているという条件下における事象Aの条件付き情報量をによって定める。確率変数//X//が与えられたとき、事象「」の条件付き情報量の//x//に関する平均値を条件付きエントロピーといい、

で表す。

さらに確率変数//Y//が与えられたとき、事象「」が生じているという条件下における事象「」の条件付きエントロピーの//y//に関する平均値

もやはり条件付きエントロピーと呼ぶ。

3.1. エントロピーの基本的性質
-----------------

情報量は確率だけによって決まる。
情報量は非負の値または無限大を取る。
nビットのビット列の空間からランダムにビット列を選んだときのエントロピーは、n以下になる。エントロピーがnになる必要十分条件は、ビット列が一様ランダムに選ばれることである。
確率変数XとYが独立である必要十分条件は、が成立することである。

3.2. コイン投げの例
------------

あるコインを投げたときに表が出る確率を 、裏が出る確率を とする。このコインを投げたときに得られる平均情報量は、

である。

この関数をエントロピー関数と呼ぶ。

図を見ると分かるように、 と では はゼロである。つまり、コインを投げる前から裏または表が出ることが確実に分かっているときに得られる平均情報量は、ゼロである。 が最大になるのは のときであり、一般にすべての事象が等確率になるときにエントロピーが最大になる。

4. 連続系のエントロピー
-------------

実数値を取る確率変数//X//の確率密度関数を//p//とするとき、//X//のエントロピーを

によって定義する。

//X//が有限集合に値を取る確率変数である場合には、//X//のシャノン情報量も定義できる。//X//が//n//通りの値を取るとき、とは、

を満たす。

ただし、ここでは//n//元集合上の一様分布とする。

5. Renyiエントロピー
--------------

を、台が有限集合である確率空間とする。//P//を上の確率分布とし、を非負の実数とする。

のとき、//P//のdegee のRenyiエントロピーを

によって定義する。 また、の場合には、Renyiエントロピーを

によって定義する。

単にRenyiエントロピーと言った場合はを意味することも多い。

さらに、確率変数//X//が確率分布//P//に従うとき、をによって定義する。

Renyiエントロピーは以下の性質を満たす：

が成立する。
はシャノン情報量 と一致する。
が2以上の整数の場合には、 が成立する。ここで、 は確率分布 に従う独立同一分布であって、 は をそれぞれ に従って選んだときに が成立する確率とする。
が成立する。この をminエントロピーともいう。

6. 歴史
-----

「エントロピー」の概念は1865年にルドルフ・クラウジウスがギリシャ語の「変換」を意味する言葉を語源として、熱力学における気体のある状態量として導入した。これは統計力学では微視的な状態数の対数に比例する量として表される。1929年にはレオ・シラードが、気体についての情報を観測者が獲得することと統計力学におけるエントロピーとの間に直接の関係があることを示し、現在 1 ビットと呼ぶ量が統計力学で //k// ln 2 に対応するという関係を導いていた。

現在の情報理論におけるエントロピーの直接の導入は1948年のクロード・シャノンによるもので、その論文『通信の数学的理論』でエントロピーの概念を情報理論に応用した。シャノン自身は熱統計力学でこの概念と関連する概念がすでに使われていることを知らずにこの定義に到達したが、その名称を考えていたとき同僚フォン・ノイマンが、熱統計力学のエントロピーに似ていることから示唆したもので、フォン・ノイマンは「統計エントロピーが何なのかを理解してる人は少ないから、議論になったら有利であろう」と語ったとされる。しかしシャノンはフォン・ノイマンとの会話は認めつつその影響を否定している。

なお、シャノン以前にもラルフ・ハートレーが1928年に、集合//A//に対してという量を考察している。は//A//上の一様分布のエントロピーに一致する。現在では、を//A//のハートレー・エントロピーと呼ぶ。

7. 単位
-----

情報量は本来無次元の量である。しかし、対数の底として何を用いたかによって値が異なるので，単位を付けて区別している。前述のように、情報量は確率の逆数の桁数の期待値なので、単位も桁数のそれを流用する。この為、対数の底として2、e、10を選んだときの情報量の単位は、それぞれビット、ナット、ディットである。

また、今のところ主流ではないものの、1997年に日本工業規格 JIS X 0016:1997は、これらの量を表す単位を別に定めている。

単位「シャノン」、「ハートレー」の名称は、それぞれ情報量の概念を提案したクロード・シャノン、ラルフ・ハートレーにちなむ。

8. 脚注
-----

9. 参考文献
-------

[1] 
[2] Shannon 1948 

10. 関連項目
--------

標本化定理
データ量の比較
エントロピー
マクスウェルの悪魔
ハフマン符号
コルモゴロフ複雑性
ランダウアーの原理
交差エントロピー
結合エントロピー
量子エントロピー

11. 外部リンク
---------