情報量

**情報量**（じょうほうりょう）や**エントロピー**（）は、情報理論の概念で、あるできごと（事象）が起きた際、それがどれほど起こりにくいかを表す尺度である。ありふれたできごと（たとえば「風の音」）が起こったことを知ってもそれはたいした「情報」にはならないが、逆に珍しいできごと（たとえば「曲の演奏」）が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとが本質的にどの程度の情報を持つかの尺度であるとみなすこともできる。

なおここでいう「情報」とは、あくまでそのできごとの起こりにくさ（確率）だけによって決まる数学的な量でしかなく、個人・社会における有用性とは無関係である。たとえば「自分が宝くじに当たった」と「見知らぬAさんが宝くじに当たった」は、前者の方が有用な情報に見えるが、両者の情報量は全く同じである（宝くじが当たる確率は所与条件一定のもとでは誰でも同じであるため）。

## 自己情報量（自己エントロピー）と平均情報量（エントロピー）
それぞれのできごとの情報量だけでなく、それらのできごとの情報量の平均値も情報量と呼ぶ。両者を区別する場合には、前者を**自己情報量**（**自己エントロピー**とも）、後者を**平均情報量**（**エントロピー**とも）と呼ぶ。

## 自己情報量
事象 E が起こる確率を P(E) とするとき、事象 E が起こったことを知らされたとき受け取る自己情報量 I(E) は、以下で定義される：

:I(E)=\log \frac{1}{P(E)}=-\log P(E)

確率は 0 \le P(E) \le 1 なので自己情報量 I(E) は非負である。また対数の単調増加性により、起こりにくい事象（＝生起確率が低い事象）の情報量ほど値が大きい。

対数の底として何を選んでも情報量の値が定数倍変わるだけなので本質的な差はない。慣習的に底に2を選ぶことが多い。底が2の場合、1/2^n の確率で起こる事象の情報量は n である。

### 直観的意味
整数uに対し、uの対数\log_muはm進法でのuの桁数にほぼ等しい値を表す。したがって、確率1/uで起こる事象の情報量は、ほぼuの桁数になる。

### 情報量の加法性
情報量は加法性を持つ。すなわち独立な事象AとBに対し、事象「AもBも起こる」の情報量は、Aの情報量とBの情報量の和である。これは以下で証明される。

:I(A,B) = -\log P(A, B) = -\log (P(A) \cdot P(B)) = -(\log P(A) + \log P(B)) = I(A) + I(B)

例えば、52枚のトランプから無作為に1枚を取り出すという試行を考える。「取り出したカードはハートの4である」という事象の情報量は、前述の定義から  であると分かる。ここで、「取り出したカードのスートはハートである」という事象と「取り出したカードの数字は4である」という事象の二つを考えると、前者の情報量は 、後者は  である。この両者の和は  となり、「取り出したカードはハートの4である」という事象の情報量と等しい。これは「独立した情報の和が、全体の情報量と一致する」という直感的要請に合致する。

### 導出
情報量に対する直感的要請には「発生確率が低いほど大きく（**単調減少性**）」「確率に関して連続的に変化し（**連続性**）」「独立同時事象の情報量が周辺事象の情報量和に等しい（**加法性**）」の三条件が挙げられる。この3条件を満たす関数はコーシーの函数方程式を利用することでC\log pと一意に求まる。よって情報量の定義は上記の3条件から一意に導出できる。典型的には対数の底を2としてで1となるようにCを設定（）する。

## 期待情報量（エントロピー）
(\Omega, \mathcal{F}, P) を確率空間とする。全事象  の分割  が与えられたとき、各事象 A_i\in A の期待情報量 I(A_i) で定義した値
:H(P)
= \sum_{A_i\in A} P(A_i) \ I(A_i)
= - \sum_{A_i\in A} P(A_i) \log P(A_i)
を確率測度  の**エントロピー**  と呼ぶ（**期待情報量**、**シャノン情報量**、**情報論のエントロピー**とも）。ただし、ここで P(A_i)=0 のときは、P(A_i) \log P(A_i)=0 とみなす。これは \lim_{p\to 0+}{p \log p} = 0 であることによる。

また、離散型確率変数  が確率分布  に従う場合には、  の**エントロピー**  を次のようにも言い換えられる。
:H(X)
= \mathbb{E}_P[I(X)]
= - \sum_{x \in X} f_X(x) \log f_X(x)

ここで  は  の確率質量関数である。

0 \leqq I(\cdot) より、エントロピーは常に非負である。

確率変数  と  の組  も確率変数とみなせる。この確率変数の値の発生確率すなわち同時確率を P_{X,Y}(X, Y) とすると、  のエントロピー H(X,Y) は
:H(X,Y) 
= \mathbb{E}_{P_{X,Y}}[I(X, Y)]
= - \sum_{x\in X y\in Y} f_{X,Y}(x,y) \log f_{X,Y}(x,y)
になる。これを結合エントロピーと呼ぶ。

 が互いに独立な確率変数である場合には、H(X,Y) は H(X)+H(Y) に一致する。すなわち、全体の情報量 H(X,Y) は、それぞれの確率変数の情報量の和である。

しかし、  と  が互いに独立ではない場合は、H(X,Y) と H(X)+H(Y) は一致せず、前者より後者の方が大きい値になる。両者の情報量の差を**[[相互情報量]]**と呼び、
:I(X,Y) = H(X) + H(Y) - H(X,Y)
で表す。相互情報量は常に非負の値になる。

事象 が生じているという条件下における事象 の**条件付き情報量**を -\log\Pr(A \mid B) によって定める。確率変数  が与えられたとき、事象「X=x」の条件付き情報量 -\log \Pr(X=x \mid B) の  に関する加重平均を**条件付きエントロピー**と言い、
:H(X \mid B)
= \mathbb{E}_{P_{X \mid B}}[I(X \mid B)]
= - \sum_{x \in X} \Pr(X = x \mid B) \log \Pr(X = x \mid B)
で表す。

さらに確率変数  が与えられたとき、事象「Y=y」が生じているという条件下における条件付きエントロピーH(X \mid Y=y)の  に関する加重平均
:H(X \mid Y)
= - \sum_{y \in Y} \Pr(X \mid Y=y) H(X \mid Y=y)
= - \sum_{x \in [X], y \in [Y]} \Pr(X=x, Y=y) \log{\Pr(X=x \mid Y=y)}

も、やはり**条件付きエントロピー**と呼ぶ。

### エントロピーの基本的性質
* 情報量は確率だけによって決まる。
* 情報量は非負の値または無限大を取る。
*  ビットのビット列の空間（情報源）から（一様ランダムとは限らない方法で）ランダムにビット列を選んだときのエントロピーは、 以下になる。エントロピーが  になる必要十分条件は、ビット列が一様ランダムに選ばれることである。
* 確率変数 *X* と *Y* が独立である必要十分条件は、H(X)+H(Y)=H(X,Y) が成立することである。

### コイン投げの例
あるコインを投げたときに表が出る確率を p、裏が出る確率を 1 - p とする。このコインを投げたときに得られる平均情報量（エントロピー）は、
:H(X)= - p \log{p} - (1-p)\log{(1-p)}
である。

この関数f(p)= - p \log{p} - (1-p)\log{(1-p)}を**エントロピー関数**と呼ぶ。

画像:entropy_coin.png

図を見ると分かるように、p=0 と p=1 では  はゼロである。つまり、コインを投げる前から裏または表が出ることが確実に分かっているときに得られる平均情報量は、ゼロである。  が最大になるのは p=1/2 のときであり、一般にすべての事象（できごと）が等確率になるときにエントロピーが最大になる。

## 連続系のエントロピー
実数値を取る確率変数*X*の確率密度関数を*p*(*x*)とするとき、*X*のエントロピーを

::h(X) = - \int_{-\infty}^{\infty}p(x)\log p(x) dx 

によって定義する。

*X*が有限集合に値を取る確率変数である場合には、*X*のシャノン情報量H(X)も定義できる。*X*が*n*通りの値を取るとき、H(X)とh(X)は、

::h(X) = H(U_n) - H(X) 
を満たす。

ただし、ここでU_nは*n*元集合上の一様分布とする（すなわちH(U_n)=\log n）。

## Renyiエントロピー
\Omegaを、台が有限集合である確率空間とする。*P*を\Omega上の確率分布とし、\alphaを非負の実数とする。

\alpha\neq 1のとき、*P*のdegee \alphaの**Renyiエントロピー**を

::H_{\alpha}(P)=\frac{\log(\sum_{A\in\Omega}P(A)^{\alpha})}{1-\alpha}

によって定義する。
また、\alpha=1,\inftyの場合には、Renyiエントロピーを

::\left\{ \begin{array}{lll} H_1(P) &= \lim_{\alpha\to 1}&H_{\alpha}(P)\\  H_{\infty}(P) &= \lim_{\alpha\to\infty}&H_{\alpha}(P) \end{array} \right.
によって定義する。

単に**Renyiエントロピー**と言った場合はH_2(P)を意味することも多い。

さらに、確率変数*X*が確率分布*P*に従うとき、H_{\alpha}(X)をH_{\alpha}(X)=H_{\alpha}(P)によって定義する。

Renyiエントロピーは以下の性質を満たす：

* H_0(P) = \log\#\Omega が成立する。
* H_1(P) はシャノン情報量 H(P) = -\sum_{A\in\Omega} P(A)\log P(A) と一致する。
* \alpha が2以上の整数の場合には、 H_{\alpha}(P) = \frac{1}{1-\alpha} \log\Pr(X_1=\cdots=X_\alpha) が成立する。ここで、 X_1,\ldots,X_\alpha は確率分布 P に従う独立同一分布であって、 \Pr(X_1=\cdots=X_\alpha) は x_1,\ldots,x_\alpha をそれぞれX_1,\ldots,X_\alpha に従って選んだときにx_1=\cdots=x_\alpha が成立する確率とする。
* H_{\infty}(P)=\min_{A\in\Omega}\{-\log P(A)\} が成立する。この H_{\infty}(P) を**minエントロピー**ともいう。

## 歴史
「エントロピー」の概念は1865年にルドルフ・クラウジウスがギリシャ語の「変換」を意味する言葉を語源として、熱力学における気体のある状態量として導入した。これは統計力学では微視的な状態数の対数に比例する量として表される。1929年にはレオ・シラードが、気体についての情報を観測者が獲得することと統計力学におけるエントロピーとの間に直接の関係があることを示し、現在 1 ビット（1 シャノン）と呼ぶ量が統計力学で *k* ln 2 に対応するという関係を導いていた。

現在の情報理論におけるエントロピーの直接の導入は1948年のクロード・シャノンによるもので、その論文『通信の数学的理論』でエントロピーの概念を情報理論に応用した。シャノン自身は熱統計力学でこの概念と関連する概念がすでに使われていることを知らずにこの定義に到達したが、その名称を考えていたとき同僚フォン・ノイマンが、熱統計力学のエントロピーに似ていることから示唆したもので、フォン・ノイマンは「統計エントロピーが何なのかを理解してる人は少ないから、議論になったら有利であろう」と語ったとされる。しかしシャノンはフォン・ノイマンとの会話は認めつつその影響を否定している。

なお、シャノン以前にもラルフ・ハートレーが1928年に、集合*A*に対して\log \# Aという量を考察している（“\#A”は*A*の元数）。\log \# Aは*A*上の一様分布のエントロピーに一致する。現在では、\log \# Aを*A*の**ハートレー・エントロピー**と呼ぶ。

## 単位

情報量は本来無次元の量である。しかし、対数の底として何を用いたかによって値が異なるので，単位を付けて区別している。前述のように、情報量は確率の逆数の**桁数**の期待値なので、単位も桁数のそれを流用する。この為、対数の底として2、e、10を選んだときの情報量の単位は、それぞれ**[[ビット]]**(bit)、**ナット**(nat)、**ディット**(dit)である。

また、今のところ主流ではないものの、1997年に日本産業規格 JIS X 0016:1997（これは国際規格 ISO/IEC 2382-16:1996と一致している）は、これらの量を表す単位を別に定めている。

単位「シャノン」、「ハートレー」の名称は、それぞれ情報量の概念を提案したクロード・シャノン、ラルフ・ハートレーにちなむ。

## 脚注



## 参考文献
* Shannon entropy calculator (English)
* ''A Mathematical Theory of Communication'' Shannon 1948 (English)
* 

## 関連項目
* 標本化定理（シャノンの定理）
* データ量の比較
* エントロピー
* マクスウェルの悪魔
* ハフマン符号
* コルモゴロフ複雑性
* ランダウアーの原理
* 交差エントロピー
* 結合エントロピー
* 量子エントロピー

## 外部リンク
* 
* 
*