情報量
情報量(じょうほうりょう)やエントロピー(entropy)は、情報理論の概念で、あるできごと(事象)が起きた際、それがどれほど起こりにくいかを表す尺度である。ありふれたできごと(たとえば「風の音」)が起こったことを知ってもそれはたいした「情報」にはならないが、逆に珍しいできごと(たとえば「曲の演奏」)が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとが本質的にどの程度の情報を持つかの尺度であるとみなすこともできる。
なおここでいう「情報」とは、あくまでそのできごとの起こりにくさ(確率)だけによって決まる数学的な量でしかなく、個人・社会における有用性とは無関係である。たとえば「自分が宝くじに当たった」と「見知らぬAさんが宝くじに当たった」は、前者の方が有用な情報に見えるが、両者の情報量は全く同じである(宝くじが当たる確率は所与条件一定のもとでは誰でも同じであるため)。
それぞれのできごとの情報量だけでなく、それらのできごとの情報量の平均値も情報量と呼ぶ。両者を区別する場合には、前者を選択情報量(自己エントロピーとも)、後者を平均情報量(エントロピーとも)と呼ぶ。
事象Eが起こる確率をP(E)とするとき、
事象 E が起こったことを知らされたとき受け取る(選択)情報量I(E) を
I(E)=\log \frac{1}{P(E)}=-\log P(E)
と定義する。
起こりにくい事象(=生起確率が低い事象)の情報量ほど、値が大きい。
上式中の対数 (\log) の底として何を選んでも、情報量の値が定数倍変わるだけなので、本質的な差はないものの、底としては2を選ぶことが多い。
底が2の場合、1/2^nの確率で起こる事象の情報量はnである。
整数uに対し、uの対数\log_muはm進法でのuの桁数にほぼ等しい値を表す。したがって、確率1/uで起こる事象の情報量は、ほぼuの桁数になる。
情報量は加法性を持つ。すなわち独立な事象A/Bに対し、事象「AもBも起こる」の情報量は、Aの情報量とBの情報量の和である。これは以下で証明される。
I(A,B) = -\log P(A, B) = -\log (P(A)*P(B)) = -(\log P(A) + \log P(B)) = I(A) + I(B)
例えば、52枚のトランプから無作為に1枚を取り出すという試行を考える。「取り出したカードはハートの4である」という事象の情報量は、前述の定義からlog52 であると分かる。ここで、「取り出したカードのスートはハートである」という事象と「取り出したカードの数字は4である」という事象の二つを考えると、前者の情報量はlog4、後者はlog13 である。この両者の和はlog4 + log13 = log(4×13) = log52 となり、「取り出したカードはハートの4である」という事象の情報量と等しい。これは「独立した情報の和が、全体の情報量と一致する」という直感的要請に合致する。
情報量に対する直感的要請には「発生確率が低いほど大きく(単調減少性)」「確率に関して連続的に変化し(連続性)」「独立同時事象の情報量が周辺事象の情報量和に等しい(加法性)」の三条件が挙げられる。この3条件を満たす関数はコーシーの函数方程式を利用することでC\log pと一意に求まる。よって情報量の定義は上記の3条件から一意に導出できる。典型的には対数の底を2としてp=1/2で1となるようにCを設定(C=-1)する。
\Omegaを、台が有限集合である確率空間とする。\Omega上の確率分布Pが与えられたとき、各事象A\in\Omegaの選択情報量-\log P(A)の期待値
H(P) = - \sum_{A\in\Omega} P(A) \log P(A)
をPのエントロピーと呼ぶ(平均情報量、シャノン情報量、情報論のエントロピーとも)。
ただし、ここでP(A)=0のときは、P(A) \log P(A)=0とみなす。これは\lim_{p\to+0}p \log p=0であることによる。
また有限集合U上の値を取る確率変数Xが確率分布Pに従う場合には、XのエントロピーをH(X)=H(P)によって定める。すなわち、
H(X) = - \sum_{x\in U} \Pr(X=x) \log \Pr(X=x)。
エントロピーは常に非負の値(または無限大)を取る。
値x、yがそれぞれ確率変数X、Yに従う場合には、組(x,y)も確率変数とみなせる。この確率変数を(X,Y)と書くことにすると、確率変数(X,Y)のエントロピーは
H(X,Y) = - \sum_{x,y} \Pr(X=x,Y=y) \log \Pr(X=x,Y=y)
になる。これを結合エントロピーと呼ぶ。
X,Yが互いに独立な確率変数である場合には、H(X,Y)はH(X)+H(Y)に一致する。すなわち、全体の情報量H(X,Y)は、それぞれの確率変数の情報量の和である。
しかし、XとYが互いに独立ではない場合は、H(X,Y)とH(X)+H(Y)は一致せず、前者より後者の方が大きい値になる。両者の情報量の差を相互情報量と呼び、
I(X,Y) = H(X) + H(Y) - H(X,Y)
で表す。相互情報量は常に非負の値になる。
事象Bが生じているという条件下における事象Aの条件付き情報量を-\log\Pr(A|B)によって定める。確率変数Xが与えられたとき、事象「X=x」の条件付き情報量-\log \Pr(X=x|B)のxに関する平均値を条件付きエントロピーといい、
H(X|B) = - \sum_{x}\Pr(X=x|B) \log \Pr(X=x|B)
で表す。
さらに確率変数Yが与えられたとき、事象「Y=y」が生じているという条件下における事象「X=x」の条件付きエントロピーH(X|Y=y)のyに関する平均値
H(X|Y) = \sum_{y} \Pr(Y=y) H(X|Y=y)
もやはり条件付きエントロピーと呼ぶ。
情報量は確率だけによって決まる。
情報量は非負の値または無限大を取る。
nビットのビット列の空間(情報源)から(一様ランダムとは限らない方法で)ランダムにビット列を選んだときのエントロピーは、n以下になる。エントロピーがnになる必要十分条件は、ビット列が一様ランダムに選ばれることである。
確率変数XとYが独立である必要十分条件は、H(X)+H(Y)=H(X,Y)が成立することである。
あるコインを投げたときに表が出る確率を p、裏が出る確率を 1 - p とする。このコインを投げたときに得られる平均情報量(エントロピー)は、
\left. H(X)= - p \log{p} - (1-p)\log{(1-p)} \right.
である。
この関数f(p)= - p \log{p} - (1-p)\log{(1-p)}をエントロピー関数と呼ぶ。
図を見ると分かるように、p=0 と p=1 では H はゼロである。つまり、コインを投げる前から裏または表が出ることが確実に分かっているときに得られる平均情報量は、ゼロである。H が最大になるのは p=1/2 のときであり、一般にすべての事象(できごと)が等確率になるときにエントロピーが最大になる。
実数値を取る確率変数Xの確率密度関数をp(x)とするとき、Xのエントロピーを
h(X) = - \int_{-\infty}^{\infty}p(x)\log p(x) dx
によって定義する。
Xが有限集合に値を取る確率変数である場合には、Xのシャノン情報量H(X)も定義できる。Xがn通りの値を取るとき、H(X)とh(X)は、
h(X) = H(U_n) - H(X)
を満たす。
ただし、ここでU_nはn元集合上の一様分布とする(すなわちH(U_n)=\log n)。
\Omegaを、台が有限集合である確率空間とする。Pを\Omega上の確率分布とし、\alphaを非負の実数とする。
\alpha\neq 1のとき、Pのdegee \alphaのRenyiエントロピーを
H_{\alpha}(P)=\frac{\log(\sum_{A\in\Omega}P(A)^{\alpha})}{1-\alpha}
によって定義する。
また、\alpha=1,\inftyの場合には、Renyiエントロピーを
\left\{ \begin{array}{lll} H_1(P) &= \lim_{\alpha\to 1}&H_{\alpha}(P)\\  H_{\infty}(P) &= \lim_{\alpha\to\infty}&H_{\alpha}(P) \end{array} \right.
によって定義する。
単にRenyiエントロピーと言った場合はH_2(P)を意味することも多い。
さらに、確率変数Xが確率分布Pに従うとき、H_{\alpha}(X)をH_{\alpha}(X)=H_{\alpha}(P)によって定義する。
Renyiエントロピーは以下の性質を満たす:
H_0(P) = \log\#\Omega が成立する。
H_1(P) はシャノン情報量 H(P) = -\sum_{A\in\Omega} P(A)\log P(A) と一致する。
\alpha が2以上の整数の場合には、 H_{\alpha}(P) = \frac{1}{1-\alpha} \log\Pr(X_1=\cdots=X_\alpha) が成立する。ここで、 X_1,\ldots,X_\alpha は確率分布 P に従う独立同一分布であって、 \Pr(X_1=\cdots=X_\alpha) は x_1,\ldots,x_\alpha をそれぞれX_1,\ldots,X_\alpha に従って選んだときにx_1=\cdots=x_\alpha が成立する確率とする。
H_{\infty}(P)=\min_{A\in\Omega}\{-\log P(A)\} が成立する。この H_{\infty}(P) をminエントロピーともいう。
「エントロピー」の概念は1865年にルドルフ・クラウジウスがギリシャ語の「変換」を意味する言葉を語源として、熱力学における気体のある状態量として導入した。これは統計力学では微視的な状態数の対数に比例する量として表される。1929年にはレオ・シラードが、気体についての情報を観測者が獲得することと統計力学におけるエントロピーとの間に直接の関係があることを示し、現在 1 ビット(1 シャノン)と呼ぶ量が統計力学で k ln 2 に対応するという関係を導いていた。
現在の情報理論におけるエントロピーの直接の導入は1948年のクロード・シャノンによるもので、その論文『通信の数学的理論』でエントロピーの概念を情報理論に応用した。シャノン自身は熱統計力学でこの概念と関連する概念がすでに使われていることを知らずにこの定義に到達したが、その名称を考えていたとき同僚フォン・ノイマンが、熱統計力学のエントロピーに似ていることから示唆したもので、フォン・ノイマンは「統計エントロピーが何なのかを理解してる人は少ないから、議論になったら有利であろう」と語ったとされる。しかしシャノンはフォン・ノイマンとの会話は認めつつその影響を否定している。
なお、シャノン以前にもラルフ・ハートレーが1928年に、集合Aに対して\log \# Aという量を考察している(“\#A"はAの元数)。\log \# AはA上の一様分布のエントロピーに一致する。現在では、\log \# AをAのハートレー・エントロピーと呼ぶ。
情報量は本来無次元の量である。しかし、対数の底として何を用いたかによって値が異なるので,単位を付けて区別している。前述のように、情報量は確率の逆数の桁数の期待値なので、単位も桁数のそれを流用する。この為、対数の底として2、e、10を選んだときの情報量の単位は、それぞれビット(bit)、ナット(nat)、ディット(dit)である。
また、今のところ主流ではないものの、1997年に日本工業規格 JIS X 0016:1997(これは国際規格 ISO/IEC 2382-16:1996と一致している)は、これらの量を表す単位を別に定めている(ノートも参照)。
単位「シャノン」、「ハートレー」の名称は、それぞれ情報量の概念を提案したクロード・シャノン、ラルフ・ハートレーにちなむ。