情報量

情報量（じょうほうりょう）やエントロピー（）は、情報理論の概念で、あるできごと（事象）が起きた際、それがどれほど起こりにくいかを表す尺度である。ありふれたできごと（たとえば「風の音」）が起こったことを知ってもそれはたいした「情報」にはならないが、逆に珍しいできごと（たとえば「曲の演奏」）が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとが本質的にどの程度の情報を持つかの尺度であるとみなすこともできる。
なおここでいう「情報」とは、あくまでそのできごとの起こりにくさ（確率）だけによって決まる数学的な量でしかなく、個人・社会における有用性とは無関係である。たとえば「自分が宝くじに当たった」と「見知らぬAさんが宝くじに当たった」は、前者の方が有用な情報に見えるが、両者の情報量は全く同じである（宝くじが当たる確率は所与条件一定のもとでは誰でも同じであるため）。
選択情報量（自己エントロピー）と平均情報量（エントロピー）.
それぞれのできごとの情報量だけでなく、それらのできごとの情報量の平均値も情報量と呼ぶ。両者を区別する場合には、前者を選択情報量（自己エントロピーとも）、後者を平均情報量（エントロピーとも）と呼ぶ。
選択情報量.
事象 formula_1 が起こる確率を formula_2 とするとき、事象 formula_1 が起こったことを知らされたとき受け取る（選択）情報量 formula_4 は以下で定義される：
確率の値域 formula_6 より選択情報量の値域は formula_7 を満たす。また対数の単調増加性により、起こりにくい事象（＝生起確率が低い事象）の情報量ほど値が大きい。
対数の底として何を選んでも情報量の値が定数倍変わるだけなので本質的な差はない。慣習的に底に2を選ぶことが多い。底が2の場合、formula_8 の確率で起こる事象の情報量は formula_9 である。
直観的意味.
整数formula_10に対し、formula_10の対数formula_12はformula_13進法でのformula_10の桁数にほぼ等しい値を表す。したがって、確率formula_15で起こる事象の情報量は、ほぼformula_10の桁数になる。
情報量の加法性.
情報量は加法性を持つ。すなわち独立な事象A/Bに対し、事象「AもBも起こる」の情報量は、Aの情報量とBの情報量の和である。これは以下で証明される。
formula_17
例えば、52枚のトランプから無作為に1枚を取り出すという試行を考える。「取り出したカードはハートの4である」という事象の情報量は、前述の定義からlog52 であると分かる。ここで、「取り出したカードのスートはハートである」という事象と「取り出したカードの数字は4である」という事象の二つを考えると、前者の情報量はlog4、後者はlog13 である。この両者の和はlog4 + log13 = log(4×13) = log52 となり、「取り出したカードはハートの4である」という事象の情報量と等しい。これは「独立した情報の和が、全体の情報量と一致する」という直感的要請に合致する。
導出.
情報量に対する直感的要請には「発生確率が低いほど大きく（単調減少性）」「確率に関して連続的に変化し（連続性）」「独立同時事象の情報量が周辺事象の情報量和に等しい（加法性）」の三条件が挙げられる。この3条件を満たす関数はコーシーの函数方程式を利用することでformula_18と一意に求まる。よって情報量の定義は上記の3条件から一意に導出できる。典型的には対数の底を2としてp=1/2で1となるようにCを設定（C=-1）する。
平均情報量（エントロピー）.
formula_19を、台が有限集合である確率空間とする。formula_19 上の確率分布 formula_21 が与えられたとき、各事象 formula_22 の選択情報量 formula_23 の期待値
を formula_21 のエントロピーと呼ぶ（平均情報量、シャノン情報量、情報論のエントロピーとも）。
ただし、ここで"P"("A")=0のときは、formula_26とみなす。これはformula_27であることによる。
また有限集合U上の値を取る確率変数 formula_28 が確率分布 formula_29 に従う場合には、formula_28 のエントロピーを"H"("X")="H"("P")によって定める。すなわち、
formula_32 よりエントロピーは常に非負の値（または無限大）を取る。
値"x"、"y"がそれぞれ確率変数"X"、"Y"に従う場合には、組formula_33も確率変数とみなせる。この確率変数を formula_34、この組の発生確率すなわち同時確率を formula_35 とすると、formula_34 のエントロピー formula_37 は
になる。これを結合エントロピーと呼ぶ。
formula_39 が互いに独立な確率変数である場合には、formula_37 は formula_41 に一致する。すなわち、全体の情報量 formula_37 は、それぞれの確率変数の情報量の和である。
しかし、"X"と"Y"が互いに独立ではない場合は、formula_37 と formula_41 は一致せず、前者より後者の方が大きい値になる。両者の情報量の差を相互情報量と呼び、
で表す。相互情報量は常に非負の値になる。
事象"B"が生じているという条件下における事象Aの条件付き情報量をformula_46によって定める。確率変数"X"が与えられたとき、事象「formula_47」の条件付き情報量formula_48の"x"に関する平均値を条件付きエントロピーといい、
で表す。
さらに確率変数"Y"が与えられたとき、事象「formula_50」が生じているという条件下における事象「formula_47」の条件付きエントロピーformula_52の"y"に関する平均値
もやはり条件付きエントロピーと呼ぶ。
コイン投げの例.
あるコインを投げたときに表が出る確率を formula_55、裏が出る確率を formula_56 とする。このコインを投げたときに得られる平均情報量（エントロピー）は、
である。
この関数formula_58をエントロピー関数と呼ぶ。
図を見ると分かるように、formula_59 と formula_60 では formula_61 はゼロである。つまり、コインを投げる前から裏または表が出ることが確実に分かっているときに得られる平均情報量は、ゼロである。formula_61 が最大になるのは formula_63 のときであり、一般にすべての事象（できごと）が等確率になるときにエントロピーが最大になる。
連続系のエントロピー.
実数値を取る確率変数"X"の確率密度関数を"p"("x")とするとき、"X"のエントロピーを
によって定義する。
"X"が有限集合に値を取る確率変数である場合には、"X"のシャノン情報量formula_65も定義できる。"X"が"n"通りの値を取るとき、formula_65とformula_67は、
を満たす。
ただし、ここでformula_69は"n"元集合上の一様分布とする（すなわちformula_70）。
Renyiエントロピー.
formula_19を、台が有限集合である確率空間とする。"P"をformula_19上の確率分布とし、formula_73を非負の実数とする。
formula_74のとき、"P"のdegee formula_73のRenyiエントロピーを
によって定義する。
また、formula_77の場合には、Renyiエントロピーを
によって定義する。
単にRenyiエントロピーと言った場合はformula_79を意味することも多い。
さらに、確率変数"X"が確率分布"P"に従うとき、formula_80をformula_81によって定義する。
Renyiエントロピーは以下の性質を満たす：
歴史.
「エントロピー」の概念は1865年にルドルフ・クラウジウスがギリシャ語の「変換」を意味する言葉を語源として、熱力学における気体のある状態量として導入した。これは統計力学では微視的な状態数の対数に比例する量として表される。1929年にはレオ・シラードが、気体についての情報を観測者が獲得することと統計力学におけるエントロピーとの間に直接の関係があることを示し、現在 1 ビット（1 シャノン）と呼ぶ量が統計力学で "k" ln 2 に対応するという関係を導いていた。
現在の情報理論におけるエントロピーの直接の導入は1948年のクロード・シャノンによるもので、その論文『通信の数学的理論』でエントロピーの概念を情報理論に応用した。シャノン自身は熱統計力学でこの概念と関連する概念がすでに使われていることを知らずにこの定義に到達したが、その名称を考えていたとき同僚フォン・ノイマンが、熱統計力学のエントロピーに似ていることから示唆したもので、フォン・ノイマンは「統計エントロピーが何なのかを理解してる人は少ないから、議論になったら有利であろう」と語ったとされる。しかしシャノンはフォン・ノイマンとの会話は認めつつその影響を否定している。
なお、シャノン以前にもラルフ・ハートレーが1928年に、集合"A"に対してformula_95という量を考察している（“formula_96”は"A"の元数）。formula_95は"A"上の一様分布のエントロピーに一致する。現在では、formula_95を"A"のハートレー・エントロピーと呼ぶ。
単位.
情報量は本来無次元の量である。しかし、対数の底として何を用いたかによって値が異なるので，単位を付けて区別している。前述のように、情報量は確率の逆数の桁数の期待値なので、単位も桁数のそれを流用する。この為、対数の底として2、e、10を選んだときの情報量の単位は、それぞれビット(bit)、ナット(nat)、ディット(dit)である。
また、今のところ主流ではないものの、1997年に日本工業規格 JIS X 0016:1997（これは国際規格 ISO/IEC 2382-16:1996と一致している）は、これらの量を表す単位を別に定めている（も参照）。
単位「シャノン」、「ハートレー」の名称は、それぞれ情報量の概念を提案したクロード・シャノン、ラルフ・ハートレーにちなむ。