情報量
情報量は加法性を持つ。すなわち独立な事象A/Bに対し、事象「AもBも起こる」の情報量は、Aの情報量とBの情報量の和である。これは以下で証明される。
I ( A , B ) = − log  P ( A , B ) = − log  ( P ( A ) ∗ P ( B ) ) = − ( log  P ( A ) + log  P ( B ) ) = I ( A ) + I ( B ) {\displaystyle I(A,B)=-\log P(A,B)=-\log(P(A)*P(B))=-(\log P(A)+\log P(B))=I(A)+I(B)}
例えば、52枚のトランプから無作為に1枚を取り出すという試行を考える。「取り出したカードはハートの4である」という事象の情報量は、前述の定義からlog52 であると分かる。ここで、「取り出したカードのスートはハートである」という事象と「取り出したカードの数字は4である」という事象の二つを考えると、前者の情報量はlog4、後者はlog13 である。この両者の和はlog4 + log13 = log(4×13) = log52 となり、「取り出したカードはハートの4である」という事象の情報量と等しい。これは「独立した情報の和が、全体の情報量と一致する」という直感的要請に合致する。
Ω {\displaystyle \Omega } を、台が有限集合である確率空間とする。Pを Ω {\displaystyle \Omega } 上の確率分布とし、 α {\displaystyle \alpha } を非負の実数とする。
α ≠ 1 {\displaystyle \alpha \neq 1} のとき、Pのdegee α {\displaystyle \alpha } のRenyiエントロピーを
H α ( P ) = log  ( ∑ A ∈ Ω P ( A ) α ) 1 − α {\displaystyle H_{\alpha }(P)={\frac {\log(\sum _{A\in \Omega }P(A)^{\alpha })}{1-\alpha }}}
によって定義する。 また、 α = 1 , ∞ {\displaystyle \alpha =1,\infty } の場合には、Renyiエントロピーを
{ H 1 ( P ) = lim α → 1 H α ( P ) H ∞ ( P ) = lim α → ∞ H α ( P ) {\displaystyle \left\{{\begin{array}{lll}H_{1}(P)&=\lim _{\alpha \to 1}&H_{\alpha }(P)\\H_{\infty }(P)&=\lim _{\alpha \to \infty }&H_{\alpha }(P)\end{array}}\right.
また有限集合U上の値を取る確率変数 X {\displaystyle X} が確率分布 P X {\displaystyle P_{X}} に従う場合には、 X {\displaystyle X} のエントロピーをH(X)=H(P)によって定める。すなわち、
H ( X ) = − ∑ x ∈ U P X ( x ) log  P X ( x ) {\displaystyle H(X)=-\sum _{x\in U}P_{X}(x)\log P_{X}(x)}
0 ≦ I ( ⋅ ) {\displaystyle 0\leqq I(\cdot )} よりエントロピーは常に非負の値(または無限大)を取る。
値x、yがそれぞれ確率変数X、Yに従う場合には、組 ( x , y ) {\displaystyle (x,y)} も確率変数とみなせる。この確率変数を ( X , Y ) {\displaystyle (X,Y)} 、この組の発生確率すなわち同時確率を P X Y ( X , Y ) {\displaystyle P_{XY}(X,Y)} とすると、 ( X , Y ) {\displaystyle (X,Y)} のエントロピー H ( X , Y ) {\displaystyle H(X,Y)} は
情報量(じょうほうりょう)やエントロピー(英: entropy)は、情報理論の概念で、あるできごと(事象)が起きた際、それがどれほど起こりにくいかを表す尺度である。ありふれたできごと(たとえば「風の音」)が起こったことを知ってもそれはたいした「情報」にはならないが、逆に珍しいできごと(たとえば「曲の演奏」)が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとが本質的にどの程度の情報を持つかの尺度であるとみなすこともできる。
なおここでいう「情報」とは、あくまでそのできごとの起こりにくさ(確率)だけによって決まる数学的な量でしかなく、個人・社会における有用性とは無関係である。たとえば「自分が宝くじに当たった」と「見知らぬAさんが宝くじに当たった」は、前者の方が有用な情報に見えるが、両者の情報量は全く同じである(宝くじが当たる確率は所与条件一定のもとでは誰でも同じであるため)。