情報量
事象 E {\displaystyle E} が起こる確率を P ( E ) {\displaystyle P(E)} とするとき、事象 E {\displaystyle E} が起こったことを知らされたとき受け取る(選択)情報量 I ( E ) {\displaystyle I(E)} は以下で定義される:
I ( E ) = log  1 P ( E ) = − log  P ( E ) {\displaystyle I(E)=\log {\frac {1}{P(E)}}=-\log P(E)}
確率の値域 0 ≦ P ( ⋅ ) ≦ 1 {\displaystyle 0\leqq P(\cdot )\leqq 1} より選択情報量の値域は + ∞ ≧ I ( ⋅ ) ≧ 0 {\displaystyle +\infty \geqq I(\cdot )\geqq 0} を満たす。また対数の単調増加性により、起こりにくい事象(=生起確率が低い事象)の情報量ほど値が大きい。
対数の底として何を選んでも情報量の値が定数倍変わるだけなので本質的な差はない。慣習的に底に2を選ぶことが多い。底が2の場合、 1 / 2 n {\displaystyle 1/2^{n}} の確率で起こる事象の情報量は n {\displaystyle n} である。