情報量
Ω {\displaystyle \Omega } を、台が有限集合である確率空間とする。 Ω {\displaystyle \Omega } 上の確率分布 P {\displaystyle P} が与えられたとき、各事象 A ∈ Ω {\displaystyle A\in \Omega } の選択情報量 I ( A ) {\displaystyle I(A)} の期待値
H ( P ) = E P ( A ) [ I ( A ) ] = ∑ A ∈ Ω P ( A ) I ( A ) = − ∑ A ∈ Ω P ( A ) log  P ( A ) {\displaystyle H(P)=\mathbb {E} _{P(A)}[I(A)]=\sum _{A\in \Omega }P(A)\ I(A)=-\sum _{A\in \Omega }P(A)\log P(A)}
を P {\displaystyle P} のエントロピーと呼ぶ(平均情報量、シャノン情報量、情報論のエントロピーとも)。
ただし、ここでP(A)=0のときは、 P ( A ) log  P ( A ) = 0 {\displaystyle P(A)\log P(A)=0} とみなす。これは lim p → + 0 p log  p = 0 {\displaystyle \lim _{p\to +0}p\log p=0} であることによる。