情報量
}
によって定義する。
単にRenyiエントロピーと言った場合は H 2 ( P ) {\displaystyle H_{2}(P)} を意味することも多い。
さらに、確率変数Xが確率分布Pに従うとき、 H α ( X ) {\displaystyle H_{\alpha }(X)} を H α ( X ) = H α ( P ) {\displaystyle H_{\alpha }(X)=H_{\alpha }(P)} によって定義する。
Renyiエントロピーは以下の性質を満たす:
H 0 ( P ) = log  # Ω {\displaystyle H_{0}(P)=\log \#\Omega } が成立する。
H 1 ( P ) {\displaystyle H_{1}(P)} はシャノン情報量 H ( P ) = − ∑ A ∈ Ω P ( A ) log  P ( A ) {\displaystyle H(P)=-\sum _{A\in \Omega }P(A)\log P(A)} と一致する。
α {\displaystyle \alpha } が2以上の整数の場合には、 H α ( P ) = 1 1 − α log  Pr ( X 1 = ⋯ = X α ) {\displaystyle H_{\alpha }(P)={\frac {1}{1-\alpha }}\log \Pr(X_{1}=\cdots =X_{\alpha })} が成立する。
あるコインを投げたときに表が出る確率を p {\displaystyle p} 、裏が出る確率を 1 − p {\displaystyle 1-p} とする。このコインを投げたときに得られる平均情報量(エントロピー)は、
H ( X ) = − p log  p − ( 1 − p ) log  ( 1 − p ) {\displaystyle \left.H(X)=-p\log {p}-(1-p)\log {(1-p)}\right.}
である。
この関数 f ( p ) = − p log  p − ( 1 − p ) log  ( 1 − p ) {\displaystyle f(p)=-p\log {p}-(1-p)\log {(1-p)}} をエントロピー関数と呼ぶ。

図を見ると分かるように、 p = 0 {\displaystyle p=0} と p = 1 {\displaystyle p=1} では H {\displaystyle H} はゼロである。つまり、コインを投げる前から裏または表が出ることが確実に分かっているときに得られる平均情報量は、ゼロである。 H {\displaystyle H} が最大になるのは p = 1 / 2 {\displaystyle p=1/2} のときであり、一般にすべての事象(できごと)が等確率になるときにエントロピーが最大になる。