情報量
ここで、 X 1 , ... , X α {\displaystyle X_{1},\ldots ,X_{\alpha }} は確率分布 P {\displaystyle P} に従う独立同一分布であって、 Pr ( X 1 = ⋯ = X α ) {\displaystyle \Pr(X_{1}=\cdots =X_{\alpha })} は x 1 , ... , x α {\displaystyle x_{1},\ldots ,x_{\alpha }} をそれぞれ X 1 , ... , X α {\displaystyle X_{1},\ldots ,X_{\alpha }} に従って選んだときに x 1 = ⋯ = x α {\displaystyle x_{1}=\cdots =x_{\alpha }} が成立する確率とする。
H ∞ ( P ) = min A ∈ Ω { − log  P ( A ) } {\displaystyle H_{\infty }(P)=\min _{A\in \Omega }\{-\log P(A)\}} が成立する。この H ∞ ( P ) {\displaystyle H_{\infty }(P)} をminエントロピーともいう。