パープレキシティ
指数 − 1 N ∑ i = 1 N log b  q ( x i ) {\displaystyle -{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})} は、交差エントロピーと解釈することもできる。
H ( p ~ , q ) = − ∑ x p ~ ( x ) log b  q ( x ) {\displaystyle H({\tilde {p}},q)=-\sum _{x}{\tilde {p}}(x)\log _{b}q(x)}
ここで、 p ~ {\displaystyle {\tilde {p}}} はテストサンプルの経験分布(英語版)を表す(すなわち、サイズ N のテストサンプルに x が n 回出現した場合、 p ~ ( x ) = n / N {\displaystyle {\tilde {p}}(x)=n/N} )。
カルバック・ライブラー情報量の定義により、これは
とも等しく、これは ≥ H ( p ~ ) {\displaystyle \geq H({\tilde {p}})} となる。したがって、 q = p ~ {\displaystyle q={\tilde {p}}} のときに、パープレキシティは最小となる。