パープレキシティ
離散確率分布 p のパープレキシティ PP は次のように定義される。
P P ( p ) := 2 H ( p ) = 2 − ∑ x p ( x ) log 2  p ( x ) = ∏ x p ( x ) − p ( x ) {\displaystyle {\mathit {PP}}(p):=2^{H(p)}=2^{-\sum _{x}p(x)\log _{2}p(x)}=\prod _{x}p(x)^{-p(x)}}
ここで、H(p) は分布のエントロピー(ビット単位)であり、 x はイベントの範囲である。(基数は2である必要はない。そのエントロピーとべき乗の基数が同じ場合、パープレキシティは基数に依存しない。) この尺度は、ある学問領域では(次数1の真の)多様性 (en:英語版) としても知られている。
確率変数 X のパープレキシティは、その可能な値 x に対する分布のパープレキシティと定義することができる。
p が公平な k 面ダイス(k 個の離散イベントに対する一様分布)をモデル化している特別な場合、そのパープレキシティは k である。
1992年に発表されたブラウン・コーパス(英語版)(さまざまなトピックやジャンルの100万語のアメリカ英語)の最小パープレキシティは、実に1単語あたり約 247 であり、トライグラム(英語版)モデルを使用した場合のクロスエントロピーは、log2247 = 7.95 ビット/単語、または 1.75 ビット/文字に相当する。より専門的なコーパスの場合は、予測可能性が高くなるために、より低いパープレキシティを達成することがよくある。
ところが、ブラウン・コーパスの次の単語が「the」であると単純に推測した場合の精度は 7%になり、予測可能性の尺度としてパープレキシティを単純に使用した 1/247 = 0.4 %ではない。この推定値は、ブラウン・コーパスのユニグラム(英語版)統計に基づくもので、パープレキシティ 247 を生成したトライグラム統計に基づくものではない。トライグラム統計を使用すると正しい推測の可能性はさらに向上する。