パープレキシティ
未知の確率分布 p のモデルは、p から抽出された訓練サンプルに基づいて提案されることがある。提案された確率モデル q が与えられたとき、同じく p から抽出された別のテストサンプル x1, x2, ..., xN をどの程度予測できるかを問うことによって q を評価することができる。モデル q のパープレキシティは次のように定義される。
b − 1 N ∑ i = 1 N log b  q ( x i ) = ( ∏ i q ( x i ) ) − 1 / N {\displaystyle b^{-{\frac {1}{N}}\sum _{i=1}^{N}\log _{b}q(x_{i})}=\left(\prod _{i}q(x_{i})\right)^{-1/N}}
ここで、 b {\displaystyle b} は通常 2 とされる。未知分布 p のより優れたモデル q は、テストイベントにより高い確率 q(xi) を割り当てる傾向がある。したがって、そのパープレキシティは低くなり、テストサンプルに当惑することは少なくなる。
上記の指数は、q に基づく最適な符号を使用した場合に、テストイベント xi を表現するのに必要な平均ビット数と考えることができる。パープレキシティが低いモデルは、テストサンプルを圧縮することに優れていて、 q(xi) が高くなる傾向にあるため、テスト要素あたり必要とするビット数は平均して少なくなる。