パープレキシティ
パープレキシティが k の確率変数は、公平な k 面ダイスと同じ不確実性を持ち、その確率変数の値について「k 点パープレックス(k-ways perplexed)」であるという。(公平な k 面ダイスでない限り、k を超える値が可能であるが、これらの値の中には 1/k より大きい確率を持つものがあり、それを合計すると全体の値が減少するため、全体の不確実性は増加しない)。
パープレキシティは、予測問題の難しさを示す尺度として使われることがある。しかし、必ずしも正確ではない。2つの選択肢があり、そのうち1つの確率が 0.9 だとすると、最適な戦略で正解する確率は 90 %である。パープレキシティは 2= 1.38 である。パープレキシティの逆数(公平な k 面ダイスの場合、正しく推測できる確率を表す)は、0.9 ではなく、1/1.38 = 0.72 である。
パープレキシティはエントロピーの指数化であり、より明確な量である。エントロピーとは、たとえば理論的に最適な可変長符号を使用して、確率変数の結果を符号化するために必要なビット数の期待値、あるいは平均値を示す尺度である。これは、確率変数の結果を学習することによる期待情報利得と等価と考えることができる。