パープレキシティ
自然言語処理(NLP)において、コーパスは文やテキストの集合であり、言語モデルは文やテキスト全体に対する確率分布である。したがって、コーパスに対する言語モデルのパープレキシティを定義することができる。しかし、NLPでは、より一般的に使われる尺度は単語ごとのパープレキシティ(perplexity per word)であり、次のように定義される。
ここで、 s 1 , . . . , s n {\displaystyle s_{1},...,s_{n}} はコーパス内の n {\displaystyle n} 個の文、 N {\displaystyle N} はコーパス内の単語数である。
コーパスの平均的な文 xi が言語モデルに応じて 2 − 190 {\displaystyle 2^{-190}} の確率を持つとする。そうすると、1文あたり 2 という膨大なモデルパープレキシティを生じる。ただし、文の長さで正規化する方法が一般的である。たとえば、テストサンプルの文が 1,000 語で、1単語あたり 7.95 ビットで符号化できたとした場合、1単語あたり 2 = 247 のモデルパープレキシティを得ることができる。言い換えれば、モデルはテストデータ上で、各単語の 247 の可能性の中から一様に独立して選択しなければならないのと同じくらい混乱している。