言語モデル
↑ デジタル無限性(英語版)の特徴
↑ 次元の呪い: 言語モデルがより大規模なテキストで訓練されるにつれて、固有の単語(語彙)の数が指数関数的に増加すること。Heaps' law(英語版)を参照。
言語モデルの品質は、通常、典型的な言語指向タスクを反映した、人間が作成したサンプルベンチマークとの比較によって評価される。あまり確立されていないが、言語モデルに固有の特性を調べたり、2つのモデルを比較する品質テストの方法もある。言語モデルは通常は動的であり、訓練で遭遇したデータから学習することを目的としているため、提案されたモデルの中には、学習曲線を調べることによって、学習速度を評価するものもある。
言語処理システムを評価するために、いくつかのデータセットが開発されており、次のようなものがある。
言語学的許容性コーパス(Corpus of Linguistic Acceptability、CoLA)
GLUEベンチマーク(GLUE benchmark)
マイクロソフトリサーチ・パラフレーズコーパス(Microsoft Research Paraphrase Corpus、MRPC)
多ジャンル自然言語推論(Multi-Genre Natural Language Inference、MultiNLI)
質問自然言語推論(Question Natural Language Inference、QNLI)