言語モデル
言語モデルは、長さがm個の単語列が与えられたとき、その単語列全体に対しての確率 P ( w 1 , ... , w m ) {\displaystyle P(w_{1},\ldots ,w_{m})} を与える。この確率分布は、1つまたは複数の言語のテキストコーパスを使用して、言語モデルを訓練することによって得られる。しかし、言語は無限に有効な文を表現することができるため、言語モデリングは、訓練データでは遭遇しないような言語的に有効な単語列にゼロでない確率を割り当てることが課題となる。この問題を克服するために、マルコフ仮定や、回帰型ニューラルネットワークあるいはトランスフォーマー(transformer)などのニューラルアーキテクチャなど、さまざまなモデリング方法が考案されている。
言語モデルは、計算言語学におけるさまざまな問題に役立っている。当初は、低確率で無意味な単語列を予測を防ぐために音声認識での使用から始まった。現在では、機械翻訳(翻訳候補の順位付け)や、より人間に近いテキストを生成する自然言語生成、品詞タグ付け(英語版)、構文解析、光学文字認識、手書き文字認識、文法誘導(英語版)、情報検索など、幅広い用途に利用されている。