言語モデル
言語モデル（げんごモデル、）は、単語列に対する確率分布を表わすものである。言語モデルは、長さが個の単語列が与えられたとき、その単語列全体に対しての確率 formula_1 を与える。この確率分布は、1つまたは複数の言語のテキストコーパスを使用して、言語モデルを訓練することによって得られる。しかし、言語は無限に有効な文を表現することができるため、言語モデリングは、訓練データでは遭遇しないような言語的に有効な単語列にゼロでない確率を割り当てることが課題となる。この問題を克服するために、マルコフ仮定や、回帰型ニューラルネットワークあるいはトランスフォーマー（transformer）などのニューラルアーキテクチャなど、さまざまなモデリング方法が考案されている。
言語モデルは、計算言語学におけるさまざまな問題に役立っている。当初は、低確率で無意味な単語列を予測を防ぐために音声認識での使用から始まった。現在では、機械翻訳（翻訳候補の順位付け）や、より人間に近いテキストを生成する自然言語生成、、構文解析、光学文字認識、手書き文字認識、、情報検索など、幅広い用途に利用されている。
情報検索においては、において言語モデルが用いられる。この方法では、コレクション内のすべての文書に、個別の言語モデルが関連付けられている。そして各文書は、その文書の言語モデル formula_2 に対するクエリ formula_3 の確率 formula_4 に基づいて順位付けされる。この目的のため一般に、言語モデルが利用される。
2018年以降、（LLM）が登場し、大きな発展がみられた。これらのモデルは、数十億個の学習可能なパラメータを持つディープ・ニューラルネットワークで構成され、ラベルなしテキストの膨大なデータセットで訓練される。LLMは、さまざまな自然言語処理タスクで目覚ましい成果を示し、研究の焦点が汎用的なLLMの使用へと移り変わっている。