言語モデル
最大エントロピー言語モデルでは、単語とn-gramの履歴との関係を符号化する特徴関数を使用する。言語モデルは次の式で表される。
ここで、 Z ( w 1 , ... , w m − 1 ) {\displaystyle Z(w_{1},\ldots ,w_{m-1})} は分配関数、 a {\displaystyle a} はパラメータベクトル、 f ( w 1 , ... , w m ) {\displaystyle f(w_{1},\ldots ,w_{m})} は特徴関数である。最も単純な形では、特徴関数は特定のn-gramの存在を示す指標にすぎない。モデルの最適なのために、 a {\displaystyle a} の事前分布を利用するか、何らかの形で正則化を行うことが有効である。指数関数型の言語モデルの一つの例として、対数双線形モデルがある。