識別的モデル
l log ( x i , y i , c ( x i ; w ) ) = − log  p ( y i | x i ; w ) = log  Z ( x i ; w ) − w T φ ( x i , y i ) {\displaystyle l^{\log }(x^{i},y^{i},c(x^{i};w))=-\log p(y^{i}|x^{i};w)=\log Z(x^{i};w)-w^{T}\phi (x^{i},y^{i})}
対数損失は微分可能であるため、勾配に基づく手法でモデルの最適化を行うことができる。目的関数は凸であるため、大域的な最適化が保証される。対数尤度の勾配は次のように表される。
∂ L ( w ) ∂ w = ∑ i φ ( x i , y i ) − E p ( y | x i ; w ) φ ( x i , y ) {\displaystyle {\frac {\partial L(w)}{\partial w}}=\textstyle \sum _{i}\displaystyle \phi (x^{i},y^{i})-E_{p(y|x^{i};w)}\phi (x^{i},y)}
ここで E p ( y | x i ; w ) {\displaystyle E_{p(y|x^{i};w)}} は p ( y | x i ; w ) {\displaystyle p(y|x^{i};w)} の期待値である。
この方法は、比較的少数の分類数に対して効率的である。