交差エントロピー
より具体的に、ロジスティック回帰による二項分類を考える。すなわちロジスティック回帰モデルにより与えられた入力ベクトル x {\displaystyle \mathbf {x} } から出力クラス y ∈ { 0 , 1 } {\displaystyle y\in \{0,1\}} を予測する。確率は標準シグモイド関数 g ( z ) = 1 / ( 1 + e − z ) {\displaystyle g(z)=1/(1+e^{-z})} でモデル化される。重みベクトル w {\displaystyle \mathbf {w} } を用いて出力 y = 1 {\displaystyle y=1} を見出す確率は以下で与えられる:
q ( y = 1 | x ) ≡ q 1 = y ^ ≡ g ( w ⋅ x ) = 1 / ( 1 + e − w ⋅ x ) {\displaystyle q(y=1|x)\equiv q_{1}\ =\ {\hat {y}}\ \equiv \ g(\mathbf {w} \cdot \mathbf {x} )\ =1/(1+e^{-\mathbf {w} \cdot \mathbf {x} })}
同様に、出力 y = 0 {\displaystyle y=0} を見出す余事象の確率は以下で与えられる:
q ( y = 0 | x ) ≡ q 0 = 1 − y ^ {\displaystyle q(y=0|x)\equiv q_{0}\ =\ 1-{\hat {y}}}