交差エントロピー
機械学習・最適化における交差エントロピー誤差(英: cross entropy loss, CE loss)は交差エントロピーを用いた分布間距離表現による損失関数である。
真の確率 p i {\displaystyle p_{i}} が真のラベルであり、与えられた分布 q i {\displaystyle q_{i}} が現在のモデルの予測値である。
損失関数は次に以下の式となる。
J ( w ) = 1 N ∑ n = 1 N H ( p n , q n ) = − 1 N ∑ n = 1 N [ y n log  y ^ n + ( 1 − y n ) log  ( 1 − y ^ n ) ] , {\displaystyle {\begin{aligned}J(\mathbf {w} )\ &=\ {\frac {1}{N}}\sum _{n=1}^{N}H(p_{n},q_{n})\ =\ -{\frac {1}{N}}\sum _{n=1}^{N}\ {\bigg [}y_{n}\log {\hat {y}}_{n}+(1-y_{n})\log(1-{\hat {y}}_{n}){\bigg ]}\,,\end{aligned}}}
上式において、 y ^ n ≡ g ( w ⋅ x n ) = 1 / ( 1 + e − w ⋅ x n ) {\displaystyle {\hat {y}}_{n}\equiv g(\mathbf {w} \cdot \mathbf {x} _{n})=1/(1+e^{-\mathbf {w} \cdot \mathbf {x} _{n}})} である。 y n ∈ { 0 , 1 } {\displaystyle y_{n}\in \{0,1\}} であるため、損失関数を実際に計算する際には2つある項のうち片方のみの計算で済む(他方は0)。
ロジスティック損失は交差エントロピー損失と呼ばれることがある。また、log lossとも呼ばれる(この場合、二値ラベルは {-1,+1} で示されることが多い)。