交差エントロピー
真の確率は p ( y = 1 | x ) ≡ p 1 = y {\displaystyle p(y=1|x)\equiv p_{1}=y} および p ( y = 1 | x ) ≡ p 0 = 1 − y {\displaystyle p(y=1|x)\equiv p_{0}=1-y} で定式化される。教師有り二項分類では入力ベクトルに対応するラベルが一意に与えられるため、 p ( y | x ) {\displaystyle p(y|x)} は必ず one-hot なカテゴリカル分布になる。このことは y ∈ { 0 , 1 } {\displaystyle y\in \{0,1\}} と次式より確かめられる:
p ( y | x ) = y or 1 − y = 1 or 0 {\displaystyle p(y|x)=y\ {\text{or}}\ 1-y=1\ {\text{or}}\ 0}
p {\displaystyle p} と q {\displaystyle q} との間の非類似性の尺度を交差エントロピーで表現すると次式が得られる:
H ( p , q ) = − ∑ i { 1 , 0 } p i log  q i = − y log  y ^ − ( 1 − y ) log  ( 1 − y ^ ) {\displaystyle H(p,q)=-\sum _{i}^{\{1,0\}}p_{i}\log q_{i}=-y\log {\hat {y}}-(1-y)\log(1-{\hat {y}})}
ロジスティック回帰で用いられる典型的な損失関数は、サンプル中の全ての交差エントロピーの平均を取ることによって計算される。例えば、それぞれのサンプルが n = 1 , ... , N {\displaystyle n=1,\dots ,N} によってラベル付けされた N {\displaystyle N} 個のサンプルを持っていることを仮定する。