交差エントロピー

情報理論において、交差エントロピー（こうさエントロピー）またはクロスエントロピー（）は、2つの確率分布の間に定義される尺度である。符号化方式が、真の確率分布 formula_1 ではなく、ある所定の確率分布 formula_2 に基づいている場合に、とりうる複数の事象の中からひとつの事象を特定するために必要となるビット数の平均値を表す。
定義.
同じ確率空間における2つの分布 formula_1 と formula_2 において、formula_2 の formula_1 に対する交差エントロピーは、次のように定義される。
ここで、formula_8 は formula_1 のエントロピー、formula_10 は formula_1 から formula_2 のカルバック・ライブラー情報量（相対エントロピー）である。
formula_1 と formula_2 が離散確率変数なら、これは次のようになる。
連続確率変数なら、同様に次のようになる。
なお、formula_17 という記法は交差エントロピーだけでなく、結合エントロピーにも使われるので、注意が必要である。
対数尤度との関係.
分類問題において、異なる事象の確率を推定したいとする。N サンプルからなる訓練集合内における事象 formula_18 の頻度（経験的確率）が formula_19 である一方、事象 formula_18 の確率が formula_21 と推定されたとすると、訓練集合の尤度は次のようになる。
この対数尤度をNで割ると、
となり、この尤度を最大化することは、交差エントロピーを最小化することと同義となる。
交差エントロピー最小化.
交差エントロピー最小化は、最適化問題と希少事象の予測によく使われる技法である（交差エントロピー法）。
確率分布 formula_2 を参照用固定確率分布 formula_1 と比較したとき、交差エントロピーとカルバック・ライブラー情報量は（formula_1 が固定なので）付加的な定数を除いて同一である。どちらも formula_27 であるとき最小値となり、カルバック・ライブラーの値は formula_28、交差エントロピーの値は formula_29 となる。
ただし、カルバック・ライブラー情報量参照のとおり、"q" を固定の参照用確率分布とし、"p" を最適化して "q" に近づけるようにすることもある。この場合の最小化は交差エントロピーの最小化とはならない。文献ではどちらの手法で説明しているか、注意する必要がある。
交差エントロピー誤差.
機械学習・最適化における交差エントロピー誤差（, CE loss）は交差エントロピーを用いた分布間距離表現による損失関数である。
真の確率 formula_19が真のラベルであり、与えられた分布 formula_21が現在のモデルの予測値である。
ロジスティック回帰.
より具体的に、ロジスティック回帰による二項分類を考える。すなわちロジスティック回帰モデルにより与えられた入力ベクトル formula_32 から出力クラス formula_33 を予測する。確率は標準シグモイド関数 formula_34 でモデル化される。重みベクトル formula_35 を用いて出力 formula_36 を見出す確率は以下で与えられる：
同様に、出力 formula_38 を見出す余事象の確率は以下で与えられる：
真の確率は formula_40 および formula_41 で定式化される。教師有り二項分類では入力ベクトルに対応するラベルが一意に与えられるため、formula_42 は必ず one-hot なカテゴリカル分布になる。このことは formula_33 と次式より確かめられる：
formula_1 と formula_2 との間の非類似性の尺度を交差エントロピーで表現すると次式が得られる：
ロジスティック回帰で用いられる典型的な損失関数は、サンプル中の全ての交差エントロピーの平均を取ることによって計算される。例えば、それぞれのサンプルがformula_48によってラベル付けされたformula_49個のサンプルを持っていることを仮定する。損失関数は次に以下の式となる。
上式において、formula_51 である。formula_52 であるため、損失関数を実際に計算する際には2つある項のうち片方のみの計算で済む（他方は0）。
ロジスティック損失は交差エントロピー損失と呼ばれることがある。また、log lossとも呼ばれる（この場合、二値ラベルは {-1,+1} で示されることが多い）。