交差エントロピー
情報理論において、交差エントロピー（こうさエントロピー）またはクロスエントロピー（）は、2つの確率分布の間に定義される尺度である。符号化方式が、真の確率分布 formula_1 ではなく、ある所定の確率分布 formula_2 に基づいている場合に、とりうる複数の事象の中からひとつの事象を特定するために必要となるビット数の平均値を表す。