交差エントロピー
情報理論において、交差エントロピー(こうさエントロピー)またはクロスエントロピー(英: cross entropy)は、2つの確率分布の間に定義される尺度である。符号化方式が、真の確率分布 p {\displaystyle p} ではなく、ある所定の確率分布 q {\displaystyle q} に基づいている場合に、とりうる複数の事象の中からひとつの事象を特定するために必要となるビット数の平均値を表す。