二値エントロピー関数

情報理論において、二値エントロピー関数（にちエントロピーかんすう、binary entropy function）は formula_1 もしくは formula_2 のように表記され、確率 formula_3 の1値または2値ベルヌーイ過程の情報エントロピーとして定義される。数学的には、ベルヌーイ試行は0か1の排他的な2値のみをとりうる確率変数 formula_4
formula_5 のとき formula_6 であり、formula_4 のエントロピーは（シャノン単位で）次のように与えられる。
ここで、 formula_9 は 0 とする。この式中の対数は通常、底を2とする。二進対数も参照されたい。
formula_10 のとき、二値エントロピー関数は最大値をとる。これは偏りのないコイントスに対応する。
formula_1 は単一の実数を引数としてとり、確率分布や確率変数を引数とするエントロピー関数 formula_12 とは区別される。二値エントロピー関数を formula_13 と表記する場合もある。しかし、 も formula_14 と表記することがあるため、混同に注意が必要である。
説明.
情報理論における用語では、「エントロピー」とはメッセージ中の不確定性の尺度と考えられる。直感的に理解するため、formula_15 の場合を考える。この確率では、ある事象は決して起こらないことが確定しており、不確定性はまったくないのでエントロピーは0となる。formula_16 の場合も、結果はやはり確定的でありエントロピーは0となる。formula_17 のとき不確定性は最大となり、公平な賭けをする場合は確率に関する知識があろうと全く有利にはならないのである。この場合、エントロピーは最大値 1 ビットをとる。中間的な値はこれらの極端な場合の間になる。たとえば formula_18 の場合、結果に若干の不確定性があるものの、予言を外すよりは多く当てることができるので不確定性の尺度、すなわちエントロピーは完全な 1 ビットよりは小さくなる。
導関数.
二値エントロピー関数の導関数はロジット関数の符号を反転させたもので表現される。
テイラー展開.
二値エントロピー関数の1/2まわりでのテイラー展開は次のように与えられる。
これは formula_21 で成り立つ。