二値エントロピー関数
情報理論において、二値エントロピー関数(にちエントロピーかんすう、binary entropy function)は H  ( p ) {\displaystyle \operatorname {H} (p)} もしくは H b  ( p ) {\displaystyle \operatorname {H} _{\text{b}}(p)} のように表記され、確率 p {\displaystyle p} の1値または2値ベルヌーイ過程の情報エントロピーとして定義される。数学的には、ベルヌーイ試行は0か1の排他的な2値のみをとりうる確率変数 X {\displaystyle X}
Pr  ( X = 1 ) = p {\displaystyle \operatorname {Pr} (X=1)=p} のとき Pr  ( X = 0 ) = 1 − p {\displaystyle \operatorname {Pr} (X=0)=1-p} であり、 X {\displaystyle X} のエントロピーは(シャノン単位で)次のように与えられる。
二値エントロピー関数の導関数はロジット関数の符号を反転させたもので表現される。
d d p H b ( p ) = − logit 2  ( p ) = − log 2  ( p 1 − p ) {\displaystyle {d \over dp}H_{\text{b}}(p)=-\operatorname {logit} _{2}(p)=-\log _{2}\left({\frac {p}{1-p}}\right)} .