二値エントロピー関数
情報理論における用語では、「エントロピー」とはメッセージ中の不確定性の尺度と考えられる。直感的に理解するため、 p = 0 {\displaystyle p=0} の場合を考える。この確率では、ある事象は決して起こらないことが確定しており、不確定性はまったくないのでエントロピーは0となる。 p = 1 {\displaystyle p=1} の場合も、結果はやはり確定的でありエントロピーは0となる。 p = 1 / 2 {\displaystyle p=1/2} のとき不確定性は最大となり、公平な賭けをする場合は確率に関する知識があろうと全く有利にはならないのである。この場合、エントロピーは最大値 1 ビットをとる。中間的な値はこれらの極端な場合の間になる。たとえば p = 1 / 4 {\displaystyle p=1/4} の場合、結果に若干の不確定性があるものの、予言を外すよりは多く当てることができるので不確定性の尺度、すなわちエントロピーは完全な 1 ビットよりは小さくなる。