Claude Shannon
で定義される（つまり の平均である）。これはのちにクロード・シャノンの定義した情報エントロピーと同じ形である。