情報理論(直接的には通信の理論)における情報量の定式化が行われたのは、クロード・シャノンの1948年『通信の数学的理論』である。