情報量
「エントロピー」の概念は1865年にルドルフ・クラウジウスがギリシャ語の「変換」を意味する言葉を語源として、熱力学における気体のある状態量として導入した。これは統計力学では微視的な状態数の対数に比例する量として表される。1929年にはレオ・シラードが、気体についての情報を観測者が獲得することと統計力学におけるエントロピーとの間に直接の関係があることを示し、現在 1 ビット(1 シャノン)と呼ぶ量が統計力学で k ln 2 に対応するという関係を導いていた。
現在の情報理論におけるエントロピーの直接の導入は1948年のクロード・シャノンによるもので、その論文『通信の数学的理論』でエントロピーの概念を情報理論に応用した。シャノン自身は熱統計力学でこの概念と関連する概念がすでに使われていることを知らずにこの定義に到達したが、その名称を考えていたとき同僚フォン・ノイマンが、熱統計力学のエントロピーに似ていることから示唆したもので、フォン・ノイマンは「統計エントロピーが何なのかを理解してる人は少ないから、議論になったら有利であろう」と語ったとされる。しかしシャノンはフォン・ノイマンとの会話は認めつつその影響を否定している。
なお、シャノン以前にもラルフ・ハートレーが1928年に、集合Aに対して log  # A {\displaystyle \log \#A} という量を考察している(“ # A {\displaystyle \#A} ”はAの元数)。 log  # A {\displaystyle \log \#A} はA上の一様分布のエントロピーに一致する。現在では、 log  # A {\displaystyle \log \#A} をAのハートレー・エントロピーと呼ぶ。