情報量
実数値を取る確率変数Xの確率密度関数をp(x)とするとき、Xのエントロピーを
h ( X ) = − ∫ − ∞ ∞ p ( x ) log  p ( x ) d x {\displaystyle h(X)=-\int _{-\infty }^{\infty }p(x)\log p(x)dx}
によって定義する。
Xが有限集合に値を取る確率変数である場合には、Xのシャノン情報量 H ( X ) {\displaystyle H(X)} も定義できる。Xがn通りの値を取るとき、 H ( X ) {\displaystyle H(X)} と h ( X ) {\displaystyle h(X)} は、
h ( X ) = H ( U n ) − H ( X ) {\displaystyle h(X)=H(U_{n})-H(X)}
を満たす。
ただし、ここで U n {\displaystyle U_{n}} はn元集合上の一様分布とする(すなわち H ( U n ) = log  n {\displaystyle H(U_{n})=\log n} )。
情報量は本来無次元の量である。しかし、対数の底として何を用いたかによって値が異なるので,単位を付けて区別している。前述のように、情報量は確率の逆数の桁数の期待値なので、単位も桁数のそれを流用する。この為、対数の底として2、e、10を選んだときの情報量の単位は、それぞれビット(bit)、ナット(nat)、ディット(dit)である。
また、今のところ主流ではないものの、1997年に日本工業規格 JIS X 0016:1997(これは国際規格 ISO/IEC 2382-16:1996と一致している)は、これらの量を表す単位を別に定めている(ノートも参照)。
単位「シャノン」、「ハートレー」の名称は、それぞれ情報量の概念を提案したクロード・シャノン、ラルフ・ハートレーにちなむ。