微分エントロピー
確率密度関数 f {\displaystyle f} と g {\displaystyle g} に対しカルバック・ライブラー情報量 D K L ( f | | g ) {\displaystyle D_{KL}(f||g)} は 0 以上であり、0 と一致するのはほとんど至るところで f = g {\displaystyle f=g} であるとき、かつそのときに限る。同様に、2つの確率変数 X {\displaystyle X} と Y {\displaystyle Y} に対し I ( X ; Y ) ≥ 0 {\displaystyle I(X;Y)\geq 0} かつ h ( X | Y ) ≤ h ( X ) {\displaystyle h(X|Y)\leq h(X)} で、等号が成立するのは X {\displaystyle X} と Y {\displaystyle Y} が独立であるとき、かつそのときに限る。
離散型の場合と同じく連鎖律が成り立つ。
h ( X 1 , ... , X n ) = ∑ i = 1 n h ( X i | X 1 , ... , X i − 1 ) ≤ ∑ i = 1 n h ( X i ) {\displaystyle h(X_{1},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i}|X_{1},\ldots ,X_{i-1})\leq \sum _{i=1}^{n}h(X_{i})}
平行移動不変である。つまり任意の定数 c {\displaystyle c} に対し
h ( X + c ) = h ( X ) {\displaystyle h(X+c)=h(X)}