相互情報量
一方、連続確率変数の場合、ネイピア数 e = 2.718.. {\displaystyle e=2.718..} をとることが多い。
直観的には、相互情報量は X {\displaystyle X} と Y {\displaystyle Y} が共有する情報量の尺度であり、一方の変数を知ることでもう一方をどれだけ推測できるようになるかを示す。例えば、 X {\displaystyle X} と Y {\displaystyle Y} が独立であれば、 X {\displaystyle X} をいくら知っても Y {\displaystyle Y} に関する情報は得られないし、逆も同様である。このとき、相互情報量はゼロである。逆に、 X {\displaystyle X} と Y {\displaystyle Y} が同じであれば、 X {\displaystyle X} と Y {\displaystyle Y} は全情報を共有しているという事ができ、 X {\displaystyle X} を知れば Y {\displaystyle Y} も知ることになり、逆も同様である。結果として、相互情報量は Y {\displaystyle Y} (すなわち X {\displaystyle X} )単独の情報量(エントロピー)と同じとなる。
相互情報量は、以下のような意味で相互の依存性(非独立性)の尺度でもある。これは一方向から考えると分かり易い。 X {\displaystyle X} と Y {\displaystyle Y} が独立なら、 p ( x , y ) = p ( x ) p ( y ) {\displaystyle p(x,y)=p(x)p(y)} であるから、次が成り立つ。
log  p ( x , y ) p ( x ) p ( y ) = log  1 = 0. {\displaystyle \log {\frac {p(x,y)}{p(x)\,p(y)}}=\log 1=0.\!}
したがって、離散確率変数の場合も連続確率変数の場合も I ( X ; Y ) = 0 {\displaystyle I(X;Y)=0} となる。実際は逆も成り立ち、 I ( X ; Y ) = 0 {\displaystyle I(X;Y)=0} であることと、 X {\displaystyle X} と Y {\displaystyle Y} が独立な確率変数であることは同値である。
また、後述するように X {\displaystyle X} と Y {\displaystyle Y} が独立な場合の同時分布と実際の同時分布の(擬)距離を示す量であるとも考えられる。