情報量
情報量は確率だけによって決まる。
情報量は非負の値または無限大を取る。
nビットのビット列の空間(情報源)から(一様ランダムとは限らない方法で)ランダムにビット列を選んだときのエントロピーは、n以下になる。エントロピーがnになる必要十分条件は、ビット列が一様ランダムに選ばれることである。
確率変数XとYが独立である必要十分条件は、 H ( X ) + H ( Y ) = H ( X , Y ) {\displaystyle H(X)+H(Y)=H(X,Y)} が成立することである。