Kullback–Leibler divergence
従って、相互情報量は、formula_73 の formula_5 に対するカルバック・ライブラー情報量の期待値として解釈することもできる。