情報量
確率変数Xが与えられたとき、事象「 X = x {\displaystyle X=x} 」の条件付き情報量 − log  Pr ( X = x | B ) {\displaystyle -\log \Pr(X=x|B)} のxに関する平均値を条件付きエントロピーといい、
H ( X | B ) = E P X | B [ I ( X | B ) ] = − ∑ x P X | B ( x | B ) log  P X | B ( x | B ) {\displaystyle H(X|B)=\mathbb {E} _{P_{X|B}}[I(X|B)]=-\sum _{x}P_{X|B}(x|B)\log P_{X|B}(x|B)}
で表す。
さらに確率変数Yが与えられたとき、事象「 Y = y {\displaystyle Y=y} 」が生じているという条件下における事象「 X = x {\displaystyle X=x} 」の条件付きエントロピー H ( X | Y = y ) {\displaystyle H(X|Y=y)} のyに関する平均値
H ( X | Y ) = ∑ y Pr ( Y = y ) H ( X | Y = y ) {\displaystyle H(X|Y)=\sum _{y}\Pr(Y=y)H(X|Y=y)}
もやはり条件付きエントロピーと呼ぶ。