压缩。
例子.若S为一个三个面的骰子,P(面一)=1/5,P(面二)=2/5,P(面三)=2/5formula_10
联合熵与条件熵.联合熵（）由熵的定义出发，由联合分布，我们有:条件熵（），顾名思义，从条件机率p(y|x)做定义:因为由贝氏定理，我们有formula_13，带入联合熵的定义，可以分离出条件熵，于是得到联合熵与条件熵的关系式:
链式法则.我们可以再对联合熵与条件熵的关系做推广，假设现在有n个