联合熵

联合熵是一集变量之间不确定性的衡量手段。

定义
两个变量 和  的联合信息熵定义为：

其中  和  是  和 的特定值, 相应地,  是这些值一起出现的联合概率,  若 为0，则 定义为0。

对于两个以上的变量  ，该式的一般形式为：

其中  是  的特定值，相应地， 是这些变量同时出现的概率，若为0，则  被定义为0.

性質

大于每个独立的熵

一集变量的联合熵大于或等于这集变量中任一个的独立熵。

少于或等于独立熵的和

一集变量的联合熵少于或等于这集变量的独立熵之和。这是次可加性的一个例子。该不等式有且只有在和均为统计独立的时候相等。

与其他熵测量手段的关系

在条件熵的定义中，使用了联合熵

互信息的定义中也出现了联合熵的身影：

在量子信息理论中， 联合熵被扩展到。

信息學熵