联合熵是一集变量之间不确定性的衡量手段。
定义.两个变量formula_1 和 formula_2 的联合信息熵定义为：其中 formula_4 和 formula_5 是 formula_1 和 formula_2的特定值, 相应地, formula_8 是这些值一起出现的联合概率, 若formula_9 为0，则formula_10 定义为0。对于两个以上的变量 formula_11 ，该式的一般形式为：其中 formula_13 是 formula_14 的特定值