联合机率密度函数，其条件熵为:formula_26。
相对熵.又称KL散度（Kullback–Leibler divergence)，两机率密度函数f、g的相对熵定义为:formula_27。
互信息.两连续型随机变数的联合机率密度函数为formula_24，其互信息:formula_29广义而言，我们可以将互信息定义在有限多个连续随机变数值域的划分。可参考连续互信息的量化。
性质.
相对熵恆