相对熵 KL散度KullbackLeibler divergence簡稱KLD在訊息系统中称为相对熵relative entropy在连续时间序列中称为随机性randomness在统计模型推断中称为訊息增益information gain也称訊息散度information divergence KL散度是两个機率分布P和Q差别的非对称性的度量 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数典型情况下P表示数据的真实分布Q表示数据的理论分布估计的模型分布或P的近似分布