相對熵

KL散度 （ Kullback - Leibler divergence ， 簡稱KLD ） ， 在訊息系統中稱爲相對熵 （ relative entropy ） ， 在連續時間序列中稱爲隨機性 （ randomness ） ， 在統計模型推斷中稱爲訊息增益 （ information gain ） 。 也稱訊息散度 （ information divergence ） 。 KL散度是兩個機率分佈P和Q差別的非對稱性的度量 。 KL散度是用來度量使用基於Q的分佈來編碼服從P的分佈的樣本所需的額外的平均比特數 。 典型情況下 ， P表示數據的真實分佈 ， Q表示數據的理論分佈 、 估計的模型分佈 、 或P的近似分佈 。