相對熵

Kullback–Leibler Divergence係其中一種成日用嘅訊息熵，喺訊息論呢個範疇入面係一種用嚟比較兩個概率分佈嘅方法，同埋會喺啲統計模型度攞嚟計information gain。

簡介  
假設有兩個probability distribution P同Q，P代表由某啲觀察得出嚟嘅data，而Q代表某啲攞嚟approximate P嘅model或者description。噉樣呢，個Kullback–Leibler Divergence就可以畀人演繹為用一個爲Q而optimize嘅code嚟encode P嘅sample所需嘅咇士數量同埋用一個爲P而optimize嘅code嚟encode P嘅sample所需嘅咇士數量依兩個數量之間嘅平均差值。

來源  
Solomon Kullback 同埋 Richard Leiber喺1951介紹咗relative entropy，話佢係兩個distribution之間嘅；Kullback就鐘意discrimination information呢個啍多啲。呢個divergence有喺「Information Theory and Statistics」度討論過。

訊息論