聯合熵

聯合熵係指兩個隨機變數 X 同 Y 嘅共同訊息熵。條式係噉嘅：

；

當中  係指「X 數值等如 x 而同時 Y 數值等如 y 嘅機會率」，而成條式道理同基本嗰條訊息熵式道理一樣，都係諗嗮所有可能性，將每個可能性嘅機率乘以個機率嘅對數，跟手再將所有可能性嘅呢個數加埋一齊。假如 X 同 Y 係獨立嘅，佢哋嘅聯合熵會等同佢哋各自嘅訊息熵相加，噉係因為當兩件事件係獨立嗰陣，以下呢條式會成立：

；

；喺數學上已知，所以綜合呢兩條式，

。

攷 

訊息論