資訊熵係個隨機變數嘅概率分佈嘅一個特性，限制住由個獨立樣本所產生嘅數據嘅壓縮率可以有幾高，而相互資訊係兩個隨機變數嘅共同概率分佈嘅一個特性，反映喺一個有雜音嘅管道當中可靠溝通嘅最大可能率。