熵 (信息论) 在信息论中熵英語entropy又稱信息熵信源熵平均自信息量是接收的每条消息中包含的信息的平均量这里的消息代表来自分布或数据流中的事件样本或特征熵最好理解为不确定性的量度而不是确定性的量度因为越随机的信源的熵越大来自信源的另一个特征是样本的概率分布这里的想法是比较不可能发生的事情当它发生了会提供更多的信息由于一些其他的原因把信息熵定义为概率分布的对数的相反数是有道理的事件的概率分布和每个事件的信息量构成了一个随机变量这个随机变量的均值即期望就是这个分布产生的信息量的平均值即熵熵的单位通常为比特但也用ShnatHart计量取决于定义用到对数的底 采用概率分布的对数作为信息的量度的原因是其可加性例如投掷一次硬币提供了 Sh的信息而掷m次就为m位更一般地你需要用logn位来表示一个可以取n个值的变量 在年克劳德艾尔伍德香农將熱力學的熵引入到信息论因此它又被稱為香农熵Shannon entropy