自信息

在信息論中 ， 自信息  ， 由克勞德 · 夏農提出 ， 是與概率空間中的單一事件或離散隨機變量的值相關的資訊量的量度 。 它用信息的單位表示 ， 例如 bit 、 nat或是hart ， 使用哪個單位取決於在計算中使用的對數的底 。 自信息的期望值就是信息論中的熵 ， 它反映了隨機變量採樣時的平均不確定程度 。