个随机变量codice_5，取三种可能值，概率分别为，那么编码平均比特长度是：。其熵为3/2。因此熵实际是对随机变量的比特量和顺次发生概率相乘再总和的数学期望。
定义.依据Boltzmann's H-theorem，香农把随机变量"X"的熵值 Η（希腊字母Eta）定义如下，其值域为{"x", ..., "x"}：其中，P为"X"的机率质量函数（probability mass function），E为期望函数，而I("X")是"X"的资讯量（又称为资讯本体）。I("X")本