function），E为期望函数，而I("X")是"X"的资讯量（又称为资讯本体）。I("X")本身是个随机变数。当取自有限的样本时，熵的公式可以表示为：在这里"b"是对数所使用的底，通常是2,自然常数e，或是10。当"b" = 2，熵的单位是bit；当"b" = e，熵的单位是nat；而当"b" = 10,熵的单位是Hart。"p" = 0时，对于一些"i"值，对应的被加数0 log 0的值将会是0，这与极限一致。还可以定义事件 "X" 与 "Y" 分别取 "x" 和 "y" 时的条件熵为