"b"是对数所使用的底，通常是2,自然常数e，或是10。当"b" = 2，熵的单位是bit；当"b" = e，熵的单位是nat；而当"b" = 10,熵的单位是Hart。"p" = 0时，对于一些"i"值，对应的被加数0 log 0的值将会是0，这与极限一致。还可以定义事件 "X" 与 "Y" 分别取 "x" 和 "y" 时的条件熵为其中"p"("x", "y")为 "X" = "x" 且 "Y" = "y" 时的概率。这个量应当理解为你知道"Y"的值前提下随机变量 "X" 的随机性的量。S