字长 给出的随机变量。如果 是对 拥有最小期望字长的最佳码，那么(Shannon 1948)：
证明：码符号的信源编码定理.对于 令 表示每个可能的 的字长。定义 formula_2，其中 会使得 。于是其中第二行由吉布斯不等式推出，而第五行由克拉夫特不等式推出：因此 .对第二个不等式我们可以令于是因此并且因此由克拉夫特不等式，存在一种有这些字长的无前缀编码。因此最小的 满足