换言之,H(1/2, 1/3, 1/6) = H(1/2, 1/2) + ½ H(2/3, 1/3)。 剩下的基本原则只属于数学: 对固定的自然数 n,不确定度函数 H 是 (p1, p2, … , pn) 的连续函数。 这是一切数学公式的基本属性。 香农证明了:任何定义于所有样本空间上的函数 H,只要它满足上述的“三项基本原则”,除了常数因子,必有如下表达式: H(p1, p2, … , pn) = - (p1 ln p1 + p2 ln p2 + … + pn ln pn)。 由此可见,对应于样本空间 (p1, p2, … , pn) 的熵是函数 - x ln x 在点 p1, p2, … , pn 上的值之和。如果此表达式乘上热力学中著名的玻尔兹曼常数,信息熵完全就和十九世纪美国最伟大的数学物理学家吉布斯在统计热力学中得到的“吉布斯熵”一模一样。 现在展示熵公式的初等证明,无需大学知识,分三步进行。 第一步 :记 A(n) = H(1/n,1/n,…,1/n)。我们通过图示 用 n = 23 引出一般结论。逐次应用上述第二项基本原则得到 A(23) = A(2) + [2-1A(2) + 2-1A(2)] + [4-1A(2) + 4-1A(2) + 4-1A(2) + 4-1A(2)] = A(2) + A(2) + A(2) = 3A(2)。 推而广之就有 A(sm) = A(s) + s[s-1A(s)] + … + sm-1[s-(m-1)A(s)] = m A(s) 。······ (I) 现在假设四个自然数 t, s, n, m 满足不等式 sm ≤ tn < sm+1 。 两边求对数,得 m ln s ≤ n ln t < (m + 1) ln s,即 m/n ≤ ln t / ln s < m/n + 1/n 。 因而有 |m/n – ln t / ln s| < 1/n 。······ (II) 由第一项基本原则,A(k) 是 k 的递增函数。故式 (I) 推出 m A(s) ≤ n A(t) < (m + 1)A(s),因此 |m/n – A(t)/A(s)| < 1/n 。······(III) 式 (II) 和 (III) 保证了 |A(t)/A(s) – ln t / ln s| < 2/n 。 既然 n 可为任意自然数,就有 A(t)/A(s) = ln t / ln s,或言之, A(t) / ln t ≡ A(s) / ln s。 故存在正常数 C(取为1),使得 A(t) = C ln t = ln t。因此 H(1/n, …, 1/n) = ln n = - ∑in=1 (1/n) ln (1/n), 即熵公式在 p1, p2, … , pn = 1/n 时成立。 第二步 :证明熵公式对所有和为 1 的正有理数 p1, p2, … , pn 都对。我们用p1 = 1/2, p2 = 1/3, p3 = 1/6 来阐述证明的思想。 根据第二项基本原则, H(1/6,…,1/6) = H(1/2,1/3,1/6) +2-1H(1/3,1/3,1/3) +3-1H(1/2,1/2)+6-1H(1)。 移项后, H(1/2,1/3,1/6) = H(1/6,…,1/6) -2-1H(1/3,1/3,1/3) - 3-1H(1/2,1/2) - 6-1H(1)。 如此分解是为了用到第一步的结果。将分数写成具有共同分母的形式 p1 = 1/2 = 3/(3+2+1) = n1/(n1+n2+n3), p2 = 1/3 = 2/(3+2+1) = n2/(n1+n2+n3), p3 = 1/6 = 1/(3+2+1) = n3/(n1+n2+n3), 上述分解就是 H(p1, p2, p3) = A(n1+n2+n3) – [p1A(n1) + p2A(n2) + p3A(n3)]。 推广到一般情形 p1, p2, … , pk:设 pi = ni/(n1 + … + nk), i = 1, 2, …, k, 则有等式 H(p1, p2, … , pk) = A(n1 + … + nk) - [p1A(n1) + … + pkA(nk) ]。 将 A(n) = ln n 代入,就有 H(p1, p2, … , pk) = ln (n1 + … + nk) – (p1 ln n1 + … + pk ln nk) = (p1 + … + pk) ln (n1 + … + nk) – (p1 ln n1 + … + pk ln nk) = - [p1 ln (n1 /(n1 + … + nk)) + … + pk ln (nk/(n1 + … + nk))] = - (p1 ln p1 + … + pk ln pk) 。 第三步 :既然熵公式对所有和为 1 的正有理数成立,那么由第三项基本原则推出它对所有和为 1 的非负实数成立。这就完成了证明。 信息熵公式基于的函数 - x ln x,它的图像是向下弯曲的曲线,其上任意两点的连线都在这两点之间的曲线段之下。可用初等微分学证明对任意不同正数 a 和 b,有吉布斯不等式 a – a ln a < b – a ln b。运用它可证信息熵的确满足我们前面指出的最大值原理,即当所有的 p1, p2, … , pn 都选为 1/n 时,信息熵取最大值 ln n,这与我们的直观相符。 没想到吧?伴随高超的想象力和创造性的思维,即便初等数学也能导致伟大的发现。信息熵现在也叫“香农熵”,它简单而美丽的表达式,是五彩缤纷的现代信息与通讯时代的发源地,也是“数学,只有数学,才是科学技术发展的原动力”这句断言的见证者。 晚年的香农擅长杂耍 3 我们现在探讨一下怎样成为好的理工学家。历史上,数学家没有专门的称号,因为他们同时也是其它学家,如阿基米德既被美国数学史家贝尔称为史上最伟大的三个数学家之一(另两个是牛顿和高斯),同时也是古希腊最伟大的物理学家,并是了不起的工程学家,他用杠杆原理制作的远程石炮让敌舰狼狈逃窜。文艺复兴后三百年间的科学家,许多兼任数学家与工程师,如伽利略、帕斯卡、牛顿。20世纪前最后的全能数学家庞加莱也是被提名诺贝尔物理奖次数最多的科学家和工程师。进入20世纪不久,大量的纯数学家与科学家、工程师渐行渐远,老死不相往来,躲在象牙塔证明他们的定理去了。 香农手稿 受过数学训练的工程师更易成功。比香农更早的典范非空气动力学家冯·卡门莫属。他早年钻研数学与理论物理,在希尔伯特时代的哥廷根大学受过抽象思维的熏陶,其杰出成就让他在肯尼迪总统手上接过美国的第一枚国家科学奖。