第一台现代电子数字计算机 ENIAC 研制者之一的戈德斯坦(Herman H. Goldstine, 1913-2004),曾写过获奖图书《计算机:从帕斯卡到冯诺依曼》( The Computer from Pascal to von Neumann ),他把香农的硕士论文称为“有史以来最重要的一篇硕士论文”。 香农最伟大的论文《通信的数学理论》中文版封面 1940年,香农以名为《理论遗传学的代数》( An Algebra for Theoretical Genetics )的学位论文获得麻省理工学院的数学博士文凭,之后在普林斯顿高等研究院待了一年,与爱因斯坦、外尔、冯·诺依曼等数理大家时有接触,翌年去了贝尔实验室工作。经过七年的不懈努力,他提炼出“信息熵”这一重大概念,证明了一系列关于熵的数学定理。然而,“熵”这个信息论专业词汇最终却是冯·诺依曼替他起的。在建立这个有关信息传输不确定性的量化过程中,他一开始想用“信息”(information)这个词表示“不确定程度”,但这个已被老百姓用滥了的普通名词根本没有数量化的资本。后来他又想用“不确定性”(uncertainty)来表达“不确定度”,但这个抽象名词无法胜任它应肩负的量化责职。某天他碰到知识丰富的大数学家冯·诺依曼,便向他求教。后者建议他就用“熵”这个词,理由有二:一是它来自热力学与统计物理,已有不确定性的含义,二是没人真懂熵为何物,容易避免争论。 熵的英文原名及其汉译也颇有意思。德国数学物理学家克劳修斯(Rudolf Clausius, 1822-1888)于1865年首次使用 Entropie 这个源自希腊文的熵德语单词,来表达热力学中的热量转换。他并用大写的“S”代表之,以纪念法国的热力学先驱卡诺(Sadi Carnot, 1796-1832) 。1923年,当他的后辈物理学家、热力学教授普朗克(Rudolf Plank, 1886-1973)来中国讲学时(注:1923年访华的“普朗克”通常被误会为参与创立量子力学的 Max Planck教授,然而经中科院物理所曹则贤研究员等人的考证,大名鼎鼎的 Max Planck不曾访华,访华的应是一位出生于乌克兰,后在 Dantzig(原属东普鲁士,现属波兰)工业大学担任热学教授的 Rudolf Plank。有兴趣的读者可参看曹则贤《物理学咬文嚼字:卷一(增补卷)》第27篇“熵非商——the myth of entropy”的补缀部分),他提到的 entropy 表达为两数之商的形式,因而在旁翻译的胡刚复博士(1892-1966)灵机一动,将它翻译成“熵”,既有数学的“商”又有热力学的“火”。真是妙译! 香农1948年提出的信息熵不仅成了他开创的信息论的基本概念,而且帮助了苏联大数学家柯尔莫哥洛夫在1957年建立保测变换动力系统的测度熵概念以及 1965年其他三位数学家发展连续变换拓扑动力系统的拓扑熵概念。1957年去世的冯·诺依曼大概没想到熵在动力系统中扮演着系统内部混乱程度测量器角色。从谷歌学术(scholar.google.com))网页上可知,香农这篇文章的被引用次数已超过 87400。 1 香农出生在美国密歇根州一个名叫 Petoskey 的湖边小城,这个湖就是五大湖之一的密歇根湖。美国历史上家喻户晓、在中国也赫赫有名的大发明家托马斯·爱迪生(Thomas Alva Edison, 1847-1931)是他家的远房亲戚,也是他从小无比崇拜的英雄。不知他身上流淌的血液与爱迪生有多少交集,他和这个伟大的前辈一样从小到老喜欢动手,热衷实验。不过他比爱迪生更进一步的是,他更喜欢数学,因而 20 岁于密歇根大学本科毕业时,拿回家的双学士证书是电子工程和数学,而后者赐予他的严格逻辑思维训练让他一辈子受益无穷。比如,正是他在密歇根大学修课时接触到英国数学家布尔(George Boole, 1815-1864)的最伟大发明布尔代数,才成就了他那篇麻省理工学院历史上的最优秀硕士论文。他的求学经历对中国的工科大学生和研究生很有启发:如果你想成长为杰出的工程师,年轻时多学点数学思想,多读些数学书籍,而不要急于沉湎于琐碎的工程细节。 少年香农 香农的学术生涯闪耀着应用数学的光彩,与林家翘的人生轨迹不谋而合。两个同龄人,都不是象牙塔里埋头推导公式的纯粹数学家,而是向自然进军对症下药的应用数学家,一个在流体力学和天体力学里竖立了两座高峰,一个开创了整个数字线路信息通讯时代,让亿万民众充分享受了现代文明的乐趣。他们是追随英国人牛顿的数学家,不甚欣赏另一个英国人哈代对纯数学的“孤芳自赏”。自然科学和工程技术是他们玩耍数学十八般武艺的疆场,因为正如伽利略早就宣称的:“自然之书是用数学符号写的!” 数学,几百年来多少人为你唱赞美歌。八百年前的罗吉尔·培根(Roger Bacon, 1212-1294)就预见到“所有科学都需要数学”,怀特海(Alfred Whitehead, 1861-1947)更把纯数学视为“人类灵性最富于创造性的产物”,爱因斯坦也把它誉作“逻辑思想的诗歌”,而狄拉克则感叹“上帝用美丽数学创造了世界”。我在罗素自传中也读到,年轻时代的他曾想自杀,但未践行,因为“我希望知道更多的数学”。 在学术界,纯粹数学家们常有“高傲公主”般的自我陶醉,而应用数学家们时常做的又是林家翘所不屑一顾的“实用数学”,沦为“科学的仆人”。怎样才让应用数学家也成为“科学的主人”呢?套用莎士比亚的名言:“这是个问题。”纵观香农的科学人生,我们似乎能窥见部分解答。 根据前人的定义,数学研究现实世界的数量关系和空间形式。科学探索自然界的基本规律,包括物理科学与生命科学,而工程则将自然科学的规律造福于人类。科学缔造工程,工程推动科学;科学认识自然,工程改造自然。而数学作为科学之皇后,在科学技术的进步中往往起着不可思议的关键作用。工程的第一原理源自科学发现,科学的分析工具落脚数学推理。工程研究的突破口往往在于数学的奇思妙想,抽象思维的引入使得工程科学如虎添翼。 香农的魔方机器人 历史上,最有用的数学微积分的创立来自急需解决的科学与工程问题:航海学与天体力学导致通过位置函数求解速度与加速度;光学的透镜设计提出曲线的切线问题;行星与太阳的最远最近距离等同于求函数的最优值;万有引力的结论引出曲线求长、区域面积体积及重心位置。接踵而至的一些数学分支简直就是理工问题的孪生兄弟,如变分法脱胎于伯努利的“最速降线问题”,最终催生了欧拉-拉格朗日变分法基本微分方程。到了近代,黎曼几何成就了爱因斯坦的相对论,薛定谔把纯粹数学的虚数单位放进了他的最著名方程,冯·诺依曼用泛函分析的算子理论诠释量子力学,甚至哈密尔顿脑袋瓜杜撰的四元数也派上了大用场。 到了现代,数学在理论物理等重要学科中扮演的角色更是举不胜举。最典型的生动例子当数杨振宁与陈省身之间的对话。杨振宁和米尔斯1954年将外尔的交换群规范场论推广到非交换群。二十年后杨教授得知规范场就是微分几何中的纤维丛的联络而觉得不可思议:数学家居然先于物理学家无中生有地创造了概念。陈省身却回答他“不,不。这在数学上是自然而真实的。”深受全世界病人欢迎的X-线层析摄影仪(俗称CT),其思想得益于奥地利数学家1917年发明的“拉东变换”,而美国理论物理学家与英国电子工程师的携手杰作,得到了诺贝尔生理学或医学奖。 数学的持续发展离不开科学技术不断提出的新问题、新挑战。计算数学中的有限元最初由结构力学工程师们开发。研究天体力学的三体问题使得庞加莱首次发现天体运动中的混沌现象,并开创了微分方程的定性理论及对拓扑学的研究。幻想长期天气预报的可能性让洛伦茨在数值计算玩具天气模型时无意中发现了“蝴蝶效应”,但如果他缺乏足够的数学训练,这个发现就可能因稍纵即逝而把“混沌之父”的桂冠让给他人。谷歌之所以能在网络搜索引擎上一鸣惊人,就得益于它的两位创始人使用随机矩阵的利器而创造的“网页排序”新方法,世界上最大的矩阵——谷歌矩阵,就是他们创业的最大宝库。数学在这些创新活动中总是扛着大旗走在前的。 香农在创立信息论的过程中,也是通过数学来揭示信息世界的规律,数学地思考通讯的基本问题,着重探索信息编码与信息传输这些关键术语,将概率论创造性地应用于信息不确定性的量化研究中,从而首次提出“信息熵”的革命性概念。他的研究方式与林家翘的应用数学理念完全一致,这就是主动提出研究对象中的科学问题,通过问题的解决加深认识,或创造新知识,最终解决问题。这就是应用数学的真谛。 2 简洁性是数学美的特点,也是应用数学美的标准。在外尔眼里,数学中的“美”比“真”更令他向往。爱因斯坦的质能等式 E = mc2 很美,更不要说被称为最美公式的欧拉等式 eiπ +1=0 了。香农推导出的信息熵表达式也是美得不得了,因为它仅仅由简单函数 -x ln x 在有限个点上的值相加而成。更令人惊奇的是,这个信息世界最伟大的数学式子,竟然可用初等数学的工具完全推导出。下面我们看看香农是怎样推演出信息熵公式的。 设想一个有限的样本空间有 n 个各自用其概率 p1, p2, … , pn 表示的基本事件,简记为 (p1, p2, … , pn)。香农用熵来数学量化这个样本空间所具有的“不确定度”,这个数就是熵函数 H 在 p1, p2, … , pn 上的值 H(p1, p2, … , pn)。不确定度和概率一样容易通过例子理解。比方说,听到气象预报员说“今天下雨的可能性是 90%”,我们大概就会出门带伞,但如果她预计“今天有50%的可能下雨”,那我们就会犹豫是否带伞。这就涉及到不确定度的比较:后者的不确定程度较大。用熵的语言来讲,就是 H(9/10, 1/10) < H(1/2, 1/2)。将这个常识一般化,我们就知道熵函数必须满足如下的最大值原理:对所有加起来等于 1 的非负数 p1, p2, … , pn,恒有 H(p1, p2, … , pn ) ≤ H(1/n, 1/n, …,1/n) 。 香农并未用上述公理来推导熵公式,而只给出如下“三项基本原则”就本质上确定了熵的漂亮式子。第一项基本原则是: H(1/n, 1/n, …, 1/n) 是自然数 n 的严格递增函数。 这个事实可以用玩抛硬币和掷骰子的游戏看出。每抛一次硬币,正面或背面朝上的概率均为 1/2,而每掷一次骰子,立方体每个面朝上的概率均为 1/6。我们知道,方块某个面朝上的不确定度应大于硬币正面或反面朝上的不确定度,即 H(1/2, 1/2) < H(1/6, 1/6, 1/6, 1/6, 1/6, 1/6)。 第二项基本原则是: 如果一个不确定事件分解成几个持续事件,则原先事件的不确定度等于持续事件不确定度的加权和 。这个理解起来稍难一点,我们用例子帮助说明。