撰文 | 丁玖（南密西西比大学数学教授）
纪念"信息论之父"香农的最好方式，莫过于重温一下他怎样定义信息熵的数学思想，去理解现代信息论这个基本概念——仅用初等代数即可推导，令人赏心悦目，流连忘返！
确定性过程在数学里是司空见惯的现象。众所周知，一个函数的迭代过程是确定性的，因为下一个迭代点完全由当前已知的迭代点唯一地确定。譬如混沌学中著名的逻辑斯蒂模型 f(x) = 4x(1-x) ，当x等于0.1时的函数值必为0.36，而不会等于0.35或0.37。同样，一个微分方程初值问题的解也是确定性的：解在任一时刻的值是唯一确定的一个数。
然而，和确定性现象一样, 随机现象在自然界也是到处可见的。小孩子们喜欢猜硬币正反面的游戏：将一枚五分钱的平整硬币在桌上旋转，然后猛地用手把它拍倒按住，猜猜是钱的正面朝上还是反面朝上。即便旋转过一百次都是正面朝上，第一百零一次旋转后，硬币正面朝上的或然率还是同一个概率值：1/2。这就是典型的随机性，它意味着试验结果是不可确定的。如果历史上英国铸币局（牛顿（1643-1727）曾在这里当了几十年的局长）把钱币故意制成一个圆锥体陀螺形状，那么无论怎样旋转，待它最终停转时总是站在那里，也就是说正面总是朝上，这就是一个确定性的例子——旋转结果是可以预测的。人们认识到随机性的历史也许比数学史本身还要长，甚至可能就等于人类自己的历史——毕竟，孕妇肚子里怀的是儿子还是女儿，本身就是一个不可预测的随机事件问题。
不确定性作为自然的基本属性，应该怎样用数学的语言去刻画呢？“熵”就是关于不确定性的一个极好的数学描述。历史上的熵概念起源于热力学。凡是学过热力学、统计物理或物理化学的人对“熵”这一术语都不陌生，但是这一概念发展的初始阶段却跟混沌思想并无任何历史瓜葛。实际上，当熵的名词诞生之时，混沌之祖庞加莱（Henri Poincare, 1854-1912）还只是一个乳臭未干的少年。当熵的触角从宏观的热力学伸展到微观的统计力学之后，才逐渐拉近它和混沌概念的距离。二十世纪中叶的一场信息论革命，无意中在古典熵的旧作坊内又酿造出醇香的新酒。
十九世纪是物理学家大显身手的世纪。如果说十七世纪是宏观力学的乐园，十九世纪则是微观力学的会所。热力学和统计力学把眼光由外向里地从机械能转向到内能，熵概念的缓慢演化覆盖了那个世纪后半叶的前三十年。1865年，热力学奠基人之一、德国物理学家和数学家鲁道夫 ? 克劳修斯（Rudolf Julius Emanuel Clausius, 1822-1888）第一次使用了“熵（entropy） ” （从意指“变换容度”的希腊词τροπ?派生而来）作为热力学的专用名词，并赋予其数学形式。他用 “Sadi” 的第一个大写字母 S 作为熵的记号，大概是为了纪念熵理论先驱者之一、法国工程师萨迪 ? 卡诺（Nicholas Leonard Sadi Carnot, 1796-1832）。他写道：“按照希腊词τροπ? (trope) 的意思，我将 S 这个量称为系统的熵。我特别取熵这个词是为了让它与能量这个词尽可能相像：这两个词所表达的两个量在物理上如此密切相关，把它们的名字写得类似完全是合情合理的。” 他的一句名言 “宇宙之熵趋于无穷” 是热力学第二定律在孤立系统中无能量消耗情形下的推论；他的另一句断言 “宇宙总能量不变” 则是能量守恒定律的通俗说法。
第二年，24岁的玻尔兹曼（Ludwig Boltzmann, 1844-1906）在他关于气体动力学的奠基性论文中，给出了熵的另一形式。十一年后的1877年，他在统计热力学中把熵简单地定义为著名的“玻尔兹曼常数”乘上与宏观状态相容的微观状态的个数之对数。与早先把熵和热量传递捆绑在一起的做法不尽相同，玻尔兹曼把熵看成是无序分子运动紊乱程度的一种度量。这种新观点，被杨振宁先生（1922-）十分推崇的美国物理学家、化学家和数学家威拉德 ? 吉布斯（Josiah Willard Gibbs, 1839-1903）精雕细琢，成为统计力学理论发展史上的里程碑之一。1995年夏，在中国厦门大学召开的第十九届国际统计物理大会（东道主学者郝柏林（1934-2018）时任会议主席）上，笔者曾听到与会讲话的杨振宁先生建议大家读读二十世纪初吉布斯那本启迪灵感的名著《统计力学的基本原理》（Elementary Principles in Statistical Physics, 1902）。吉布斯于1863年在耶鲁大学获得美国历史上第一个工程博士学位，并在这所老牌大学度过了他的整个学术生涯。他令蒸蒸日上的美国扬名天下，可惜墙内开花墙外香，在科学整体尚欠发达的祖国，吉布斯活着的时候声名未曾显赫，却在去世前两年被大西洋彼岸最强盛时期的英国授予了伦敦皇家学会的考普利奖（Copley Medal of the Royal Society of London）——诺贝尔奖之前全世界科学界名气最大的奖项。
