3. 玻尔兹曼熵
玻尔兹曼熵可以看成是离散形式的香农熵在连续形式下的对等物。让我们回忆一下，对应于有限样本空间
的香农熵为
它看上去像某个被积函数的黎曼和。这引导我们走向定义一般密度函数的玻尔兹曼熵。为避免使用高深的测度论语言，我们只考虑 [0,1] 区间上的可积函数全体，用符号
表示。这里的积分应该指的是数学系大三或大四才学的实变函数论里的勒贝格积分，但低年级的大学生可以把它想象成初等微积分中的黎曼积分；至少对连续的函数，这两种积分是一样的。可积的非负函数并且积分值为1则称为密度函数。
1957年，美国物理学家埃德温 ? 杰恩斯（Edwin T. Jaynes, 1922-1998）在他分两次发表、至今已被引用了将近12000次的论文《信息论与统计物理》[2] 中首次提出了“最大熵原则”。这个原则大致是说，当一个未知的概率密度函数的某些“可试验信息”（例如有限多个的矩量或期望值）已知但却不能唯一地确定该密度函数时，合理采用的未知密度函数最佳逼近应是具有最大玻尔兹曼熵的那个密度函数，因它最不带有“偏见” (least biased)。根据最大熵定理，这个具有最大熵的密度函数不光是存在的，而且它可以通过矩量函数的某个线性组合与指数函数的复合函数，再标准化成一个密度函数来得到，只要这个特殊形式的密度函数具有和未知密度函数一模一样的那些已知矩量值。
这样一来，杰恩斯的最大熵原则成就了数值重获未知密度函数的一个叫做“最大熵方法”的计算程式。事实上，六十年来，这是数学物理学家和工程师经常采用的一种“密度计算法”。杰恩斯终生在美国圣路易市华盛顿大学任教，1984年，物理系浓厚的最大熵氛围熏陶出一位名叫劳伦斯 ? 米德（Lawrence R. Mead, 1948-）的博士。退休前他和笔者在同一所大学执教并合写过文章，是个很会教书、获得过两次校级教学奖的物理教授。米德一生中最有名的研究工作大概就是获得博士学位那年在《数学物理杂志》上发表的一篇合作论文[3]，至今为止每年都有不少人引用。在这篇题为《矩量问题中的最大熵》的文章里，作者证明了最大熵方法的弱收敛性，而这种收敛性对于物理学家考虑的许多问题来说已经是绰绰有余了。数学家则感到不够劲，于是就有两位加拿大的数学家乔纳森 ? 博旺（Jonathan M. Borwein, 1951-）和艾德里安 ? 刘易斯（Adrian S. Lewis, 1962-）在九十年代初严格证明了最大熵方法的强收敛。
在最大熵方法中，传统的做法基本上是用单项式
来计算密度函数的对应矩量，但在计算数学家的眼里，这是代价极大的数值处理，因为算法极不稳定，用数值代数学家的行话说就是“条件数太大了”。难怪物理学家们能用到十来个矩量就感觉不得了了。对孜孜以求数值收敛性的计算数学家们来说，这怎么能过瘾呢。于是，一个新的想法[4]应运而生：把有限元的逐段多项式思想与最大熵原则相结合。这个算法借用了有限元空间基底函数“一的分解”的好性质，第一次用到与混沌有关的“不变密度函数”的数值计算上，条件数出奇地小，并且用到一百个甚至一千个矩量值也不在话下。
如今，五花八门的熵：信息熵、度量熵、拓扑熵、玻尔兹曼熵，加上定量刻画“对初始条件敏感性”的李亚普洛夫（Alexandre Mikhailovich Liapunov, 1857-1918, 俄国数学家，以微分方程稳定性理论著称于世）指数，再加上遍历性、混合性、可递性等用统计观点看混沌的基本概念，一起组成了混沌、分形领域里克敌制胜的十八般兵器。
参考文献
[1] “Entropy - an introduction,” Jiu Ding and Tien-Yien Li, NankaiSeries in Pure and Applied Mathematics and Theoretical Physics, Volume 4, WorldScientific, 26-53, 1993.
[2] Information theory and statistical physics, Physics Review 106(4), 620-630, 1957; Information theory and statistical physics, Physics Review 108(2), 171-190, 1957
[3] L.R. Mead and N. Papanicolaou, Maximum entropy in the problem of moments, J. Math. Phys. 25, 2404–2417, 1984.
[4] J. Ding, C. Jin, N. Rhee, and A. Zhou, ``A maximum entropy method based on piecewise linear functions for the recovery of a stationary density of interval mappings,’’ J. Stat. Phys. 145, 1620-1639, 2011.
版权声明：本文由《返朴》原创，欢迎个人转发，严禁任何形式的媒体未经授权转载和摘编。
《返朴》，致力好科普。国际著名物理学家文小刚与生物学家颜宁联袂担任总编，与几十位学者组成的编委会一起，与你共同求索。关注《返朴》（微信号：fanpu2019）参与更多讨论。二次转载或合作请联系fanpu2019@outlook.com。
特别提示：「返朴」正在求贤，有意者请戳“求贤”联系我们，等你来哦！
