国际跳棋程序与前馈神经网络的区别
塞缪尔的国际跳棋程序和前馈神经网络的最大区别在于决策过程的复杂性。塞缪尔只假定了一个决策者——评估函数V，然而在前馈神经网络中，整个决策过程要由许多相互影响的神经元共同完成。相比于带有特征探测器的评估函数，带有突触的人体神经元要简单一些。基中，特征探测器和突触都具有权重。这些突触仅仅记录脉冲是否到达或者脉冲的发射频率，但特征探测器却要记录一些复杂算法的输出结果。由于分布式的本质特点以及构成元素十分简单，神经网络非常适合研究涌现现象：由简单的行动组合进而产生精密、复杂的行为。
仔细分析国际跳棋程序和前馈神经网络中涌现现象的差异，是非常有帮助的。国际跳棋程序根据每一次游戏结束时的结果，制定很长的决策序列。这种根据评估函数V制定的涌现策略，是对由局部决策（移动棋子，即走步）所产生的复杂结果的一种反馈。整个过程中并没有“仲裁者”。而对于前馈神经网络来说，它每一次都对出现的模式直接做出反馈，并且会有一个“仲裁者”指出它做出的反馈是否正确。
这种呈现层次结构的前馈神经网络有一个很大的局限：脉冲是顺序穿越神经网络的。如果这个神经网络有n层，则输入脉冲在传播过程中就要经过n个时间步长才能穿越整个神经网络。一旦脉冲通过，它们就再也不会被进一步使用；神经网络将丢失这些脉冲的特定内容。这种前馈神经网络无法长时间地“记住”过去事件的特点，它与真实的神经网络的记忆能力截然不同。那些在相互连接中带回路的神经网络，能提供一种更长期的“记忆”能力。这样的神经网络能够无限期地记住过去具有激发性的配置，即所谓的无限期记忆。等进一步研究真正的神经元之后，我们再来讨论无限期记忆。
有关神经元的更多特征
到目前为止，我们使用的神经元模型只是对真实神经元的一种极粗糙的模仿，而且我们还把讨论范围限制在前馈神经网络。真实神经元与前馈神经网络有着云泥之别。尽管在确立计算机科学部分基础理论以及机器学习的研究方面，这些粗糙的模型卓有成效，但在其他方面，它们的作用却非常有限。认识到这一点，我们就必须深入地了解真实的神经元。本节将概述真实神经元的一些显著且得到公认的特征。下一节则将说明在这些相互连接中带回路的神经网络中，这些特征是如何影响这些神经网络的行为的。
随时间变化的阈值
真实神经元最重要的特征在于，它并不像前面一直使用的神经元模型那样有固定的阈值。一个真实神经元在发射了一个脉冲之后，它就会有一段时间无法再被激发，即要经过一段无法反应的绝对不应期（见图5-4）。这段时间会持续几毫秒。当这段时间结束时，神经元会对输入的脉冲越来越敏感，而且这种状态会持续几十毫秒。
图5-4 神经元的其他特征
如果我们使用前面讨论中使用的时钟频率，大约一毫秒发射一个脉冲，那么当某个神经元发射完一个脉冲后，它就不可能在以后的几个时间步长中再被激发。因此，神经元的激发频率是有限的。在高强度正向突触的强烈刺激下，即在一个时间步长内有许多脉冲到达，激发阈值很可能大约每5个时间步长就会超出最大值。这将导致激发频率达到每秒200个脉冲，这是生理上能观察到的最高频率。如果对神经元的刺激没有这么强烈，那么这个最大激发阈值也将会随着输入脉冲的减少而降低，在生理学中，常见的频率是每秒20～100个脉冲。
当一个网络内部的连接形成回路时，网络中的脉冲发射频率将会达到一个很高的水平。当脉冲在回路中循环时，由于受环境的刺激，越来越多的神经元会被带动起来。这种状况如果持续下去，整个网络将会进入一种“疯狂”状态，即所有的神经元都以极高的频率不断发射脉冲。在这种状况下，网络将不可能再对周围的环境做出反应。在前馈神经网络中，由于不带回路，所以这种正向反馈的情况不会出现，但代价是前馈神经网络也无法长时间存储历史事件。对于这种带回路的循环网络，随着它的容量的增长，那种随时间变化的激发阈值也有助于缓解脉冲的累积所带来的不利影响。由于神经元会周期性地进入休眠状态，所以脉冲的积累速度也会减慢。这种定期休眠的特征和神经元的疲劳状态共同作用，就能够确保带回路的循环网络不至于陷入“疯狂”状态。
疲劳
和肌肉细胞一样，神经元细胞也会出现疲劳现象。如果一个神经元持续几秒高频率地发射脉冲，那么它的新陈代谢的废物就开始累积。这个过程将大大增加神经元的激发阈值，导致神经元难以承受如此高的激发频率。这种高频发射持续得越久，神经元的激发阈值就会越大。这种负反馈的结果最终会导致激发频率的降低。如果一个神经元以一种不正常的低频率发射脉冲，也会产生与上述情况相反的效果。处理新陈代谢废物的清道夫会有效地将废物清除至低于平均水平。这种过度清除将会使该神经元比一般的神经元更容易被激发。
从表面上看，似乎神经元的疲劳只是偶然现象，但事实并非如此。疲劳以及随时间变化的激发阈值的共同作用，阻止了神经元陷入无限扩张的激发模式，从而影响神经元网络进行信息处理。我们不妨想一想通过轴突和突触相互连接在一起的几百个神经元。事实上，这些神经元的发射很可能进入一种锁定模式，即有一些神经元总是在等待发射，而其他的神经元则正从疲劳中恢复。一旦这种同步现象发生，随时间变化的激发阈值就被迫保持这种模式。其结果可能是继续无限期地阻止一系列神经元进行信息处理。疲劳可以逐渐地将激发阈值提高到某一点，使得神经元再也不能保持同步的发射频率。
突触权重的变化
在前馈神经网络模型中，突触的权重是根据“仲裁者”的评估进行调整的。而真正的突触则会因响应一些局部事件而改变权重。赫布定律就是对这一规则最简单的表述。比如有一对神经元S和R，S的轴突在R的表面形成了一个突触。依据赫布定律，如果S在t时刻发射出了一个脉冲，而R在t+1时刻发射了一个脉冲，那么之后突触会更加有效地促使R发射脉冲。如果我们认为一个突触的效率应根据权重来确定，那么这个权重就应该增加。
赫布定律刚提出时，还只是一个缺乏实验证据的有趣猜测。但是半个多世纪以来，已经积累起的很多有力证据表明：该定律基本上可以很好地解释一些非常复杂的生物分子事件。这些证据都将焦点集中在突触产生神经递质分子的过程上。神经递质通过突触间隙被传送到接收神经元的表面。如果从足够多的突触上产生的足够多的神经递质，积累在接收神经元的表面，那么这个神经元就将被激发。在这个过程中，神经递质不断地通过突触间隙传递。如果这个过程不断重复，那么突触发射神经递质的能力就会提高，这就类似于肌肉会通过锻炼得到增强一样。突触增强其效率（权重）的方式是符合赫布定律的。
在赫布提出该定律后不久，作为对赫布定律的修改和补充，彼得·米尔纳（Peter Milner）提出了抑制（inhibition）的概念（Rochester, et al., 1956）。米尔纳的理论考虑了这样一个事实，神经递质的存在事实上会降低接收神经元被激发的可能性。我们可以认为突触具有一个起副作用的权重。它减弱了那些对传输过程起促进作用的脉冲的效率。这就类似于在塞缪尔的评估函数中，一个带负值的权重会使总和变小一样。所以，赫布定律经过修正后，还需附加上下面这一条：如果S在t时刻发射了一个脉冲，而R在t+1时刻没有被激发，那么接下来，突触在R今后的激发中会越来越不起作用。而且，这种错误如果频繁出现，突触的权重可能会从正值降到0，进而变成负值。
