神经网络模型中的涌现
现在，我们在一个模仿中枢神经系统的带有回路的神经元网络模型中观察涌现现象。在循环网络中，对一个简单的模型的认可证实了起始激发阈值、疲劳和扩展的赫布定律的重要性。这个模型以循环神经元网络中脉冲的循环——反射（reverberation）为基础。这个模型同时表现出了一些描述环境的新特征，这些都是塞缪尔没有考虑到的。
模型的组织
1．输入。我们假定输入来自一只带有“视网膜”的“眼睛”，在“视网膜”上有大量的输入神经元（见图5-7）。这些输入神经元按一定方式排列，形成了一个高分辨率的中心区域。这个区域周围区域的分辨率都比它低，这与哺乳动物的眼睛极为相似。在前馈神经网络中，这一系列神经元应该被称为输入层。
图5-7 带环路的神经网络行为（经过高度艺术处理）
在这个模型中，眼睛用来观察简单的几何图形的线条，例如三角形和正方形。在这些几何图形中，明暗的对比很明显，线条比背景显著，而线条端点，即顶点，则最为显著。
2．处理。为了简单，这个模型通过大量的随意相连的神经元来完成它的中央处理过程（见图5-7）。也就是说，中心组中任意一个轴突伸展出的分支，都可以随机地与该中心组中的其他突触相连。这种连接一经建立，就会固定下来。当然，这种设定忽略了真实神经元系统在进化过程中产生的结构上的偏差。然而，使用这种没有内部结构偏差的模型是有好处的。从这个网络模型中总结出的特征都是学习研究的结果。我们是不可能从内部结构的偏差中得到它们的。
这种随机的相互连接给模型提供了大量长短不一的回路。实际上，这正是模拟了哺乳动物神经系统中连接极其紧密的循环结构，而在复杂的循环系统中，结构偏差更多。
3．输出。增加了这一部分之后，整个模型的组织结构就完整了。我们提供了一个反射动作来控制眼睛的运动。这就类似于人的反射能使自己的目光追视视线范围内的运动物体，例如，我们看到一个扔出去的球或飞翔的鸟飞出了视线。在这个模型中，我们把这种反应动作称作追踪对比反射（shift-to-contrast reflex）。这个反射一旦被激发，就能够驱使眼睛转向新的对比明显的点，比如从一条线的一个顶点转向它的另一个顶点。
当这个模型的中央处理部分的神经元工作频率过高时，这种追踪对比反射的功能可以用于抑制其处理频率。当处理频率降低后，通过疲劳这一机制，反射动作就被释放。我们还可以加上一点自己的想象，当中央处理过程对当前的观察感到疲劳时，反射动作就被释放。对于简单的几何图形，反射动作可以使我们的视线转移到所观察图形的一个新顶点上。
涌现行为
现在我们来考察中央处理器中大量的回路。我们会发现三个涌现现象：同步，神经元组同步进入激发状态；预测，神经元组准备对将要发生的刺激做出反应；层次，新组成的神经元组对已形成的神经元组做出反应。下面我们一一分析这些由网络模型直接产生的现象。
当把一个几何图形置于视线范围内时，整个过程就开始了。因为有对比反射功能，所以视线始终集中在某一个顶点上，假设该点为R。从R上发出的光线会照射到视网膜——输入层中分辨率较高的区域的神经元上（见图5-8）。结果，这些神经元开始以高频率发射脉冲。这些脉冲通过轴突分支传播到中央处理器的神经元子集上，我们把这个子集称作r。因为由输入轴突形成的大量脉冲到达突触的表面，r上的神经元也开始以高频率发射脉冲。
图5-8 输入控制的反射作用
1．同步的产生。r上的神经元相互连接形成回路，这是由于中央处理器被设计成了随意连接的模式。所以r上的神经元能够收到从r的其他神经元发射出的脉冲，同时还能收到输入层输入的脉冲。r上的脉冲在已形成的回路中不断循环。观察结果表明，可变的激发阈值和较高的激发频率共同作用，导致这些活跃的中央处理器神经元同步发射。它们开始进行反射。不属于这种同步组的神经元在脉冲到达时，很可能处于可变的激发阈值的高限额部分，所以它们不会再发射脉冲。这样造成的结果是，除草（wedding-out）程序会比较照顾同步组中的神经元。
因为在同步组中的神经元会互相发射脉冲。根据赫布定律，它们之间的联系会进一步加强。这种同步将成为自我增强式循环。结果，在同一方向上的一个顶点的显示，将会更有效地促进这些小的、自我增强式子集做出反射。中央处理器已经学会了通过子集的反射作用对顶点做出反应。根据赫布定律，这样的一系列紧密联系的神经元被称作细胞集群。
如果没有疲劳的话，这些同步子集将会无限期地反射下去。然而，这么高的发射频率会渐渐导致疲劳的增加，从而提高所涉及的神经元的激发阈值。在这种情况下，同步会失效，整个细胞集群就会停止反射。
接下来是对新顶点的识别。中央处理器的高频发射使得脉冲发射不再受到限制，这时，追踪对比反射功能开始发挥作用。当目光转向一个新的名为S的顶点时，它在高分辨率的视网膜区域形成了新的图形（见图5-8）。接着，它会在视网膜上产生一个新的子集并以较高的频率发射。这些输入神经元的轴突连接到了中央处理器上的不同神经元子集。我们把这个子集称为s。
如同在r上一样，反射在s上也成立，但它们有一个很重要的区别。从s组传送到r组的脉冲不能成功地促使r上的神经元发射，因为这些神经元已处于较高程度的疲劳状态。赫布定律的最后一部分开始起作用了。这些特殊的突触强度大大降低；出现几次这样的情况之后，它们实际上可能会出现负值。也就是说，s组活跃的时候，它们会抑制r组上的神经元的发射。
当追踪对比反射以相反的顺序先后集中在这两个顶点上时，先集中在S上再集中在R上，产生的效果相同。很显然，在这些条件下，一个中央处理器神经元可以属于s组或属于r组，但不能同时属于这两个组。我们再一次碰到了逻辑中的“异或”运算。赫布定律和同步发射、疲劳相结合，从而导致s组和r组不会有相交的部分。中央处理器能够很好地区分这两个不同顶点的显示。而且这两种显示会互相抑制，因为连接两个顶点的突触带有负值。每个时刻只有一个组可以进行反射。
如果几何图形是三角形，那么我们对它进行说明时就要用到三个顶点R、S和T。当追踪对比反射反复扫描这三个顶点时，中央处理器逐渐开发出三个可以进行反射的组r、s和t，并且这三个组是互斥的（见图5-8）。
2．预测的实现。r、s、t三个组的疲劳及它们之间的相互抑制产生了一个意想不到的结果：预测。这一点正好对应于塞缪尔的跳棋程序中的预测：对未来行动的预期。在这两种情况下，我们可以对未来进行虚拟的发射，以免系统产生不可挽回的错误——跌落悬崖。下面所举的例子虽然对于这种大规模的发射现象来说稍显简单，但我们可以从中理解其要点。
当某些组，例如r组产生强烈的反射之后，开始产生预测。r组进行反射时，它会阻止s组和t组进行反射。实际上，由于r组发射的脉冲抑制了s组和t组的活动，所以这两个组中的神经元以一种比中央处理器中其他神经元低得多的频率发射脉冲。结果，相对于其他神经元来说，它们的疲劳降到了反常的低水平。
当r组的神经元开始疲劳时，它们对s组和t组的抑制开始减弱。低水平的疲劳及由此产生的低激发阈值，使得这两个组中的神经元比中央处理器中其他神经元对输入的脉冲更为敏感。眼睛中传入一个很微弱的刺激到S和T的相应区域，都会导致其中一个组的神经元优先于中央处理器中其他神经元发射脉冲。通过这些高度敏感的神经元，中央处理器可以预测下一个刺激将会从哪一个顶点发出。
现在，如果输入神经元支持s，那么随着r组对它的抑制的减弱，s组的发射频率会逐渐提高。s组发射频率的提高又会抑制r组的发射，因为s组通过与r组和t组相连的突触施加抑制作用。r组的发射频率继续减弱，这导致了发射活动迅速从r转移到s。过渡过程就这样完成了。
相同的过程轮流发生在s和t上，最终结果是三个组的轮流反射，而它们反射的顺序与三个顶点的扫描顺序相同。因为任何一个小差异都会导致追踪对比反射以不同的顺序扫描三个顶点，所以结果序列很可能是这样的：r，s，t，s，t，r，s，t……直到这三个做出反射的、相互排斥的细胞集群序列包含了三角形的三个角，这个过程才完成。
更为重要的是，当r发射时，它会通过降低s和t的疲劳程度来使中央处理器发射s和t的脉冲。实际上，当中央处理器“看到”三角形的一个顶点时，它会预测到紧接着的将会是其他两个顶点。除非环境中的其他部分有非常强的刺激才能够推翻早先的预测。中央处理器甚至能接受不符合标准的刺激。也就是说，即使S是不符合标准的顶点，s组仍能够以正常的敏感度发射脉冲。这时候观察者看到了一个微弱的甚至不存在的顶点。这种“填充”在人类的视觉心理学中是常见的，它实际上是对熟悉的现象的记忆。
3．层次的形成。一旦r、s、t通过赫布定律的作用建立起了它们的序列之后，接下来的步骤将涉及一些特殊的神经元。在中央处理器中会有一些神经元可以同时与r、s、t三个组连接（见图5-9）。显然，这种情况是中央处理器的随机连接方式造成的。这些神经元会有一些带很少分支，甚至不带分支的轴突直接连接到r、s、t上。我们用v来标识这一系列没有反向连接的神经元。尽管v中神经元的相互连接模式并不典型，但实际上，如果中央处理器中包含这种神经元，它们的数量将会很多，大概在1000以上。虽然v中的神经元并不是最典型的，但它们的数量用于统计仍是足够的。
图5-9 细胞集群的层次反应
让我们来看看v中神经元的脉冲发射模式。这些神经元被r、s、t中的神经元激发，但它们并没有反向连接用来参与反射。当r、s、t中的神经元正在反射时，v中的神经元会以高于平均水平的频率发射，但它们不会按同步模式高频率发射。结果，v中神经元的疲劳速度会慢于那些反射神经元。这样一来，只要v中的神经元被r、s、t中的神经元激发，就可以在足够长的时间内以高于平均水平的频率继续发射。v中神经元高于平均水平的发射频率会持续一段时间，而且这个过程可能会与反射的一些步骤相重叠。
r、s、t的序列规则，也就是相互抑制的机制一旦开始执行，就会为v中的神经元提供持续不断的输入。赫布定律增强了这些反射组与v中神经元的联系，进一步加强了这种效果。当r、s、t的序列继续发展时，v中的神经元会继续以高于平均水平的频率发射，所以，这些神经元实际上是对整个三角形做出反应，而不仅仅是对三个顶点做出反应。
换一种说法就是，r、s和t中的神经元通过追踪对比反射的功能调整模式，使得v中的神经元能够作为一个整体来对它们做出反应。中央处理器构造了一个层次，这个层次是v中的神经元从眼睛提供的信息中提取出来的。
