• 精选
  • 会员

神经网络模型的受限生成过程

2024年12月25日  来源:涌现 作者:约翰·霍兰德 提供人:It8933......

通过考察一些完全不同的模型,我们可以对建模和受限生成过程之间的联系有更为深入的认识。我将不会再像讨论国际跳棋程序模型那样详细讨论这些模型,但会专注于这些模型中其他凸显受限生成过程的方面。前文花费了相当一部分篇幅来比较中枢神经系统模型和塞缪尔的国际跳棋程序模型中的涌现现象,后文将从这些比较中开始研究。相信在受限生成过程的框架中考察中枢神经系统模型,可以发现一些新东西。

中枢神经系统模型一般都是采用单一的机制,即模型化的神经元。这种神经元的副本相互连接,从而形成了神经网络。我们注意到在第5章,定义基本机制的转换函数本身是由函数构成的,而后一个函数在形式上与塞缪尔的评估函数一样,是带有权重的自变量简单相加的结果。在神经元模型的例子中,这种转换函数又具有其他的复杂性:可变阈值、基于神经元激发频率的疲劳因子,以及关于改变权重的赫布定律。在这些复杂条件下,神经元的状态取决于下面几个因素:

· 在t时刻,神经元是否被激发(决定了阈值水平)。

· 权重wi的当前值(由赫布定律决定)。

· 当前的激发频率(决定疲劳程度)。

模型神经元的转换函数根据神经元邻节点提供的信息进行操作,也就是指连接到给定神经元的神经元突触处是否存在脉冲。利用这个信息以及神经元当前的状态,转换函数决定神经元的下一个状态,包括它的新的权重和修正过的激发频率,整个行为与国际跳棋程序受限生成过程中的信号传播非常类似。

EMERGENCE

如果用公式表达,整个比较过程就会更清晰。自变量的加权和由如下公式给出:

Σiwivis

这里,vis)是从邻接神经元传来的输入,wi确定了这些输入中每一个输入在决定神经元行为中的相对重要性。神经元在下列条件下会激发,产生一个脉冲:

Σiwivis)-F>T

这里,T是变化的阈值,F是疲劳因子。我们可以为有k个输入的神经元设计通用形式的转换函数:

f:I1×I2×…×Ik×S→S

这里,每一个Ii对应第i个邻节点的vis),表示该邻节点的状态是否为“发送了一个脉冲”。f函数和神经元的当前状态St)一起,决定了神经元的下一个状态,包括神经元新的权重和修正后的激发频率。

在受限生成过程的模型中,机制的每一个副本都作为一个简单的主体和特定的邻节点之间相互作用。在国际跳棋程序中,主体是棋盘上的方格,主体的状态可以反映出当时方格中棋子的状态;在中枢神经系统模型中,主体是神经元,主体的状态可以显示出神经元的状态。在国际跳棋棋盘和元胞自动机中,它们的相互连接是规则排列的;而中枢神经系统模型与两者不同,它的相互连接是不规则的,并且有很多环路和反馈。但就受限生成过程的正式形式而言,这种结构并没有引起很大的变化,仅仅表明主体之间相互连接的网状结构更为复杂。

通过对国际跳棋程序模型和中枢神经系统模型的学习,我们可以得到一些启示:尽管两者具有实质的不同,但在各自受限生成过程中得到的关于涌现现象的结论却有不少是相同的。机制的设置(状态和转换函数)、生成器(规则)以及主体,帮助我们很容易地抓住模型的共同特征。由于每一个主体只有有限数量的邻节点,所以局域性的重点在于信号的发送。信号的发送产生了反馈,而各种反馈又对可能的范围增加了重要的约束。在这些约束条件下,虽然生成的对策树即状态转换图会相当复杂,但还是可以从中找出一些有用的规则。

我们的初衷是通过比较各受限生成过程来获得一些新的知识。中枢神经系统模型阐明并分析了一些在其他模型中比较模糊却很重要的性质,从而提供了我们所期望的新知识。那些涌现的特性,如同步性、持续性、无限期记忆以及典型的带环路的中枢神经系统模型,为细胞集群的出现提供了基础。细胞集群实际上体现了一种进化的“策略”,而这种策略又可以用来探索系统环境中的规律性。在中枢神经系统模型最初的行为中,受涌现特性影响而产生的增强的持续性和层次性扮演着重要的角色,用受限生成过程描述的中枢神经系统模型也是如此。这样一来,就给我们以提示和启发:在其他模型的受限生成过程以及对涌现的研究中,这种增强的持续性和层次性也可能扮演着重要的角色,这一点我们将在第10章讨论。

如涉及版权,请著作权人与本网站联系,删除或支付费用事宜。

0000