12.21 人工神经网络

人工神经网络(artificial neural network,ANN)是一种模拟人脑组织结构和智能行为的仿生学系统和数学模型,是人工智能(artificial intelligence, AI)和机器学习领域的重要研究内容。仿照人脑的神经元(neuron)-突触(synapse)结构(图12-27),人工神经网络由大规模处理单元(节点)并行分布式联接构成,经过训练所获得网络的记忆以连接信号的加权值(权重)形式存储在节点的每个连接之间。人工神经网络是一种非线性的自适应信息处理的系统,网络自身通常即是对自然界某种算法或函数的逼近。

图12-27 神经元-突触结构示意图

人工神经网络的理论雏形被认为来自于McCulloch-Pitts模型(1943)和Hebb学习规则(1949)。感知机(1958)的提出是人工神经网络发展的重要节点。伴随着计算机技术的发展,1980~90年代人工神经网络的研究进入空前繁荣时期,Kohonen网络(1981),Hopfield模型(1982)、以及多层感知机(multilayer perceptrons)与反向传播(back-propagation, BP)算法(1986)等重要理论都是在这一时期提出并得到发展。截至目前各类人工神经网络模型已达40余种。

图12-28 三层感知机网络模型示意图

Kohonen网络

详见12.22自组织映射人工神经网络

Hopfield网络

典型的Hopfield网络是一个由非线性单元构成的全连接型单层反馈系统。如图12-29所示,网络中的每一个神经元都将其输出通过加权连接反馈给其它所有神经元,同时自身也接收来自其它所有神经元传递的信息。即网络中的神经元t时刻的输出状态间接地与其t-1时刻的输出状态有关。反馈型网络的一个重要特点是其具有稳定状态,网络总是能够收敛达到能量函数的极小值(即目标函数的最优解)。但当能量函数一旦陷入局部极小值时,将无法跳出并继续求得全局极小值,此时可通过模拟退火算法或遗传算法加以解决。

图12-29 Hopfield神经网络模型示意图
wikipedia.org

BP反向传播网络

典型的多层感知机是由输入层、隐含层(中间层)和输出层构成的三层前馈网络(图12-28)。相邻层之间的各神经元实现全连接,而每层各神经元之间无连接。多层感知机一般与反向传播学习算法联合使用,简称BP网络。

BP网络采用有监督的学习方式。训练开始时网络的实际输出与期望输出之间的误差按照平方和最小这一原则,由输出层向中间层逐层逆向修正连接权值。随着“模式顺传播”和“误差逆传播”过程的交替进行,网络的实际输出将逐渐向各自所对应的期望值逼近。

目前人工神经网络的模拟效率仍待提高。要模拟全部人脑神经元同时活动1s的运算量,需要在超级计算机(具有82944个CPU和1024 TB内存)上运算60 h。人工神经网络的部分缺点还在于学习速度较慢、精确解释所建立的模型存在困难,以及对模型的设计需要掌握相当的技巧,因此其部分用途目前被支持向量机(12.24)及其它更直观的算法所取代。