system: [SYSTEM]

user: 2. 研究进展 2.1. 人工智能研究进展 1956年John McCarthy， Marvin Minsky、Arthur Samuel和Claude Elwood Shannon等学者在Dartmouth会议上正式提出人工智能概念 [ 1 ] 。1958年，John McCarthy开发人工智能研究中最流行的编程语言LISP。 随后很多专家学者编制开发了各式各样的人工智能程序，例如下跳棋程序、数学定理证明程序等。1965年，Herbert Simon甚至预言20年内智能机器将能够取代人工，这就是人工智能的第一次研究高潮。但是人工智能研究者低估了解决实际问题的困难程度，很多项目进展迟滞。1973年，SirJamesLighthill给英国科学研究委员会做了《关于人工智能的综合调查》(《Artificial Intelligence: A General Survey》)的报告，在报告中称：“迄今为止，人工智能的研究没有带来任何重要影响。”，其后，美国政府和英国政府大幅度削减人工智能研究的经费。因此，随后几年，被称为“人工智能的冬天”。 20世纪80年代中期，专家系统的兴起，又使得人工智能研究热潮再度掀起。 20世纪80年代末，随着低成本的个人微型计算机可以更有效率的运行LISP程序，而专门运行LISP程序的机器随之衰弱，退出市场。人工智能研究的低潮再次到来。 1997年5月11日，IBM公司生产的国际象棋计算机“深蓝”在比赛中战胜当时的国际象棋世界冠军加里·卡斯帕罗夫，成为人工智能发展领域的一个里程碑。 20世纪90年代末到21世纪初，随着计算能力的提升，人工智能开始介入后勤、数据挖掘和医学诊断等领域，并取得相应成果。AI又开始了它的第三次高潮至今 [ 2 ] 。 人工智能发展曲线，如图5所示。 2.2. 人工神经网络研究进展 1943年，W. S. McCulloch和W. Pitts提出了的M-P模型 [ 5 ] 。该模型根据生物神经元的结构和工作机理构造了一个简化的数学模型(如图6)。其中，x i 代表神经元的第i个输入，权值w i 为输入x i 对神经元不同突触强度的表征，θ代表神经元的兴奋阀值，y表示神经元的输出，其值的正和负，分别代表神经元的 兴奋和抑制。该模型的数学公式可以表示为： y = ∑ i = 1 n w i x i − θ ，如果所有输入之和大于阀值θ则y值为 正，神经元激活，否则神经元抑制。该模型作为人工神经网络研究的最简模型，一直沿用至今。 1949年，D. Hebb给出了Hebb学习规则 [ 6 ] 。该规则认为权值调整量 Δ W 正比于神经元的输入向量X和输出向量Y的相关性，其数学表达为： Δ W = α Y X ，其中 被认为是学习率。该规则根据神经元之间连接的激活水平来调整权值(输入输出相关性强，则权值增大，相关性弱，则权值减弱)，训练神经网络，这个过程与人类观察和认知世界的过程相吻合，至今还在被许多人工神经网络学习算法所使用。 图5. 人工智能发展曲线图 图6. M-P模型 1957年，F. Rosenblat提出了感知器(Perceptron)模型，这是一个由线性阀值神经元组成的前馈人工神经网络，可实现与或非等逻辑门，用于实现简单分类 [ 7 ] 。 1960年，B. Widrow和M. Hoff提出了自适应线性单元，一种连续取值的人工神经网络，可用于自适应系统。随即人工神经网络进入第一个研究高潮期 [ 8 ] 。 1969年，人工智能创始人M. Minsky和S. Papert发表《Perceptrons》一书，书中指出：单层Perceptron不能实现异或门(XOR)，多层Perceptron不能给出一种学习算法，因此毫无使用价值 [ 9 ] 。鉴于两人在人工智能领域的地位，该书产生极大反响，人工神经网络研究陷入低潮。 1982年，加州理工大学教授H. Hopfield提出Hopfield人工神经网络，在著名的旅行商(TSP)问题这个NP (Nondeterministic Polynomial)完全问题的求解上获得当时最好结果，引起了巨大的反响，使人们重新认识到人工神经网络的威力 [ 10 ] 。 1985年，Rumelhart等人重新给出了多层感知机权值训练的BP算法(Backpropagation Algorithm) [ 11 ] ，事实上，1975年哈佛大学的Paul Werbos发明了BP算法 [ 12 ] ，因为当时正值人工神经网络冰河期，因此未受到应有的重视)，该算法通过实际输出对比理论输出产生的误差(Error)，反向微调各层连接权值系数从而优化网络权值，从而解决了Minsky认为不能解决的多层感知机的学习问题。藉此，带来人工神经网络研究的二次热潮。 20世纪90年代中期，随着统计学习理论和支持向量机的兴起，人工神经网络学习理论性质的不明确、试错性强、使用中充斥大量“技巧”的弱点，使得人工神经网络研究又进入低谷，NIPS会议甚至多年不接受人工神经网络为主题的论文。 三层人工神经网络模型，如图7所示。 图7. 三层人工神经网络模型 2010年前后，随着算法改进、计算速度提升和大数据的涌现，“深度学习”在自然语言处理(Natural Language Processing，NLP)、图像识别、下棋(AlphaGo、Master [ 13 ] 、AlphaGo Zero [ 14 ] )、自动驾驶等应用领域取得显著成绩，人工神经网络又再度焕发青春，从而掀起持续至今的第三次高潮。 综上，与其他技术发展的Gartner曲线(如图9，一般技术发展只经历一次低潮，发展阶段包括：技术萌芽期、期望膨胀期、泡沫化低谷期、复苏期、实质生产高峰期 [ 15 ] )不同的是，人工智能和人工神经网络的发展到目前为止都经历了三起两落(如图5和图8)，且两者的高潮期和低谷期多有重合。低潮多是因概念被过渡泡沫化后的幻灭或者遇到解决实际问题的瓶颈，而高潮也多是踏踏实实、兢兢业业的研究者坚持研究或者转换思路取得新的突破，赢得大家的认可，进而促成。 从成就来看，人工智能目前所能做的，基本上都是弱人工智能领域(弱人工智能和强人工智能两个概念由J. Searle在1980年提出 [ 16 ] )，诸如下棋、自动驾驶、智能导购、智能金融、智能医疗等领域，而且当前有Google公司提供的TensorFlow和Facebook提供的Pytorch等开源平台，但是随着弱人工智能的不断成熟和聚合，类似美国Waston公司制造的索菲亚机器人(2017年10月26日，沙特阿拉伯授予该“女性”机器人公民身份)有着综合各种弱人工智能成就强人工智能的潜力和趋势。所以从模仿人脑功能角度看，人工智能发展又可以划分为三个阶段：计算智能阶段、感知智能阶段和认知智能阶段，前两个阶段，都属于弱人工智能，最后一个阶段属于强人工智能。 其中，人工智能实现的诸如自然语言处理、图像和语音识别等成就，多是深层人工神经网络(DNN)做出的，而人工神经网络之所以能起到如此作用，我们以为其主要是源于人工神经网络可以对任意连续函数进行任意逼近(仅有一个隐含层的人工神经网络，只要隐层神经元足够多，可以对任意函数进行任意逼近) [ 17 ] [ 18 ] ，而深度学习人工神经网络相比只有一个隐层的人工神经网络，层次分明，且相同效果情况下参变量个数更少 [ 19 ] 。我们对人工神经网络的数学模型进行了表述如下，假设把人工神经网络每一层的输入变量和输出变量作为向量看待，可以得到人工神经网络简化的数学形式，如下： Y = F n ( X n ) = F n ( F n − 1 ( X n − 1 ) ) = F n ( F n − 1 ( F n − 2 ( X n − 2 ) ) ) = ⋯ 其中，Y为人工神经网络输出向量，X i 为第i层的输入向量，F i 为第i层的激活函数。从该数学形式看，人工神经网络的训练就是每层输入在不同激活函数下进行的反复迭代的过程，这个训练(或迭代)的过程符合生物的成长和进化过程，而其有监督的BP算法或无监督的贪婪算法(Greedy Algorithm) [ 20 ] 也符合生物成长、进化过程中环境的奖惩机制。这就进一步阐释了，人工神经网络能部分模拟人脑功能的原因。由深度学习延伸的增强学习网络(Reinforcement Learning)则从算法角度引入了环境奖惩机制 [ 21 ] ，从而在围棋游戏、自动驾驶等领域取得显著进展；而对抗生成网络 [ 22 ] (Generative Adversarial Networks)则从模型 图8. 人工神经网络发展曲线图 图9. 技术成熟度Gartner曲线(图片源自维基百科) 角度引入生成网络和对抗(专家)网络的对抗生成机制，在图像生成方面取得斐然的成绩，该模型甚至被YannLeCun (人工智能领域另一个神一样存在的人物，Hinton的学生)称为“20年来机器学习领域最酷的想法”。