system: [SYSTEM]

user: 2. 深度神经网络的基本原理与主要应用类型 深度学习是机器学习领域中使用多层人工神经网络算法的一个分支。1986年Dechter将深度学习的概念引入机器学习领域 [ 9 ]，2000年Aizenberg等人在布尔阈值神经元的背景下进一步将其引入到人工神经网络 [ 10 ]。与传统机器学习算法(包括朴素贝叶斯、k近邻、决策树、支持向量机等)不同，人工神经网络算法模拟人大脑神经系统的工作方式，其一个网络节点类比于人脑的一个神经元，节点间的信息传递采用线性变换和非线性激活进行模拟，从而实现类似人类的简单分析、判断和决策的智能。目前广为应用的网络主要采用多层构型，即深度神经网络，其“深度”是指数据转换的层数，更确切的是指网络中具有实质信息传递的链条长度。根据数据信息流动过程可以将网络层分为输入、输出和隐藏三类，输入层是数据入口，用于接受数据信息；输出层是数据出口，是数据信息处理的最终结果；隐藏层是除输入和输出层外的所有层，最简单的神经网络仅有一层隐藏层。虽然不存在普遍认可的区分浅层与深度学习的深度阈值，但已有研究证明深度为2 (一个隐藏层和一个输出层)的网络是可以模拟任何函数的通用近似，且更多层不会增加网络的近似能力，但多层网络能够获得更好的数据特征，因此增加网络层次有助于特征的学习。对于给定网络构型(包括激活函数)的深度神经网络，其学习过程是指使用训练数据不断调整网络中所有节点变换权值进而实现网络整体优化的过程。 深度神经网络逐层将其输入数据转换为更抽象和复合的表示，相较于传统方法对于解决涉及大规模组合空间或者非线性过程的复杂问题有明显优势，一方面可以使得有些问题变得可解，另一方面则能够极大降低问题研究的计算或实验成本。用于生成、测试和改进科学模型的深度学习工具的不断完善，极大降低了深度神经网络在不同领域的应用门槛，促进领域发展的同时也推动了深度神经网络自身的改进。从深度神经网络的基本原理可以看出，其算法的核心是“数据”和“网络”，这都与具体的应用密切相关。“数据”主要指数据本身质量(包括数据集大小、一致性、精度等)和数据表征(原始数据接入输入层的方式)，“网络”主要包括网络的构型和计算效率等。 深度神经网络的类型繁多，但总体构架类似，均是在深度神经网络(DNN，此处特指全连接网络)基础上发展而来，主要包括卷积神经网络(CNN)，循环神经网络(RNN)，生成对抗网络(GAN)和深度信念网络(DBN)等，见图1。与具体应用结合则往往需要对深度神经网络进行适配性改造，本文将简要介绍主要的基本网络类型以及在材料领域应用中发展的一些网络类型，如晶体图神经网络(CGNN)，晶体图卷积神经网络(CGCNN)以及判别协同网络(DCN)等，表1简要总结了深度神经网络的主要构架。 图1. 五种深度神经网络示意图 Table 1 Major architectures of deep neural network 类型 变种 网络结构特点 主要应用 CNN AlexNet LeNet VggNet CGCNN 卷积层 池化层 图像处理 语音信号处理 自然语言处理 晶体结构预测 RNN Bi-RNN LSTM 隐藏层 递归结构 时间序列分析 情感分析 自然语言处理 药物挖掘 GAN DCGAN EBGAN DCN 生成模型 判别模型 图像生成 视频生成 DBN EnhancerDBN 受限玻尔兹曼机 脑电图分析 药物发现 表1. 深度神经网络的主要构架 深度神经网络(DNN)一般被定义为具有输入层，输出层和至少二个隐藏层的网络 [ 11 ] [ 12 ]，有的文献中也将这种网络称为多层感知器，通常指全连接网络，即一层中的每个神经元都连接到下一层中的所有神经元，见图1(a)。深度神经网络中的每层在一个过程中执行特定类型的分类和排序，也称之为“特征层次结构”，复杂神经网络的关键用途之一是处理未标记或非结构化数据，有益于寻求简单的方式对信息进行分类和排序。深度神经网络架构通常采用逐层方法构建，对有监督的学习任务，DNN方法通过将数据转换为类似于主成分的紧凑中间表示来消除特征工程，并导出去除冗余的分层结构，因为未标记的数据比标记的数据更为丰富，这对于无监督的学习任务也是重要好处。Ryan等人用DNN从晶体结构库的大量晶体学数据中学习晶体结构的模板，预测形成新化合物的可能性，测试表明神经网络模型具有很好的预测能力。该方法用于指导新材料发现能够提升合成效率 [ 13 ]。Cassar等采用MLP学习包含五万多种无机玻璃组合物及其转变温度实验测量值的数据库，获得寻找神经网络超参值的优化方案，从而诱导生成具有高预测性能的模型。该方法有很高通用性，能预测未包含在训练集中的玻璃的转变温度，容易扩展到预测以玻璃成分为函数的其他性质，有助于开发具有显著特性的多组分玻璃组合物 [ 14 ]。Jha等人提出了基于DNN的ElemNet从材料数据库中自动获取物理和化学相互作用和不同元素间的相似性，从而高速高精度预测材料性质。ElemNet的速度和精度有益于从海量组合空间中快速稳定的筛选新的候选材料 [ 15 ]。Yamamoto将晶体图与深度神经网络结合提出了不使用成键距离的晶体图神经网络(CGNN)，其中引入尺度不变的图连络器生成晶体图，利用理论材料数据库对CGNN进行训练。CGNN对每种测试材料的形成能量、晶胞体积、带隙和总磁化强度等体积性质预测的平均误差小于数据库中的相应误差。CGNN预测的带隙和总磁化强度能成功进行金属–绝缘体和非磁性–磁性体二元分类 [ 16 ]。 卷积神经网络(CNN)是包含卷积计算的深度神经网络。CNN的提出受生物视觉机制的启发 [ 17 ] [ 18 ]，在深度神经网络基础上引入卷积层、池化层使神经元间的连接模式类似于动物视觉皮层的组织：个体皮层神经元仅在被称为感受野的视野受限区域中对刺激作出反应，不同神经元的感受野部分重叠，使它们覆盖整个视野，见图1(b)。由于卷积神经网络隐含层内的卷积核参数共享和平移不变性特征，也被称为移位不变或空间不变的人工神经网络(SIANN) [ 19 ]。参数共享机制和层间连接的稀疏性使卷积神经网络无需额外数据特征工程用较小的计算量学习格点化数据(例如像素和音频)。在材料学中卷积神经网络也有许多应用。Zheng等构造了以元素周期表为表征的多任务CNN，采用OQMD数据库中的全赫斯勒(Full-Heusler)材料为训练和测试集，预测晶格常数和形成焓。研究表明CNN学到了元素周期表的重要化学信息即周期表的二维内在结构。进一步使用ICSD数据库中的X2YZ型材料为第二个训练集精调的CNN模型预测了全赫斯勒材料的稳定性，及少有报道的含钨材料可能具有较好的稳定性 [ 20 ]。当前将晶体材料的多图表示与卷积神经网络发展出了晶体图卷积神经网络(CGCNN)。Xie等人利用CGCNN成功实现了材料空间层次的可视化，该技术有助于探索和可视化材料空间，帮助识别潜在的问题，推进自动化材料设计过渡到以数据为中心的材料空间探索 [ 21 ]。Sanyal等将基于多任务(MT)学习的转移学习和CGCNN结合提出MT-CGCNN。通过预测各种材料，如无机晶体(46774材料)的形成能、带隙和费米能证明了MT-CGCNN的有效性。与CGCNN相比，即使训练数据减少10%，MT-CGCNN的预测误差较低，用于预测与金属-非金属分类相关的最终场景MT-CGCNN也具有更好的性能 [ 22 ]。 循环神经网络(RNN)是以序列数据为输入，在序列演进方向进行递归，所有节点(循环单元)按链式连接的递归神经网络，其节点间连接形成沿时间序列的有向图，见图1(c)。RNN的研究始于上世纪80年代 [ 23 ]，21世纪初发展为重要的深度学习算法，常见类型有双向循环神经网络(Bi-RNN)和长短期记忆网络(LSTM) [ 24 ]。循环神经网络具有记忆性、参数共享并且图灵完备，因此能对序列的非线性特征进行高效学习。循环神经网络在自然语言处理，例如语音识别、语言建模、机器翻译等领域广为应用，也常与卷积神经网络相结合用于处理计算机视觉问题。Quan等人采用数种如长短时记忆卷积神经网络等技术学习原子并解决如药物挖掘领域的单任务分类等经典问题，将这种方法应用到如SIDER和Tox21等数个广泛应用的数据集，并指导了很多实验。实验结果验证了该方法的可行性和优越性 [ 25 ]。 生成对抗网络(GAN)是Goodfellow等在2014年提出的一类机器学习算法 [ 26 ]。GAN由生成器网络和判别器网络组成，见图1(d)。这两个网络可以是卷积神经网络、循环神经网络等，常用的生成网络是反卷积神经网络，判别网络是卷积神经网络。GAN的两个网络参与一场“博弈”，试图在超越对方的同时帮助对方完善自己。一般说来，生成网络学习的是如何从潜在空间映射到感兴趣的数据分布，而判别网络则是对生成网络生成的候选数据与真实数据进行区分，生成网络的训练目标是增加判别网络的判别错误率，判别网络的初始训练数据是已知数据集。以图像数据为例，经多次迭代后的理想结果是生成器网络能够完美生成逼真的假图像，而判别器网络能够完美判断生成图像的真假。尽管GAN的提出是作为无监督学习的一种生成模型，但它被证明适用于半监督、完全监督和强化学习。Zhao等人提出了基于能量的生成对抗网络模型(EBGAN)，该模型将判别器视为能量函数，其将低能量归因于数据流形附近的区域，高能量归因于其他区域 [ 27 ]。与概率GAN类似，发生器被视为训练以产生具有最小能量的对比样本，而判别器被训练为将高能量分配给这些生成的样本。将判别器视为能量函数除了具有逻辑输出的分类器外，还允许使用各种体系结构和损失函数。研究表明使用自动编码器的EBGAN训练的稳定性优于常规GAN。EBGAN可以训练用来生成高分辨率图像。Liu在采用机器学习方法研究物质状态的分类和相应的相变检测问题时提出了一种无监督的机器学习方案，利用一对判别协同网络(DCN)来检测相变 [ 28 ]。该方案中猜测者网络和学习者网络协作以检测来自完全未标记数据中的相变。新方案利用计算机视觉中的主动轮廓模型(蛇模型)托管两个网络以处理二维参数空间中的相图，具有DCN“大脑”的蛇在参数空间中主动移动和学习，并自动定位相界。 深度信念网络(DBN)是由Hinton在2006年提出一种生成模型，通过训练其神经元间的权重，让整个神经网络按照最大概率来生成训练数据 [ 29 ]。通常DBN由受限玻尔兹曼机(RBM)堆叠而成。RBM由显隐两层神经元构成，显层神经元用于接受输入，隐层神经元用于提取特征，因此也叫特征检测器，显层和隐层内部的神经元在层内都没有互连，只有层间的神经元有对称的连接线，见图1(e)。训练DBN的过程是一层一层进行，在每层中用数据向量来推断隐层，再把该隐层用作下一层的数据向量。在没有监督的情况下对一组示例进行训练时，DBN可以学习概率地重建其输入，然后这些层充当特征检测器，之后可以进一步训练DBN进行分类。现实生活中DBN有很多极具吸引力的应用情景(如脑电图分析、药物发现)。Bu等人在研究如何准确预测远端增强子时提出了基于深度信念网络(DBN)的增强器预测计算方法(EnhancerDBN)，计算结果表明EnhancerDBN优于现有的13种预测方法，深度学习能有效地提高增强器预测的性能 [ 30 ]。 深度神经网络的快速发展和成熟为不同领域的研究人员提供了新的研究手段和工具，但深度学习方法是否适用于当前研究是需要首先认真对待的一个问题。大量可靠的数据是目前深度学习方法适用的先决条件，但不是充分条件。问题的关键还在于研究的问题是否能转化为深度学习能够处理的分类和回归问题。如果目前难以进行适用性的明确判断，但研究的问题使用传统方法计算或测量非常困难或昂贵，现象足够复杂(或非确定性)通过直接求解基本方程无法解决或者控制方程未知，则可采用深度学习的方法进行探索。这些问题广泛存在于社会、认知、生物、材料等科学领域，因而基于数据驱动的深度神经网络方法在这些领域中被普遍应用。以下将简要概述材料微结构与物性研究领域的特点以及深度神经网络方法在该领域当前的应用与发展现状。