DreamBlooms/HansPub-15000-to-45000 huggingface dataset:
system: [SYSTEM]

user: 1. 引言 随着我国经济不断发展，金融体制改革也在不断完善，现阶段银行业的发展极为迅速、资产规模逐渐扩大。统计显示，我国银行业总资产由2012年的133.6万亿元增至2016年的181.7万亿元。然而市场竞争的压力导致部分产能过剩的产业面临破产，使银行的资产压力增大，出现了利润减小、不良贷款率增加等诸多问题。因此建立商业银行绩效评价体系可以有效帮助商业银行了解现阶段自身发展在同行业的水平，进而使商业银行通过完善自身经营管理模式来促进其发展和进步。上市银行虽然在目前凭借其规模具有一定的优势，但中小银行在人均创利、开拓市场等资金利用效率方面取得了更好的成绩 [ 1 ] 。并且非上市商业银行数量较多，在经济发展中起到较为重要的作用，同时带动了我国经济的多元化发展。目前大部分学者关注的都是上市银行，缺乏针对非上市商业银行的绩效评价体系。因此在本次研究中，将以非上市商业银行为研究对象，结合以往的各种评价方式并适当加以创新。 综观国内外的文献可以发现，在评价指标体系构建方面，较少从动态的角度研究商业银行绩效水平的变化，指标体系不够完善 [ 2 ] 。因此，本文在国内外现有研究基础上，从盈利能力、流动能力、风控能力和发展能力四个维度建立动态评价指标体系，利用因子分析法对非上市商业银行的绩效进行横向分析，使其了解自身绩效水平，同时通过纵向比较分析近几年的发展趋势。由于影响企业的经营绩效指标往往是多个维度的，故本研究选取了与银行发展密切相关的十个指标，并利用因子分析法进行分析。为了避免人为因素的影响，本文在分析过程中利用方差贡献率对影响银行的指标权重进行评价，将信息重叠、具有复杂关系的指标归结为几个不相关的综合因子，进行数据的多元统计分析，将理论与实际相结合，以期能够帮助非上市商业银行进行更好地发展 [ 3 ] 。
system: [SYSTEM]

user: 2. 研究设计 2.1. 样本选取与数据来源 本研究通过国泰安数据库和各银行年报，获得大量数据，但由于非上市商业银行数据披露不够全面，经过筛选，最终整理出20家非上市商业银行(截止至2016年未上市) 2012~2016年完整的数据。 2.2. 指标选取 对非上市商业银行进行绩效评价首先需要选取一组合适的指标，建立一个合理可行的指标体系 [ 4 ] 。本文根据评价数据的可获得性、可比性、可量化性以及评价指标的全面性，将非上市商业银行财务绩效评价指标分为盈利能力、流动能力、风控能力和发展能力四大方面，然后进一步选取评价这四个方面的十个具体可量化的指标。运用SPSS软件对各项指标进行分析，构建了我国非上市商业银行绩效评价指标体系，如表1所示。 Table 1 Performance evaluation index of commercial bank 一级指标 二级指标 指标类型 盈利能力 X1净资产收益率 正向指标 X2总资产收益率 正向指标 X3成本收入比 逆向指标 流动能力 X4存贷比率 适度指标 X5资产现金回收率 正向指标 风控能力 X6资本充足率 适度指标 X7不良贷款率 逆向指标 X8拨备覆盖率 适度指标 发展能力 X9贷款增长率 正向指标 X10净利润增长率 正向指标 表1. 商业银行绩效评价指标 2.3. 研究方法 由于本研究试图考察2012~2016年的非上市商业银行绩效变动情况，而因子分析法一般只能研究横截面数据，较难研究时间序列数据，所以本研究借鉴吴骏奇的方法 [ 5 ] ，进行了以下处理：对这5年的数据取平均值进行因子分析，得到因子载荷矩阵和因子得分系数矩阵，从而给出绩效总分的计算公式，并计算出基于平均数据的各个因子得分和排名，进行横向分析和结构分析。接着运用相同的因子载荷矩阵和因子得分系数矩阵计算2012~2016年各年的排名，进行纵向分析。 由于所选指标并不是同质的，同时存在着正向指标和逆向指标，因此本文首先对原始数据进行了正向化处理。其中成本收入比、不良贷款率为逆向指标，本文利用 进行正向化；存贷比率(k = 0.75)、资本充足率(k = 0.08)、拨备覆盖率(k = 1)为适度指标，利用 进行正向化。在所有指标都变为正向指标之后，使用SPSS对数据进行标准化处理，以便于接下来的分析。
system: [SYSTEM]

user: 3. 实证分析 3.1. 描述性统计 通过国泰安数据库和各银行年报，获得20家非上市商业银行5年10项指标的数据，进行描述性统计分析，如表2所示。由此可见不同银行在各个指标上差距都较大，尤其是拨备覆盖率和净利润增长率。 3.2. 可行性检验 数据进行标准化后，本文对数据进行检验，检验的指标主要有KMO检验以及Bartlett球形度检验。KMO检验结果为0.649，大于0.6；Bartlett球形度检验的P值为0.000，显著性水平远远小于0.01，拒绝原假设，故两个检验同时说明数据适合进行因子分析。 Table 2 Descriptive statistics of dat 变量代码 变量名称 最小值 最大值 平均值 标准差 偏度 峰度 X1 平均净资产回报率 4.02 21.84 14.30 357.78 −55.69 357.78 X2 平均总资产回报率 0.24 1.46 1.01 148.09 −60.48 148.09 X3 成本收入比 26.71 60.04 33.81 568.15 213.86 568.15 X4 存贷比率 36.46 74.32 60.62 85.00 −95.92 85.00 X5 资产现金回收率 −2.80 11.02 05.23 106.58 −25.02 106.58 X6 资本充足率 11.11 19.14 13.77 503.15 160.61 503.15 X7 不良贷款率 0.80 2.09 12.59 1.60 70.05 1.60 X8 拨备覆盖率 133.13 610.10 292.43 259.15 126.59 259.15 X9 贷款增长率 8.02 66.36 18.66 1029.69 288.66 1029.69 X10 净利润增长率 2.60 245.53 23.93 2094.33 448.39 2094.33 表2. 数据的描述性统计，单位(%) 3.3. 特征值及方差贡献率 本文选取数据标准化后的相关系数矩阵为对象，依据变量特征值大于1的原则提取特征向量和特征值，变量相关系数矩阵有三大特征值(见表3)，即4.301、2.766、1.291。前三个因子的累计贡献率为83.578%，满足累计贡献率大于80%的原则。因此，前三个因子基本包括所有因子评价指标所要反映的内容，本文选取前三个因子作为主因子来反映非上市商业银行绩效的情况。 Table 3 Eigen values and variance contribution rate 成分 初始特征值 提取载荷平方和 旋转载荷平方和 总计 方差百分比% 累积% 总计 方差百分比% 累积% 总计 方差百分比% 累积% 1 4.301 43.010 43.010 4.301 43.010 43.010 2.989 29.893 29.893 2 2.766 27.662 70.672 2.766 27.662 70.672 2.771 27.711 57.604 3 1.291 12.906 83.578 1.291 12.906 83.578 2.597 25.974 83.578 表3. 特征值及方差贡献率 3.4. 提取公因子并命名 本文对选取的三个主因子F1、F2、F3建立成分矩阵，并利用凯撒正态化最大方差法进行旋转，得到旋转成分矩阵。第一个主因子对贷款增长率和净利润增长率这两个指标影响较大，称为发展能力因子；第二个主因子对存贷比率、不良贷款率和拨备覆盖率影响较大，称为风控和流动能力因子；第三个主因子对平均净资产回报率和平均总资产回报率影响较大，称为盈利能力因子。 3.5. 主因子得分及绩效综合得分 本文根据因子得分系数矩阵，得出了3个因子的得分函数： 以各个因子的贡献率作为权重计算各家非上市商业银行的综合经营绩效评价得分，通过计算可以得到我国非上市商业银行的各因子得分和排名以及综合评价得分和排名情况。 综合得分为： 需要注意的是，在经营绩效评价分析中，有许多上市商业银行的得分表现为负数，这并不意味着其经营绩效就为负，这是因为在整个实证分析过程中对数据进行了处理而导致的结果 [ 6 ] 。
system: [SYSTEM]

user: 5. 总结 本文运用因子分析法对我国20家非上市商业银行进行了实证研究，得出了绩效评价模型，并对评价对象经营绩效状况进行了详细分析。中小银行在不断发展变化的金融市场中，适应着我国最新的发展模式，积极改善自身经营绩效水平。但非上市商业银行普遍来说资产规模较小，营业网点网络不发达，在与股份制商业银行、国有商业银行等大型银行进行竞争时明显呈现出竞争力不足的劣势。特定的市场定位使中小商业银行经营成本偏高，绩效提升困难，所以在未来发展中应强化资产质量管理，加快经营转型发展，提高综合竞争能力。同时政府应当加大扶持力度，鼓励和引导中小银行稳步地参与更大市场的竞争，提升中国银行业的整体竞争力 [ 8 ] 。
system: [SYSTEM]

user: 摘 要 本文选取2017年26家互联网公司12个分析指标，建立基于主成分因子分析的互联网企业核心竞争力评价分析模型，对影响竞争力评价的因子进行提取，并对互联网企业按照提取的公因子构建数学模型进行分类排序和简单相关分析。结果中提取规模与研发创新、成长速度、盈利能力、运营能力4个因子。从排名结果看出，互联网企业核心竞争力存在显著差异性，同一企业核心竞争力与内部各因子具有相关性。全面协调发展、加快创新速度以及开展战略联盟合作是提升互联网企业核心竞争力的有效途径。 关键词 :主成分因子分析，简单相关分析，互联网企业，核心竞争力 Copyright © 2019 by author and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/
system: [SYSTEM]

user: 1. 引言 互联网时代的到来，互联网市场规模的急速扩张，企业的竞争日渐激烈。互联网企业若想立足市场领先地位，认清自身核心竞争力状况势在必行。基于选取样本的代表性、真实性等原则 [ 1 ] ，笔者选取美国股市、艾瑞网数据库统计中具有典型性的26家企业的部分年报数据作为样本，通过基于主成分因子分析来探索所选取指标的关系，构建互联网企业核心竞争力评价分析模型，并提出提高我国互联网企业核心竞争力的发展路径，给我国互联网企业提高自身竞争力、提升市场地位提供战略和决策的参考依据，为其他研究学者提供更多学术上的参考。
system: [SYSTEM]

user: 2. 文献综述 由于互联网企业为新兴技术产业，在我国立足较晚，因此目前研究的主要方向是从互联网的技术层面，对网络协议、信息科技、软硬件开发等方面进行讨论。相对而言，以管理学视角，结合经典与现代的研究理论，运用综合有效的竞争力数学评价模型来评价互联网企业核心竞争力所做的研究较少。目前相关研究有：Prahalad和Hamel [ 2 ] 指出核心竞争力作为企业所特有的一种发展能力根据企业的不同而存在差别，它可以引领企业实现多元化经营，企业自身的核心竞争力决定未来多元化战略的方向。任天飞 [ 3 ] 指出区分竞争力的概念与特性是在评价一个企业竞争力时需要注意的地方，并且可引入相关评价指标对其进行系统研究，认为组织能力、竞争范围和创新能力均是竞争力的重要评价因素。王拉娣 [ 4 ] 等采用了BP神经网络分析评价方法，并且结合网上支付企业的自身所具备的特点，构建出指标评价体系，进而选取典型的网上支付企业进行实证研究，研究分析了核心竞争力的强弱程度。谢永平 [ 5 ] 等基于对市场竞争机制的分析研究，结果表明适当竞争有利于激发出企业在内部的信任机制，正向促进企业核心竞争力的形成。黄人杰 [ 6 ] 研究互联网企业存在于国际化市场竞争方面的问题，从完善政策机制等多个方面，提出提升国际竞争力对策与措施。Leonard Barton [ 7 ] 认为企业的核心竞争力在管理和运营中凸显出来制度化联系性、专有性与价值输出持久性。吴迪 [ 8 ] 通过借助结构方程模型，揭示了组织竞争力、成功智力和核心价值观认同存在的内在关系，揭示了核心价值观对组织竞争力所产生的促进作用的机理，为基于知识型的团队的核心竞争力的培育提供了理论借鉴。 通过研读文献分析后可以看出，上述研究对互联网企业的质性分析较多，从定量实证分析角度出发的研究较少；且使用数据较为陈旧，缺乏总体的核心竞争力的分析评价。因此，本文使用2017年互联网企业数据进行分析，希望结论更具备说服力。
system: [SYSTEM]

user: 3. 资料来源与样本选择 3.1. 研究样本的选择 本文选取2017年互联网企业作为样本，鉴于数据的代表性、可比性等选取原则，选取26家互联网公司312组数据进行分析。为提高评价的信度，面向机构用户为主营业务、硬件产品为主要产品以及互联网金融领域企业均不考虑。 本文选取26家互联网公司(阿里巴巴网络技术有限公司、百度、陌陌、京东商城、网易公司、58同城、新浪微博、深圳市腾讯计算机系统有限公司、携程旅行、爱奇艺、凤凰网、汽车之家、唯品会信息科技有限公司、阅文集团、新浪、欢聚时代、前程无忧、金山软件股份有限公司、搜狗、房天下控股有限公司、猎豹移动公司、易车公司、乐居网、搜狐、途牛旅游网、迅雷网络)，通过WIND咨询、国泰安数据库以及同花顺金融数据库收集数据，以2017年企业年报数据为研究样本，建立基于主成分因子分析的互联网企业核心竞争力评价分析模型，对影响竞争力评价的因子进行提取，并对互联网企业按照提取的公因子构建数学模型进行分类排序并进行简单相关分析。 3.2. 评价指标体系的构建 鉴于所选取互联网公司多为美股上市企业，为更准确反映互联网公司的经营特点，基于全面性、可操作性、可比性以及客观性的原则，本文采用实证研究中客观性强的财务指标及其他可定量获取的共计12个指标：股东权益报酬率(X 1 )、资产所得率(X 2 )、EPS增长率(X 3 )、利润总额增长率(X 4 )、总资产周转率(X 5 )、流动资产周转率(X 6 )、销售净利润率(X 7 )、总资产(X 8 )、流动比率(X 9 )、营业收入(X 10 )、研发投入资金(X 11 )、产权比率(X 12 )。
system: [SYSTEM]

user: 4. 统计分析 使用stata14.0软件，对2017年26家互联网公司的12个指标及312组相关数据进行主成分因子分析 [ 9 ] 与简单相关分析 [ 10 ] 。 4.1. 数据预处理 数据预处理是指对所选取的适度指标利用公式进行正向化处理 [ 11 ] ，对样本数据进行无量纲化处理，使数据服从正态分布，增强指标可比性。本文使用Z-score法进行数据标准化。本文流动比率(X 9 )和产权比率(X 12 )为适度指标，利用正向化公式进行处理： (1) 其中 为正向化后指标值， 为指标初始值，K为指标最佳理论值(流动比率K = 2，产权比率K = 1.2)。此外本文使用Z-score法对数据进行标准化处理。 4.2. 数据有效性检验 使用KMO模型和模型LR检验确定因子分析是否适用 [ 12 ] 。KMO统计量越接近1，则变量间的相关性越强，因子分析的效果越好；模型LR检验确定模型的显著性，如果相关性P值 < 0.01，则各变量相关性极显著，适宜做因子分析。本文数据经KMO模型和模型LR检验后结果显示，KMO = 0.605，大于0.6；模型LR检验的卡方值为282.43，P = 0.00 < 0.01，模型非常显著，表明适合做因子分析。详见表1。 Table 1 KMO and LR tes Kaiser-Meyer-Olkin测量值 0.605 模型LR检验卡方值 282.43 显著性水平值(P值) 0.000 表1. KMO与LR检验 4.3. 因子命名 采用主成分因子分析，提取4个公因子，根据特征根大于1的原则，并且所提取公因子累计贡献率应大于80%，最终贡献率达到84.03%，具有较高的代表性。详见表2。 为对公因子的实际含义进行更加合理的解释，利用最大方差正交旋转方法对因子结构进行旋转。结果显示因子1在指标X 8 、X 9 、X 10 、X 11 上载荷较高，可命名为规模与研发创新指标；因子2在指标X 3 、X 4 上载荷较高，可命名为成长速度指标；因子3在指标X 1 、X 2 、X 7 、X 12 上载荷较高，可命名为盈利能力指标；因子4在指标X 5 、X 6 上载荷较高，可命名为运营能力指标。详见表3。 4.4. 因子得分计算 通过前述分析使得因子降维，下面利用回归方法计算因子得分矩阵与各因子得分。然后以公因子方差贡献率作为权重，计算最终的核心竞争力得分F。因子得分公式和核心竞争力得分公式如下。详见表4。 (2) (3) (4) (5) (6)
system: [SYSTEM]

user: 5. 核心竞争力分析 通过stata14.0计算得出26家互联网公司2017年的竞争力评分，并且进行归类研究，并将最终的核心竞争力排名与各指标进行简单相关分析。详见表5和表6。依据其在核心竞争力排名、规模与研发创新指标、成长速度指标、盈利能力指标、运营能力指标五个方面的不同表现进行研究。 Table 2 Total variance explaine 公因子 提取平方和载入 旋转平方和载入 特征值 贡献率/% 累计贡献率/% 特征值 贡献率/% 累计贡献率/% 1 3.789 31.57 31.57 2.885 24.04 24.04 2 2.979 24.83 56.40 2.572 21.43 45.47 3 2.132 17.76 74.16 2.414 20.12 65.59 4 1.184 9.87 84.03 2.212 18.44 84.03 表2. 解释总方差 Table 3 Rotated component matri 因子1 因子2 因子3 因子4 X 1 0.123 0.456 0.810 0.116 X 2 0.143 0.489 0.686 0.097 X 3 −0.075 0.927 0.199 −0.048 X 4 −0.088 0.921 0.170 −0.053 X 5 −0.027 −0.041 0.042 0.950 X 6 0.100 −0.028 −0.065 0.939 X 7 0.173 0.530 0.748 −0.066 X 8 0.951 −0.030 0.164 0.008 X 9 0.606 −0.075 −0.330 −0.313 X 10 0.773 −0.040 0.081 0.495 X 11 0.959 −0.026 0.115 −0.020 X 12 0.081 −0.355 0.705 −0.227 表3. 旋转后的因子载荷矩阵 Table 4 Component score coefficient matri F1 F2 F3 F4 X 1 −0.014 0.025 0.325 0.046 X 2 0.009 0.076 0.244 0.037 X 3 0.011 0.421 −0.130 −0.018 X 4 0.009 0.426 −0.143 −0.020 X 5 −0.055 −0.033 0.035 0.435 X 6 0.004 0.011 −0.043 0.425 X 7 0.022 0.082 0.265 −0.039 X 8 0.332 −0.002 0.004 −0.035 X 9 0.266 0.087 −0.229 −0.167 X 10 0.255 0.005 −0.023 0.195 X 11 0.341 0.014 −0.025 −0.048 X 12 −0.055 −0.370 0.490 −0.109 表4. 因子得分矩阵 Table 5 Ranking of core competitiveness of Internet enterprise 排名 核心竞争力 规模与研发创新指标 成长速度指标 盈利能力指标 运营能力指标 阿里巴巴网络技术有限公司 1 1 5 17 14 京东商城 2 4 13 19 1 深圳市腾讯计算机系统有限公司 3 2 23 2 7 猎豹移动公司 4 12 1 13 10 唯品会信息科技有限公司 5 10 19 11 2 陌陌 6 25 6 3 4 金山软件股份有限公司 7 13 3 9 22 百度 8 3 18 7 26 网易公司 9 7 12 6 8 欢聚时代 10 21 9 4 5 阅文集团 11 22 2 20 13 汽车之家 12 17 8 5 12 新浪微博 13 26 25 1 20 58同城 14 11 4 16 9 搜狗 15 18 11 12 6 携程旅行 16 6 7 14 23 新浪 17 14 15 8 18 爱奇艺 18 19 17 24 3 前程无忧 19 24 16 10 17 凤凰网 20 5 10 22 25 房天下 21 20 14 15 19 迅雷网络 22 23 21 21 15 易车公司 23 16 24 18 21 途牛旅游网 24 9 20 23 24 搜狐 25 8 22 26 16 乐居网 26 15 26 25 11 表5. 互联网企业核心竞争力排名 Table 6 The correlation between the ranking of core competitiveness and each inde 规模与研发创新指标 成长速度指标 盈利能力指标 运营能力指标 核心竞争力 0.309 0.489 0.562 0.441 表6. 核心竞争力排名与各指标相关关系 5.1. 各互联网企业核心竞争力差异较大，全面协调发展是提升核心竞争力的重要途径 阿里巴巴网络技术有限公司，深圳市腾讯计算机系统有限公司，京东商城以及百度四个传统互联网巨头企业规模与研发创新指标排名靠前，但是百度的核心竞争力排名有明显下滑。通过简单相关分析可以看出成长速度与盈利能力与核心竞争力的相关性较大，因此全面发展才是提升核心竞争力的重要途径。网易公司等一些互联网企业，各方面发展均衡，因此核心竞争力排名也处于一个不错的位置。 5.2. 加快创新速度，紧追时代浪潮是必由之路 互联网行业基于其自身发展的特质，需要不断推陈出新。技术创新虽然受企业整体规模，研发投入资金及研发人员个人素质等综合因素影响，因此大公司形成技术壁垒的可能性更大，中小型企业在创新商业模式等方面依然有很大机会开辟发展缝隙市场及利基市场，比如欢聚时代开发的YY创新了产品服务模式，猎豹公司实施出海战略从而开辟了海外较为广阔的市场，形成自己企业独特的核心竞争优势，这一点在核心竞争力排名中有所体现。因此，加快创新速度，抓住市场机遇，是提升互联网企业核心竞争力的重要路径。 5.3. 战略联盟合作与相互协作能力的提升是重要的发展趋势 核心竞争力排名的差距向我们揭示了巨头企业和中小新兴企业的差距不是短时间内可以弥补的，因此开展战略联盟合作，提升相互协作能力既可以为中小新兴企业提供多方面的支持，也可以为巨头企业注入更多活力，有利于提升企业创新速度。
system: [SYSTEM]

user: 6. 结语 时代发展速度的提升，产品创新与汰换周期的缩短，都给我国互联网企业提出了更高的发展要求。本文采用主成分因子分析和简单相关分析对互联网企业的核心竞争力涉及数据进行实证分析，有效规避人才激励制度、企业家精神、管理制度等众多难以量化的因素产生的干扰，得到的结论与了解到的企业实际情况大体吻合。分析结果表明，全面协调发展是提升核心竞争力的重要途径，加快创新速度，紧追时代浪潮是互联网企业提升核心竞争力的必由之路，同业合作也有利于企业的发展。但本文在研究样本的选取上，由于未上市或退市的企业数据的信度和效度有待考证，因此部分独角兽企业很遗憾未能进入研究范围，也期待可以有更多指标进入评价体系，则评价结果会更具有指导意义。
system: [SYSTEM]

user: 摘 要 随着语料库语言学的兴起，语料库中的自然语言数据逐渐成为语言教学中的重要工具。本文将基于COCA语料库，探讨“damage”，“destroy”和“ruin”这三个近义动词的异同，对其在词频、文体、搭配和语义韵这四方面进行对比分析。目的是更加准确地区分这组近义动词，同时引起英语学习者对语料库的使用兴趣。 关键词 :COCA语料库，近义动词，词频，文体，搭配，语义韵 Copyright © 2019 by author(s) and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/
system: [SYSTEM]

user: 1. 引言 由于语言的任意性和创造性，近义词在英语中占有很大比例。据统计，英语中同义词、近义词的数量约占总词汇量的60% [ 1 ] 。对近义词的辨析一直是外语学习中一个难以掌握而又至关重要的环节。近义词虽然基本表达相同的概念，但是在不同的文体、上下文里、从不同角度来看还是有所差别的。在传统教学中，近义词辨析通常有如下几种方法：教材注解、词典释义和惯用搭配。这些方法较为死板且缺乏真实的语境支撑，无法解决深层的语义区分问题，学生们也难以把握近义词准确地道的用法。 语料库语言学的逐步发展为近义词辨析提供了新的思路。语料库是指按照一定的语言学原则，运用随机抽样方法，收集自然出现的连续的语言文本或话语片段而建成的具有一定容量的大型电子文库 [ 2 ] ，具有容量大、语料真实、检索快捷的独特优势 [ 3 ] 。运用语料库对相关词汇进行检索、对比和分析，可以对近义词进行根本的语义区分。 国内外的学者在基于语料库的近义词辨析方面取得了较丰硕的成果。1996年，Hanks第一个使用词项整体行为研究(behavioral profile)的方法研究了“urge”，“incite”，“bother”和“abandon”这四个近义动词，他所采用的是BNC语料库(British National Corpus) [ 4 ] 。随后，Dilin Liu采用同样的方法，基于COCA语料库研究“chief”，“main”，“major”，“primary” 和“principal”所修饰的名词类型，探究各个形容词的内部语义结构 [ 5 ] 。郭放、翟红华对比研究了“affect”的类联接模式 [ 6 ] 。梅一馨探究了含有“影响”含义单词的词性转换对其语义韵的影响 [ 7 ] 。但基于语料库方法辨析近义词的研究大都限于研究各近义词的类联接、搭配选择和语义韵中的某个方面，较少同时考察近义词在上述各方面的差异。 本文采用采用现代美国英语语料库(the Corpus of Contemporary American English，简称COCA)，旨在研究“destroy”，“damage”和“ruin”这三个近义动词在语义和用法上的不同。COCA语料库由杨伯翰大学的Mark Davies教授开发，是当今世界最大的美国英语平衡语料库。截止到2017年12月，COCA语料库共收集5.6亿词，涵盖1990年至2017年期间美国境内口语、小说、杂志、报纸及学术期刊五大领域的语料。基于COCA语料库，本文同时从词频、文体、搭配和语义韵这四个角度来研究“destroy”，“damage”和“ruin”这三个近义动词的不同，帮助学习者系统地区分间近义词，为语言教学中的近义词辨析提供参考。
system: [SYSTEM]

user: 3. 总结 文章通过语料库研究方法，借助COCA语料库，对近义词“destroy”，“damage”和“ruin”进行了出现频数、文体分析、搭配词和语义韵等四个方面的研究。得出如下结论：首先，“destroy”的词频在总体上最高，这意味着“destroy”是我们在表达损害或毁坏某件物体时最常用的一个单词。其次，从文体的角度来看，“destroy”在各个语境都适用，“damage”多用于官方报道，而“ruin”常用于非正式文体。第三，“destroy”、“damage”和“ruin”这三个近义动词都几乎不和介词搭配。“destroy”多和具体名词搭配，且与战争有关的名词多和“destroy”搭配，和“damage”搭配的名词大部分为具体名词，其中绝大多数和身体结构有关，“ruin”多和抽象名词搭配。最后，这三个动词基本上没有表现出积极的语义韵。总而言之，语料库研究方法为近义词的区分提供了高效、快捷、准确的方式。对于英语学习者在英语择词上的具体考量起到了极大的帮助作用，而这一帮助也是极具说服力的。
system: [SYSTEM]

user: 摘 要 利用DeST软件对郑州市某集中公寓小区及附近某综合医院进行了模拟，得到了详细的冷热电逐时负荷数据。从而进行了分布式能源系统的搭建，确定了以微型燃气轮机发电机组为主要设备，辅以太阳能集热系统，再与地源热泵耦合形成多能互补分布式能源系统。并对该系统的节能性、环保性以及技术经济性进行详细的分析，得出此分布式能源系统具有比常规系统更高的能源利用效率和良好的环保效益以及经济可行性。 关键词 :多能互补，分布式能源，能耗模拟，性能评价 Copyright © 2019 by author(s) and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/
system: [SYSTEM]

user: 1. 引言 分布式能源系统作为一种可以有效解决能源环境问题的能源利用形式，逐渐成为各国未来能源发展的重要方向 [ 1 ] [ 2 ] [ 3 ] 。美国的分布式能源系统中以天然气热电联供为主，截止到2016年，美国已成功建设了6000多座分布式能源系统 [ 4 ] ；德国绝大多数的可再生能源是以分布式能源的形式利用，计划在2020年将分布式能源的发电量占比提高到25% [ 5 ] ；丹麦已有70%以上的建筑实现了分布式能源集中供热技术 [ 6 ] ，其中可再生能源在总的热力供应中占比达到了45%，超过了天然气和煤炭 [ 7 ] 。我国分布式能源起步较晚，进入21世纪后我国逐渐开始建设真正意义上的分布式能源项目。我国较为典型的分布式能源项目有上海黄埔中心医院、上海虹桥CBD能源中心、上海浦东国际机场、广州大学城分布式能源站等 [ 8 ] [ 9 ] [ 10 ] [ 11 ] [ 12 ] 。 分布式能源系统常用的发电方式有微型燃气轮机发电、风能发电、太阳能光伏发电、燃料电池发电等 [ 13 ] - [ 20 ] 。巢青等 [ 16 ] 对APU和微型燃气轮机发电机主要部件的关键技术进行了探讨分析；沈鑫等 [ 18 ] 分析了微型燃气轮机系统孤网带负荷时的动态特性；海涛等 [ 19 ] 设计了一种可变拓扑结构的太阳能光伏发电系统；Asumadusarkodie S等 [ 20 ] 对加纳的太阳能光伏发电的潜力和经济可行性进行了分析；韩中合 [ 21 ] 等对武汉市某工业园区进行了分布式能源系统搭建，并针对不同的系统采用熵权法–灰色关联分析进行了3E综合评价。本案例采用微型燃气轮机为主要设备，辅以太阳能集热系统，并针对“煤改气”推行中供气不足的现象，为保证系统稳定再与地源热泵耦合形成多能互补分布式能源系统，经分析具有较高的能源利用效率和良好的环保效益以及经济可行性。
system: [SYSTEM]

user: 2. 模型构建及模拟分析 2.1. 模型构建 以郑州某集成公寓小区建筑及附近某综合医院为研究对象，结合当地环境因素对其全年冷热电负荷进行模拟分析。集成公寓小区总建筑面积约为35，000 m 2 ，实际使用面积为33，680 m 2 ，其典型公寓楼模型构建如图1(a)所示。郑州某医院为三级综合性医院，总用地面积为62，144 m 2 ，总建筑面积为155，197 m 2 ，其建筑模型构建如图1(b)所示。 图1. 公寓楼建筑模型以及医院建筑模型 在DeST软件中对搭建的建筑进行围护结构参数设定，公寓楼建筑以及医院建筑参数如表1所示。根据城镇居民生活作息以及医院作息特点设定各房间人员和设备热扰以及空调等电器设备启停时间。根据《郑州市城市供热与用热管理办法》结合DeST软件气象库，设定公寓楼及医院具体供暖季、制冷季以及过渡季时间分布，如表2所示。 Table 1 Apartment building and hospital building parameter 项目 公寓楼建筑参数字数 医院建筑参数 外墙传热系数(W/m 2 ∙K) 0.977 0.78 外窗传热系数(W/m 2 ∙K) 2.900 5.94 屋顶传热系数(W/m 2 ∙K) 0.812 0.73 设备功率密度(W/m 2 ) 28 60 照明功率密度(W/m 2 ) 7 15 人员密度(人/m 2 ) 0.02 — 供热季室内温度(℃) 18~22 18~22 供冷季室内温度(℃) 25~27 25~27 表1. 公寓楼建筑以及医院建筑参数 Table 2 Time distribution of heating， cooling and transition seasons for apartment buildings and hospital 季节 时间分布 负荷情况 总小时数 供暖季 1月1日~3月15日 11月15日~12月31日 全日供暖 2880 h 制冷季 5月15日~9月30日 间断制冷 3312 h 过渡季 3月16日~5月14日 10月1日~11月14日 2136 h 表2. 公寓楼和医院供暖季、制冷季及过渡季时间分布 (a) 公寓楼供暖季、制冷季及过渡季时间分布 (b) 医院供暖季、制冷季及过渡季时间分布 2.2. 模拟分析 清华大学自1980年开始开发了具有完全自主知识产权的建筑能耗模拟软件DeST，目的为了帮助设计者在整个设计过程中完成复杂的计算，预测设计方案在运行时的效果和能耗，并揭示有可能出现的方案而从实现设计方案的节能与舒适。迄今为止，DeST已经应用于很多大型、具有复杂集合体的建筑节能的分析之中，如国家大剧院、北京T3航站楼、水立方以及国家主体育馆鸟巢等。 通过DeST软件模拟计算后，得出公寓建筑和医院主楼各类能耗数据，通过对得到的数据进行详细的分析处理，即可确定分布式能源系统的主要设备的容量配置，并进一步确定系统的配置方案和运行策略优化方案。DeST软件的模拟计算结果及分析如下。 图2(a)为全年逐时冷热负荷分布图，从中可以看出全年用户热负荷最高的月份为1月份，达到了1665.15 MWh。这是因为1月份的平均环境温度最低，导致用户的用热负荷明显增加，随着平均温度的逐渐增大，热负荷也越来越小。同时因为7月份的平均温度最高，所以其用户的制冷负荷也最高为1138.63 MWh，同样随着平均温度的逐渐降低，冷负荷也越来越小。但由于医院洗衣房等特殊部门的存在，其始终存在一定量的热负荷需求。 图2(b)为全年逐时电负荷分布情况，从图中能够看出其分布成周期性变化，电负荷峰谷大小基本相同，其峰值在1200 kWh左右波动。 图2. 全年总体模拟结果 图3为全年热电比分布曲线图，从中能够看出，有70%左右的时间热电比大于1，有40%左右的时间热电比大于2；其最高达到了6.5以上。 图3. 全年热电比分布
system: [SYSTEM]

user: 3. 分布式能源系统配置方案 3.1. 分布式能源系统主要设备选型方案及系统构成 通过建筑物能耗模拟计算得到的能耗数据以及图2所示的全年逐时冷热电负荷分布，可以分析得到分布式能源系统主要设备的具体技术参数。如表3所示。 Table 3 Design load statistics of distributed energy system 负荷类型 统计值 最大设计电负荷(kW) 1100 平均设计电负荷(kW) 880 最大设计热负荷(kW) 3790 平均设计热负荷(kW) 1040 最大设计冷负荷(kW) 4520 平均设计冷负荷(kW) 665 表3. 分布式能源系统各项设计负荷统计值 目前楼宇型分布式能源系统采用的主要发电设备一般以小型燃气轮机、微燃机和燃气内燃机较多。根据表3中的负荷统计，本案例的电负荷偏小，所以合适的主要发电设备为微燃机和燃气内燃机两种。根据图3全年热电比分布曲线，可以看出，该案例热电比较高，适合采用热电比较高的微燃机作为系统的主要设备，再辅以余热锅炉、溴化锂制冷机组、电制冷机组以及太阳能集热器等设备。此外，由于天然气供应的问题日益严峻，为保障系统正常运行，耦合地源热泵系统以提高整个系统的稳定性是很有必要的。 本项目选择的是英国Bowman公司生产的可以调节供热量的TG80BG微燃机组，该型号机组可以模块化组合使用，能够将8台TG80BG机组组合成一个发电负荷为80~640 kW，供热负荷为150~2034 kW的柔性系统，适应性强。其供热能力相当于一台1200 kW的小型燃气轮机，发电能力相当于一台650 kW的燃气轮机，但其发电效率却要比650 kW的机组高，可达28%以上。分布式能源系统主要设备选型方案如表4所示。 Table 4 Main equipment selection scheme for distributed energy syste 序号 名称 规格型号 技术参数 单位 数量 备注 1 微燃机 TG80 发电量：80 kW 台 8 2 余热锅炉 / 供热量：1791 kW 台 1 蒸汽 3 燃气锅炉 / 供热量：2100 kW 台 1 蒸汽 4 变配电系统 / 额定容量：630 kVA 台 2 5 蒸汽溴化锂制冷机组 SXZ4-174 制冷量：1740 kW 台 1 6 离心式冷水机组 制冷量：1400 kW 台 2 7 汽–水换热器 / 板式换热器，Q = 750 kW 台 2 8 分汽缸 / 工作压力：P = 1.3 MPa 个 1 7 热水蓄热罐 / V = 50 m 3 个 2 8 太阳能集热板 1000 m 2 9 地源热泵 P r = 477.4 kW，P l = 427 kW 台 2 表4. 分布式能源系统主要设备选型方案 3.2. 分布式能源系统工艺流程 根据上文的设备选型方案，可以确定分布式能源系统的工艺流程，如图4所示。 图4. 分布式能源系统工艺流程图 本系统采用并网不上网形式，微燃机发电机组的全部发电量全部供给给用户，不足电量由电网进行补充。微燃机余热供给给余热锅炉，产生蒸汽送入分汽缸，用以供热和制冷负荷，不足热负荷可由燃气锅炉进行补充。太阳能集热装置主要用于供给生活热水，不足部分由汽–水换热器补充。除耦合地源热泵供冷供热外，系统还增加了市政供热，用于保障系统的热负荷供应。 按照“以热定电”的原则，当天然气供应充足时，首先保证地源热泵进行供冷供热，然后由微燃机组进行补充，而燃气锅炉作为调峰设备补足用户的峰值负荷。当天然气供应不足但未停止时，燃气锅炉首先停运，微燃机变负荷运行，不足的热负荷由市政供热进行补充。当天然气供应完全停止时，微燃机以及燃气锅炉停运，此时地源热泵系统和太阳能集热系统无法满足用户的热负荷需求，此时，由市政供热进行补充，以确保用户负荷的稳定供应。而在这些不同的运行工况下，用户的电负荷需求，由电网作为补充，确保电负荷的稳定。
system: [SYSTEM]

user: 4. 分布式能源系统性能分析 4.1. 分布式系统与常规系统的能耗分析 通过能耗数据进行分析计算，结合系统设计方案，可确定分别采用分布式能源系统与常规系统时的建筑能耗参数，如表5所示。从表5中可以看出，分布式能源系统方案中，用户绝大部分冷热电负荷均由系统余热供给，而常规系统电负荷全部来自电网，冷负荷全部采用电制冷，热负荷由燃气锅炉提供。由于用户生活热水以及医院洗衣房等热负荷常年稳定存在，因此，年热负荷需求明显超过年冷负荷需求。 分布式能源系统的各项性能指标计算公式如下： 年平均能源综合利用率： η = 3.6 W + Q 1 + Q 2 B Q L × 100 % 一次能源综合利用效率： P E R C C H P = Q H + Q C + Q E Q L × 100 % 一次能源节约率： 根据表5的数据以及上述公式可以得到年平均能源综合利用率、一次能源综合利用效率以及一次能源节约率分别为78%、93.6%以及22.3%。 Table 5 Energy analysis of distributed energy system and conventional syste 项目 单位 分布式能源系统 常规系统 年发电量 万kWh 358.32 / 年供热量 余热供热量 万kWh 755.36 1060.96 (燃气锅炉) 太阳能供热量 万kWh 91.01 地源热泵供热量 万kWh 183.34 锅炉供热量 万kWh 31.24 年供冷量 余热供冷量 万kWh 135.77 286.46 (电制冷) 电制冷量 万kWh 47.85 微燃机年耗气量 万m 3 170.51 / 年总耗气量 万m 3 176.31 120.29 年系统耗电量 万kWh 121.35 155.82 (制冷电耗) 用户年总耗电量 万kWh 769.07 924.89 (电网) 表5. 分布式能源系统与常规系统的能耗分析 4.2. 系统技术经济性分析 1) 项目投资估算 根据分布式能源系统主要设备设计选型方案以及相关设备资料，可以估算出整个项目的总投资情况，总投资包括工程费用以及工程建设其他费用。工程费用主要包括土建工程、热力系统工程、室内给排水改造工程、循环水工程、变配电工程、采暖通风系统工程；工程建设其他费用主要包括系统主要设备及配套电气、暖通等附属设备的采购、安装和设计费等。 目前郑州市非居民燃气费、电价、热价以及冷价为天然气1.91元/m 3 ；供电价格0.86元/kWh；供热价格28元/m 2 ；供冷价格22元/m 2 。由此，根据技术经济性评价指标，可计算出本项目的各项年收入、年利润以及动态投资回收期等财务数据，见表6。 根据表6中数据，对本案例的财务盈利能力进行分析，计算案例投资内部收益率的大小，对比当前我国分布式能源系统项目的参考基准收益率进行对比，确定本案例的盈利能力。本文中采用的参考基准收益率为15%进行计算。经过计算，本项目动态投资回收期为5.4年，项目投资的净现值为2727.81万元，项目内部收益率为20.62%，因此该项目盈利能力良好，在经济上是可行的。 Table 6 Main technical and economic evaluation indicators of the projec 序号 项目 单位 数额 1 总投资 万元 1983.43 2 建设投资 万元 1721.05 3 自有资金比例 % 30 4 银行贷款比例 % 70 5 银行利息 % 7.05 6 年供电收入 万元 218.81 7 年供热收入 万元 528.86 8 年供冷收入 万元 377.75 9 年燃料费用 万元 336.75 10 初投资年折算值 万元 197.52 11 年维修费用 万元 63.64 12 年运行费用 万元 37.83 13 折旧费 万元 124.26 14 年利润 万元 365.42 15 动态投资回收期 a 5.4 16 净现值 万元 2727.81 17 内部收益率 % 20.62 表6. 项目主要技术经济性评价指标 2) 敏感性分析 为了找出对项目的影响最大的敏感性因素，分析其抗风险能力，针对热价、冷价、电价、气价及项目总投资等不同影响因素进行了敏感性分析，具体结果见表7。 从表7中可以看出，对本案例影响最大的是供热价格，当供热价格降低10%时，内部收益率由24.95%降低为22.11%；其次为天然气价格，当天然气价格增加10%时，内部收益率降低为22.82%；影响最小的是总投资情况，当总投资增加10%时，内部收益率降低为23.9%。 Table 7 Sensitivity analysi 项目 变化率 内部收益率(%) 敏感度系数 基本方案 / 24.95 / 天然气价格 10 22.82 2.13 −10 27.08 −2.13 供电价格 10 26.09 −1.14 −10 23.61 1.34 供热价格 10 27.58 −2.63 −10 22.11 2.84 供冷价格 10 26.77 −1.82 −10 22.93 2.02 总投资 10 23.9 1.05 −10 25.81 −0.86 表7. 敏感性分析 4.3. 系统环保性能分析 常规系统一次能源消耗量与分布式能源系统一次能源消耗量的差值即为一次能源节省量。 依据表4中的数据进行分析计算，可以通过以下公式得到系统各种污染物减排量。 粉 尘 减 排 量 = 一 次 能 源 节 省 量 × 粉 尘 排 放 因 子 SO 2 减 排 量 = 一 次 能 源 节 省 量 × SO 2 排 放 因 子 NO 2 减 排 量 = 一 次 能 源 节 省 量 × NO 2 排 放 因 子 总减排性能： 通过上述计算可知，采用分布式能源系统后，该项目每年比常规系统减排粉尘共691.2 t、CO 2 共1700.2 t、SO 2 共127.5 t以及NO X 共38.1 t，相比原系统总减排性能达到了22.7%，拥有非常好的环境效益。
system: [SYSTEM]

user: 5. 结论 本文对多能互补分布式能源系统的系统构建、设备配置及各项性能评价指标进行了深入的研究。通过将典型的天然气分布式能源系统与太阳能集热系统以及地源热泵系统结合起来，构建了一个多能互补的分布式能源系统，经过对其节能性、经济性及环保性等各项性能指标的详细分析，得出了以下结论： 1) 建筑能耗数据的统计和模拟，以及当地气候参数以及各种能源可利用量的统计，对于多能互补分布式能源系统的构建和设备的配置具有很重要的作用。由于存在多种能源互补供能，多能互补分布式能源系统较一般分布式能源系统结构更为复杂，系统的设备配置形式更加多样化，根据当地可利用能源种类的不同，有着不同的互补方式。 2) 分布式能源系统具有比常规系统更高的能源利用效率。分布式能源系统以太阳能集热系统以及地源热泵系统作为辅助热源，使得其一次能源综合利用率达到了93.6%，拥有很高的节能效率，节能率为22.3%。此外，其还具有良好的环保效益。相比常规系统，本项目每年可减少粉尘排放量为691.2 t，减少CO 2 排放量为1700.2 t，减少SO 2 排放量为127.5 t以及减少NO X 排放量为38.1 t，总减排性能达到了22.7%。 3) 通过对分布式能源系统进行技术经济性分析，可知对经济性影响最大的是供热价格，当供热价格降低10%时，内部收益率由24.95%降低为22.11%；其次为天然气价格，当天然气价格增加10%时，内部收益率降低为22.82%；影响最小的是总投资情况，当总投资增加10%时，内部收益率降低为23.9%。
system: [SYSTEM]

user: 摘 要 Nesterov动量法可以很好地改进梯度下降方向，但是其所有参数都具有相同的学习率，并且学习率需要人为设定。Adadelta算法可以自适应学习率，并且每维参数具有独立的学习率。因此，本文首先基于Adadelta算法推导出每一维的学习率公式，其次将其带入Nesterov动量法中，得到了Ada_Nesterov动量法。为了验证提出的Ada_Nesterov动量法，本文设计了两个实验。实验结果表明：动量参数0.5时，Ada_Nesterov动量法在VggNet_16神经网络架构上，基于CIFAR_100数据集的验证准确率最高，损失最小，收敛速度最快。即Ada_Nesterov动量法改进了Nesterov动量法，具有自适应学习率。 关键词 :Nesterov动量法，Adadelta算法，Ada_Nesterov动量法，自适应学习率 Copyright © 2019 by author(s) and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/
system: [SYSTEM]

user: 1. 引言 优化算法是深度学习的一个重要组成部分，近年来深度学习能够取得瞩目成绩的一个原因为其优化算法的改进。在求解深度学习网络时，优化算法按照反向求导梯度的阶数可以分为一阶方法(梯度下降法 [ 1 ] 、随机梯度下降法 [ 2 ] 、动量法 [ 3 ] 等)和二阶近似法(牛顿法 [ 4 ] [ 5 ] 、共轭梯度法 [ 6 ] [ 7 ] 和存储受限的BFGS(L-BFGS)算法等)。但是由于二阶近似方法计算量很大，对于高维度的数据的优化效果不好，所以本文主要研究一阶方法。 深度学习中一阶梯度优化算法的改进均为以梯度下降法为基础，对其梯度下降方向或者学习率进行改进。Nesterov动量法可以很好地改进梯度下降方向，但是其所有参数都具有相同的学习率，并且学习率需要人为设定。Adadelta算法具有自适应学习率的功能，但是在训练后期存在梯度下降方向不准确的现象。因此，本文结合Nesterov动量法的梯度下降策略和Adadelta算法的自适应学习率策略，提出了具有自适应学习率，且梯度下降方向准确的Ada_Nesterov动量法。
system: [SYSTEM]

user: 2. 深度学习优化算法比较 2.1. 梯度下降法 深度学习优化算法求解损失函数最小化的问题，其基础的算法为梯度下降法(Gradient Descent， GD) [ 1 ] 。在深度学习领域，梯度下降法又被称为批量梯度下降法(BGD)。在批量梯度下降法中，学习率可以理解为梯度下降法的步长，梯度可以理解为梯度下降法的下降方向，学习率决定以多大的步长更新参数。批量梯度下降法在每次迭代的时候，通过计算数据集上所有数据来完成一次迭代，该算法可以得到较准确的局部最优解或者全局最优解，但是随着数据集的增多，算法速度会越来越低。同时，该算法不能在训练过程中添加数据。 2.2. 随机梯度下降法 为了解决批量梯度下降法的求解速度问题，Bottou [ 2 ] 于1998年提出了随机梯度下降法。与批量梯度下降法不同的是随机梯度下降法首先把数据集分成m个小批量样本，然后通过计算他们的梯度均值，计算梯度无偏估计，最后进行参数迭代。当m = 1时，称为在线梯度下降法；当m > 1时，称为小批量随机梯度下降法。 随机梯度下降法的优点为收敛速度快，其计算时间不取决于数据集的大小。对于大容量的数据集，往往在没有全部计算完数据之前，其收敛精度已经达到规定的范围。随机梯度下降法的缺点为需要人为调参。由于在随机梯度下降法随机采样m个训练样本，引入了梯度估计的噪声源(在极点处不消失)，因此随机梯度下降法不能像批量梯度下降法固定学习率的数值，而是要根据实验结果人为的调整学习率的大小。 2.3. 动量法 随机梯度下降法虽然比梯度下降法的收敛速度提高，但是在接近最优点时有时很难通过陡谷，即在一个维度上的表面弯曲程度远大于其他维度的区域 [ 3 ] 。为了提高随机梯度下降法的收敛速度Polyak等人 [ 8 ] 提出了动量法。 与随机梯度下降法不同的是动量法在速度向量上乘以了一个超参数α ϵ [0，1)。和学习率一样，超参数也需要不断调整。对于梯度点处具有相同方向的维度时，超参数增大；相反，超参数减小。从而，通过减少摇摆，提高收敛速度 [ 9 ] 。 2.4. Nesterov动量法 动量法梯度下降改进了梯度的方向，但是该梯度方向具有一定的盲目性，不能预测以后的梯度方向是上升还是下降。受Nesterov [ 10 ] [ 11 ] 影响，Sutskever等人 [ 12 ] 提出了动量算法的一个变种——Nesterov动量法。Nesterov动量法在动量法的梯度计算之前，对参θ进行了校正，其更新规则如(公式(1)、公式(2))所示： θ ← θ + Δ θ (1) Δ θ = ∂ θ − η ∇ θ ( 1 m ∑ i = 1 m L ( f ( x ( i ) ; θ ) ， y ( i ) ) ) (2) 实验表明在凸批量梯度的情况下，Nesterov动量法将额外误差收敛率从O(1/k) (k步后)改进到(1/k 2 ) [ 12 ] 。但是，在随机梯度的情况下，Nesterov动量法没有改进收敛率。 2.5. Adagrad算法 由于损失通常敏感于参数空间的某些方向，动量法可以改变梯度下降的方向，但是却引入了超参数。基于Delta-bar-delta算法 [ 13 ] 中自动适应模型参数各自学习率的方法，Duchi等人 [ 14 ] 提出了Adagrad算法。该算法基于一种很简单的思想：具有损失最大偏导的参数相应地有一个快速下降的学习率，而具有小偏导的参数在学习率上有相对较小的下降，其更新规则如公式(3)~公式(6)所示： 计算梯度： g ← ∇ θ ( 1 m ∑ i = 1 m L ( f ( x ( i ) ; θ ) ， y ( i ) ) ) (3) 累积平方梯度： r ← r + g ⊙ g (4) 通过逐元素地应用除和求平方根，计算θ更新： Δ θ ← − ε ξ + r ⊙ g (5) 应用更新： θ ← θ + Δ θ (6) Adagrad算法具有良好的理论依据，但是由于其在分母中累加了梯度的平方根，在训练过程中累加会持续增长，导致学习率变小。在学习率无限小时，Adagrad算法将无法获得额外的信息。Adagrad算法在某些模型 [ 15 ] [ 16 ] 上可以得到很好的收敛，但不是全部。为了解决批量梯度下降法的求解速度问题，Bottou [ 2 ] 于1998年提出了随机梯度下降法。与批量梯度下降法不同的是随机梯度下降法首先把数据集分成m个小批量样本，然后通过计算他们的梯度均值，计算梯度无偏估计，最后进行参数迭代(公式(3))。当m = 1时，称为在线梯度下降法；当m > 1时，称为小批量随机梯度下降法。 随机梯度下降法的优点为收敛速度快，其计算时间不取决于数据集的大小。对于大容量的数据集，往往在没有全部计算完数据之前，其收敛精度已经达到规定的范围。随机梯度下降法的缺点为需要人为调参。由于在随机梯度下降法随机采样m个训练样本，引入了梯度估计的噪声源(在极点处不消失)，因此随机梯度下降法不能像批量梯度下降法固定学习率的数值，而是要根据实验结果人为的调整学习率的大小。 2.6. Adadelta算法 Adadelta算法 [ 17 ] 是Adagrad算法的扩展，较Adagrad算法的改进有以下几点：a) 将梯度的平方递归地表示成所有历史梯度平方的均值，而不是计算所有的梯度的平方(公式(7))； E [ g 2 ] t = γ E [ g 2 ] t − 1 + ( 1 − γ ) g t 2 (7) b) 为了解决非凸优化问题，Adadelta算法更新规则中设计参数具有相同的假设单位，首次定义了另一个指数衰减均值，不是梯度平方，而是参数平方的更新(公式(8))； E [ Δ θ 2 ] t = γ E [ Δ θ 2 ] t − 1 + ( 1 − γ ) Δ θ t 2 (8) 改进后的Adadelta算法的更新规格为： Δ θ t = − R M S [ Δ θ ] t − 1 R M S [ Δ g ] t ⋅ g t (9) Adadelta算法只需要小的计算量，并且一直是一阶梯度计算。此外，Adadelta算法不需要调节学习率。在模型训练初期和中期，Adadelta算法具有很好的收敛速度，但是在训练后期，Adadelta算法会反复在局部最小值附近抖动，很难脱离局部最小值吸引盆。这时如果换Adadelta算法为Nesterov动量法，就会发现模型测试准确率将提高5%左右，说明Adadelta算法在局部最小值附近时，梯度下降方向不准确。 此外，为了使Adam算法和AdaGrad算法有更快的收敛速度，张慧 [ 18 ] 在Adam算法和AdaGrad算法中引入了动量的思想，提出了带动量的Adam算法和Adarad算法：AMM算法。