DreamBlooms/HansPub-15000-to-45000 huggingface dataset:
system: [SYSTEM]

user: 3. 模型驱动架构的总体设计及实现 3.1. 总体设计思路 基于模型驱动架构的软件快速开发平台 [ 12 ] [ 13 ] 的基本设计思路为： 第一，建立一套XML文档标签的书写标准，利用建立的标准XML文档对企业业务建模进行描述。 第二，搭建一套完整的模型驱动运行环境(框架)，该框架要求能够支持对标准XML标签的有效性验证、标签识别、XML解析存储并根据解析完成的标签自动生成HTML+JAVASCRIPT+CSS页面源码。 第三，利用框架和业务建模描述的XML文档，实现系统的自动生成。 3.2. 模块结构设计 基于模型驱动的软件开发框架主要包括XML建模文档、MDR运行时环境(XML解析器、HTML生成器、JavaScript脚本、CSS脚本、XML执行机制)、DBOperation等，其基本关系如图4所示。 图4. 模块关系图 MDR运行时环境主要用来解释和执行由建模子系统生成的XML持久化文档，并最终生成可执行的系统。该子系统包括以下几个模块：XML解析模块、界面生成引擎模块、XML工作流处理模块等。其中，XML解析模块首先利用预置的Shema模型对文档进行有效性验证 [ 14 ]，验证通过则获取XML文档所包含的模型信息，包括界面中每个组件的具体信息，之后将获取的信息装填在对应组件实例，存储在公共静态容器中。 界面生成引擎首先封装一组创建基本HTML组件的API，然后构建XML文档模型与目标语言之间的映射转换关系；各类映射相互作用和相互促进，完成系统的数据处理、业务处理、逻辑调度、界面显示等功能。XML最初设计的时候是面向静态数据的，主要用于数据存储和展示，它在处理动态数据方面表现很弱。在考虑管理信息系统的动态交互方面，创新性地在XML标签中增加了几种类似C/C++中常用逻辑语法，如if、elseif、endif、else、goto等，并为上述元素添加了可执行模块的支持。此外，本文还采用了XML的数据格式表示能力，将不同的信息格式进行统一，实现了应用程序之间的数据交换，保证了数据的正确接收。 3.3. 设计框架的实现 设计框架的实现主要包括静态界面模型的建模和动态界面模型的建模。 1) XML标签规范 通过构建自定义标签及界面组件，完成对静态界面模型的建模。即采用Table控件类、Form控件类，Menu控件类三大类界面组件，实现数据的显示，数据的采集及分块显示和建立界面菜单索引等功能。同时，为了更好地快速完成静态界面模型的建模，论文预置一套包含基本的标签名称、定义、属性、父元素、子元素、实例等基本属性XML页面建模标签规范。 2) 组件规范(XML可执行动作) 静态界面模型是依靠XML标签规范对业务逻辑进行静态描述。动态界面模型建模是为用户提供信息交互功能，一般以需求业务逻辑引擎作为支撑，在业务逻辑静态描述的基础上，添加可执行的标签语句，实际运行业务过程。而业务逻辑引擎由连接组件和业务组件构成。连接组件可以使界面组件和数据库实体关联起来，针对不同的数据显示与数据存储需求，可以定义满足不同需求的连接组件，一般可以实现数据的增加、删除、加载等工作。业务组件是具有执行特定的业务处理操作的功能，通过提炼系统中可重用业务模块，并封装成业务组件，帮助用户完成应用系统的业务建模工作。连接组件关注的是数据库实体与界面之间的数据传递，而业务组件则关注的是如何实现可重用的业务处理流程。 3) XML建模 标签规范和组件规范是框架实现的前提和基础，进行XML建模是框架实现的关键。XML建模包括首页建模、菜单建模以及业务建模等。以首页建模为例，通常情况下，企业信息管理系统首页主要为登录及注册。就拿登录来讲，假设登录页面上有用户名、密码及登录按钮，并且在点击登录按钮时对输入的用户名进行判断，如果为空则警示ERROR消息，如果对照数据库中相应人力资源表中的用户名、密码完全正确则跳转到信息系统的内部首页。
system: [SYSTEM]

user: 4. 应用实例 论文将构建好的框架实际应用到企业信息管理系统的二次开发平台中。开发人员使用框架可以快速完成一个业务逻辑应用的开发： 1) 页面布局。把描述用户交互界面布局的ASPX文件，放置界面组件容器。 2) 菜单建模。描述页面导航的XML文件，实现业务菜单对应的页面跳转。跳转网址的后面附带一个Action参数，根据页面配置区分该Action要加载的页面描述XML文件，使得页面布局得到重用。 3) 页面配置。描述菜单模型中与Action参数对应的页面模型、流程模型以及业务处理类的XML文件。一个业务流程对应唯一的跳转Action参数以及页面模型，对于业务逻辑操作完全一致的流程，可以使用相同的流程模型。 4) 页面建模。描述用户界面的内容(各种组件)的XML文件。 5) 流程建模。描述页面使用的业务流程的XML文件。 如图5所示结合管理信息系统中备忘录的设计实现的实例应用。 图5. 备忘录数据库设计 图5中，备忘录的数据库设计，包括备忘名称、内容、时间等信息，数据库设计时需要每个表单信息的数据类型等。随后，通过备忘录菜单建模和备忘录XML建模得到如图6所示的备忘录显示效果图。快速而有效地开发过程，证明了已构建模型在企业信息管理系统的二次开发平台中应用的有效性和实用性。 图6. 备忘录显示效果图
system: [SYSTEM]

user: 摘要 目的：探讨符号和非符号的数空表征之间是否会相互影响。方法：采用数字大小判断任务，数字面积混合的数字大小判断任务对62名大学生进行行为实验。结果：被试在数字大小判断任务中出现了经典的SNARC效应，在数字面积混合的数字大小判断实验中也表现出了SNARC效应，而且实验一和实验二的SNARC效应的效应量没有显著差异。结论：就本实验中的数字和面积两种数量表征形式而言，非符号数量并没有对符号数量的空间表征产生影响，两者的空间表征是特异性的。
system: [SYSTEM]

user: 1. 引言 数字在人类的生活中起着非常关键的作用，而人们则依靠数量的基本直觉来指导各种各样的日常决策。例如，在超市，我们不需要明确地计算排队的人数就能识别出哪个收银员所在的队伍最长。这种直觉也被称为“数感”，它植根于一种非语言的数字表征系统 [ 1 ] [ 2 ]，是一种具有种系进化基础的认知系统，允许个体不依赖符号知识对视觉、听觉或跨通道呈现的实物或实物记号的数量刺激进行表征和运算。具体表现为数量2可以表示为两个圆点(:)，两根木棒(II)，并且这种表征方式是人类与动物所共享的，并在不同的文化中广泛使用的 [ 3 ]。而与动物不同的是，人类拥有一套正式的数学系统来补充他们的数感。这种系统依赖于符号知识对数字和数词等形式的数量进行表征 [ 4 ]。具体表现为“2”、“二”、“Ⅱ”，“贰”等，这种表征方式是人类所特有的、受文化教育影响的抽象数量表征 [ 5 ]。 近年来，随着科学的发展和实验技术的改进，关于数字加工的研究也越来越多，其中备受关注的是Dehaene等人提出的空间数字反应联合编码效应(Spatial Numerical Association of Response Codes， SNARC)，即被试在对数字进行大小判断时，对小数按左键反应快，对大数按右键反应快的现象 [ 6 ]。这一效应的发现为数空表征提供了强有力的依据，也成为了研究数空关系的重要方式。 SNARC效应被发现之后，研究者们开展了大量的关于SNARC效应的研究，最初研究主要集中于符号数字。Hung等人使用阿拉伯数字和两种不同的汉语数字(一，壹)为实验材料测试了SNARC效应，结果发现阿拉伯数字和简单汉语数字有从左到右的SNARC效应，而复杂汉语数字没有这种效应。他们认为没有发现复杂的汉语数字的影响，可能是因为不经常使用 [ 7 ]。Kopiske等人也使用了阿拉伯数字、简单的汉语数字和汉语手语数字为刺激材料测试了被试的SNARC效应。他们发现阿拉伯数字有明显的SNARC效应，简单的中国数字有较弱的SNARC效应，但没有证据表明手语数字有SNARC效应 [ 8 ]。 有研究者考虑到数量不仅可以通过阿拉伯数字来表达，而且也可以通过其他表征形式来传达，例如罗马符号、中文数字词、手指、圆点图案、算盘珠子等。因此，非符号数量是否在空间进行表征的问题就自然而然地产生了。Nuerk等人采用数字和点阵为刺激进行数字奇偶判断任务，结果发现两者都出现了SNARC效应，但数字的反应速度比点阵快 [ 9 ]。胡林成等人使用数字和圆面积为材料对儿童进行了大小比较任务，结果发现了圆面积的SNARC效应，而不存在数字的SNARC效应 [ 10 ]。Nemeh等人同样使用了大小比较任务，结果出现了点阵SNARC效应 [ 11 ]。 从以往研究中可以看出不同数量表征形式会对数空联结产生影响，那么不同的数量形式之间是共享性还是特异性表征呢？研究者也关注到了这个问题并提出了不同的理论模型。其中单一表征模型(Unique-representation View)认为，近似数量系统(Approximate Number System， ANS)是算术能力的基础，个体对不同形式的数量进行表征时都会激活该系统，即符号和非符号具有相同的表征基础 [ 12 ]。而双重表征模型(Dual-representation View)则认为，不同形式的数量依赖于不同的表征系统，且各系统之间不存在重叠表征，并明确指出非符号数量表征与近似数量表征系统相联系，符号数量表征与精确数量表征系统相联系。综合以上分析发现关于符号和非符号数量表征的共享和特异性问题还没有得到解决，需要更多的证据澄清二者之间的关系。 在当前的研究中，我们设计了两个实验来探究符号和非符号的表征问题。从数量空间表征的角度出发，若符号和非符号是共享的表征，那么数字和圆面积混合的实验条件下进行的大小比较相比于单纯的数字大小比较任务增加了非符号圆刺激，该条件下的SNARC效应量要大于单纯数字大小比较条件下的SNARC效应量。若符号和非符号是特异性表征，那么圆面积的增加不会对数字的SNARC效应产生任何影响，两种实验条件下的SNARC效应量也不会有显著差异。本研究选择大学生作为被试是因为实验的目的是探究符号和非符号的共享和特异性表征问题，相比于儿童和青少年，成年被试各方面发展趋于稳定，选择其作为被试可以避免由于发展中个体本身生理的不成熟因素给实验带来的影响。
system: [SYSTEM]

user: 2. 实验一 数字大小比较 2.1. 被试 30名师范大学学生自愿参加了实验，其中男性15人，女性15人，视力或矫正视力正常，此前均未参加过类似实验，实验结束后支付10元人民币作为报酬。 2.2. 实验材料与仪器 实验材料是黑色的数字(1~9，不包括5)，屏幕上呈现的Arial字体，数字字号大小36。实验皆在安静明亮的实验室中由Lenovo电脑完成，显示器为14寸彩色液晶显示器，分辨率为1024 × 768。实验程序由Eprime2.0软件编制，反应键为标准键盘上的F和J键，被试双眼与屏幕中心处于同一水平，距离屏幕约60 cm。 2.3. 实验设计与程序 实验采用2 × 2被试内实验设计，自变量为数字大小(小数：1、2、3、4；大数：6、7、8、9)和反应位置(左；右)，因变量为反应时。 实验流程如图1所示，实验要求被试对数字的大小进行判断。实验开始后，首先出现注视点“+”1000 ms，之后呈现刺激1500 ms，被试需要又快又准确地做进行判断并反应，随后出现空屏1000 ms，接着进入下一试次。对每个被试的左右手反应都进行平衡，即一半的试次要求被试F键对小于5的数字反应，用J键对大于5的数字反应，另一半试次则相反。实验共分为2个block，分别为左手对小数反应、右手对大数反应的block 和右手对小数反应、左手对大数反应的block。每个block中每个数字随机呈现8次，即每个block有64个trial，整个实验大概持续10分钟，为防止被试出现疲劳，block间隙时被试可以根据自己的状态适当休息。 图1. 实验一流程图 2.4. 数据处理 采用统计软件包SPSS 25.0对所获得的数据进行统计处理。实验的数据分析包括以下部分：1) 计算每个被试在所有实验条件下的平均反应时。2) 检验SNARC效应。采用Dehaene等人 [ 6 ] 的方法，对数据进行2 (反应位置：左、右) × 2 (数字大小：大、小)重复测量方差分析，以初步检验是否存在SNARC效应。若交互作用显著，说明大数和小数在左右反应位置上的反应时有差异。3) 检验SNARC效应的效应量大小和方向。回归分析检验SNARC效应的方法是由Fias等人在Lorch与Myers [ 13 ] 提出的方法基础上改进而来，他认为回归分析用来检验SNARC效应更为敏感 [ 12 ]，目前这种方法广泛应用在SNARC效应的研究中。具体步骤如下：分别计算每个被试对每个数字的右手平均反应时和左手平均反应时，右手和左手的平均反应时之差dRT作为因变量，将1~9 (不包括5) 8个数字作为自变量进行回归分析，并将回归方程的斜率与0进行t检验，如果差异显著并且斜率为负，则证明表现出了经典水平方向的SNARC效应，即左侧对小数反应更快，右侧对大数反应更快。 2.5. 实验结果 因一名被试正确率低于90%，故而将其剔除，共29名被试纳入统计，反应的错误率为2.61%。因为总体错误率很低，所以本实验以及后续实验没有对错误率进行进一步分析。删除错误反应的反应时数据以及2.5个标准差之外的极端值。计算被试左右键在两种数量表征条件下各自对于小数(1~4)和大数(6~9)反应的平反应时和标准差，描述统计结见表1。 Table 1 Average response time and standard deviation under each experimental condition (ms 小数 大数 左键 500.91 ± 74.96 519.39 ± 85.74 右键 516.40 ± 85.53 495.46 ± 71.02 表1. 各实验条件下平均反应时和标准差(ms) 进行两因素重复测量方差分析，结果表明发现，数字大小和反应位置的交互效应显著F(1， 28) = 13.23，p = 0.001，η 2 = 0.32，简单效应分析结果表明，不同反应位置对小数的反应时差异不显著，而对大数的反应时差异显著，F(1， 28) = 16.96，p < 0.000，左侧对大数(M = 507.59)的反应时显著慢于右侧(M = 499.13)。方差分析结果显示，存在数字SNARC效应。 继续采用回归分析的方法进一步讨论SNARC效应。回归分析结果见图2，回归方程为L1：dRT = 19.99 − 4.98 × 数字，回归斜率与0差异显著，t(28) = −4.02，p < 0.000，结果见图3。回归分析结果进一步表明，被试对数字表现出了SNARC效应，左侧对小数的反应快于右侧，右侧对大数的反应快于左侧；而对点阵没有表现出SNARC效应。 图2. 回归分析结果 图3. 数字条件下反应位置与数字大小的交互作用
system: [SYSTEM]

user: 3. 实验二 数字面积混合条件下的数字大小比较 3.1. 被试 32名师范大学学生自愿参加了实验，其中男性16人，女性16人，视力或矫正视力正常，此前均未参加过类似实验，实验结束后支付10元人民币作为报酬。 3.2. 实验材料与仪器 实验材料是黑色的数字(1~9，不包括5)和圆(半径为1~9，不包括5)混合在一起组成的复合刺激，如 。实验皆在安静明亮的实验室中由Lenovo电脑完成，显示器为14寸彩色液晶显示器，分辨率为1024 × 768。实验程序由Eprime2.0软件编制，反应键为标准键盘上的F和J键，被试双眼与屏幕中心处于同一水平，距离屏幕约60 cm。 3.3. 实验设计与程序 实验采用2 × 2的被试内实验设计，自变量为数字大小(小数：1、2、3、4；大数：6、7、8、9)和反应位置(左；右)，因变量为反应时。 实验流程如图4所示，实验要求被试对数字的大小进行判断。实验开始后，首先出现注视点“+”1000 ms，之后呈现刺激1500 ms，被试需要又快又准确地进行判断并反应，随后出现空屏1000 ms，接着进入下一试次。对每个被试的左右手反应都进行平衡，即一半的试次要求被试F键对小于5的数字反应，用J键对大于5的数字反应，另一半试次则相反。实验共分为2个block，分别为左手对小数反应、右手对大数反应的block和右手对小数反应、左手对大数反应的block。每个block中每个数字随机呈现8次，即每个block有64个trial，整个实验大概持续10分钟，为防止被试出现疲劳，block间隙时被试可以根据自己的状态适当休息。 图4. 实验二流程图 3.4. 数据处理 同实验一。 3.5. 实验结果 因1名被试正确率低于90%，故而将其剔除，共31名被试纳入统计。被试反应的错误率为2.38%。去除掉错误反应的反应时数据，再删除2.5个标准差之外的极端值。计算被试左右键在两种数量表征条件下各自对于小数(1~4)和大数(6~9)反应的平均反应时和标准差，描述统计结果见表2。 Table 2 Average response time and standard deviation under each experimental condition (ms 小数 大数 左键 512.14 ± 62.36 574.51 ± 112.07 右键 570.77 ± 89.84 495.24 ± 79.04 表2. 各实验条件下平均反应时和标准差(ms) 进行两因素重复测量方差分析，结果表明，数量大小和反应位置交互作用显著，F(1， 31) = 29.95，p < 0.000，η 2 = 0.491，见图5。简单效应分析结果表明，不同反应位置不仅对小数的反应时差异显著，F(1， 31) = 33.65，p < 0.000，而且对大数的反应时差异也显著，F(1， 31) = 15.14，p < 0.000，左侧对大数(M = 574.51)的反应时显著慢于右侧(M = 512.14)，左侧对小数(M = 495.24)的反应时显著快于右侧(M = 570.77)。数量大小的反应时差异不仅在左侧显著，F(1， 31) = 22.88，p < 0.000，而且在右侧也显著，F(1， 31) = 26.22，p < 0.000，在左侧，小数的反应时(M = 495.24)显著快于大数(M = 574.51)，在右侧，大数的反应时(M = 512.14)显著快于小数(M = 570.77)。方差分析结果显示，在数字面积混合的实验条件下也存在数字SNARC效应。 继续采用回归分析的方法进一步讨论数字面积混合情况下的数字SNARC效应。回归方程为L2：dRT = 65.14 − 12.99 × 数字，回归斜率与0差异显著，t(30) = −2.73，p = 0.01，结果见图6。回归分析结果进一步表明，被试对数字表现出了SNARC效应，左侧对小数的反应快于右侧，右侧对大数的反应快于左侧。 比较L1和L2两个回归方程的回归系数，来探究被试在不同实验条件下产生的SNARC效应的效应量是否存在差异，结果发现二者差异未达到显著，t(58) = 0.449，p = 0.655。表明两种实验条件下的SNARC效应量大小不存在显著差异。 图5. 反应位置与数字大小的交互作用 图6. 回归分析结果
system: [SYSTEM]

user: 4. 讨论 在本研究中，我们发现被试在两种实验条件下都表现出了数字SNARC效应，经回归分析比较，单纯数字和数字面积混合条件下SNARC效应量差异不显著。研究中没有任何证据表明非符号圆面积促进数字SNARC效应的效应量，加快数字SNARC效应的反应速度。对于圆面积和数字的空间表征之间没有产生相互影响的结果，说明两种数量表征形式具有不同的神经处理基制，即特异性表征。 这个解释可以得到行为研究结果的支持。从以往众多关于SNARC效应的研究中发现符号和非符号SNARC效应的许多重要特征存在差异。阅读方向的改变不会引起非符号SNARC效应方向的改变，但会改变符号SNARC效应的方向。任务的灵活表达方式(用“更多”或“更少”来表示)能改变非符号SNARC效应的方向，却不能影响符号SNARC效应的方向。具体来说，用“更多”的指导语指示被试做任务，会得到从左到右的非符号SNARC效应，而用“更少”的指导语则会引起非符号SNARC效应的方向反转。但是需要注意的是，这些任务略有不同，对于非符号刺激，两个刺激同时可见，而在符号SNARC任务中，数字通常一次显示一个。此外，非符号刺激形式中常见的指导语为多/少，并不符合符号SNARC任务的大/小，因此任务设置中的这些差异确实使比较不完美。尽管如此，目前观察到的行为差异确实表明了两种数量形式的表征差异。 这个解释也可以得到神经成像研究结果的支持 [ 14 ] [ 15 ] [ 16 ] [ 17 ] [ 18 ]。Holloway等人发现，被试进行符号数量判断时左角回和颞上回有更多激活，而在非符号数量判断任务中，右后上顶叶有更多激活 [ 14 ]。Bulthé等人运用多体素模式分析发现，符号数量加工中，未在任何感兴趣区发现距离效应，而非符号数量加工中，在大多数脑区均出现显著的距离效应，如左顶内沟前部、右额上回、右顶上叶等 [ 16 ]。Peters等人发现，儿童进行符号减法算术任务时，角回和缘上回有显著的激活，而在非符号减法算术任务种，枕叶中部和顶上叶以及额上回和脑岛有更多的激活 [ 18 ]。 关于符号和非符号数量信息空间表征的差异性问题，我们的证据也不是结论性的，但有助于确定这个问题，为符号和非符号特异性表征提供了直接的行为证据。接下来，需要进一步从不同的角度出发，设计更有效的实验，选择敏感的工具继续推进当前的研究成果。
system: [SYSTEM]

user: 5. 结论 1) 数字面积混合实验条件下存在数字SNARC效应。 2) 单纯数字和面积数字混合两种实验条件下的SNARC效应量之间不存在显著差异。 3) 符号和非符号数量空间表征存在特异性。
system: [SYSTEM]

user: 摘要 凋亡蛋白与人类的一些疾病密切相关。准确的获得凋亡蛋白的亚细胞位置对理解疾病的发病机制和药物研发有至关重要的作用。目前，研究者们主要是通过蛋白质序列获取特征信息，从而对蛋白质亚细胞位置进行预测定位并获得了较好的结果。在本文中，我们首先改进了PSSM特征提取方法，对PSSM按行分块以获得凋亡蛋白序列的局部信息，我们称之为SePSSM，其次加入7种物理化学性质对氨基酸分类获取凋亡蛋白序列的全局信息。最终将得到的两种特征融合输入到使用不同核函数的SVM中进行预测定位，预测结果通过Jackknife检验得到。实验结果表明，对PSSM进行分割要优于无分隔，RBF核函数要优于其他核函数，融合特征在ZD98和ZW225数据集上获得了较好的效果，这表明我们的方法是有效的。
system: [SYSTEM]

user: 1. 引言 细胞凋亡在生物体的生长发育及新陈代谢中起着非常重要的作用，而凋亡过程的紊乱可能与许多疾病如肿瘤、自身免疫性疾病的发生有直接或间接的关系 [ 1 ] [ 2 ] [ 3 ] [ 4 ]。凋亡蛋白是指与细胞凋亡有关的蛋白质。研究表明，凋亡蛋白的功能与亚细胞位置密切相关 [ 5 ]。因此对凋亡蛋白亚细胞位置的正确定位，能帮助我们理解凋亡蛋白功能、细胞凋亡机制和药物开发。然而，通过传统的生物实验方法来确定凋亡蛋白的位置既费时又费力，难以满足现在的科研需求 [ 6 ]。因此，研究者开始借助计算机及其相关知识开发了许多有效且可靠的计算方法来替代或协助传统生物实验。 近年来，大量机器学习方法被开发用于识别不同的凋亡蛋白亚细胞位置，通常包括三个步骤：第一，从凋亡蛋白序列中提取包含不同种类蛋白质的信息作为凋亡蛋白亚细胞定位的特征向量，如信息增益(Increment of Diversity) [ 7 ]、位置特异性评分矩阵(Position Specific Scoring Matrix， PSSM) [ 8 ]、伪氨基酸组成(Pseudo Amino Acid Composition， PseAAC) [ 9 ]、氨基酸组成(Amino Acid Composition， AAC)和二肽组成(Dipeptide Composition) [ 10 ] [ 11 ]。近年来，随着特征提取方法的增多，以及计算机不断健壮的计算性能，许多研究者开始将多个特征进行融合以改进特征提取方法，如Zhang等人 [ 12 ] 通过将Moran自相关和互相关与PSSM集成在一起，提出了一种称为MACC-PSSM的新模型。又如刘等人 [ 13 ] 将氨基酸组成、二肽组成和自相关系数相结合来构建凋亡蛋白的特征表达模型。第二，将得到的特征向量输入到分类器中进行预测分类，在凋亡蛋白亚细胞定位中使用的分类器有协变判别函数法 [ 5 ]、模糊k-近邻 [ 14 ]、支持向量机(Support Vector Machin， SVM) [ 15 ] [ 16 ]、集成分类器 [ 17 ] 等。第三，通过Jackknife检验、K折交叉验证和独立集检验对分类器性能进行评估，以证明所提出方法的可靠性 [ 18 ] [ 19 ] [ 20 ]。这些计算方法的使用可以大大加快凋亡蛋白亚细胞位置的研究。这些方法都是基于序列提取得到的特征，好的特征提取方法对预测凋亡蛋白亚细胞位置是至关重要的，它能帮助我们提高预测准确率。 在本文中，为了能够更加准确的对凋亡蛋白亚细胞位置进行定位，我们考虑了凋亡蛋白序列的进化信息和序列信息。我们首先从序列中获取含有进化信息的PSSM，然后以一个分割比例将PSSM矩阵按行分割为两个子矩阵，并以此构建一个新的特征，我们称之为分割PSSM (Segmentation PSSM， SePSSM)。接下来我们对凋亡蛋白序列引入7种物化性质，并将此方法得到的特征与SePSSM特征进行线性融合。最后，我们将融合后的特征输入到含有四种不同核函数的支持向量机中，并通过Jackknife检验验证该方法的有效性。
system: [SYSTEM]

user: 4. 结论 首先，基于矩阵分块的思想从PSSM中提取SePSSM特征，然后将SePSSM和7种理化性质得到的特征融合构建凋亡蛋白序列的特征表示方法，通过实验结果可知，对PSSM进行平均分割比不分割或其他的分割比例的预测效果更好。最后，ZW225和ZD98两个数据集在RBF核的SVM分类器上分别进行预测分类，分别得到了94.6%和96.9%的总体准确率，这已高于大多数已有的凋亡蛋白亚细胞定位算法，这表明我们所提出的方法是可行的。鉴于我们使用的数据集为不平衡数据集，数据集类中数量存在较大差异，因此在下一步研究中，我们将考虑对数据集进行采样处理或构建一个平衡的数据集来对凋亡蛋白进行预测研究。
system: [SYSTEM]

user: 摘要 本文将玛纳斯河流域划分为山前绿洲、人工平原绿洲和绿洲与荒漠过渡带三个研究区，于2019年5、8和10月对绿洲区膜下滴灌棉田土壤容重进行采样，基于地统计学方法和ArcGis技术对棉田土壤容重进行空间异质性分析。结果表明：1) 玛纳斯河流域棉田土壤容重的季节变化规律为5月(出苗期) > 10月(吐絮期) > 8月(花铃期)，其棉田土壤容重各季节变异程度均属于中等；在水平方向上，各季节的0~60 cm的土壤平均容重均呈现出人工平原绿洲 > 绿洲与荒漠过渡带 > 山前绿洲土壤的分布格局；在垂直剖面上，5月和八月土壤容重表现出由浅层至深层增加的趋势，但10月土壤容重表现出由浅层至深层下降的趋势；2) 经地统计学分析表明，人工绿洲土壤容重存在强空间自相关性，受结构因素影响大，山前绿洲和绿洲与荒漠过渡带土壤容重空间自相关性较弱，受随机因素影响大。研究表明土壤质地和有机质含量的空间分布差异是造成玛河流域棉田土壤容重呈现条带状和斑块状分布格局的主要因素，人为耕种制度和棉花生长导致土壤容重呈现季节变化。
system: [SYSTEM]

user: 1. 引言 土壤容重是单位体积干土的质量，反映了土壤的松紧程度，影响作物和产量，是土壤质量和生产力的重要指标。土壤容重是导热率，保水率，水力传导率和蒸汽扩散率等土壤水力特性和热力性质的重要影响因素 [ 1 ] [ 2 ] [ 3 ] [ 4 ]。土壤容重也是评估土壤有机碳库的关键因 [ 5 ] [ 6 ]。土壤容重受结构性因素(母质、气候、地形、生物、时间)和随机因素(人类活动)等的差异影响 [ 7 ] [ 8 ] [ 9 ]，在空间尺度和垂直方向上呈现出空间异质性。学者应用传统的统计学方法，地统计学方法和GIS技术对不同尺度和不同区域的土壤容重空间变异性进行了大量研究 [ 10 ] - [ 20 ]，李晓晓等 [ 21 ] 研究了西北干旱区农田表层土壤容重的空间变异性特征，发现表层土壤容重变异系数为0.080，属于弱变异性，但在空间上呈现由西向东逐渐减小的南北走向条带状分布格局，土壤质地和土地利用方式是影响其空间分布的主要因素。王金贵等 [ 22 ] 研究陕西关中地区旱地农田土壤容重空间变异性，发现土壤容重具有中等变异强度，以村庄为中心向外逐渐增大；在垂直方向上容重存在明显的变异性，主要受人为就近原则进行有机培肥和耕种制度的影响。孙国军等 [ 9 ] 运用传统统计学、GIS空间技术和地统计学的Kriging空间插值等方法研究伊犁河谷表层土壤容重的空间变异特征，发现土壤容重属于弱变异性，表层土壤容重南北走向呈条带状，东西走向呈斑块状分布格局，气候、母质等自然因素是表层土壤容重变化的内在因素，土地利用加速土壤容重的变化。曹国栋和陈接华等 [ 23 ] [ 24 ] 研究玛纳斯河流域土壤物理性质，发现随着土层深度增加，土壤容重呈显著性升高；土壤平均容重表现为干三角洲 > 扇缘带 > 冲积平原区。玉苏甫·买买提等 [ 25 ] 研究渭干河–库车河三角洲绿洲连作棉田理化性质，发现随着棉花连作年限的增长棉田土壤容重增大，棉花长期连作会导致土壤容重增大，土体紧实板结，结构性差，不利于农业生产。万素梅 [ 26 ] 等研究南疆连作年限对棉田土壤物理性质的影响，发现在棉花生长的中后期，容重的增加幅度较大。玛纳斯河流域是我国重要的商品棉生产基地，是中国最早推广实行膜下滴灌的地区，长期连作棉田是该区域的典型耕种模式。长期连作导致玛河棉田土壤质量有所下降，贺怀杰等 [ 27 ] 研究石河子121团不同连作年限的膜下滴灌棉田的残膜分布情况，发现随着膜下滴灌年限的增加，棉田土壤中残膜的数量和密度均呈逐年上升趋势。王海江等 [ 28 ] 研究玛纳斯河流域长期连作棉田土壤重金属分布特征和来源，发现随着连作年限的增加耕层土壤中重金属含量明显升高，化学磷肥的长期大量施入，是棉田土壤重金属含量累积的主要原因。此外，长期连作膜下滴灌棉田的生态环境问题还包括残膜影响土壤水分渗透、土壤含水量、孔隙度和容重等理化性质，造成土壤质量下降，抑制棉花生长发育和降低产量等 [ 29 ] [ 30 ]。已有的研究中，关于干旱区流域滴灌棉田土壤容重的空间变异性研究较少，玛纳斯河流域有关棉田土壤的研究主要集中在土壤水分，盐分，有机碳，硝态氮等理化性质和水盐运移规律方面 [ 31 ] - [ 37 ]。本研究采用经典统计学和地统计学研究方法，分析玛纳斯河流域不同绿洲膜下滴灌棉田的空间变异规律，为后续研究干旱区农田水盐运移和生态农田建设提供基本参数和依据。
system: [SYSTEM]

user: 2. 材料与方法 2.1. 研究区概况 采样点位布置在玛纳斯河流域的山前绿洲，人工平原绿洲和绿洲与荒漠过渡带的膜下滴灌棉田(图1)。山前绿洲，人工平原绿洲和绿洲与荒漠过渡带在土壤质地、降水和蒸发等自然要素存在差异(表1)。研究区内海拔200~600 m，是典型的温带大陆性干旱半干旱气候。玛河流域在1950年代以来大力发展农业，绿洲在逐渐扩张，1952年到1962年，绿洲急剧扩张，大规模集中开发了石河子、安集海、莫索湾和下野地等灌区，使原来分散的绿洲基本连接起来；1962年到1976年，低山带河流两岸的荒漠草原被开发成新绿洲，安集海、石河子和下野地三大绿洲之间的荒漠被开发，各绿洲基本相连 [ 38 ] [ 39 ]。目前玛纳斯河流域已经成为新疆最大的绿洲农耕区和我国第四大灌溉农业区，以种植棉花为主。1998年以来实施膜下滴灌技术阶段 [ 40 ]。膜下滴灌历史已有20多年。目前，玛河灌区棉田每年灌溉大约7~10次，施肥采用以水带肥的方式。玛纳斯河流域土壤类型多样，共分为44个土壤类型，但具有水平地带性 [ 41 ]。玛纳斯河流域的棉花的耕作制度是4月第一次滴灌，6月初第二次滴灌(苗期水)，此后隔十天左右滴灌，一般持续到8月20号左右，一年滴灌约9~10次。施肥约60~70 kg/亩，在6，7和8月里施肥，7和8月施肥量较6月大。 图1. 研究区位置及采样点分布图 Table 1 Regional characteristics of cotton field under drip irrigation under plastic film in Manas Rive 类型 (Types) 山前绿洲 Piedmont Oasis 人工平原绿洲 Artificial plain oasis 绿洲与荒漠过渡带 Oasis and desert transition zone 海拔(m) 600~400 400~300 300~200 土壤类型 灰漠土 盐化或碱化灰漠土 风沙土 土壤质地 粉质壤土 土质较重 沙土 降雨量(mm) 150~200 110~150 110~120 年平均温度(℃) 5~7 6~7 6.5~8 最热月温度 23~26 24~26 25~28 最冷月温度(℃) −17~−19 −18~−19.5 −17~−20 蒸发量(mm) 1600~1800 1800~2200 2200~2500 表1. 玛纳斯河流域区域特征 资料来源：1. 新疆玛纳斯河流域规划平原区水文地质勘察报告(1995)；2. 石河子–沙湾–玛纳斯区域国土资源(1995)。 2.2. 实验方法和数据处理 依据海拔高度和实地观测，将研究区划分为三个区域，分别是山前绿洲(400~600 m)；人工平原绿洲(300~400 m)和绿洲与荒漠过渡带(200~300 m)。在室内GIS下有针对性的布置样点，记录各样点坐标，2019年在棉花的出苗期(5月)，花铃期(8月)和吐絮期(10)进行野外采样依据GPS定位尽量与内业预设样点相一致，并记录实际采样点坐标。在垂直土壤剖面上取0~5，5~10，10~20，20~40，40~60 cm共5层土壤。土壤容重采用环刀法测定。使用Microsoft Excel 2019和SPSS 25.0进行土壤容重的描述性统计分析。利用GS + 9.0进行地统计学分析，地统计学是研究地理现象的空间格局与变异的一种分析方法，它基于区域化变量理论，以变异函数为关键性工具，探讨那些在空间分布上既有随机性又有结构性的现象。它利用变异函数模型和空间插值方法来表现地理现象的空间过程 [ 42 ] [ 43 ]。采用ArcGIS 10.7地统计模块进行土壤容重的空间插值和制图。
system: [SYSTEM]

user: 4. 结论 1) 经典统计学分析表明，研究区土壤容重较大，土壤较紧实，不同月份土壤容重变化明显，平均土壤容重5月 > 10月 > 8月，各季节土壤容重均属于中等变异强度。现条带状分布，人工平原绿洲的土壤容重大于山前绿洲和绿洲与荒漠过渡带，土壤容重随着土层深度的增加而增加，土壤容重的变异程度属于中等。 2) 地统计学分析表明，人工平原绿洲土壤容重具有较强的空间相关性，受结构性因素影响较大。山前绿洲和绿洲与荒漠过渡带土壤容重空间相关性较弱，变异性较为恒定。 3) 根据Kriging插值可知，5月、8月和10月土壤容重均表现为条带状和斑块状格局，其空间分布格局与研究区土壤质地和土壤有机质含量的分布密切相关。
system: [SYSTEM]

user: 摘要 目的：观察地塞米松玻璃体植入剂(Ozurdex)对视网膜静脉阻塞(retinal vein occlusion， RVO)继发黄斑水肿(macular edema， ME)的疗效，对比在不同OCT分型中的疗效并探究RVO患者预后影响因素。方法：回顾性研究。选取2018-6/2019-12于我院诊断为RVO继发ME的31例31眼作为研究对象。根据黄斑中心凹厚度(central macular thickness， CMT)分为：CMT ≤ 600 um组(15眼)，CMT > 600 um组(16眼)；根据是否存在浆液性视网膜脱离(serous retinal detachment， SRD)分为：SRD组(13眼)，非SRD组(18眼)。31眼均行玻璃体腔内Ozurdex植入。观察并对比各组治疗前后各时间点(植入前、植入后14 d、1 mo、2 mo、3 mo、4 mo、5 mo、6 mo)的最佳矫正视力(best corrected visual acuity， BCVA)、CMT、眼压、复发率、不良反应。结果：与植入前比较，植入后14 d至6 mo患者的BCVA提高、CMT下降(P < 0.001)。CMT ≤ 600 um组BCVA优于CMT > 600 um组(P < 0.05)。植入前、植入后14 d、5 mo及6 mo CMT ≤ 600 um组CMT低于CMT > 600 um组(P < 0.05)。植入后4 mo、5 mo及6 mo，非SRD组BCVA优于SRD组、CMT小于SRD组(P < 0.05)。与植入前进行比较，植入后14 d至4 mo患者眼压升高(P < 0.05)。CMT > 600 um及合并SRD的患者复发率高于CMT ≤ 600 um及不合并SRD者(P < 0.05)。结论：Ozurdex可以在6月内提高RVO继发ME患者BCVA，降低CMT。部分患者ME会复发，CMT > 600 um及合并SRD的患者更容易复发。初始ME的轻重以及有无SRD是RVO患者的预后影响因素。
system: [SYSTEM]

user: 1. 引言 视网膜静脉阻塞(retinal vein occlusion， RVO)是仅次于糖尿病视网膜病变的第二大视网膜血管疾病 [ 1 ]。RVO影响视力的最主要因素是黄斑水肿(macular edema， ME) [ 2 ]。炎症反应在RVO继发ME发生发展中发挥重要作用 [ 3 ]。地塞米松玻璃体植入剂(Ozurdex ® ；Allergan公司)作为一种糖皮质激素类抗炎药物于2017年被中国药品监督管理局批准用于RVO继发ME患者的治疗。本研究应用Ozurdex治疗RVO继发ME，应用不同OCT特征分组，对其6个月内的疗效进行对比研究，探讨预后相关因素。
system: [SYSTEM]

user: 2. 对象与方法 2.1. 对象 回顾性研究。选取2018-6/2019-12就诊于我院的31例RVO患者31眼作为研究对象。纳入标准：1)年龄 > 18岁；2) 结合眼底照相、光学相干断层扫描仪(optical coherence tomography，OCT，采用海德堡Spectralis SD-OCT)与眼底荧光素血管造影检查，诊断为RVO继发ME；3) 黄斑中心凹厚度(central macular thickness， CMT) > 250 um。排除标准：1) 治疗前玻璃体腔注射过糖皮质激素类药物或抗血管内皮生长因子(vascular endothelial growth factor， VEGF)药物；2) 治疗前1 mo全身应用过糖皮质激素；3) 治疗前进行过玻璃体切除手术或进行了白内障手术；4) 有青光眼病史或者青光眼危险因素；5) 合并其他影响BCVA的疾病。 患者根据基线CMT分为：CMT ≤ 600 um组(15眼)，CMT > 600 um组(16眼)；根据是否合并浆液性视网膜脱离(serous retinal detachment， SRD)分为：SRD组(13眼)，非SRD组(18眼)。所有患者均行玻璃体腔植入Ozurdex治疗。本研究通过了医院伦理委员会审批。 图1. 1名CRVO患者的资料，(a)、(b)、(c)分别为患者治疗前的眼底照相、OCT、FFA；(d)、(e)分别为患者植入Ozurdex治疗1mo后的眼底照相、OCT 2.2. 方法 2.2.1. 手术方法 1) 所有患者签署知情同意书。2) 植入前3天开始滴用0.5%左氧氟沙星滴眼液，每天4次，每次l滴。3) 取仰卧位，使用盐酸奥布卡因滴眼液行表面麻醉3次，用0.09%~0.11%聚维酮碘消毒液清洁结膜囊。4) 常规消毒铺巾，显微镜下采用Ozurdex自带的22G无菌专用植入器，在距离角巩膜缘3.5~4.0 mm巩膜处穿刺后，按压植入按钮听到“咔”的一声，Ozurdex植入玻璃体腔。5) 无菌棉签按压穿刺口。6) 植入完成，涂氧氟沙星眼膏，无菌敷料包扎术眼。术后继续用左氧氟沙星滴眼液预防感染，每天4次，持续一周。 2.2.2. 观察指标 所有患者植入前及植入后14 d、1 mo、2 mo、3 mo、4 mo、5 mo、6 mo均行裂隙灯、BCVA (ETDRS视力表)、眼压(Goldman眼压计)与CMT(采用海德堡Spectralis SD-OCT)检查，同时观察有无眼部不良反应及全身并发症。复发定义：CMT较以往任何一次检查中测得最低值相比增加100 um以上或BCVA与最高值相比下降10个字母以上。 2.3. 统计学方法 采用SPSS 23.0软件进行统计学分析。所得计量资料符合正态分布且方差齐，以 x ¯ ± s表示；计数资料以n (%)表示。采用卡方检验比较患者一般特征中的计数资料以及不同分组之间的复发率。采用独立样本t检验比较患者一般特征中的计量资料。采用单因素重复测量方差分析比较治疗前后BCVA、CMT以及眼压，采用两因素重复测量方差分析比较不同分组间治疗前后的BCVA、CMT，组内两两比较采用LSD-t检验，组间比较采用独立样本t检验。P < 0.05为差异有统计学意义。
system: [SYSTEM]

user: 4. 讨论 RVO继发ME可能与前列腺素、白细胞介素等炎性因子及促血管生成因子如VEGF增加有关 [ 3 ] [ 4 ]。糖皮质激素可同时抑制上述两类因子增加，从而降低ME [ 5 ] [ 6 ]。Ozurdex是一种糖皮质激素类持续性植入物，植入玻璃体内后可在6 mo内释放地塞米松，并完全降解为二氧化碳和水 [ 7 ]。图1为1名RVO患者植入Ozurdex后的变化，可以看到静脉迂曲扩张减轻、火焰状出血吸收、黄斑水肿消退。本研究发现：Ozurdex可在6 mo内有效治疗RVO继发ME，降低CMT，提高BCVA，这与Haller等 [ 8 ] 的研究相一致。有关Ozurdex的药代动力学研究发现：植入2 mo时，玻璃体腔内地塞米松浓度约为213 ng/ml，植入3 mo时浓度约为前者1/200，后期浓度继续下降 [ 9 ]。本研究发现，Ozurdex植入后2 mo时患者BCVA提高最为显著，CMT下降最为显著，这与药代动力学的研究发现相吻合 [ 9 ]。 既往有研究以400 um为基线ME严重程度进行分组，以探究RVO患者治疗后的病情变化 [ 10 ]。本研究中有28眼(90.32%) CMT > 400 um，CMT中位数和平均值同时接近600 um (中位数：606 um，平均值：635.26 um)。因此，本研究选取600 um作为分界线为基线ME严重程度进行分组。本研究发现：植入后3 mo内Ozurdex可有效降低CMT ≤ 600 um和CMT > 600 um患者CMT。Noma等 [ 11 ] 研究发现RVO患者玻璃体液中VEGF和白细胞介素-6水平与ME严重程度显著相关，这提示基线CMT较高的患者可能伴有更严重炎症反应。我们推测Ozurdex植入3 mo后释放出的地塞米松减少，不足以抑制基线ME较高患者严重的炎症反应，引起部分患者CMT逐渐升高，ME复发。本研究发现CMT > 600 um组BCVA低于CMT ≤ 600 um组，这提示初始CMT可能是影响RVO患者预后影响因素之一，这与Lin等 [ 12 ] 人的研究结果相同。 SRD在RVO患者中常见，本研究中共有13眼(41.94%)患者合并SRD。关于SRD是否影响RVO患者预后仍然存在争议。Poon等 [ 13 ] 研究发现RVO合并SRD患者初次植入贝伐单抗6 mo后有较大的形态和功能改善，作者认为存在SRD可能是RVO预后良好的一个指标。而Maggio等 [ 14 ] 研究发现，未合并SRD患者最终BCVA和CMT改善程度要比合并SRD患者高。本研究结果表明：在植入后3 mo内，SRD组与非SRD组取得了无统计学差异的形态和功能恢复。从植入后4 mo开始，SRD组的形态和功能恢复显著低于非SRD组。有研究表明：合并SRD患者常伴有严重的炎症反应，玻璃体液中有较高浓度VEGF及可溶性细胞间粘附分子-1 [ 15 ]。Ozurdex植入3mo后释放出的地塞米松减少，不足以抑制合并SRD患者严重的炎症反应，导致了合并SRD患者预后较差。脉络膜毛细血管是黄斑中心凹唯一的营养支持来源，SRD阻止了光感受器与视网膜色素上皮和脉络膜毛细血管接触 [ 14 ]。这也是合并SRD患者预后较差的原因之一。 本研究中有15眼(48.39%) ME出现了复发，平均复发时间为4.33 mo。我们对比了不同组间复发率，发现初始ME较严重及存在SRD的患者更容易复发。对于这些容易复发的患者在植入3个月以后需要更加频繁的随访，必要时需要再次植入Ozurdex来治疗。 Ozurdex最主要的并发症是眼压升高 [ 16 ] [ 17 ]。本研究中，9眼(29.3%)出现了眼压 > 25 mmHg的改变，局部滴用降眼压药后，眼压均可恢复至正常水平。因此应用Ozurdex治疗后，需要密切观察患者眼压情况，眼压升高患者需要及时使用降眼压药物来控制眼压。 由于本研究是样本量少的回顾性研究，存在一定局限性。同时本研究分组不能完全匹配，可能存在一定偏倚。在未来的研究中，需要加大规模并且延长随访时间来探究影响RVO患者预后的因素。视网膜外周血管灌注状态也可能是RVO患者预后影响因素之一，这是我们下一步的研究方向。
system: [SYSTEM]

user: 5. 结论 Ozurdex可在6个月内提高RVO继发ME患者BCVA，降低CMT。Ozurdex植入后部分患者ME会复发，平均复发时间为4.33 mo。初始ME较严重及存在SRD的患者更容易复发。复发患者需要再次植入Ozurdex来维持疗效。初始ME的轻重及有无SRD是RVO患者预后影响因素。
system: [SYSTEM]

user: 摘要 由于缺乏自然定界符，中文命名实体识别(NER)比英文更具挑战性。虽然中文分词(CWS)通常被认为是中文NER的关键和开放问题，但其准确性对于下游模型训练至关重要，而且经常遭受语音不足(OOV)的困扰。本文提出了一种改进的中文NER模型，称为TB-LSTM-CRF，该模型在LSTM-CRF之上引入了一个变压器块。带有Transformer Block的拟议模型利用self-attention机制从相邻字符和句子上下文中捕获信息。同时本文使用了一个全新的工业场景数据集，在此数据集上，与使用LSTM-CRF的基线相比，实验结果表明，TB-LSTM-CRF方法具有竞争力，几乎不需要任何外部资源，例如参数迁移。
system: [SYSTEM]

user: 1. 介绍 工业知识自动化势在必行，工业知识图谱亟需大力推行，而命名实体识别(NER)既是自然语言处理(NLP)中的一项重要任务，也NER被广泛认为是知识图构建过程中的第一步，是知识图谱构建过程中的下游自然语言处理的重要基础例如实体链接，关系提取，事件提取和共引用解析。 就一般的NER而言，高性能方法主要包括递归神经网络(RNN)，支持向量机(SVM)或长短期记忆(LSTM)和门递归单元(GRU)，以获取单词级别的上下文信息， [ 1 ] [ 2 ] 所示其在英文领域取得了巨大成功，而由于中文句子没有与英文句子相同的自然定界符，而且中文句子中不同的分词可能导致句子的含义完全不同。汉语分词的问题还没有得到很好的解决。 [ 3 ] [ 4 ] 可以看出，如果第一次错误地检测到边界，那么使用基于单词的NER模型进行正确提取就不可能了。最近，大多数用于中文NER的神经网络模型都严重依赖于出色的词嵌入表示形式和额外的词典，基于字符的方法比基于词汇的方法更适合中文NER [ 5 ]。 目前已有部分研究针对其他垂直邻域的实体抽取实验 [ 6 ] [ 7 ] [ 8 ] [ 9 ]，可是前提都需要大量的工作和极度依靠预训练模型性能。就工业领域NER而言，存在数据低资源和知识高门槛两大问题。数据低资源不止体现在工业机器人领域文本数据量少，还有专业质量不一，例如工程师甲描述某件事故为“电机发热冒烟”，而工程师乙则描述为“电机转子铁芯硅钢片绝缘损坏，电机运行温度过高或冒烟”。工程师的描述不一致，同一件故障会有多种描述，甚至缺少实体，导致模型训练更难拟合，这种问题在缺少训练数据的情况下更为严重。数据集的质量差还体现在由于存在标准模糊，尺度难把握，认知水平存在差异等问题，甚至工程师撰写日志时图方便而自定义一套易记语言，或者时描述不清晰，缺少实体，都会导致数据的标注质量差。对于工业领域数据集的专业性，使用一般模型并不能很好地识别其中极具专业性的实体。例如“动圈铁芯”这样的实体一般很难出现在一般数据集上，而且模型很容易将其识别成“动圈”和“铁芯”两个实体，甚至其他，很明显这是错误的。 而在工业领域的NER研究少之又少，针对这一问题，在研究过程中利用工业生产场景下电动机工作日志作为我们本次实验的种种一个目标数据集。基于字符的NER无法充分利用显式单词和单词序列信息，这也会影响NER的性能。为了解决这个问题，我们提出了一种基于自我注意机制的变压器模块来表示字符并将潜在的词汇信息集成到基于字符的LSTM-CRF中。如图1所示，我们使用Transformer模块 [ 10 ] 搜索与上下文相关的字符，并输出包含与字符相关的信息的向量表示。门单元用于在包含多个字符信息的向量之间动态路由信息。最后，使用条件随机场(CRF)来整合和标准化在NER数据集上训练的预测，我们的方法可以从上下文中自动有效地找到更多有用的单词，从而获得更好的性能。与基于字符和基于单词的NER方法相比，我们的模型可以自动获取上下文词汇信息，而无需使用其他外部资源。而且由于其加入了Transformer模块和LSTM，能对前后文的特征信息有更充分的学习，更有利于学习专业性强的长实体。在OntoNote [ 11 ]、Weibo NER [ 12 ]、Chinese Resume [ 13 ] 和工业电机数据集上我们的方法在各项指标上都有具有竞争力的提升。 图1. TB-LSTM-CRF模型
system: [SYSTEM]

user: 2. TB-LSTM-CRF模型 为了从相邻字符中捕获信息。我们采用LSTM-CRF作为主要网络结构，并研究了中文NER的Transformer模块，该模块由一个自我注意层组成。 在本文中，我们使用BIOES标记方案 [ 14 ] 进行实验。我们将输入句子序列表示为 X = { x 1 ， x 2 ， x 3 ， ⋯ ， x m } ，其中 x i 表示句子 X 中第i个字符嵌入向量，而m表示最大句子长度。相应地，我们定义 Y = { y 1 ， y 2 ， y 3 ， ⋯ ， y m } 作为句子预测序列，其中 y i 表示句子Y中第i个字符嵌入向量。目的是通过模型函数 f θ : X ↦ Y 来获得实体类别序列。 2.1. Transformer模块 Transformer模块旨在对输入字符序列进行编码，并在上下文中隐式对含义相关的字符进行分类。 第i字符的d维嵌入向量用 x i ∈ ℝ d 表示。模块整体框架如图2所示。 图2. Transformer模块整体框架 2.1.1. 位置编码 Transformer模块按照位置编码来理解语言的前后文，并使用self-attention机制和完全连接。Transformer模型没有递归神经网络的迭代操作，因此我们需要将每个单词的位置信息提供给Transformer模块，以便该模型可以识别句子中字符的顺序关系。位置嵌入被初始化为一个向量，其维度为(字典大小，嵌入维度)，并按以下两个部分计算： P E p o s ， 2 i = sin ( p o s / 10000 2 i / d ) (1) P E p o s ， 2 i + 1 = cos ( p o s / 10000 2 i / d ) (2) 在上面公式里，pos表示字符在句子中的位置，取值范围是[0，最大句子长度]。i表示字符向量的第i个维度，取值范围是[0，最大嵌入维度]。d表示字符向量的维度数量。这里有一对正弦和余弦函数，它们是与嵌入向量维度相对应的一组奇数和偶数的维。 然后将字符嵌入和位置编码对应相加，最后获得了包含位置信息的新字符嵌入向量 Λ i ∈ ℝ embed .dim 。 P E p o s 表示第pos个字符的位置编码。 Λ i = x i + P E p o s (3) 2.1.2. Self-Attention机制 为了有效地学习句子中单词的依存关系并捕获句子的内部结构 [ 15 ]，我们使用多头注意力(multi-head attention)来处理先前的特征向量 Λ ∈ ℝ batchsize ∗ seq .len ∗ embed .dim 。我们分配三个权重矩阵W_Q，W_Q，W_Q ∈ R ^ (embed.dim * embed.dim)并根据以下公式线性映射后获得三个权值矩阵 W Q ， W K ， W V ∈ ℝ embed .dim ∗ embed .dim ，和通过下面线性映射公式得到三个特征矩阵 Q ， K ， V ： Q = Λ W Q (4) K = Λ W K (5) V = Λ W V (6) 然后，我们可以通过以下公式得到注意力矩阵： H = softmax ( Q K T d k ) V (7) Q K T 表示注意力矩阵， d k 的目的是使注意力矩阵遵循标准正态分布，从而使softmax层的结果更稳定。 2.1.3. Add & Layer Normalization 上一小节获得了注意矩阵H。我们对其进行转置以使其与特征矩阵Λ的尺寸一致，然后由于元素的尺寸相同，直接将这两个矩阵相加。 H = Λ + H (8) Layer Normalization的作用是将神经网络中的隐藏层归一化为标准正态分布，从而加快训练和收敛速度： H = LayerNorm ( H ) = α ⊙ h i j − μ i σ i 2 + ε + β (9) 其中 d k 是注意力矩阵H的第i行和第j列， ε 是一个很小的数字，可以防止方程中被零除。引入两个可训练的参数 α 和 β 来弥补归一化期间丢失的信息。 注意，⊙表示元素乘法而不是点积。通常，我们将 α 初始化为1，将 β 初始化为0。 μ i 和 σ i 分别代表每行的均值和方差。计算公式如下，其中m表示矩阵H中的列数。 μ i = 1 m ∑ j = 1 m h i j (10) σ i 2 = 1 m ∑ j = 1 m ( h i j − μ i ) 2 (11) 2.1.4. Feedforward 在前馈网络部分，此处使用两级线性映射，并通过ReLU激活函数进行激活。在前馈网络之后，后续的剩余连接和层规范化与前一小节中的类似，不同之处在于前一个H由前馈网络的输出代替。 2.2. Long Short-Term Memory (LSTM) LSTM的目的是进一步处理上下文序列关系，其输入是Transformer模块输出的特征向量。 2.3. Conditional Random Field (CRF) 为了提高序列标签预测的准确性，我们需要参考相邻字符的预测结果。这是序列标记的问题，也是CRF可以完美适配的工作。在LSTM输出该句子中每个字符的隐藏状态 h t ， h 2 ， ⋯ ， h m 之后，我们利用标准的CRF层来接收它。 2.4. Training and Inference 一阶维特比算法用于在基于字符的输入序列上找到得分最高的标签序列。我们使用句子级别的对数似然损失和 L 2 正则化来训练模型： L = ∑ i = 1 N log ( P ( y i | s i ) ) + λ 2 ‖ θ ‖ 2 (10) 此处 λ 和 θ 分别是为 L 2 正则的自定义设置参数。