ymoslem/acl-abstracts huggingface dataset:
A Small but Informed and Diverse Model: The Case of the Multimodal GuessWhat!? Guessing Game (2022)

Pre-trained Vision and Language Transformers achieve high performance on downstream tasks due to their ability to transfer representational knowledge accumulated during pretraining on substantial amounts of data. In this paper, we ask whether it is possible to compete with such models using features based on transferred (pre-trained, frozen) representations combined with a lightweight architecture. We take a multimodal guessing task as our testbed, GuessWhat?!. An ensemble of our lightweight model matches the performance of the finetuned pre-trained transformer (LXMERT). An uncertainty analysis of our ensemble shows that the lightweight transferred representations close the data uncertainty gap with LXMERT, while retaining model diversity leading to ensemble boost. We further demonstrate that LXMERT`s performance gain is due solely to its extra V{\&}L pretraining rather than because of architectural improvements. These results argue for flexible integration of multiple features and lightweight models as a viable alternative to large, cumbersome, pre-trained models.
A Cross-lingual Comparison of Human and Model Relative Word Importance (2022)

Relative word importance is a key metric for natural language processing. In this work, we compare human and model relative word importance to investigate if pretrained neural language models focus on the same words as humans cross-lingually. We perform an extensive study using several importance metrics (gradient-based saliency and attention-based) in monolingual and multilingual models, including eye-tracking corpora from four languages (German, Dutch, English, and Russian). We find that gradient-based saliency, first-layer attention, and attention flow correlate strongly with human eye-tracking data across all four languages. We further analyze the role of word length and word frequency in determining relative importance and find that it strongly correlates with length and frequency, however, the mechanisms behind these non-linear relations remain elusive. We obtain a cross-lingual approximation of the similarity between human and computational language processing and insights into the usability of several importance metrics.
Dispatcher: A Message-Passing Approach to Language Modelling (2022)

This paper proposes a message-passing mechanism to address language modelling. A new layer type is introduced that aims to substitute self-attention for unidirectional sequence generation tasks. The system is shown to be competitive with existing methods: Given N tokens, the computational complexity is O(N logN) and the memory complexity is O(N) under reasonable assumptions. In the end, the Dispatcher layer is seen to achieve comparable perplexity to self-attention while being more efficient.
In Search of Meaning and Its Representations for Computational Linguistics (2022)

In this paper we examine different meaning representations that are commonly used in different natural language applications today and discuss their limits, both in terms of the aspects of the natural language meaning they are modelling and in terms of the aspects of the application for which they are used.
Can We Use Small Models to Investigate Multimodal Fusion Methods? (2022)

Many successful methods for fusing language with information from the visual modality have recently been proposed and the topic of multimodal training is ever evolving. However, it is still largely not known what makes different vision-and-language models successful. Investigations into this are made difficult by the large sizes of the models used, requiring large training datasets and causing long train and compute times. Therefore, we propose the idea of studying multimodal fusion methods in a smaller setting with small models and datasets. In this setting, we can experiment with different approaches for fusing multimodal information with language in a controlled fashion, while allowing for fast experimentation. We illustrate this idea with the math arithmetics sandbox. This is a setting in which we fuse language with information from the math modality and strive to replicate some fusion methods from the vision-and-language domain. We find that some results for fusion methods from the larger domain translate to the math arithmetics sandbox, indicating a promising future avenue for multimodal model prototyping.
Embodied Interaction in Mental Health Consultations: Some Observations on Grounding and Repair (2022)

Shared physical space is an important resource for face-to-face interaction. People use the position and orientation of their bodies{---}relative to each other and relative to the physical environment{---}to determine who is part of a conversation, to manage conversational roles (e.g. speaker, addressee, side-participant) and to help co-ordinate turn-taking. These embodied uses of shared space also extend to more fine-grained aspects of interaction, such as gestures and body movements, to support topic management, orchestration of turns and grounding. This paper explores the role of embodied resources in (mis)communication in a corpus of mental health consultations. We illustrate some of the specific ways in which clinicians and patients can exploit embodiment and the position of objects in shared space to diagnose and manage moments of misunderstanding.
Norm Participation Grounds Language (2022)

The striking recent advances in eliciting seemingly meaningful language behaviour from language-only machine learning models have only made more apparent, through the surfacing of clear limitations, the need to go beyond the language-only mode and to ground these models {\textquotedblleft}in the world{\textquotedblright}. Proposals for doing so vary in the details, but what unites them is that the solution is sought in the addition of non-linguistic data types such as images or video streams, while largely keeping the mode of learning constant. I propose a different, and more wide-ranging conception of how grounding should be understood: What grounds language is its normative nature. There are standards for doing things right, these standards are public and authoritative, while at the same time acceptance of authority can and must be disputed and negotiated, in interactions in which only bearers of normative status can rightfully participate. What grounds language, then, is the determined use that language users make of it, and what it is grounded in is the community of language users. I sketch this idea, and draw some conclusions for work on computational modelling of meaningful language use.
Where Am I and Where Should I Go? Grounding Positional and Directional Labels in a Disoriented Human Balancing Task (2022)

In this paper, we present an approach toward grounding linguistic positional and directional labels directly to human motions in the course of a disoriented balancing task in a multi-axis rotational device. We use deep neural models to predict human subjects' joystick motions as well as the subjects' proficiency in the task, combined with BERT embedding vectors for positional and directional labels extracted from annotations into an embodied direction classifier. We find that combining contextualized BERT embeddings with embeddings describing human motion and proficiency can successfully predict the direction a hypothetical human participant should move to achieve better balance with accuracy that is comparable to a moderately-proficient balancing task subject, and that our combined embodied model may actually make decisions that are objectively better than decisions made by some humans.
From Speed to Car and Back: An Exploratory Study about Associations between Abstract Nouns and Images (2022)

Abstract concepts, notwithstanding their lack of physical referents in real world, are grounded in sensorimotor experience. In fact, images depicting concrete entities may be associated to abstract concepts, both via direct and indirect grounding processes. However, what are the links connecting the concrete concepts represented by images and abstract ones is still unclear. To investigate these links, we conducted a preliminary study collecting word association data and image-abstract word pair ratings, to identify whether the associations between visual and verbal systems rely on the same conceptual mappings. The goal of this research is to understand to what extent linguistic associations could be confirmed with visual stimuli, in order to have a starting point for multimodal analysis of abstract and concrete concepts.
中国语言学研究 70 年:核心期刊的词汇增长(70 Years of Linguistics Research in China: Vocabulary Growth of Core Journals) (2022)

{\textquotedblleft}建国以来我国语言学经过 70 年的发展取得了瞩目的成就,已有研究主要以回顾主要历史事件的方式介绍这一进程,但尚缺少使用量化手段分析其历时发展的研究。本文以词汇增长为切入点探究这一主题,首次创建大规模语言学中文核心期刊摘要的历时语料库,并使用三大词汇增长模型预测语料库中词汇的变化。本文选择拟合效果最好的 Heaps 模型分阶段深入分析语言学词汇的变化,显示出国家政策的指导作用和特定时代的语言生活特征。此外,与时序无关的验证程序支撑了本文研究方法的有效性。 关键词:中国语言学;词汇增长;核心期刊;摘要;语料库;历时发展{\textquotedblright}
一个适合汉语的带有范畴转换的组合范畴语法(A Chinese-Suitable Combinatory Categorial Grammar with Categorial Conversions) (2022)

{\textquotedblleft}为使汉语句子中词或短语的范畴对应其充当的句法成分,为组合范畴语法增加范畴转换规则。把实词和短语结构的范畴分别按使用频次和是否由结合规则得到分为典型和非典型,建立短语结构中实词和短语结构的范畴转换规则。尽量不为虚词设立范畴规则,让实词或短语结构通过范畴转换与虚词搭配。树库显示,35{\%}的短语结构形成需要范畴转换,使用范畴转换的短语直接成分中99.67{\%}是实词或短语结构,这套范畴转换规则使组合范畴语法适合缺乏屈折的汉语。{\textquotedblright}
双重否定结构自动识别研究(The Research on Automatic Recognition of the Double Negation Structure) (2022)

{\textquotedblleft}双重否定结构是一种{\textquotedblleft}通过两次否定表示肯定意义{\textquotedblright}的特殊结构,其存在会对自然语言处理中的语义判断与情感分类产生重要影响。本文以{\textquotedblleft}$eg$ $eg$ P== extgreater P{\textquotedblright}为标准,对现代汉语中所有的{\textquotedblleft}否定词+否定词{\textquotedblright}结构进行了遍历研究,将双重否定结构按照格式分为了3大类,25小类,常用双重否定结构或构式132个。结合动词的叙实性、否定焦点、语义否定与语用否定等相关理论,本文归纳了双重否定结构的三大成立条件,并据此设计实现了基于规则的双重否定结构自动识别程序。程序实验的精确率为98.85{\%},召回率为98.90{\%},F1值为98.85{\%}。同时,程序还从96281句语料中获得了8640句精确率约为99{\%}的含有双重否定结构的句子,为后续基于统计的深度学习模型提供了语料支持的可能。{\textquotedblright}
单项形容词定语分布考察及\textquotedblleft的\textquotedblright字隐现研究(Study on Distribution of Single Item Adjective Attributives and Appearance and Disappearance of \textquotedblleftde\textquotedblright) (2022)

{\textquotedblleft}本文以2019-2021年《人民日报》文章中单项形容词定语77845个词例为研究对象,从实用性的角度考察了粘合式与组合式定语词例的分布特征、音节组配模式及{\textquotedblleft}的{\textquotedblright}字的隐现倾向性。通过研究我们发现,粘合式定语的词例数量明显少于组合式定语词例数量,但使用频数却高出组合式定语的4-5倍。两种定语结构中,形容词和名词重复使用的比例很高,但其共现组合的比例偏少,同时,真实文本中{\textquotedblleft}的{\textquotedblright}字的隐现具有{\textquotedblleft}两极分化{\textquotedblright}的特征,绝大部分词例在使用过程中带{\textquotedblleft}的{\textquotedblright}或不带{\textquotedblleft}的{\textquotedblright}都具有很强的倾向性,{\textquotedblleft}的{\textquotedblright}字出现具有区分词义和突显信息的作用,{\textquotedblleft}的{\textquotedblright}字隐藏能促使语义更加凝练,进一步固化句式结构,使得某些句式形成了特指或隐喻的表达方式。本文为形容词定语结构的词汇语义研究提供依据和参考。{\textquotedblright}
基于GPT-2和互信息的语言单位信息量对韵律特征的影响(Prosodic Effects of Speech Unit`s Information Based on GPT-2 and Mutual Information) (2022)

{\textquotedblleft}基于信息论的言语产出研究发现携带信息量越大的语言单位,其语音信号越容易被强化。目前的相关研究主要通过自信息的方式衡量语言单位信息量,但该方法难以对长距离的上下文语境进行建模。本研究引入基于预训练语言模型GPT-2和文本-拼音互信息的语言单位信息量衡量方式,考察汉语的单词、韵母和声调信息量对语音产出的韵律特征的影响。研究结果显示汉语中单词和韵母信息量更大时,其韵律特征倾向于被增强,证明了我们提出的方法是有效的。其中信息量效应在音长特征上相比音高和音强特征更显著。{\textquotedblright}
人文社科学术论文语言变异的多维度分析(A multi-dimensional analysis of register variations in Chinese academic papers of Humanities and Social Sciences) (2022)

{\textquotedblleft}通过自建人文和社科领域中文学术期刊论文语料库(逾920万字),运用多维度分析法对111项语言特征的频次数据进行因子分析和维度识别,发现人文社科领域学术论文具有7个维度的语言特征共现模式:描述性vs.阐释性、概念判断vs.行为再现、铺陈与发展、已然性表述、计数与测量、模糊性表达、顺序与连接。进而,对语料在上述各维度的量化表现施以统计检验和聚类分析,发现学术语体在人文与社科两大领域的语言变异显著体现于除{\textquotedblleft}计数与测量{\textquotedblright}、{\textquotedblleft}顺序与连接{\textquotedblright}以外的其他5个维度;人文领域和社科领域内部学科的语言变异,各在6个维度上存在显著差异。本研究为学术汉语写作、汉语语体语法等提供一定启示。{\textquotedblright}
基于语料的\textquotedblleft一+形容词+量词+名词\textquotedblright构式语义考察(A Semantic Study of \textquotedblleftOne-Adjective-Quantifier-Noun\textquotedblright Based on Corpus) (2022)

{\textquotedblleft}数形量名{\textquotedblright}构式是我们日常语言交流中大量使用的结构。本文在北京语言大学BCC在线语料库5710条语料的基础上考察{\textquotedblleft}一形量名{\textquotedblright}结构,寻求影响构式成立与否的的关键性因素。本文研究了语义限制下进入构式形容词的语义特点、{\textquotedblleft}物理抽象度{\textquotedblright}对构式名词成分的限制以及量词在构式形成过程中的作用。研究表明,具备高拆分计量性等语义特征的形容词更易进入此构式,进入构式形容词中90{\%}以上项目都可由单一变化物理量进行衡量,此部分形容词在同一意义层面上与构式内的量词互相和谐;{\textquotedblleft}一形量名{\textquotedblright}构式对{\textquotedblleft}物理抽象度([+易量化、+低有机活性、+形状易概括]){\textquotedblright}赋值低的名词包容性更高;此外,本文还发现集合量词的出现可降低整体构式的物理抽象度,从而增强{\textquotedblleft}一形量名{\textquotedblright}构式成立可能性。{\textquotedblright}
基于熵的二语语音习得评价研究---以日本学习者习得汉语声母为例(An Entropy-based Evaluation of L2 Speech Acquisition: The Preliminary Report on Chinese Initials Produced by Japanese Learners) (2022)

{\textquotedblleft}本文引入{\textquotedblleft}熵{\textquotedblright}对学习者二语音素发音错误的分布情况进行了量化研究。通过对不同音素及不同二语水平学习者音素错误率和错误分散度的分析发现:1.错误率与错误分散度有较高的相关性,二者的差异反映出错误分布的差异性;2.错误率类似的音素中,与母语音素相似度越高的音素错误分散度越小;3.较初级水平,中级水平学习者音素错误率下降而错误分散度上升。由此可见,熵可以在错误率基础上可以进一步揭示学习者母语音系及二语水平对音素发音错误分散度的影响。{\textquotedblright}
儿童心理词汇输出策略及影响因素研究(A Study of Children`s Mental Vocabulary Output Strategies and The Factors Influencing Them) (2022)

{\textquotedblleft}儿童心理词汇研究是儿童词汇研究中的重要部分。本文基于心理词表假设,对827位712岁汉语母语儿童展开调查,收集其脑内潜藏的心理词汇,并采用基础词汇定序模型,提取儿童心理词汇定序词表。通过分析词表发现,儿童词汇主要涵盖生活类词汇和以学习为核心的词汇。同时,儿童词汇输出存在思维链的现象,在输出思维链时儿童主要采用了场景策略、范畴策略以及组词策略。此外,通过探究儿童词汇输出影响因素,我们发现儿童输出的词汇量随年龄增长而不断增加,儿童词汇发展从低年龄组到高年龄组发生了显著变化,性别在儿童输出词数上无显著差异,但男孩、女孩关注的词汇类别有各自的倾向。{\textquotedblright}
汉语增强依存句法自动转换研究(Transformation of Enhanced Dependencies in Chinese) (2022)

{\textquotedblleft}自动句法分析是自然语言处理中的一项核心任务,受限于依存句法中每个节点只能有一条入弧的规则,基础依存句法中许多实词之间的关系无法用依存弧和依存标签直接标明;同时,已有的依存句法体系中的依存关系还有进一步细化、提升的空间,以便从中提取连贯的语义关系。面对这种情况,本文在斯坦福基础依存句法规范的基础上,研制了汉语增强依存句法规范,主要贡献在于:介词和连词的增强、并列项的传播、句式转换和特殊句式的增强。此外,本文提供了基于Python的汉语增强依存句法转换的转换器,以及一个基于Web的演示,该演示将句子从基础依存句法树通过本文的规范解析成依存图。最后,本文探索了增强依存句法的实际应用,并以搭配抽取和信息抽取为例进行相关讨论。{\textquotedblright}
名动词多能性指数研究及词类标记的组合应用(A study of nominal verb polyfunctionality index and the combined application of POS tag) (2022)

{\textquotedblleft}名动词是汉语词类研究及词性标注的难点问题。过去五六十年来,有关名动词概念与体系类属、鉴定标准、标注方法等方面的争议不断,但基于语料库资源,以名动词的动态分布以及量化研究为支撑的研究较为缺乏。本文以现代汉语名动词作为主要考察对象,基于语言学理论方法的反思,将信息论与语料库方法相结合,引入香农圭维纳指数作为量化指标,从多能性指数的研究视角对名动词进行考察,结合《信息处理用现代汉语词类标记规范》的修订研究,分析了名动词类别属性判断在现有印欧系语法词类体系框架下的困境,探讨了名动词跨类属性、词类标记的组合处理及其对于语料库建设、词典编纂等应用领域词类信息标注的探索意义。{\textquotedblright}
基于新闻图式结构的篇章功能语用识别方法(Discourse Functional Pragmatics Recognition Based on News Schemata) (2022)

{\textquotedblleft}篇章分析是自然语言处理领域的研究热点和重点,篇章功能语用研究旨在分析篇章单元在篇章中的功能和作用,有助于深入理解篇章的主题和内容。目前篇章分析研究以形式语法为主,而篇章作为一个整体的语义单位,其功能和语义却没有引起足够重视。已有功能语用研究以面向事件抽取任务为主,并未进行通用领域的功能语用研究。鉴于功能语用研究的重要性和研究现状,本文提出了基于新闻图式结构的篇章功能语用识别方法来识别篇章功能语用。该方法在获取段落交互信息的同时又融入了篇章的新闻图式结构信息,并结合段落所在篇章中的位置信息,从而有效地提高了篇章功能语用的识别能力。在汉语宏观篇章树库的实验结果证明,本文提出的方法优于所有基准系统。{\textquotedblright}
融合知识的多目标词联合框架语义分析模型(Knowledge-integrated Joint Model For Multi-target Frame Semantic Parsing) (2022)

{\textquotedblleft}框架语义分析任务是自然语言处理领域的一项基础性任务。先前的研究工作大多针对单目标词进行模型设计,无法一次性完成多个目标词的框架语义结构提取。本文提出了一个面向多目标的框架语义分析模型,实现对多目标词的联合预测。该模型对框架语义分析的各项子任务进行交互性建模,实现子任务间的双向交互。此外,本文利用关系图网络对框架关系信息进行编码,将其作为框架语义学知识融入模型中。实验表明,本文模型在不借助额外语料的情况下相比之前模型都有不同程度的提高。消融实验证明了本文模型设计的有效性。此外我们分析了模型目前存在的局限性以及未来的改进方向。{\textquotedblright}
专业技术文本关键词抽取方法(Keyword Extraction on Professional Technical Text) (2022)

{\textquotedblleft}相关性和特异性对于专业技术文本关键词抽取问题至关重要,本文针对代码检索任务,综合语义信息、序列关系和句法结构提出了专业技术文本关键词抽取模型。采用预训练语言模型BERT提取文本抽象语义信息;采用序列关系和句法结构融合分析的方法构建语义关联图,以捕获词汇之间的长距离语义依赖关系;基于随机游走算法和词汇知识计算关键词权重,以兼顾关键词的相关性和特异性。在两个数据集和其他模型进行了性能比较,结果表明本模型抽取的关键词具有更好地相关性和特异性。{\textquotedblright}
基于实体信息增强及多粒度融合的多文档摘要(Multi-Document Summarization Based on Entity Information Enhancement and Multi-Granularity Fusion) (2022)

{\textquotedblleft}神经网络模型的快速发展使得多文档摘要可以获得人类可读的流畅的摘要,对大规模的数据进行预训练可以更好的从自然语言文本中捕捉更丰富的语义信息,并更好的作用于下游任务。目前很多的多文档摘要的工作也应用了预训练模型(如BERT)并取得了一定的效果,但是这些预训练模型不能更好的从文本中捕获事实性知识,没有考虑到多文档文本的结构化的实体-关系信息,本文提出了基于实体信息增强和多粒度融合的多文档摘要模型MGNIE,将实体关系信息融入预训练模型ERNIE中,增强知识事实以获得多层语义信息,解决摘要生成的事实一致性问题。进而从多种粒度进行多文档层次结构的融合建模,以词信息、实体信息以及句子信息捕捉长文本信息摘要生成所需的关键信息点。本文设计的模型,在国际标准评测数据集MultiNews上对比强基线模型效果和竞争力获得较大提升。{\textquotedblright}
融合提示学习的故事生成方法(A Story Generation Method Incorporating Prompt Learning) (2022)

{\textquotedblleft}开放式自动故事生成通过输入故事的开头、大纲、主线等,得到具有一致性、连贯性和逻辑性的故事。现有的方法想要提升生成故事的质量,往往需要大量训练数据和更多参数的模型。针对以上问题,该文利用提示学习在零样本与少样本场景下的优势,同时使用外部常识推理知识,提出了一种故事生成方法。该方法将故事生成分为三个阶段:输入故事的开头,常识推理模型生成可能的事件;根据类型不同,将事件填入问题模板中,构建引导模型生成合理回答的问题;问答模型产生对应问题的答案,并选择困惑度最小的作为故事下文。重复上述过程,最终生成完整的故事。自动评测与人工评测指标表明,与基线模型相比,该文提出的方法能够生成更连贯、具体和合乎逻辑的故事。{\textquotedblright}
生成,推理与排序:基于多任务架构的数学文字题生成(Generating, Reasoning \& Ranking: Multitask Learning Framework for Math Word Problem Generation) (2022)

{\textquotedblleft}数学文字题是一段能反映数学等式潜在逻辑的叙述性文本。成功的数学问题生成在语言生成和教育领域都具有广阔的应用前景。前人的工作大多需要人工标注的模板或关键词作为输入,且未考虑数学表达式本身的特点。本文提出了一种多任务联合训练的问题文本生成模型。我们设计了三个辅助任务,包括数字间关系抽取、数值排序和片段替换预测。他们与生成目标联合训练,用以监督解码器的学习,增强模型对运算逻辑和问题条件的感知能力。实验证明所提方法能有效提升生成的数学文字题的质量。{\textquotedblright}
基于SoftLexicon和注意力机制的中文因果关系抽取(Chinese Causality Extraction Based on SoftLexicon and Attention Mechanism) (2022)

{\textquotedblleft}针对现有中文因果关系抽取方法对因果事件边界难以识别和文本特征表示不充分的问题,提出了一种基于外部词汇信息和注意力机制的中文因果关系抽取模型BiLSTM-TWAM+CRF。该模型首次使用SoftLexicon方法引入外部词汇信息构建词集,解决了因果事件边界难以识别的问题。通过构建的双路关注模块TWAM(Two Way Attention Module),实现了从局部和全局两个角度充分刻画文本特征。实验结果表明,与当前中文因果关系抽取模型相比较,本文方法表现出更优的抽取效果。{\textquotedblright}
基于GCN和门机制的汉语框架排歧方法(Chinese Frame Disambiguation Method Based on GCN and Gate Mechanism) (2022)

{\textquotedblleft}汉语框架排歧旨在候选框架中给句子中的目标词选择一个符合其语义场景的框架。目前研究方法存在隐层向量的计算与目标词无关,并且忽略了句法结构信息对框架排歧的影响等缺陷。针对上述问题,使用GCN对句法结构信息进行建模;引入门机制过滤隐层向量中与目标词无关的噪声信息;并在此基础上,提出一种约束机制来约束模型的学习,改进向量表示。该模型在CFN、FN1.5和FN1.7数据集上优于当前最好模型,证明了方法的有效性。{\textquotedblright}
基于中文电子病历知识图谱的实体对齐研究(Research on Entity Alignment Based on Knowledge Graph of Chinese Electronic Medical Record) (2022)

{\textquotedblleft}医疗知识图谱中知识重叠和互补的现象普遍存在,利用实体对齐进行医疗知识图谱融合成为迫切需要。然而据我们调研,目前医疗领域中的实体对齐尚没有一个完整的处理方案。因此本文提出了一个规范的基于中文电子病历的医疗知识图谱实体对齐流程,为医疗领域的实体对齐提供了一种可行的方案。同时针对基于中文电子病历医疗知识图谱之间结构异构性的特点,设计了一个双视角并行图神经网络丨乄乵乐乎乥乴丩模型用于解决医疗领域实体对齐,并取得较好的效果。{\textquotedblright}
基于平行交互注意力网络的中文电子病历实体及关系联合抽取(Parallel Interactive Attention Network for Joint Entity and Relation Extraction Based on Chinese Electronic Medical Record) (2022)

{\textquotedblleft}基于电子病历构建医学知识图谱对医疗技术的发展具有重要意义,实体和关系抽取是构建知识图谱的关键技术。本文针对目前实体关系联合抽取中存在的特征交互不充分的问题,提出了一种平行交互注意力网络(PIAN)以充分挖掘实体与关系的相关性,在多个标准的医学和通用数据集上取得最优结果;当前中文医学实体及关系标注数据集较少,本文基于中文电子病历构建了实体和关系抽取数据集(CEMRIE),与医学专家共同制定了语料标注规范,并基于所提出的模型实验得出基准结果。{\textquotedblright}
基于框架语义映射和类型感知的篇章事件抽取(Document-Level Event Extraction Based on Frame Semantic Mapping and Type Awareness) (2022)

{\textquotedblleft}篇章事件抽取是从给定的文本中识别其事件类型和事件论元。目前篇章事件普遍存在数据稀疏和多值论元耦合的问题。基于此,本文将汉语框架网(CFN)与中文篇章事件建立映射,同时引入滑窗机制和触发词释义改善了事件检测的数据稀疏问题;使用基于类型感知标签的多事件分离策略缓解了论元耦合问题。为了提升模型的鲁棒性,进一步引入对抗训练。本文提出的方法在DuEE-Fin和CCKS2021数据集上实验结果显著优于现有方法。{\textquotedblright}
期货领域知识图谱构建(Construction of Knowledge Graph in Futures Field) (2022)

{\textquotedblleft}期货领域是数据最丰富的领域之一,本文以商品期货的研究报告为数据来源构建了期货领域知识图谱(Commodity Futures Knowledge Graph,CFKG)。以期货产品为核心,确立了概念分类体系及关系描述体系,形成图谱的概念层;在MHS-BIA与GPN模型的基础上,通过领域专家指导对242万字的研报文本进行标注与校对,形成了CFKG数据层,并设计了可视化查询系统。所构建的CFKG包含17,003个农产品期货关系三元组、13,703种非农产品期货关系三元组,为期货领域文本分析、舆情监控和推理决策等应用提供知识支持。{\textquotedblright}
近四十年湘方言语音研究的回顾与展望------基于知识图谱绘制和文献计量分析(Review and Prospect of the Phonetic Research of Xiang Dialects in Recent Forty Years:Based on Knowledge Mapping and Bibliometric Analysis) (2022)

{\textquotedblleft}湘方言语音研究已取得丰硕的研究成果,本文以中国知网中的{\textquotedblleft}学术期刊库{\textquotedblright}为数据来源,采用文献计量分析的方法,通过CiteSpace等工具,从发文信息、聚类分析及演进趋势等维度对相关文献进行统计分析和可视化知识图谱绘制,全方位考察近四十年的研究概貌,提出{\textquotedblleft}类型学{\textquotedblright}、{\textquotedblleft}语音层次{\textquotedblright}将会是湘方言语音研究较新的、有待进一步开拓的领域,为今后开拓新的研究方向提供理论依据,为湖南语保工程的资源进行深度开发利用提供数据支撑。{\textquotedblright}
基于知识监督的标签降噪实体对齐(Refined De-noising for Labeled Entity Alignment from Auxiliary Evidence Knowledge) (2022)

{\textquotedblleft}大多数现有的实体对齐解决方案都依赖于干净的标记数据来训练模型,很少关注种子噪声。为了解决实体对齐中的噪声问题,本文提出了一个标签降噪框架,在实体对齐中注入辅助知识和附带监督,以纠正标记和引导过程中的种子错误。特别是,考虑到以前基于邻域嵌入方法的弱点,本文应用了一种新的对偶关系注意力匹配编码器来加速知识图谱的结构学习,同时使用辅助知识来弥补结构表征的不足。然后,通过对抗训练来执行弱监督标签降噪。对于误差累积的问题,本文进一步使用对齐精化模块来提高模型的性能。实验结果表明,所提的框架能够轻松应对含噪声环境下的实体对齐问题,在多个真实数据集上的对齐准确性和噪声辨别能力始终优于其他基线方法。{\textquotedblright}
基于图文细粒度对齐语义引导的多模态神经机器翻译方法(Based on Semantic Guidance of Fine-grained Alignment of Image-Text for Multi-modal Neural Machine Translation) (2022)

{\textquotedblleft}多模态神经机器翻译旨在利用视觉信息来提高文本翻译质量。传统多模态机器翻译将图像的全局语义信息融入到翻译模型,而忽略了图像的细粒度信息对翻译质量的影响。对此,该文提出一种基于图文细粒度对齐语义引导的多模态神经机器翻译方法,该方法首先跨模态交互图文信息,以提取图文细粒度对齐语义信息,然后以图文细粒度对齐语义信息为枢纽,采用门控机制将多模态细粒度信息对齐到文本信息上,实现图文多模态特征融合。在多模态机器翻译基准数据集Multi30K 英语{\textrightarrow}德语、英语{\textrightarrow}法语以及英语{\textrightarrow}捷克语翻译任务上的实验结果表明,论文提出方法的有效性,并且优于大多数最先进的多模态机器翻译方法。{\textquotedblright}
多特征融合的越英端到端语音翻译方法(A Vietnamese-English end-to-end speech translation method based on multi-feature fusion) (2022)

{\textquotedblleft}语音翻译的编码器需要同时编码语音中的声学和语义信息,单一的Fbank或Wav2vec2语音特征表征能力存在不足。本文通过分析人工的Fbank特征与自监督的Wav2vec2特征间的差异性,提出基于交叉注意力机制的声学特征融合方法,并探究了不同的自监督特征和融合方式,加强模型对语音中声学和语义信息的学习。结合越南语语音特点,以Fbank特征为主、Pitch特征为辅混合编码Fbank表征,构建多特征融合的越-英语音翻译模型。实验表明,使用多特征的语音翻译模型相比单特征翻译效果更优,与简单的特征拼接方法相比更有效,所提的多特征融合方法在越-英语音翻译任务上提升了1.97个BLEU值。{\textquotedblright}
融入音素特征的英-泰-老多语言神经机器翻译方法(English-Thai-Lao multilingual neural machine translation fused with phonemic features) (2022)

{\textquotedblleft}多语言神经机器翻译是提升低资源语言翻译质量的有效手段。由于不同语言之间字符差异较大,现有方法难以得到统一的词表征形式。泰语和老挝语属于具有音素相似性的低资源语言,考虑到利用语言相似性能够拉近语义距离,提出一种融入音素特征的多语言词表征学习方法:(1)设计音素特征表示模块和泰老文本表示模块,基于交叉注意力机制得到融合音素特征后的泰老文本表示,拉近泰老之间的语义距离;(2)在微调阶段,基于参数分化得到不同语言对特定的训练参数,缓解联合训练造成模型过度泛化的问题。实验结果表明在ALT数据集上,提出方法在泰-英和老-英两个翻译方向上,相比基线模型提升0.97和0.99个BLEU值。{\textquotedblright}
机器音译研究综述(Survey on Machine Transliteration) (2022)

{\textquotedblleft}机器音译是基于语音相似性自动将文本从一种语言转换为另一种语言的过程,它是机器翻译的一个子任务,侧重于语音信息的翻译。音译后可知道源单词在另一种语言中的发音,使不熟悉源语言的人更容易理解该语言,有益于消除语言和拼写障碍。机器音译在多语言文本处理、语料库对齐、信息抽取等自然语言应用中发挥着重要作用。本文阐述了目前机器音译任务中存在的挑战,对主要的音译方法进行了剖析、分类和整理,对音译数据集进行了罗列汇总,并列出了常用的音译效果评价指标,最后对该领域目前存在的问题进行了说明并对音译学的未来进行了展望。本文以期对进入该领域的新人提供快速的入门指南,或供其他研究者参考。{\textquotedblright}
面向 Transformer 模型的蒙古语语音识别词特征编码方法(Researching of the Mongolian word encoding method based on Transformer Mongolian speech recognition) (2022)

{\textquotedblleft}针对 Transformer 模型在蒙古语语音识别任务中无法学习到带有控制符的蒙古语词和语音之间的对应关系,造成模型对蒙古语的不适应问题。提出一种面向 Transformer 模型的蒙古语词编码方法,方法使用蒙古语字母特征与词特征进行混合编码,通过结合蒙古语字母信息使 Transformer 模型能够区分带有控制符的蒙古语词,学习到蒙古语词与语音之间的对应关系。在 IMUT-MC 数据集上,构建 Transformer 模型并进行了词特征编码方法的消融实验和对比实验。消融实验结果表明,词特征编码方法在 HWER、WER、SER 上分别降低了 23.4{\%}、6.9{\%}、2.6{\%};对比实验结果表明,词特征编码方法领先于所有方法,HWER 和 WER 分别达到 11.8{\%}、19.8{\%}。{\textquotedblright}
基于注意力的蒙古语说话人特征提取方法(Attention based Mongolian Speaker Feature Extraction) (2022)

{\textquotedblleft}说话人特征提取模型提取到的说话人特征之间区分性低,使得蒙古语声学模型无法学习到区分性信息,导致模型无法适应不同说话人。提出一种基于注意力的说话人自适应方法,方法引入神经图灵机进行自适应,增加记忆模块存放说话人特征,采用注意力机制计算记忆模块中说话人特征与当前语音说话人特征的相似权重矩阵,通过权重矩阵重新组合成说话人特征s-vector,进而提高说话人特征之间的区分性。在IMUT-MCT数据集上,进行说话人特征提取方法的消融实验、模型自适应实验和案例分析。实验结果表明,对比不同说话人特征s-vector、i-vector与d-vector,s-vector比其他两种方法的SER和WER分别降低4.96{\%}、1.08{\%};在不同的蒙古语声学模型上进行比较,提出的方法相对于基线均有性能提升。{\textquotedblright}
融合双重注意力机制的缅甸语图像文本识别方法(Burmese image text recognition method with dual attention mechanism) (2022)

{\textquotedblleft}由于缅甸语字符具有独特的语言编码结构以及字符组合规则,现有图像文本识别方法在缅甸语图像识别任务中无法充分关注文字边缘的特征,会导致缅甸语字符上下标丢失的问题。因此,本文基于Transformer框架的图像文本识别方法做出改进,提出一种融合通道和空间注意力机制的视觉关注模块,旨在捕获像素级成对关系和通道依赖关系,降低缅甸语图像中噪声干扰从而获得语义更完整的特征图。此外,在解码过程中,将基于多头注意力的解码单元组合为解码器,用于将特征序列转化为缅甸语文字。实验结果表明,该方法在自构的缅甸语图像文本识别数据集上相比Transformer识别准确率提高0.5{\%},达到95.3{\%}。{\textquotedblright}
基于预训练及控制码法的藏文律诗自动生成方法(Automatic Generation of Tibetan Poems based on Pre-training and Control Code Method) (2022)

{\textquotedblleft}诗歌自动写作研究是自然语言生成的一个重要研究领域,被认为是极具挑战且有趣的任务之一。本文提出一种基于预训练及控制码法的藏文律诗生成方法。在藏文预训练语言模型上进行微调后生成质量显著提升,然而引入控制码法后在很大程度上确保了扣题程度,即关键词在生成诗作中的平均覆盖率居高。此外,在生成诗作中不仅提高词汇的丰富性,而且生成结果的多样性也明显提升。经测试表明,基于预训练及控制码法的生成方法显著优于基线方法。{\textquotedblright}
基于词典注入的藏汉机器翻译模型预训练方法(Dictionary Injection Based Pretraining Method for Tibetan-Chinese Machine Translation Model) (2022)

{\textquotedblleft}近年来,预训练方法在自然语言处理领域引起了广泛关注,但是在比如藏汉机器等低资源的任务设定下,由于双语监督信息无法直接参与预训练,限制了预训练模型在此类任务上的性能改进。考虑到双语词典是丰富且廉价的先验翻译知识来源,同时受到跨语言交流中人们往往会使用混合语言增加以沟通效率这一现象启发,本文提出一种基于词典注入的藏汉机器翻译模型的预训练方法,为预训练提供学习双语知识关联的广泛可能。经验证,该方法在藏汉和汉藏翻译方向测试集上的 BLEU 值比 BART 强基准分别高出 2.3 和 2.1,证实了本文所提出的方法在藏汉机器翻译任务上的有效性。{\textquotedblright}
基于特征融合的汉语被动句自动识别研究(Automatic Recognition of Chinese Passive Sentences Based on Feature Fusion) (2022)

{\textquotedblleft}汉语中的被动句根据有无被动标记词可分为有标记被动句和无标记被动句。由于其形态构成复杂多样,给自然语言理解带来很大困难,因此实现汉语被动句的自动识别对自然语言处理下游任务具有重要意义。本文构建了一个被动句语料库,提出了一个融合词性和动词论元框架信息的PC-BERT-CNN模型,对汉语被动句进行自动识别。实验结果表明,本文提出的模型能够准确地识别汉语被动句,其中有标记被动句识别F1值达到98.77{\%},无标记被动句识别F1值达到96.72{\%}。{\textquotedblright}