system: [SYSTEM]

user: 4. 形态消歧策略及方法框架 本文通过选择最常见形态分析与规则相结合的形态消歧策略，来实现土耳其语的形态句法标注。选择最常见形态分析指的是，在经过准确形态句法标注的大规模语料库中，统计找出单词出现频次最高的形态分析形式，并将该形态分析选为该词在所有文本中的形态分析结果。通过最常见形态分析词典，可以快速实现土耳其语单词的形态分析，同时能够解决部分形态歧义问题。对于难以通过词典获得准确形态分析结果的歧义问题，则采用语法和上下文约束规则来完成歧义单词的形态句法标注。整个形态消歧系统主要包括文本预处理、命名实体识别、固定搭配识别、未登录词处理、形态句法标注和形态消歧等6个基本模块，整体框架如图1所示。 图1. 形态消歧流程图 4.1. 文本预处理 拼写错误、复合词和缩略语作为集外词(OOV)的重要组成部分，是影响土耳其语形态句法标注的三个重要因素，三者的处理与否将会直接影响系统的整体性能。我们将可做预处理的土耳其语拼写错误大致分成三类，第一种是单词拼写错误，第二种是多个首字母大写单词连写引起的拼写错误，第三种是字母“â”和“î”导致的同一单词的两种不同写法。对于包含字母“â”和“î”的单词，只需使用字母“a”和“i”进行替换即可。对于常见拼写错误和第二种拼写错误，则基于形态分析词典构建常见拼写错误替换词表，通过遍历、匹配和替换实现拼写校正。 包含字母“â”和“î”的单词实例： pekâlâpekala askerîaskeri 单词拼写错误实例： alıcamalacağım yukaridakileryukarıdakiler 首字母大写单词连写实例： AarhusBelediyesiAarhus Belediyesi AbdullahAbdülkadiroğlu Abdullah Abdülk-adiroğlu 土耳其语复合词可以连写，也可以分写，一个新的复合词的意思一般可以通过拆分来进行理解。在不同的文本中，土耳其语复合词的拼写形式通常也会有所不同。例如，在规模为500万句的新闻语料中，土耳其语复合词işadamları(企业家)的连写和分写形式出现的次数分别1881次和1374次。这种情况的存在会严重增加数据稀疏性，为此，需要对两种拼写形式进行统一。除了上述类型的复合词之外，系统还将对带有连词符“-”的复合词进行切分，切分后形态句法标注处理方式与复合名词相同。 复合名词切分实例： Işadamlarıiş adamları sıradışı sıra dışı Asya-PasifikAsya Pasifik 在缩略语的处理上，本文通过构建常用缩略语词表来实现缩略语与相应词语的转换，以进一步减少未登录词的个数。常用缩略语替换词表中的缩略语主要来自TS-Corpus形态分析词典，为了扩展词表的规模，本文还对训练语料中出现的未登录缩略语进行统计，通过频率选取常用缩略语，之后经过人工处理添加至词表。词表中主要包括三种类型的缩略语，第一类是不带句点“.”的土耳其文缩略语，第二类是翻译成土耳其语的英文缩略语，第三类是带句点“.”的缩略语。其中，对于带句点“.”缩略语的处理，可以减轻数据稀疏问题，也有助于提高分句的准确率。 常用缩略语词表转换实例： 带句点“.”的缩略语： Dr.Doktor T.B.M.M.Türkiye Büyük Millet Meclisi 翻译成土耳其语的英文缩略语： GovHükümet AspEtkin Sunucu Sayfaları 不带句点“.”的缩略语: TBMM Türkiye Büyük Millet Meclisi TOBB Türkiye Odalar Ve Borsalar Birliği 4.2. 命名实体识别 根据土耳其语单词的书写规范，人名、地名、组织机构名等命名实体中的单词首字母均需要大写，且后接词缀时要求以单引号(’)隔开，其形态句法标记主要取决于单引号之后词缀的具体形态，想要得到该类单词的正确形态分析结果，只需要确定分隔符单引号后接词缀的形态句法信息即可。根据这一特点，本文在处理带单引号的单词时，首先通过分隔符单引号将单词分为实体单词与带单引号的词缀字符串两个部分，然后再对两者分别进行形态句法标记。其中，实体单词直接通过形态分析词典转换为单词词根形式，带单引号的词缀部分则使用命名实体词缀形态分析表转换为形态句法标记。 命名实体词缀实例： 'lerinizle Noun+Prop_Apos_A3pl_P2pl_Ins 'larınca Noun+Prop_Apos_A3pl_P3sg_Equ 对于不带单引号(’)的命名实体，实体类名词可以通过形态分析词典直接输出形态分析结果。对于时间类和数字类实体采用上下文约束规则的方法进行形态分析，在规则设置上，结合实体本身独有的特征，如“日–月–年”、“日–月”等固定型式，利用词类、单词和空格等约束成分判定实体类别。 4.3. 固定搭配识别 土耳其语固定搭配可分为词汇化与非词汇化固定搭配两类。词汇化固定搭配与短语(或词组)之间并无严格的界限，但词汇化固定搭配更加具有整体性，其作为一种固定的单一结构意义单位，并不是意义单位的简单相加，且单词之间不可再插入其它成分。例如：表示特定概念的固定搭配“çamaşır makinesi”(洗衣机)与类别短语“ahşap ev”(木屋)，“çamaşır makinesi”插入数词“bir”之后，固定搭配会失去原有意义，且不再具有固定搭配性质；表示材质的名词短语“ahşap ev”则可插入数词“bir”，插入之后意思基本不变，且仍是一个符合句法规范的名词短语“ahşap bir ev”(一座木屋)。鉴于词汇化固定搭配成份间的紧密关系，本文对词汇化固定搭配进行形态分析时，将参照复合词的处理标准，在考虑词汇化固定搭配整体形态句法属性前提下，不再对构成词汇化固定搭配的词根词进行标记。 词汇化固定搭配形态分析实例： çamaşır Noun + A3sg + Pnon + Nom makine Noun + A3sg + P3sg + Nom → çamaşır makine Noun + A3sg + P3sg + Nom doğru + Adj dürüst + Adj → doğru dürüst Adj 非词汇化固定搭配主要体现在语义和句法功能的变化上，利用这些词汇化和非词汇化固定搭配设置相应的规则，可以解决土耳其语部分形态歧义问题。例如，非词汇化结构“gelir gelmez”中，当单词“gelir”作为动词单独出现时，其形态分析结果为gel + Verb + Pos_Aor + A3sg (词根 + 动词 + 肯定_一般现在时 + 第三人称单数)；当单词“gelmez”作为动词单独出现时，其形态分析结果为gel + Verb_Neg_Aor + A3sg (词根 + 动词_否定_一般现在时 + 第三人称单数)；当两者均作为动词同时出现时，其句法功能相当于副动词。类似的非词汇化结构在土耳其语中还有许多，它们通常可以形式化表示为R + X R + Y，其中R为词根，X和Y为相同或不同词缀的形态句法标记。此类非词汇化固定搭配可以通过已标记文本固定搭配规则来进行处理。 4.4. 未登录词的处理 虽然系统中使用的标记语料库单词数量高达100多万，但是由于土耳其语严重的数据稀疏问题，导致在处理过程中仍会遇到许多数据库中没有存储的单词形式。考虑到未登录词大多为名词和形容词，本文从句法功能角度出发将所有未登录词全都按照名词原形处理。此外，系统还设置了未登录词记忆模块，用户可以通过手动或者形态分析器对未登录词的形态分析结果进行调整，无歧义的形态句法分析可直接添加到基础形态分析频度表中。 4.5. 上下文约束规则 原始文本经过初步的形态消歧之后，生成的已标记文本存储的形式如下： [A n ， n> n>] [A n+1 ， n+1> n+1>] [A n+2 ， n+2> n+2>] …… 其中，A n 代表的是已标记文本中的第n个词符，n为大于等于1的整数。B n 代表的是已标记文本中的第n个词符的词根形式。C n 代表的是已标记文本中的第n个词符的句法分析。 根据以上特点，我们共建立了以下几种类型的规则： 1) 动词型式构成的非词汇化固定搭配处理规则 如果C n = a，C n+1 = b，则[A n ， n> n>] [A n+1 ， n+1> n+1>]转换为[A n + A n+1 ， n + A n+1 > n>]。其中，a和b代表的是具体的词形、词根或者形态句法分析，D n 是符合条件的情况下规定搭配具体的句法分析。 2) 形容词型式构成的非词汇化固定搭配处理规则 如果B n = B n+1 ，C n = C n+1 = a， 则[A n ， n> n>] [A n+1 ， n+1> n+1>]转换为[A n + A n+1 ， n + A n+1 > n>]； 如果B n = B n+2 ，C n+1 = a， 则[A n ， n> n>] [A n+1 ， n+1> n+1>] [A n+2 ， n+2> n+2>]转换为[A n + A n+1 + A n+2 ， n + A n+1 + A n+2 > n>]。 3) 名词型式构成的非词汇化固定搭配处理规则 如果B n = a，C n = C n+1 = b， 则[A n ， n> n>][A n+1 ， n+1> n+1>] [A n+2 ， n+2> n+2>]转换为[A n + A n+1 + A n+2 ， n + A n+1 + A n+2 > n>]。 4) 基于词符所处位置的形态消歧规则 如果A n = a，C n+1 = ，则[A n ， n> n>]替换为[A n ， n2> n2>]。其中，a是存在歧义的词符，B n2 是该词符第二种形态分析的词根，C n2 是该词符第二种形态分析的句法分析。 5) 基于上下文语法约束条件的形态消歧规则 如果A n+1 = a，C n 格标记 = c，则[A n+1 ， n+1> n+1>]转换为[A n+1 ， (n+1)2> (n+1)2>]。 即A n+1 = 单词Bakan，C n 格标记 = Dat，则 转换为 。 6) 基于单词同现的消歧规则 在某些情况下中，两个单词同时出现通常具有较为固定的句法功能，此时，两者中的一个或者两个单词存在歧义，则可以建立下列规则形式进行处理： 如果A n = a，A n+1 = b，则[A n ， n> n>] [A n+1 ， n+1> n+1>]转换为[A n ， n> n2>] [A n+1 ， n+1> n+1>]； 或[A n ， n> n>] [A n+1 ， n+1> n+1>]转换为[A n ， n> n>] [A n+1 ， n+1> (n+1)2>]，或[A n ， n> n>] [A n+1 ， n+1> n+1>]转换为[A n ， n> n2>] [A n+1 ， n+1> (n+1)2>]。