表層が同じ文字列の同一性を表現した深層固有表現抽出

固有表現抽出（NamedEntityRecognition;NER）は文章中から人名や組織名などの固有表現を特定し，分類するタスクである[1]．これは自然言語で記述された情報を計算機で扱うための基礎技術で，取得した固有表現は関係抽出や質問応答などの下流タスクに利用される[2]．NERにおいては，BERT(BidirectionalEncoderRep-resentationsfromTransformers)[3]を用いた手法[4,5]が高い性能を示しており，未知の単語を含む固有表現が登場しても，文脈情報からある程度正しく予測できる．一方で，文脈のみでは固有表現を正しく認識出来ない場合がある．例えば，略語の場合では，一度だけ用語の種類も特定できるように定義し，以降の文脈では用語の種類が特定できない形式で記述されて，正しく予測できないことがある．人はこのような場合においても，最初に定義された用語に関する文脈に基づいて，中盤以降の同じ用語を解釈することで，文書を正しく読むことができる．この経験則に関連する仮説として，議論や文書中に現れる表層が同じ語句同士は，それぞれ同じ意味を示す傾向が強いとするOneSensePerDiscourse仮説（OSPD仮説）[6]が提唱されている．OSPD仮説を考慮して，文書中の表層が同じ語句すべての意味が同じと解釈できれば，語句の解釈の曖昧性を減少できる可能性がある．しかしながら，BERTを用いたNERにおいては，OSPD仮説を表現できず，考慮もされていない．BERTを用いたNERにおいては，表層が同じトークンに対して，同じ単語表現を使うことはあっても，それらのトークンの表層が同一であるという情報はBERT内では表現されていない．さらに，入力の単語や単語表現が同じでもBERTによって文脈化された単語表現に変更されるため，同じトークンに対しても，異なった単語表現が使われる．そこで本研究では，BERTを用いたNER[5]を基盤に，OSPD仮説を考慮した深層固有表現抽出モデルを実現し，その固有表現抽出に与える影響を明らかにすることを目指す．そのために，BERTの内部で文書中の表層が同じ文字列の同一性を表現する機構を取り入れ，それを利用した固有表現抽出モデルを構築する．OSPD仮説をモデル内で明示的に表現できれば，略語の例のように，解釈の曖昧性を減らし，より正しく固有表現の認識を行うことができると期待される．