CVAEによる複数データセットからの固有表現抽出

固有表現抽出は自然言語処理分野における基礎的な問題であり，文書からの情報抽出の第一段階として重要である．特に深層学習の進歩により，教師あり深層学習を用いた手法が主流となっている[1,2]．教師あり深層学習を用いた固有表現抽出モデルの性能は一般にラベル付きデータの量に依存するが，ラベル付きデータの作成には高いコストがかかる．学習に用いるラベル付きデータを増やすために，既存のラベル付きデータセットを組み合わせて使用する方法が考えられる．しかし，同じ固有表現を対象としたデータセットであっても，データセットごとに特徴があるため，既存のラベル付きデータセットを複数組み合わせた学習は単純ではない．具体的にはそれぞれのデータセットごとにラベルの種類の違い，基準の違いによって，ラベル付けされる用語に違いがあるため，同様のデータとして扱うことが難しいという問題がある．例えば，生物医学分野の文章に対する固有表現抽出のデータセットであるBC5CDR(BioCreativeVCDRtaskcorpus)[3]とNCBI(NCBIDiseasecorpus)[4]では，ともに“pain”が含まれており，BC5CDRでは病名としてラベル付けされているが，NCBIではラベル付けされていない．複数のデータセットを組み合わせて使用する既存手法としてマルチタスク学習を行う手法がある[5]．マルチタスク学習では，ベースとなるモデルを共有しつつ，データセットごとに異なる分類層を用意することで，上記のようなデータセットごとの違いを気にせずに学習できる．一方でデータセットごとの違いを気にせず別のものとして扱うため似たラベルや同じラベルを十分に活かせない，データセットの組み合わせに左右され性能が上がるとは限らないという問題がある．それに対してLuoら[6]は対象とするデータセットの各ラベルに対して，追加データセットをそれぞれ一つのラベルのみが含まれるように処理して加えることで，マルチタスク学習に対する性能向上を達成した．しかし，Luoらの手法ではモデルが単純である代わりに追加するデータセットの選定と正解ラベルに対する人手による編集が必要になる．本研究では学習データの増加と対象にできるラベルの数の増加のために，ラベル付けの基準の違いを考慮した既存のデータセットの有効利用を目的とする．そのためにマルチタスク学習中に異なるデータセットで付与されたラベル間の関係を弱い制約として加える手法を提案する．具体的には，与える条件に応じた生成が可能なCVAE(ConditionalVariationalAutoencoder)の構造に注目し，その損失関数を固有表現抽出モデルに組み込む．本稿の貢献を以下に示す．•CVAEの損失関数によって，表現ベクトルに異なるデータセットのラベル間の関係を表す弱い制約をかける固有表現抽出モデルの提案．•ラベル付けの基準の違いを考慮した複数データセットからの学習の有効性の確認．•複数データセットに対して人手でラベルを編集を加えず特定のデータセットに合わせた学習の実現．.：スパン長さの埋め込み表現全結合層先頭末尾[CLS]w1w2w3…[データセット名][SEP]