複数データセットで情報を共有する固有表現抽出

固有表現抽出（NamedEntityRecognition;NER）は自然言語処理の基本的なタスクであり，文書からの情報抽出における最初の手順として重要である．近年，ゼロショットまたは少数ショット学習による大規模言語モデルが注目されているが，高性能を達成するためには教師あり学習によるファインチューニングが依然として必要である[1,2,3]．教師あり学習を利用するNERモデルの性能は，通常，ラベル付きデータの量に依存するが，手動でのラベル付きデータ作成は高コストである．ラベル付きデータの量を増加させる方法の一つとして，既存のラベル付きデータセットを統合する方法がある[4,2]．しかし，同一の固有表現ラベルを対象としているデータセットであっても，その定義およびアノテーション基準が異なるため，複数のラベル付きデータセットを統一された学習データとして統合することは困難である．例えば，生物医学分野を対象としたデータセットであるBioRED[5]とBC5CDR[6]は共にChemicalを対象の固有表現としてラベル付けを行っている．しかし，実際のラベル付けを見ると，“glucose”のようにどちらのデータセットでもラベル付けされている用語もあるが，“antipsychotics”のようにBioREDではラベル付けさ薬物名ラベル…inducedbyhighglucose(HG)…BioRED…byatypicalantipsychoticssuchas……phosphataseandglucosewere…BC5CDR…effectsoftheatypicalantipsychotics…ラベルなしれているがBC5CDRではラベル付けされていないような用語が存在する．これはBC5CDRのラベル付けの基準を記載したアノテーションガイドライン1）で“役割や類似の概念に基づいて名付けられた化学物質名（anti-HIVagents,anticonvulsants,...）にはラベル付けしないでください．”と明記されていることに起因する．複数のデータセットを使用するための一般的なアプローチはマルチタスク学習である[7,8,9]．NERにおけるマルチタスク学習では，エンコーダモデルはデータセット間で共有され，各データセットに対して別の分類層があるためデータセットの差異を意識せずに学習することができる．しかし，この手法は，独立した分類層により，異なるデータセットのラベル間の関係性を考慮することができない．この問題に対処するため，Luoら[2]は，対象データセットとより適切に整合させるために追加のデータセットを処理することで，性能を向上した．しかし，この方法では，追加データセットのラベルを一つに制限し，アノテーションに対する編集を行っている．そこで，先行研究[10]において，学習時にラベルごとのベクトルを条件として与えるCVAE(ConditionalVariationalAutoencoder)を組み込んだNERモデルを提案した．この手法により複数データセットで学習を行うLuoらと同様の設定で性能向上を達成した．本研究では，この発展として，エンコーダモデル1）https://ftp.ncbi.nlm.nih.gov/pub/lu/BC5CDR/bc5CDRdataguidelines.pdf.全結合層先頭末尾スパン長さw1w2w3…
[データセット名]
の変更と条件として加えるベクトルの学習によって追加したデータセットでの性能向上を目指す．