低資源な法ドメイン含意タスクにおけるデータ拡張

事前学習済み言語モデルBERT[1]により，自然言語処理分野は大いに進歩した．BERTをファインチューニングすることで，様々なベンチマークタスクにおいて，従来の手法を超える性能が報告されている．法分野における含意関係認識タスクでも，BERTを使用したモデルが最高スコアを達成している[2]．しかし，BERTのような事前学習済み言語モデルを特定タスクにファインチューニングするには，一定の規模の学習データが必要となる．これは，ラベル付き言語資源の少ないドメインでは課題となっており，法分野も例外ではない．本稿では，日本語法分野含意関係認識タスクを対象として，法律文を用いたルールベースのデータ拡張手法の提案と検証を行う．また，法分野などのドメインに特化した事前学習済み言語モデルの入手が困難な場合，Wikipedia等で学習された既存モデルをドメイン固有のデータで追加事前学習を行う必要がある．法分野の場合，ラベルなしデータであっても入手が困難であることから，ファインチューニングによるドメイン適合にもデータ拡張が必要となる．このため，本稿では，追加事前学習の際に対照学習を用いた擬似的なデータ拡張手法の提案と検証も行う．