学術ドメインに特化した日本語事前訓練モデルの構築

本研究では、日本語の学術文書を用いてRoBERTaおよびBARTを事前訓練し、公開する。近年の自然言語処理では、事前訓練モデルの転移学習によって、様々なタスクの性能が向上している。特に、専門用語の扱いが重要となる医療や学術などのドメインにおいては、目的ドメインに特化した事前訓練の有効性が報告されている。我々は、学術データベースCiNiiArticlesの論文抄録を用いて、日本語の学術ドメインにおける事前訓練モデルを構築する。科研費の研究課題名を対象とする評価実験の結果、汎用モデルに対する提案モデルの有効性を確認した。