学術ドメインに特化した日本語事前訓練モデルの構築

様々な分野と言語において、研究成果が学術論文として日々Web上に蓄積されている。例えば、自然言語処理の分野の英語論文はACLAnthology1）上に現在およそ8.1万件が公開されている。これらの大量の学術論文から人手で漏れなく知識を得るには大きなコストがかかるため、自然言語処理を用いた情報抽出[1]および知識獲得[2,3]が期待されている。現在主流の深層学習に基づく自然言語処理では、高品質なモデルを得るために、大規模なラベル付きコーパスを用いた教師あり学習が有効である。しかし、学術分野などの専門用語の扱いが重要なドメインにおいては、専門知識を持つアノテータが必要であり、アノテーションのコストが非常に高い。そのため、様々なドメイン・タスク・言語において、大規模なラベル付きコーパスが得られない少資源問題が大きな課題となっている。近年の自然言語処理では、少資源問題の対策として、BERT[4]やBART[5]のような大規模な生コーパスを用いた事前訓練モデルの転移学習が広く利1）https://aclanthology.org/用されている。特に、医療[6]・学術[7,8]・SNS[9]などのドメインでは、目的ドメインに特化した事前訓練の有効性が報告されている。日本語では、Wikipedia2）やCC100[10]を用いて事前訓練された汎用モデル3）4）5）とともに、医療[11]やSNS6）のドメインに特化した事前訓練モデルが公開されている。しかし、SciBERT[7]のような、学術ドメインに特化した日本語の事前訓練モデルは公開されていない。本研究では、日本語における学術ドメインの自然言語処理の性能改善のために、学術データベースCiNiiArticles7）の論文抄録を用いて事前訓練モデルを構築した。我々は、CiNiiArticlesに所蔵されている日本語論文のうち約127万件から抽出した約628万文の論文抄録テキストを用いて、RoBERTa[12]およびBART[5]に相当する事前訓練を行った。前者は、テキスト分類などの利用を想定した事前訓練済みエンコーダモデルであり、以降はAcademicRoBERTa8）と呼ぶ。後者は、テキスト生成などの利用を想定した事前訓練済みエンコーダ・デコーダモデルであり、以降はAcademicBART9）と呼ぶ。学術ドメインにおける日本語の文分類および文対分類の評価実験の結果、汎用モデルである東北大BERT3）および早大RoBERTa4）と比較して、学術ドメインに特化したAcademicRoBERTaの有効性を確認できた。また、学術ドメインにおける日本語のヘッドライン生成の評価実験の結果、汎用モデルである京大BART5）と比較して、学術ドメインに特化したAcademicBARTの有効性を確認できた。2）https://ja.wikipedia.org/3）https://huggingface.co/cl-tohoku/bert-base-japanese4）https://huggingface.co/nlp-waseda/roberta-base-japanese5）https://nlp.ist.i.kyoto-u.ac.jp/?BART日本語Pretrainedモデル6）https://github.com/hottolink/hottoSNS-bert7）https://ci.nii.ac.jp/8）https://github.com/hirokiyamauch/AcademicRoBERTa9）https://github.com/hirokiyamauch/AcademicBART.