JMedRoBERTa:日本語の医学論文にもとづいた事前学習済み言語モデルの構築と評価

近年，医療ドメインに特化した事前学習済み言語モデルを構築する研究が盛んである．英語圏では，医学論文データベースPubMed1）や診療記録データベースMIMIC-III[2]にもとづき，BioBERT[3]，ClinicalBERT[4]，BlueBERT[5]，PubMedBERT[6]などのモデルが提案されている．こうしたモデルは，医学用語の自動抽出[7]や表記揺れ解消[8]，医学論文の検索[9]など，幅広いタスクに応用されている．また，日本語のモデルとしては，診療記録を用いて事前学習を行ったUTH-BERT[1]が存在する．診療記録が患者情報の記録に主眼を置くのに対し，医学論文は基礎研究から症例報告まで幅広い内容を扱うのが特徴である．したがって，医学論文で事前学習を行うことにより，診療記録からは得られない知識を獲得できる可能性がある．また，英語のモデルの研究では，医学論文で事前学習∗現在はNTT人間情報研究所に所属している．1）https://pubmed.ncbi.nlm.nih.gov/されたPubMedBERTが診療記録で事前学習されたClinicalBERTよりも下流タスクでの性能が高い例が見られる[6,7]．こうした背景から，日本語の医学論文を用いたモデルの事前学習が有益だと考える．本研究では約1.8GB（約1,100万文）の日本語の医学論文データを用いてRoBERTa[10]のフルスクラッチ学習を行う．モデルのトークナイザに関しては，分かち書きを前処理として行う場合と行わない場合の双方を試す．学習したモデルを4つの医療ドメインタスク（2つが医学論文に関するもの，2つが診療記録に関するもの），およびJGLUE[11]に含まれる5つの一般ドメインタスクで評価する．評価実験の結果，提案モデルが医学論文に関するタスクでUTH-BERTよりも高いスコアを示したほか，診療記録に関するタスクでもUTH-BERTに並ぶスコアを示した．また，分かち書きを行わないモデルは行うモデルよりも概ね高いスコアを示したが，一部のタスクにおいては逆の結果が見られた．さらに，複数の一般ドメインタスクにおいて，提案モデルは一般ドメインの言語モデルに匹敵するスコアを示した．提案モデルを我々はJMedRoBERTaと名付け，付録Aに示したリンクで公開している．