JMedRoBERTa:日本語の医学論文にもとづいた事前学習済み言語モデルの構築と評価

英語圏において，医学論文で事前学習を行った言語モデルが，医療ドメインの様々なタスクで有効であることが示されている．日本語では診療記録で事前学習を行ったUTH-BERT[1]が公開されているものの，医学論文を用いたものは存在しない．そこで本研究では，日本語の医学論文で事前学習した言語モデルであるJMedRoBERTaを提案する．評価実験の結果，JMedRoBERTaは医療ドメインタスクにおいてUTH-BERTと同等またはより高い性能を発揮するほか，一般ドメインタスクにおいても比較的高い精度を示すことを確認した．また，複数トークナイザの比較から，トークナイザの差によりモデルが得意とするタスクが異なる傾向が示唆された．