医療分野に特化した日本語の小規模言語モデルの開発

本研究では，日本語の医療分野に特化した小規模言語モデルの開発を行った．日本語に焦点を絞ったテキストクリーニングと形態素解析，教科書相当の品質に分類されたテキストデータ，疾病・薬剤に関する話題についての合成テキストデータを使用し，軽量化に重きをおいた1Bの言語モデルの事前学習を実施した．このモデルをベースモデルとして指示ファインチューニングしたモデルをIgakuQAとJMED-LLMを用いて評価を行った．ファインチューニングモデルにおいて，JMED-LLMの8つの評価指標のうち，6つのタスクで既存の大規模言語モデルより高いスコアを示した．この結果から，ネットワークや計算資源が限られた環境において，特定の分野に特化した小規模言語モデルの運用が選択肢の１つになり得る可能性が示唆された．