医療分野に特化した日本語の小規模言語モデルの開発

2023年から2024年にかけて，Transformer[1]ベースの大規模言語モデル(LLM)の開発は各社・研究機関が精力的に開発を行っており，多様なタスクや評価指標において，人間レベルに匹敵あるいは上回る結果を出している．これらの成果を基にして，医学知識に富んだモデルの開発も行われている．[2,3,4]しかしながら，LLMは高い性能を発揮する反面，計算コストが高いなど，運用面での欠点も抱えており，個人情報漏洩のリスクなどの観点からネットワークから切り離されている環境下での運用が難しく，費用面においても導入が容易ではない場合が考えられる．LLMが注目される一方で，Microsoftのphiシリーズを筆頭に，パラメータを抑えて計算コストを削減した小型言語モデル（SLM）において，パフォーマンスの向上が報告されている．特に，phi-1[5]で提案されたTextbookapproachは，言語モデルのトレーニングに教科書品質のデータのみを使用することでモデルの品質を高めることに加え，より大規模な言語モデルを用いて生成した合成テキストデータを用いることで，コード生成タスクにおいて，より大きなモデルと同等の優れたパフォーマンスを発揮することを示した．本研究では，計算資源の限られた医療機関等においても，高い専門性と軽快動作を両立する小規模言語モデルを目指して開発を行った．