本研究では，日本語の医療分野に特化した小規模言語モデルの開発を行った．日本語に焦点を絞ったテキストクリーニングと形態素解析，教科書相当の品質に分類されたテキストデータ，疾病・薬剤に関する話題についての合成テキストデータを使用し，軽量化に重きをおいた1Bの言語モデルの事前学習を実施した．このモデルをベースモデルとして指示ファインチューニングしたモデルをIgakuQAとJMED-LLMを用いて評価を行った．ファインチューニングモデルにおいて，JMED-LLMの8つの評価指標のうち，6つのタスクで既存の大規模言語モデルより高いスコアを示した．この結果から，ネットワークや計算資源が限られた環境において，特定の分野に特化した小規模言語モデルの運用が選択肢の１つになり得る可能性が示唆された．

2023年から2024年にかけて，Transformer[1]ベースの大規模言語モデル(LLM)の開発は各社・研究機関が精力的に開発を行っており，多様なタスクや評価指標において，人間レベルに匹敵あるいは上回る結果を出している．これらの成果を基にして，医学知識に富んだモデルの開発も行われている．[2,3,4]しかしながら，LLMは高い性能を発揮する反面，計算コストが高いなど，運用面での欠点も抱えており，個人情報漏洩のリスクなどの観点からネットワークから切り離されている環境下での運用が難しく，費用面においても導入が容易ではない場合が考えられる．LLMが注目される一方で，Microsoftのphiシリーズを筆頭に，パラメータを抑えて計算コストを削減した小型言語モデル（SLM）において，パフォーマンスの向上が報告されている．特に，phi-1[5]で提案されたTextbookapproachは，言語モデルのトレーニングに教科書品質のデータのみを使用することでモデルの品質を高めることに加え，より大規模な言語モデルを用いて生成した合成テキストデータを用いることで，コード生成タスクにおいて，より大きなモデルと同等の優れたパフォーマンスを発揮することを示した．本研究では，計算資源の限られた医療機関等においても，高い専門性と軽快動作を両立する小規模言語モデルを目指して開発を行った．