医療用大規模日本語視覚言語モデルの構築

近年、大規模視覚言語モデル（VLM）の発展により、画像と言語を統合してユーザと対話を行う基盤モデルが急速に普及している。GPTシリーズ[1]やGemini[2]などを筆頭に活発にVLMが開発されており、国内でもSarashina1）やAsagi[3]など多くのモデルが公開されている。これらの基盤モデルは日常的な対話アシスタントから専門的な産業応用まで、実社会の様々な場面で活用され始めている。一方、医療分野での活用に目を向けると、国内では医療情報は厳重に保護されているため取り扱いには特段の配慮が求められる。医療機関における生成モデル活用に関しては公的ガイドライン[4]が改定され、クラウド利用を含む環境整備が進みつつある1）https://huggingface.co/sbintuitions/sarashina2-vision-14b上の例はCT画像に対する質問応答。下の例はX線画像に対する読影レポートを出力しており、推論なし・ありの2種類のモデルの結果を図示している。ものの、依然として多くの医療機関では組織外への医療情報の持ち出しは原則的に禁止といった運用を続けている。したがって、医療分野では患者データを外部へ送らずに運用できる、オンプレミス前提のモデルが強く求められる場面が多い。その流れを受けて、医療分野でも高い性能を有するような医療領域特化のオープンな生成モデルが公開され始めており、既に大規模言語モデル（LLM）では多様な医療Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).CoT形式を模したデータで、下線部のタグは推論のステップを示す。画像の詳細な記述、2.記述に基づいた推論、３.最終的な答えの3ステップに分かれる。データ内では1、2のステップをそれぞれ<description>、<thinking>のタグで囲うことで明示的に識別する。この手法はいくつかの研究[19,20,21]でも採用されており、推論ステップの出力を強制することで、性能向上を図る。LLMはNormaldata、Reasoningdata共にGPT-oss120B[22]のreasoning_eﬀortをhighにして使用した。クローズドモデルは生成物に対する特殊ライセンスが付与されることが多いので使用しなかった。3モデルの構築モデルアーキテクチャ本モデルはLLaVA[9]をベースとしたエンコーダ・デコーダ型のVLMである。LLaVAは画像特徴を抽出するエンコーダ、テキストを生成するデコーダ（LLM）、そして両者を結合するプロジェクター（2層のMLP）によって構成されている。本モデルでは画像エンコーダにSigLIP[23]を、テキストデコーダにSIPHealthcaregenerativeAIprojectが提供する日本語医療LLMであるSIP-jmed-llm3）を用いた。結果、本モデルの総パラメータ数は約14Bとなった。モデルの訓練モデルの実装には分散学習フレームワークであるMegatron-LM[24]を用いた。前述の通り、LLaVAの訓練方法に従って本研究でも2段階の学習手法を採用した。Stage1:プロジェクター層のみを学習。Stage2:プロジェクター層とテキストデコーダを学習。Stage1の訓練には画像キャプション対を、Stage2の訓練にはVQAデータを約1,200万件用いた。その際、Stage2の訓練データに3）SIP-jmed-llm-3-13b-OP-4k-baseの一世代前モデルNormaldataを使用して推論なしモデルを学習し、Reasoningdataを使用して推論ありモデルを学習した。学習にはNVIDIAH200を8枚使用し、stage1の学習には約3日、stage2の学習には約6日を要した。また、データ作成時、再キャプショニングはH200を10ノード（80枚）用いて12日間行った、VQA作成はH200を10ノード用いて18日間行った。4実験設定4.1評価データ評価データとして２種類の医療画像データを用いる。それぞれのデータの画像とそれに対する質問応答の例は図1に示す。CT画像自治医科大学で収集された消化器癌患者のCT検査とその読影レポートを元に作成された質問応答データを評価データとして用いる。１枚のCT画像に付き１組のVQAが医師により付加されており、935件をテストデータとして用いる。質問、応答の平均文字数はそれぞれ21文字、25文字である。X線読影レポート英語の大規模医療データであるMIMICCXR[25]を日本語に翻訳したデータを評価データとして用いる。MIMICCXRから１枚のX線画像を元に記述された読影レポートのみをフィルタリングし、GPT-5を用いて日本語に翻訳した。テストデータとして300件、Fine-tuningを行うための訓練データとして10,050件を作成した。MIMICCXRのレポートにはいくつかのセクションが含まれるが、そのうちFINDINGSとIMPRESSIONを連結してAnswerとして採用し、INDICATION、HISTORY、EXAMINATION、TECHNIQUEを患者のorg/licenses/by/4.0/).CTX線ModelSizeRougeLRougeLLAJGPT-5––16.113.59GPT-4.1––13.95