本稿では画像とテキストを入力として文生成が可能なタイプの日本語向け大規模マルチモーダルモデル(LMM)開発について報告する。今回採用した開発手順は初めにLMMの構成要素であるモデルパーツの付け変えを行った後に追加で訓練を行う形態をとっている。この開発過程で行ったモデルの新しい付け替え(結合)方法やその手順、そこからさらに日本語向けにデータを用意し、追加訓練を行った内容について説明する。作成したLMMに対して日本語向けベンチマークで評価し、モデル精度とその変化についても公開する。

近年、言語処理用の性能の高い大規模言語モデル(LLM)と画像処理用のVisionTransformer[1]やCLIP[2]系統のモデルをVisionEncoderとして接続し、画像と言語に対応する大規模マルチモーダルモデル(LMM)の開発が盛んである[3]。しかしながら、作成されたモデルの多くは英語向けになっており、また訓練に使われるデータセットも英語と比べると日本語のものは少なく、日本語向けに特化したLMMの数は多くない。そのため、本研究では、メインは中国語向けではあるものの、精度の高いLMMであるQwen2-VL-7B-Instructモデル[4]を利用し、日本語向に強いLLMであるLlama3.1-Swallow-8B-v0.2モデル[5]を結合してLMM作成を行う。この手段を用いることで、Qwen2-VLと比べて日本語による安定生成が可能になり、またQwen2-VLというLMMで採用した機能を持つモデルを作成することができる。この訓練前のモデル(結合モデル)作成の際には二つの別々に作られたモデルを融合するための手段が必要である。また、この結合モデルを作成した後は、日本語に強いモデルに仕上げるために、日本語データを追加で作成し、訓練する必要がある。その後、できたモデルに対して評価を行う。これらの課程で行ったことについて本稿では節を分けて順番に説明する。