オープンなVLMを活用した日本語マルチモーダル指示データセットの構築

日本語に特化した視覚言語モデル（VLM）の指示追従能力を高めるには，高品質な日本語のマルチモーダル指示データが不可欠である．既存の日本語指示データの多くは，ライセンスによる制限がある大規模言語モデル（LLM）を用いて合成されており，視覚情報の欠落による品質低下やライセンス制約の問題がある．本研究では，オープンなVLMを用いて自然画像を対象とした2種類の日本語マルチモーダル指示データセットを構築する．画像を参照して合成することで，視覚情報に基づく正確な記述を実現し，オープンなVLMを用いることで，ライセンスの問題を解決する．実験の結果，構築したデータセットで指示チューニングした日本語VLMは，ライセンス制限付き指示データセットを学習に用いた既存の日本語VLMと同等の性能を達成し，既存のオープンな日本語VLMを上回る性能を示した．テキスト情報