高精度な日本語マルチモーダル大規模言語モデルの構築にむけたデータセットの検討

大規模言語モデル(LLM)の急速な発展に伴って，画像も入力として扱えるマルチモーダル大規模言語モデル(MLLM)が注目されている．MLLMは視覚と言語の統合的な理解を通じて，より自然で直感的なインタラクションを可能にし，多様なタスクにおいて効果的なサポートを提供することが期待されている．しかし，MLLMの研究は盛んに行われている一方で，日本ドメインに特化したMLLMを構築する試みはまだ少ない．特に，日本語MLLMの指示学習において重要となる画像と対話のペアデータは英語に比べてまだ少ない課題がある．そこで，本研究では高精度な日本語MLLMを学習させるデータセットの構築を目的とする．日本語MLLMを構築する上で，日本ドメインの画像の理解が重要となる．特に，日本固有の物体を認識する能力，日本語の文字を読む能力が重要となる．そこで，本研究ではまずYFCC100M[1]から日本ドメインの画像を，CommonCrawlから日本語や英語の文字が含まれる画像を集めた．これらに対して公開モデルによって生成された対話データを付与することで，学習データセットを構築した．実験により，特にYFCC100Mから収集した日本ドメイン画像の対話データがベンチマーク上の性能を大きく向上させる事が分かった．得られたモデルは日本ドメインの画像理解を問うベンチマークで最も良い性能を示し，構築したデータセットの有用性を確認した．