オープンなVLMを活用した日本語マルチモーダル指示データセットの構築

日本語に特化した視覚言語モデル（VLM）の指示追従能力を高めるには，高品質な日本語のマルチモーダル指示データが不可欠である．しかし，高品質な日本語のデータ量は英語と比べて限られており，その確保が性能向上の障壁となっている．従来はクラウドソーシングなどを活用し，人手によるデータ作成が行われていた[1]が，コストと時間を要する問題があった．近年では，大規模言語モデル（LLM）の急速な発展を背景に，LLMを用いて指示データを合成する手法が主流になりつつある．代表的な手法として，LLaVA[2,3]では，人手で付与されたテキスト情報（キャプション，物体ラベルとBoundingBoxの組）をGPT-4[4]に入力し，英語指示データを合成している．日本語指示データの構築においても，英語指示データの機械翻訳[5]やLLaVA画像LLMによる合成（⼊⼒：テキスト情報）猫の⾊や特徴について説明できますか？画像に写っている猫の⾊や特徴については、具体的には分からないため、正確な情報は提供できません。…キャプションAcatsittingonthebackofaredmotorscooter.Acatthatissittingonamotorcycle.Acatsniffsthehandleofamotorbikewhilestandingontheseat.acatstandingontopofamotorscootersniffingthehandlebarsAkittenisstandingontheseatofamotorcycle.VLMによる合成（⼊⼒：画像+テキスト情報）テキスト情報猫の⽑⾊や模様はどのような特徴がありますか？物体ラベル・BoundingBox猫は茶⾊と⿊の縞模様で、⽩い前⾜が特徴的です。…pottedplant:[0.927,0.391,0.998,0.600]pottedplant:[0.771,0.388,0.958,0.729]cat:[0.231,0.006,0.861,0.923]motorcycle:[0.005,0.155,1.000,0.980]による合成（右上）では，テキスト情報のみに依存するため品質が低下するのに対し，VLMによる合成（右下）では，画像も参照することで正確に記述できている．と同様の方法による合成[6]が行われている．しかし，LLMによる合成や機械翻訳などの既存手法には，二つの課題がある．第一に，視覚情報の欠落に起因する品質の限界である．生成時に画像を参照しないため，品質の低下やハルシネーションが生じる懸念がある[7]．第二に，ライセンスの制約である．公開されている既存の日本語指示データセットの多くは，ライセンスによる制限があるモデルを用いて構築されている．そのため，それらを学習に用いたVLMもライセンスの制約を受け，自由な活用が妨げられる可能性がある．視覚情報の欠落の課題に対し，VLMを用いて画像から詳細な英語キャプションを合成する手法が提案されている[7]．日本語指示データの構築においても，VLMで合成した英語キャプションをLLMで日本語に翻訳する手法が報告されている[8]が，翻訳時に画像を参照しないことから，同様の課題が残る．また，VLMを用いて画像から直接日本語指示データを合成する取り組みもある[6]が，ライセンスによる制限があるVLMが用いられている．本研究では，オープン1）なVLMを用いて，自然1）本研究では，ApacheやCreativeCommonsなど，利用規約による制約が最小限のライセンスの下で公開されていることを「オープン」と定義する．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).“LLM”はgpt-4o-2024-11-20を用いたLLM-as-a-Judgeによる評価結果を表す．†印は，ライセンス制限付きデータを学習に用いていないオープンなモデルを示す．太字はGPT-4o以外のモデルの中で最高のスコアを，下線はオープンなモデルの中で最高のスコアを意味する．Heron-BenchJA-VLM-Bench-ItWJA-VG-VQA-500モデルLMサイズLLM(%)ROUGE-LLLM(/5.0)ROUGE-LLLM(/5.0)JapaneseInstructBLIPAlpha†[9]7B23.514.2