Asagi:合成データセットを活用した大規模日本語VLM

大規模言語モデル（LLM）の研究開発は世界的に急速な進歩を遂げ，テキストのみならず画像や音声など複数モダリティを扱う研究が活発化している．特に，画像とテキストを同時に入力可能な大規模Vision&Languageモデル（VLM）は，複数の商用サービスにも導入され，その有用性が広く認識されつつある．しかしながら，これらの商用VLMの多くはAPIを通じてのみ利用可能であり，モデルのパラメータや学習過程などの情報は一般に非公開である．学術コミュニティでは，よりオープンな形で研究が進められているが，大半は英語圏のデータに特化して学習された英語用モデルであり，日本語を主対象としたVLMはほとんど存在しない．日本語VLMを開発する上での最大の課題は，学この画像は、東京のレインボーブリッジを撮影したものです。...⽇本語LLMプロジェクター層画像エンコーダーこの画像を⾒て、次の指⽰に詳細かつ具体的に答えてください。この画像について詳しく説明してください。指⽰⽂語LLM，両者をつなげるプロジェクター層からなる．習データの不足である．VLMの訓練には，画像とテキストのペアデータセットが必要になるが，日本語のテキスト・画像ペアは既存の公開データセットを総合しても数百万件規模にとどまる．英語圏のVLMが数千万件規模のデータで訓練されていることを鑑みると，これは十分とはいいがたい．本研究では，Webからクロールした画像などをもとに，英語VLMや日本語LLMを用いて画像・日本語テキストデータセットを合成し，日本語VLMを学習した．本研究の主な貢献は，以下の通りである．•日本語テキスト・画像のペアデータセットを合成した．この際，生成物の利用が制限されるサービス（OpenAIGPTなど）は用いていない．•大規模VLMの効率的な学習を可能にする実装を行い，学習を実行した．学習したVLMは，利用制限のあるデータを用いていない既存モデルと比較して高い性能を示すことが確認された．.英語⻑⽂キャプション英語VLM⽇本語短⽂キャプションALTテキストなど⾦沢市のにし茶屋街を撮影した写真⽇本語⻑⽂キャプション