Asagi:合成データセットを活用した大規模日本語VLM

大規模言語モデル（LLM）の発展として，画像など他のモダリティも扱う大規模マルチモーダルモデルの研究が進んでいる．本研究で注目するVision&Languageモデル（VLM）は，画像とテキストを同時に入力可能なモデルである．しかしながら，データが潤沢な英語モデルに比べ，データの不足する日本語モデルの開発は十分とはいえない．本研究では，日本語能力に特化したVLMの開発のため，大規模な日本語テキスト・画像ペアの合成データセットを新たに構築した．なお，データセットの構築時に，ライセンスによってデータ利用が制限されるLLMは用いていない．構築したデータセットを用いて日本語VLMを訓練し，その性能を評価した．