LLM-jp-3VILA:日本語マルチモーダルデータセット及び強力な日本語マルチモーダルモデルの構築

強力な視覚言語モデル(VLM)を構築するためには、画像・テキスト対データや交互配置(interleaved)データ、指示データなどのマルチモーダルデータが必要である。しかし、英語のデータは豊富にあるが、日本語のデータは限られている。この問題に対処するため、我々はゼロから日本語のマルチモーダルデータセットを構築する。我々はウェブ上の画像・テキスト対データとinterleavedデータを構築し、さらに既存の大規模言語モデル(LLM)やVLMを利用して日本語のマルチモーダル指示データを構築する。これらのデータセットを利用して学習したモデルは、先行研究の機械翻訳を用いて構築したデータによるモデルよりも高い性能を示した。