大規模マルチモーダルモデルにおけるビジョンエンコーダー

本稿では画像とテキストを入力として文生成が可能なタイプの日本語向け大規模マルチモーダルモデル(LMM)開発について報告する。今回採用した開発手順は初めにLMMの構成要素であるモデルパーツの付け変えを行った後に追加で訓練を行う形態をとっている。この開発過程で行ったモデルの新しい付け替え(結合)方法やその手順、そこからさらに日本語向けにデータを用意し、追加訓練を行った内容について説明する。作成したLMMに対して日本語向けベンチマークで評価し、モデル精度とその変化についても公開する。