大規模マルチモーダルモデルにおけるビジョンエンコーダー

近年、言語処理用の性能の高い大規模言語モデル(LLM)と画像処理用のVisionTransformer[1]やCLIP[2]系統のモデルをVisionEncoderとして接続し、画像と言語に対応する大規模マルチモーダルモデル(LMM)の開発が盛んである[3]。しかしながら、作成されたモデルの多くは英語向けになっており、また訓練に使われるデータセットも英語と比べると日本語のものは少なく、日本語向けに特化したLMMの数は多くない。そのため、本研究では、メインは中国語向けではあるものの、精度の高いLMMであるQwen2-VL-7B-Instructモデル[4]を利用し、日本語向に強いLLMであるLlama3.1-Swallow-8B-v0.2モデル[5]を結合してLMM作成を行う。この手段を用いることで、Qwen2-VLと比べて日本語による安定生成が可能になり、またQwen2-VLというLMMで採用した機能を持つモデルを作成することができる。この訓練前のモデル(結合モデル)作成の際には二つの別々に作られたモデルを融合するための手段が必要である。また、この結合モデルを作成した後は、日本語に強いモデルに仕上げるために、日本語データを追加で作成し、訓練する必要がある。その後、できたモデルに対して評価を行う。これらの課程で行ったことについて本稿では節を分けて順番に説明する。