大規模視覚言語モデルに関する指示追従能力の検証

大規模言語モデル（LLM）の隆盛を背景に，視覚言語モデルにLLMを組み込んだ大規模視覚言語モデル（LVLM）の提案が盛んに行われている．しかし，追加学習後のLVLMは組み込まれる前のLLMが有していた指示追従能力を示さず，タスク指示に従わない事例が観測されている．そこで本研究では，追加学習後のLVLMの指示追従能力が低下することを世界で初めて定量的に示し明らかにする．さらにLVLMの指示追従能力の低下の原因となる要素を洗い出し，モデルの指示追従能力を評価した結果，追加学習時の出力形式に関する指示の有無が指示追従能力の低下に大きな影響を与えている可能性があることを示す．