大規模言語モデル（LLM）の隆盛を背景に，視覚言語モデルにLLMを組み込んだ大規模視覚言語モデル（LVLM）の提案が盛んに行われている．しかし，追加学習後のLVLMは組み込まれる前のLLMが有していた指示追従能力を示さず，タスク指示に従わない事例が観測されている．そこで本研究では，追加学習後のLVLMの指示追従能力が低下することを世界で初めて定量的に示し明らかにする．さらにLVLMの指示追従能力の低下の原因となる要素を洗い出し，モデルの指示追従能力を評価した結果，追加学習時の出力形式に関する指示の有無が指示追従能力の低下に大きな影響を与えている可能性があることを示す．

視覚情報と言語情報の意味関係を紐づけたマルチモーダルな知識[1]を活用して，計算機が人により与えられた指示に基づいて適切な推論を実現することは，人工知能研究が目指す最終目的の一つである．2024年現在では，大規模言語モデル（LLM）の技術的進展が目覚ましく，この進展を受けて，画像とテキストを入力として，テキストを出力するGiT[2]，BLIP-2[3]，LLaVA[4]などのオープンソースの大規模視覚言語モデル（LVLM）が数多く提案されている．LVLMでは言語生成器にLLMを用いることで，多様かつ大規模な言語コーパスで学習されたLLMによる高度な言語推論能力を活用することができる．LLM/LVLMは，一般に指示文に基づく応答生成ができるほど高いタスク汎化性能を発揮する[5]．また指示文に従う能力は，下流タスクの性能だけでなく，安全性と信頼性という観点からも重要であり，特に医療などのシナリオでは指示に反する意図しない出力が悲惨な結果を招く可能性もある．そのため，指示文に反する出力の軽減とその画像キャプションAmanstandsinagreenhouseholdingatrayofpurpleflowers.出⼒形式指⽰Pleaseansweryesorno.質問⽂Doesthemanhavepurpleflowers?画像エンコーダアダプター⾔語⽣成器（ベースLLM）⾔語⽣成器（ベースLLM）解答yes解答Thephotoistakeninsideagreenhouse,asthemanisholding…VisualInstructionTuningされたLVLM(左)はLLM(右)に⽐べ指⽰追従能⼒が低い従能力がLLMに比べて低いという現状を定量的に明らかにし，指示追従能力の低下をもたらす要因を考察する．評価が，安全性・信頼性において重要であると言える．視覚的質問応答タスクなど数多の視覚言語タスクにおいてLVLMは優れた推論能力を実現している．しかし，LVLMに組み込まれる前のLLMであれば指示文に従って回答できるような問題であっても，追加学習後のLVLMは指示文に従うことができない事例が観測されている[6]．本研究では，追加学習後のLVLMの指示文に従う能力を定量的に評価し，指示文に従う能力が低下していることを初めて定量的に示し明らかにする．さらに，LVLMの指示文に従う能力低下に対する原因の解明を目指す（図1）．まず，出力形式に関する指示を含んだ追加学習データセットを新たに作成する（3章）．さらに，追加学習後のLVLMの指示追従能力の低下を定量的に示す（4,5章）．加えて，LVLMの指示追従能力の低下の原因となる要素を洗い出し，モデルの指示追従能力を評価することで，特定の要素がLVLMの指示追従能力に与える影響を調査する．実験結果より，LVLMの指示追従能力の低下に大きな影響を与えているのは，追加学習時の出力形式に関する指示の有無である可能性が高く，視覚情報による影響は小さい可能性があることを示す．.