大規模視覚言語モデルの質感知覚能力の分析

本研究では，「質感」に焦点を当て，大規模視覚言語モデル（LVLM）の質感知覚能力を調査し，さらにLVLMと人間との間の質感知覚の整合性を分析することを目的とする．はじめに画像内の物体に対して人間が知覚する質感語を人手で収集した．次に，収集した質感語をもとに，LVLMが適切な質感語を選択できるか評価する分類タスクを設計し，LVLMと人間の正解率を算出した．また，LVLMに質感語を生成させ，その出力を人間が評価する生成タスクも実施した．最終的には，分類タスクの正解率が高いLVLMは，生成タスクにおいても高いスコアを示すことを確認し，分類タスクが，LVLMの質感知覚能力の評価だけでなく，人間知覚の整合性まで簡易に評価できる可能性があることを示す．