大規模視覚言語モデルの質感知覚能力の分析

人間が持つ感覚に関して，機械学習により獲得したモデルと人間との整合性について，多元質感知[1]に注目した整合性，多感覚整合性[2]といった研究で分析や議論がおこなわれてきた．モデルと人間との間の整合性が取れていることは，モデルが人間と同様の方法で知覚し，思考し，行動する際に重要となる[3,4,5]．本研究では，「質感」に焦点を当て，大規模視覚言語モデル(LVLM)と人間との間の質感知覚能力の整合性を調査することを目的とする．質感は，人によって異なる解釈が存在するため，明確に定義することが難しい．さらに質感という概念[6]が何を包含しているのか，その境界は曖昧かつ主観的である．本研究では，質感を下記3つの概念を包含するものとして定義している[7,8]．•物性（光沢感・透明感など）•状態（乾燥・凍結など）•印象（美しい・醜いなど）LVLMの質感語ジューシーLVLM物体名：“ホットドッグ’’香ばしいふんわり出来立て柔らかい温かいfromCOCOdatasetシャキシャキ人間の質感語人間タをもとにLVLMの質感知覚と人間の質感知覚の整合性を評価する．本研究では，画像中の物体に対して人間が感じ取るような質感をLVLMがどの程度知覚しているかを分析するために，{画像,物体名,質感語}の3つの情報を結びつけた質感データセットを人手で作成（2章）し，そこから分類タスクと生成タスクの2種類のタスクを設計する．分類タスクは，提示された画像と画像内の物体に対して最も適切な質感語を選択する問題となっており，このタスクを用いて，既存の代表的なLVLMが有する質感知覚能力を評価する（3章）．また生成タスクでは，COCOデータセット[9]の画像に含まれている物体に対して，LVLMに質感語を生成させる．そして，LVLMが生成した質感語が人間から見て自然であるかを人手評価することで，LVLMの質感知覚と人間の質感知覚との整合性を調査する．これに加えて，LVLMが生成した質感語と質感データセット中の人間が書き出した質感語の共通部分を質感語一致率と定義し，評価する（4章）．最終的に，LVLMの分類タスクと生成タスクの実験結果から，分類タスクがLVLMの質感知覚能力の評価だけでなく，人間知覚の整合性まで簡易に評価できる可能性があることを示す（5章）．.