マルチモーダル大規模言語モデルはジェスチャーをどこまで理解しているのか：指標性・図像性・象徴性を問う

行っていないMLLMにとって、外界への参照性や本研究では、マルチモーダル大規模言語モデル依存性が鍵とする「指標的(indexical/indicative)ジェ(MLLM)がジェスチャーの意味をどの程度理解できスチャー」の理解は、イメージを描写する「図像的ているのか調査する。特に、MLLMは外界への参照(iconic/depictive)ジェスチャー」や文化・慣習によっ性・依存性が高い「指標的ジェスチャー」の理解を、て定められた「象徴的(symbolic/emblematic)ジェスイメージを描写する「図像的ジェスチャー」や常識チャー」の理解と比較して困難なのではないかといによって定められる「象徴的ジェスチャー」の理解う仮説を立て、それを検証する。よりも苦手とするのではないかという仮説を検証す上記の検証のために、初めにデータセットの構築る。未来館SCコーパスの925件のジェスチャーにを行った。データセットの構築では、映像と対話対して人手でタイプラベルを付与し、GPT-4oを含文、ジェスチャー説明文(レリバントアノテーショむMLLMによるジェスチャー説明文の生成と評価ン[4])が同期されている未来館SCコーパス[5]にを行った。その結果、MLLMは一貫して指標的ジェ対して、人手で5種類(指標的、図像的、象徴的、混スチャーの理解に困難があることを明らかにした。合、その他)のジェスチャータイプを付与した。その結果、925件のジェスチャー事例を収集した。各