行っていないMLLMにとって、外界への参照性や本研究では、マルチモーダル大規模言語モデル依存性が鍵とする「指標的(indexical/indicative)ジェ(MLLM)がジェスチャーの意味をどの程度理解できスチャー」の理解は、イメージを描写する「図像的ているのか調査する。特に、MLLMは外界への参照(iconic/depictive)ジェスチャー」や文化・慣習によっ性・依存性が高い「指標的ジェスチャー」の理解を、て定められた「象徴的(symbolic/emblematic)ジェスイメージを描写する「図像的ジェスチャー」や常識チャー」の理解と比較して困難なのではないかといによって定められる「象徴的ジェスチャー」の理解う仮説を立て、それを検証する。よりも苦手とするのではないかという仮説を検証す上記の検証のために、初めにデータセットの構築る。未来館SCコーパスの925件のジェスチャーにを行った。データセットの構築では、映像と対話対して人手でタイプラベルを付与し、GPT-4oを含文、ジェスチャー説明文(レリバントアノテーショむMLLMによるジェスチャー説明文の生成と評価ン[4])が同期されている未来館SCコーパス[5]にを行った。その結果、MLLMは一貫して指標的ジェ対して、人手で5種類(指標的、図像的、象徴的、混スチャーの理解に困難があることを明らかにした。合、その他)のジェスチャータイプを付与した。その結果、925件のジェスチャー事例を収集した。各

事例はジェスチャータイプと、対応する時間スパン人間のコミュニケーションにおいて、言語だけでの映像、会話文、ジェスチャー説明文から構成さなく非言語的な表現が果たす役割は非常に大きい。れる。非言語的な表現の中でもジェスチャーは、発話内容次に、GPT-4o[1]やGemini-1.5-pro[2]を含む複数を補完し、視覚的かつ直感的な形で情報を伝える重のMLLMによって、映像文脈と会話文脈に対する要な手段である。例えば、特定の外界物体への指差ジェスチャー説明文を生成した。生成されたジェスしや、手の動きによるイメージの描写は、言葉ではチャー説明文の妥当性をリファレンス説明文と比較伝えきれないニュアンスや関係性を補完する役割をすることで評価し、ジェスチャータイプごとに妥当担ってる。性の傾向に差があるのか調べた。近年、マルチモーダル大規模言語モデル(MLLM)実験の結果、すべてのモデルにおいて、指標的が様々な領域で注目を集めている[1,2,3]。MLLMジェスチャーに対する理解精度が他のジェスチャーはテキストと視覚・音声情報などの統合に優れておタイプに比べて一貫して低いことが示された。生り、多岐にわたる応用が期待されている。しかし、成結果を分析し、MLLMはテキストと事前学習にこうしたモデルが、実世界の動的な環境において、よって得た一般常識的な内部知識に基づいてジェジェスチャーの意味や意図をどの程度正確に理解スチャーを解釈する傾向があり、特に外界への参照し、応用可能なのかについて十分に明らかになってを視覚的に認識することが必要なケースにおいて、いるとは言い難い。ジェスチャーの適切な解釈を生成できないケースがそこで本研究では、MLLMが実世界コミュニケー見られた。これらの結果は、MLLMがコミュニケーションにおいてジェスチャーの意味や意図をどの程ションにおける外界参照の重要性を十分に学習して度理解できているのか評価することを目的とする。いないことを示唆しており、今後のモデル改良にお―976―.いて重要な示唆を与えるものと考える。本研究の成果は、MLLMの現状の限界性の一つの側面を明らかにするとともに、ジェスチャー理解能力を評価するための新たなベンチマークと方法論を提供する。これにより、次世代のコミュニケーション理解モデルの開発に向けた道筋を示すことを目指す。