マルチモーダル大規模言語モデルはジェスチャーをどこまで理解しているのか：指標性・図像性・象徴性を問う

事例はジェスチャータイプと、対応する時間スパン人間のコミュニケーションにおいて、言語だけでの映像、会話文、ジェスチャー説明文から構成さなく非言語的な表現が果たす役割は非常に大きい。れる。非言語的な表現の中でもジェスチャーは、発話内容次に、GPT-4o[1]やGemini-1.5-pro[2]を含む複数を補完し、視覚的かつ直感的な形で情報を伝える重のMLLMによって、映像文脈と会話文脈に対する要な手段である。例えば、特定の外界物体への指差ジェスチャー説明文を生成した。生成されたジェスしや、手の動きによるイメージの描写は、言葉ではチャー説明文の妥当性をリファレンス説明文と比較伝えきれないニュアンスや関係性を補完する役割をすることで評価し、ジェスチャータイプごとに妥当担ってる。性の傾向に差があるのか調べた。近年、マルチモーダル大規模言語モデル(MLLM)実験の結果、すべてのモデルにおいて、指標的が様々な領域で注目を集めている[1,2,3]。MLLMジェスチャーに対する理解精度が他のジェスチャーはテキストと視覚・音声情報などの統合に優れておタイプに比べて一貫して低いことが示された。生り、多岐にわたる応用が期待されている。しかし、成結果を分析し、MLLMはテキストと事前学習にこうしたモデルが、実世界の動的な環境において、よって得た一般常識的な内部知識に基づいてジェジェスチャーの意味や意図をどの程度正確に理解スチャーを解釈する傾向があり、特に外界への参照し、応用可能なのかについて十分に明らかになってを視覚的に認識することが必要なケースにおいて、いるとは言い難い。ジェスチャーの適切な解釈を生成できないケースがそこで本研究では、MLLMが実世界コミュニケー見られた。これらの結果は、MLLMがコミュニケーションにおいてジェスチャーの意味や意図をどの程ションにおける外界参照の重要性を十分に学習して度理解できているのか評価することを目的とする。いないことを示唆しており、今後のモデル改良にお―976―.いて重要な示唆を与えるものと考える。本研究の成果は、MLLMの現状の限界性の一つの側面を明らかにするとともに、ジェスチャー理解能力を評価するための新たなベンチマークと方法論を提供する。これにより、次世代のコミュニケーション理解モデルの開発に向けた道筋を示すことを目指す。