視覚言語モデルにおける空間ダイクシス表現の運用能力の評価

視覚言語モデルに期待される能力の一つに，与えられたテキストと画像に基づく空間推論の能力がある．言語における空間表現の例として，空間参照枠1）が関わる表現や動きの表現などがある[1]．その中で本研究では空間ダイクシス表現に着目する．ダイクシスとは，時間や場所に関する表現が場面などのコンテクストに依存して使われる用法のことを指す[2]．空間ダイクシス表現はダイクシス表現の中でも，「ここ」「あの」といった，発話される空間に依存する表現のことを指す．そのため，空間ダイクシス表現を適切に扱うには，空間に関するコンテクストを適切に認識しつつ処理する必要がある．また，多言語視覚言語モデルがさまざまな言語において適切に空間ダイクシス表現の選択を行うためには，それぞれの言語によって異なる空間ダイクシス表現の使い分けを理解する必要がある．例えば，英語には近称の“this”と遠称の“that”という2種類の指示語の使い分けがあるのに対して，日本語では1）空間参照枠とは，ある参照物から見た別の物体の相対的な位置を表現する際に用いられる空間表現の枠組み．近称の「この」，中称の「その」，遠称の「あの」という3種類の指示語の使い分けがあるというように，言語によって表現の種類の数が異なる．さらに，Coventryら[3]は，同じ場面に対して使用する指示語が必ずしも一意には定まらない場合があることを報告している．そのため，人間の言語使用に近い形で視覚言語モデルが指示語を使用するためには，言語間での表現の違いを理解し，かつその使い分けの分布を適切に再現できることが望ましい．以上の点を踏まえ，本研究では英語や日本語といった様々な言語での空間ダイクシス表現の運用能力を測るベンチマークを作成し，視覚言語モデルの評価を行った．そして，視覚言語モデルの結果と[3]において行われた人間の空間ダイクシス表現の使い分け方に関する実験の結果を比較することでモデルの性能を分析した．本研究で構築したベンチマークは研究利用可能な形で公開予定である.実験の結果，一部のモデルがある場面に対して人間が使用する指示語をほとんど使用しない傾向や，物体との距離によって指示語を使い分けることをしない傾向といった，人間の言語使用と異なった言語使用を行うことが確認された．これにより，視覚言語モデルは人間とは異なった形で空間ダイクシス表現を運用していることが示唆された．