人間レベルの推論ができるマルチモーダルモデルの開発・評価のために、多くのマルチモーダルデータセットが構築されている。本研究では、その中でも視覚・言語の高度な理解を必要とするWinogroundデータセットの自動構築手法を提案し、日本語Winogroundデータセットを構築する。このデータセットにより日本語の視覚・言語モデルの評価が可能になったが、自動構築による生成データセットの質に関してはさらなる改良が必要である。

人間レベルの推論を行う情報処理モデルの研究が注目を浴びている中、視覚・言語の高度な理解が可能なマルチモーダルモデルの研究が進展している。視覚・言語モデルを評価するタスクの一つであるVisualReasoningは画像内の物体認識を行ったうえで、複雑な推論が必要となるタスクである。VisualReasoningタスクに分類されるWinoground[1]は、2枚の画像と2つのキャプションを結びつけるタスクとなっている。2つのキャプションで使用される単語は同じだが、並び替えることにより意味が異なっている。そのため、Winogroundデータセットは視覚・言語の理解能力が必要な高難易度タスクであり、多くのモデルが苦戦している。Winogroundはマルチモーダルタスクとして価値のあるデータセットであるが、完全に人手によって構築されているためデータ数が少ないことが問題点としてあげられる。本研究では、大規模言語モデルと画像生成モデルを利用したWinogroundデータセットの自動構築手法を提案する。実験では日本語のWinogroundデータセットを構築し評価を行う。その結果、日本語の視覚・言語モデルもWinogroundを解くのが困難であることを確認した。しかし、自動構築したデータセットはオリジナルのWinogroundに比べ、低品質なデータが多く存在していることが判明し、デー(a)スケートボードに乗る人を追う犬(b)スケートボードに乗る犬を追う人タセット自動構築における問題点や大規模言語モデルの弱点が浮き彫りになった。構築した日本語Winogroundデータセットは公開予定である。