日本語Winogroundデータセットの自動構築

人間レベルの推論を行う情報処理モデルの研究が注目を浴びている中、視覚・言語の高度な理解が可能なマルチモーダルモデルの研究が進展している。視覚・言語モデルを評価するタスクの一つであるVisualReasoningは画像内の物体認識を行ったうえで、複雑な推論が必要となるタスクである。VisualReasoningタスクに分類されるWinoground[1]は、2枚の画像と2つのキャプションを結びつけるタスクとなっている。2つのキャプションで使用される単語は同じだが、並び替えることにより意味が異なっている。そのため、Winogroundデータセットは視覚・言語の理解能力が必要な高難易度タスクであり、多くのモデルが苦戦している。Winogroundはマルチモーダルタスクとして価値のあるデータセットであるが、完全に人手によって構築されているためデータ数が少ないことが問題点としてあげられる。本研究では、大規模言語モデルと画像生成モデルを利用したWinogroundデータセットの自動構築手法を提案する。実験では日本語のWinogroundデータセットを構築し評価を行う。その結果、日本語の視覚・言語モデルもWinogroundを解くのが困難であることを確認した。しかし、自動構築したデータセットはオリジナルのWinogroundに比べ、低品質なデータが多く存在していることが判明し、デー(a)スケートボードに乗る人を追う犬(b)スケートボードに乗る犬を追う人タセット自動構築における問題点や大規模言語モデルの弱点が浮き彫りになった。構築した日本語Winogroundデータセットは公開予定である。