JAMMEval:再アノテーションによる日本語VQA評価データセットの信頼性向上

既存の日本語VQA評価データセットには，曖昧な質問や回答が誤っている事例，画像を用いずに回答できる事例等があり，これらは評価の有用性・信頼性を低下させている.この問題を解決するため，本研究では8つの日本語評価データセットに再アノテーションを施した評価データセット群JAMMEvalを構築する.実験では，JAMMEvalを用いて最先端のモデルの性能を評価した.また，JAMMEvalの一部を用いた再アノテーションの効果検証を行い，再アノテーションによりモデル性能の識別能力が向上することを示した.JAMMEvalは公開する.