JaSPICE:日本語における述語項構造に基づく画像キャプション生成モデルの自動評価尺度

画像キャプション生成は，視覚障害者の補助，画像に関する対話生成，画像に基づく質問応答など，幅広く研究が行われ，様々な用途で社会応用されている[1–3]．本研究分野においては，生成文の品質が適切に評価されることが重要である．一方，n-gramに基づく自動評価尺度は人間による評価との相関が高くないことが報告されている[4]．そのため英語においては，人間による評価との相関が高いSPICE[4]等の自動評価尺度が提案されているものの，日本語を含めた全ての言語においてそのような自動評価尺度が存在するわけではない．したがって，日本語による画像キャプション生成において，人間による評価との相関が十分に高い自動評価尺度が構築されれば有益である．SPICEは英語による画像キャプション生成タスクにおける標準的な尺度であり，シーングラフに基づいた評価を行う．ここで，SPICEはUniversalDependency(UD)[5]を用いてシーングラフを生成する．しかし，UDでは基本的な依存関係しか抽出できず，日本語における「AのB」[6]などの複雑な関係への対処が不十分である（「金髪の男性」など）．また，生成文を英訳してSPICEを適用することも考えられるが，すべての問題設定に対応できるわけではない．例えば，TextCaps[7]では画像中の単語を翻訳することは必ずしも適切ではない．以上のように，SPICEを日本語へ直接適用することは難しい．そこで，本論文では日本語による画像キャプション生成手法における自動評価尺度JaSPICEを提案する．JaSPICEは係り受け構造と述語項構造から生成されたシーングラフに基づくため，複雑な依存関係を抽出できる．図1に提案手法の流れを示す．図のように，画像に対する参照文群とモデルの生成文を入力として，生成文がどの程度適切であるかを示すJaSPICE値を計算する．既存手法との違いは，日本語における画像キャプション生成モデルを評価できる点，係り受け構造と述語項構造に基づきシーングラフを生成する点，および同義語集合を自動評価に用いた点である．係り受け構造と述語項構造をシーングラフに反映させることで，参照文群と生成文に対し適切なシーングラフを生成することができると期待される．また，同義語集合を用いることで，表層表現の不一致による評価値の低下を避けることができるため，人間による評価との相関が高まることが期待される．提案手法1）における新規性は以下の通りである．•日本語による画像キャプション生成タスクにおける自動評価尺度JaSPICEを提案する．•UDを用いるSPICEとは異なり，JaSPICEでは係り受け構造と述語項構造に基づき，日本語の文からシーングラフを生成する．•同義語を利用したグラフの拡張手法を導入する．1）https://github.com/keio-smilab23/JaSPICE.