JaSPICE:日本語における述語項構造に基づく画像キャプション生成モデルの自動評価尺度

画像キャプション生成タスクでは，生成文の品質が適切に評価されることが重要である．しかし，BLEUやMETEORのようなn-gramに基づく自動評価尺度は人間による評価との相関が高くないことが報告されている．そのため英語においては，人間による評価との相関が高いSPICE等が提案されてきたが，日本語においてはそのような自動評価尺度が存在しない．そこで本論文では，日本語のキャプションに対してシーングラフに基づく評価を行う自動評価尺度JaSPICEを提案する．実験の結果，提案尺度はベースライン尺度ならびに機械翻訳による英訳文から算出されたSPICEと比較して，人間による評価との相関係数が高いことを確認した．