画像キャプショニングのための制約語の抽出法

画像キャプショニングとは，画像を説明する一文を生成するタスクであり，VisionandLanguage分野における主要なタスクの一つである．近年では，Visiontransformerによる系列変換モデルで実現されることが多くなってきたが，Transformerに基づく系列変換モデルには，流暢な文を生成する一方，入力とは関連のない文をしばしば生成するという問題がある[1]．画像キャプショニングも例外では無く，画像には写っていないものや画像とは関連ない語を含むキャプションを生成するObjecthallucinationという問題が生じることが知られている[2]．この問題を抑制するための一つの方法として語彙に制約を与えてキャプションを生成する手法が提案されている[3]．しかし，この手法ではキャプションに含めるべき語(以下，制約語)をどのように決定するか議論していない．もちろん，人手で与えることも可能ではあるが大量の画像を処理する場合にはコストの観点から現実的でない．そこで，本研究では制約語を画像から自動的に抽出する方法を提案する．人間は画像の構図，視覚的顕著性などに基づきキャプションに含める語を決定していると考えられることから，画像に対して物体検出器が出力するラベルをその信頼度スコアと顕著性スコアを組み合わせることでランキングし，その上位𝑛件を制約語とする手法を提案する．MSCOCOキャプションの検証セットのキャプションに提案法で抽出した制約語が含まれる割合，制約語の平均正解率は49.9%であった．ただし，人手評価を行ったところ，正解率の低い画像でもキャプションに含めてよい語は50%を超え，正解率が高い画像ではそれが約80%に達した．