従来の画像キャプショニングには画像とは無関係の語を含むキャプションをしばしば生成するという問題がある．これを解決するため，画像に関連する語をあらかじめ与えた上でキャプションを生成する手法が提案されているが，その自動決定法については議論がされていない．本研究では，物体検出器が出力するラベル(物体名)をその信頼度スコアと顕著性スコアを組み合わせてランキングすることでキャプションに含めるべき語を決定する手法を提案する．提案法で得た単語と人手生成の正解キャプション中の単語を比較した結果，自動抽出した単語のうち半数程度はキャプションに含まれていた．さらに人手評価を行ったところ，キャプションには含まれない単語であっても，その多くはキャプション生成が可能な程度に画像に関連した語であることがわかった．

画像キャプショニングとは，画像を説明する一文を生成するタスクであり，VisionandLanguage分野における主要なタスクの一つである．近年では，Visiontransformerによる系列変換モデルで実現されることが多くなってきたが，Transformerに基づく系列変換モデルには，流暢な文を生成する一方，入力とは関連のない文をしばしば生成するという問題がある[1]．画像キャプショニングも例外では無く，画像には写っていないものや画像とは関連ない語を含むキャプションを生成するObjecthallucinationという問題が生じることが知られている[2]．この問題を抑制するための一つの方法として語彙に制約を与えてキャプションを生成する手法が提案されている[3]．しかし，この手法ではキャプションに含めるべき語(以下，制約語)をどのように決定するか議論していない．もちろん，人手で与えることも可能ではあるが大量の画像を処理する場合にはコストの観点から現実的でない．そこで，本研究では制約語を画像から自動的に抽出する方法を提案する．人間は画像の構図，視覚的顕著性などに基づきキャプションに含める語を決定していると考えられることから，画像に対して物体検出器が出力するラベルをその信頼度スコアと顕著性スコアを組み合わせることでランキングし，その上位𝑛件を制約語とする手法を提案する．MSCOCOキャプションの検証セットのキャプションに提案法で抽出した制約語が含まれる割合，制約語の平均正解率は49.9%であった．ただし，人手評価を行ったところ，正解率の低い画像でもキャプションに含めてよい語は50%を超え，正解率が高い画像ではそれが約80%に達した．