単語の階層関係に基づくデータ拡張を利用した画像キャプション生成の検討

画像キャプション生成は、入力された画像からその画像の説明文を生成するタスクである。このタスクの主な応用先として、視覚障害者の補助[1]や、画像検索エンジンにおけるクエリの生成などが挙げられる。これらの応用先において重要なことは、生成されるキャプションが自然な文章であるとともに、他の似た画像と区別可能であるということである。近年の画像キャプション生成モデルでは、後者の識別性の低さが問題視されている[2]。この低識別性の問題を解決するために、様々な手法が提案されている[2,3,4]。また、解決策の一つとして、より詳細なキャプションを持ったデータセットで学習を行うことが挙げられる。しかし、画像とそれに対応する詳細なキャプションを人手で記述することは、多くの時間的・金銭的なコストを要する。本研究では、これらの作業を自動化するために、データ拡張に着目する。低識別性の問題に取り組むにあたり、キャプションの識別性について再検討を行う。キャプションにおける識別性の高さには、いくつかの観点が考えられる。一つ目は、画像中に出現する多くの物体について記述しているかという点である。先行研究の多くはこの観点に基づいている[2,3]。二つ目は、画像中の物体について述べる単語が特徴的であるかという点である。これは、単語の階層関係に基づいている。単語の階層関係とは、単語の上位下位関係を指し、一般に下位に向かうにつれ、その単語は特徴的なものになる。（（例）哺乳類、動物、犬、プードル）。その他にも、単語の修飾関係などの観点が考えられる。本研究では、二つ目の観点により低識別性の問題が対処可能であると仮定し、単語の階層関係に基づくデータ拡張の提案を行う。実験では、元データセットが高リソースである場合と、低リソースである場合に対して、提案手法を適用した。実験の結果、高リソース下での実験において、有効であることは確認できなかった。しかし、低リソース下での実験において、生成に使用する語彙・文の増加とともに識別性を向上させ、有効であることが確認できた。また、提案手法が予期しないキャプションの生成に寄与してしまっていることが確認でき、提案手法の課題についても明らかになった。