クロスモーダル類似度に基づくカリキュラム学習による画像キャプション生成

画像キャプションモデルには，様々な画像の内容をテキストで表現するための高度な汎化能力が求められる．多くの既存手法では，一般に画像とキャプションのペアの学習難易度の違いを考慮せず，モデルの訓練において同等に扱っている．一方，学習データの難易度を考慮するカリキュラム学習をキャプション生成に導入する手法が先行研究で提案されているが，難易度の測定には事前の定義や評価モデルの訓練が必要である．本稿では，シンプルかつ効率的な学習難易度測定法として，事前学習されたVision-Languageモデルによって計算されたクロスモーダル類似度をキャプションデータの難易度として用いる手法を提案する．COCOおよびFlickr30kデータセットを用いた実験の結果，提案手法は事前定義や追加の学習コストが不要で，ベースライン手法と同等以上の性能・収束速度を達成できることを示した．さらに，未知のデータやドメイン外のデータにおいて提案手法は高い性能を示し，汎化能力の向上が示唆された．