画像キャプション生成におけるJPEG圧縮への頑健性の改善

本稿は画像キャプション生成タスクにおけるJPEG圧縮の影響を分析する。まず、高い圧縮率が適用された画像に対して、通常の画像キャプション生成モデルはその性能を維持できず、生成されるキャプションの品質が落ちてしまうことを示す。そこで、画像エンコーダと画像キャプション生成の二つのモデルの学習データにJPEG画像を追加する手法を提案する。実験結果から、画像キャプション生成モデルの学習にJPEG画像を追加しなくても、画像エンコーダの学習にJPEG画像を追加するだけで、JPEG圧縮に対して頑健な画像キャプション生成モデルを構築できることが分かった。