本稿は画像キャプション生成タスクにおけるJPEG圧縮の影響を分析する。まず、高い圧縮率が適用された画像に対して、通常の画像キャプション生成モデルはその性能を維持できず、生成されるキャプションの品質が落ちてしまうことを示す。そこで、画像エンコーダと画像キャプション生成の二つのモデルの学習データにJPEG画像を追加する手法を提案する。実験結果から、画像キャプション生成モデルの学習にJPEG画像を追加しなくても、画像エンコーダの学習にJPEG画像を追加するだけで、JPEG圧縮に対して頑健な画像キャプション生成モデルを構築できることが分かった。

画像キャプション生成は、画像を説明する文章を生成することを目的とした、自然言語処理とコンピュータビジョンの両分野にまたがるマルチモーダルなタスクである。近年の画像分類モデルと言語生成モデルの発展により、文章として自然で、画像の特徴をよく捉えた文章を生成できるようになった。ただ、現在の画像キャプション生成モデルは高品質な画像でのみ学習され、評価されることが多い[1,2,3,4,5]。しかし、インターネット上の画像を取り扱う場合など、キャプション生成モデルを利用するときに与えられる画像が高品質であるとは限らない。高品質な画像はファイルサイズが大きくなるため、保存や転送により多くのコストがかかる。そのため、非可逆圧縮であるJPEG[6]など、何らかのアルゴリズムで圧縮が行われ、画像の品質が劣化することが多い[7,8,9,10]。ImageNet[11]やCOCO[12]といったデータセットに収録されている画像もJPEGで圧縮されているが、高品質な画像が多く、低品質な画像は少ない。JPEG圧縮による画質の低下をPSNRとSSIM[13,14]を用PSNRの推移（Qualityが小さいほど高圧縮・低品質である）SSIMの推移いて計測したものを図1と2に示す（数値データは付録の表1に掲載した）。このようなJPEG圧縮によって品質が低下した画像からのキャプション生成はあまり考えられてこなかった。本稿では、画像キャプション生成モデルにおけるJPEG圧縮の影響を定量的に分析する。また、画像キャプション生成モデルの頑健性を向上させるため、画像エンコーダと画像キャプション生成の二つのモデルの学習時にJPEGで圧縮された画像を追加する手法を提案する。実験結果から、高圧縮率のJPEG画像に対して.画像エンコーダの学習画像キャプション生成モデルの学習COCOの学習画像ImageNetの学習画像画像エンコーダの学習画像キャプション生成モデルの学習JPEGで圧縮したImageNetのCOCOの学習画像COCOの学習画像学習画像追加する方法ベースラインの画像キャプション生成モデルが十分な性能を発揮できないことが分かった。また、提案手法は高品質な画像に対して生成されたキャプションのBLEUスコアを維持しつつ、JPEG圧縮で品質が劣化した画像に対してBLEUスコアを向上させることが確認された。画像エンコーダの学習にJPEGで圧縮された画像を追加する方法、画像キャプション生成モデルの学習にJPEGで圧縮された画像を追加する方法、両方のモデルの学習にJPEGで圧縮された画像を追加する方法の三つを比較したところ、画像エンコーダの学習にJPEG画像を追加する方法と両方のモデルの学習にJPEG画像を追加する方法は同程度の頑健性であり、画像キャプション生成モデルの学習にJPEG画像を追加する方法は他の二つの方法より頑健性が低かった。このことから、画像エンコーダの学習にのみJPEGで圧縮された画像を追加するだけでも、JPEG圧縮に対する頑健性を持つ画像キャプション生成モデルを構築できることが分かった。