クロスモーダル類似度に基づくカリキュラム学習による画像キャプション生成

画像キャプション生成は画像処理や自然言語処理分野で広く研究されている．しかし，多くの既存手法は，学習用の画像とキャプションのペアを区別せず扱っており，データごとの学習難易度の違いが無視されている．図1に示すように，キャプションデータセットでは，スタイルや複雑度が異なる参照文が一般に各画像に複数付与されている．この多様性はモデルの学習に偏りのある難易度を導入し，難易度の高いデータで訓練されたときにモデルを望ましくない方向に学習させる可能性がある[1]．カリキュラム学習(CurriculumLearning;CL)は，学事前学習済み画像-言語モデル参考文:類似度-Apizzawithmultipletoppingsincludinganegg.-Awhiteplateholdingapizzanexttoplateoffries.-Apizzasitsontopofapancoveredinvegetables.-Apizzapiewithvegetablesofsomesortonit.-Afullveggiepizzaisreadytobeeaten.32.528.228.026.025.5参考文:類似度26.022.417.916.214.0-Acitystreetlinedwithpinetreesonthemedium.-Alargemetalballsittingnexttoastreetinamajorcity.-Atrucksomepalmtreesbuildingsandtrafficlights.-Atruckdrivingdownabusystreet.-Theimageisnotloadingtodescribeit.算されたクロスモーダル類似度スコアの例.赤色と青色の数字は，それぞれスコアの高い方と低い方を示す．習難易度に応じた順番でデータをモデルに学習させて，モデル性能と収束速度の向上を目指す手法である．しかし，CLを用いた画像キャプション生成の既存手法は，難易度測定に次のような欠点がある:1)ドメインの専門知識やヒューリスティックが必要である点[2]，2)二つモーダルの難易度スコアを単純に加算しており，クロスモーダルな特徴を考慮できていない点[3]，3)キャプションデータを用いて評価モデルを事前に訓練する必要がある点(Bootstrap手法)[2,1]．本稿では，事前学習済みVision-Language(VL)モデルを用いて，シンプルかつ効率的な難易度の測定手法を提案する．多くのVLモデルは，対応する画像とテキストをマッチングする事前学習タスクで訓練されるため，クロスモーダル類似度が計算可能である．この類似度は画像とテキストの関連性に対するモデルの確信度を表し，スコアが低いほど，判定が難しいか品質が低いデータであることを意味する[4,5]．図1に示すように，シンプルな画像や適切な参照文を含むペアに高いスコアを与えて，逆に複雑な画像や関連性が弱い参照文を含むペアには低いス.コアを与える．本研究では，高いスコアを持つペアが関連性の高さから学習しやすいデータと考え，簡単なデータから順番にモデルを学習させる．我々は，COCO[6]およびFlickr30k[7]データセットを用いた実験の結果，クロスモーダル類似度に基づくカリキュラム学習で訓練されたモデルが，専門知識や追加の学習コストなしにモデル性能と収束速度の向上を達成することを示した．さらに，評価対象となるデータの知識を持つVLモデルを用いるとさらに性能が向上した．また，未知のデータやドメイン外のデータにおいてより高い精度を達成し，汎化能力の向上を示した．最後に，提案手法をよりシンプルなモデルに適用することでも大きな性能改善が達成され，小さなモデルしか使えない場合でも提案手法が利用可能であることが示唆された．