画像キャプション生成タスクでは，生成文の品質が適切に評価されることが重要である．しかし，近年のデータ駆動型自動評価尺度は，多様な画像および言語に対する汎化性能が低いという問題が指摘されている．この問題は，これらの尺度が画像キャプション生成とは無関係なタスクで学習された埋め込み表現を用いており，また古典的手法によって類似度を計算しているだけに過ぎないためであると考えられる．そこで，本研究では，画像キャプション生成タスクにおける教師あり自動評価尺度Polosを提案する．Polosは画像と言語を入力とし，大規模対照学習によって学習された埋め込みを用いた並列クロスモーダル特徴抽出機構により評価値を計算する．また，本研究では人間のフィードバックに基づき自動評価尺度を学習するフレームワークM2LHFを提案する．さらに，Polosを学習するため，550人の被験者から13万サンプルの人間による評価を収集した最大規模のデータセットPolarisを構築した．実験の結果，PolosはComposite,Flickr8K-Expert,Flickr8K-CF,PASCAL-50S,FOIL,Polarisにおいて，既存手法を上回る結果を得た．

画像キャプション生成は，視覚障害者の補助，画像に関する対話生成，画像に基づく質問応答など，多くの用途で社会応用されている．本分野において効率的なモデル開発を行うには，人間による評価に近い自動評価尺度の構築が不可欠である．先行研究では，古典的な自動評価尺度[1–5]が人間による評価と十分に相関していないことが報告されており[5,6]，その結果様々なデータ駆動型自動評価尺度が提案された[6–9]．しかし，これらの手法は画像キャプション生成とは無関係なタスクで学習された埋め込み表現を用いており，さらにコサイン類似度や最適輸送等の古典的手法によって類似度を計算しているだけに過ぎない．そのため，これらの手法は多様な画像および言語における汎化性能が低く，またこれらのモデルはhallucinationを適切に扱うことが出来ない点も指摘されている[6]．そこで，本研究では，画像キャプション生成タスクにおける教師あり自動評価尺度Polosを提案する．さらに，人間のフィードバックに基づく自動評価尺度を構築するためのフレームワークMultimodalMetricLearningfromHumanFeedback(M2LHF)も提案する．図1に提案手法PolosおよびM2LHFの概要図を示す．提案手法PolosはM2LHFに基づき，人間による評価を学習する．また，提案手法はSimCSE[10]で事前学習されたRoBERTa[11]やCLIP[12]を用いた並列クロスモーダル特徴抽出機構を用いて有用な特徴量を抽出する．既存手法は古典的手法によってスカラの類似度を計算しているのに対して，提案手法は本機構によりベクトル空間における複雑な関係を捉えることができる．さらに，M2LHFに基づくPolosを学習するため，本研究では多様な人間による評価によって構成された新たなデータセットPolarisを構築した．Polarisは現時点で最大規模のデータセット[13]の約10倍のサンプルが含まれており，13万サンプルの人間による評価および多様なキャプションで構成される．.AggregationFeed-ForwardNetwork.Concat&MLPCLIPRoBERTaCLIPTextEncoderPretrainedwithImageEncoderSimCSE提案手法における新規性は以下の通りである．•画像キャプション生成タスクにおける教師あり自動評価尺度Polosを提案する．•人間のフィードバックに基づく自動評価尺度を構築するフレームワークM2LHFを提案する．•SimCSEおよびCLIPに基づく並列クロスモーダル特徴抽出機構を導入する．•Polosを学習するため，13万の人間による評価を含むデータセットPolarisを構築する．•Composite,PASCAL-50S,FOIL,Flickr8K-Expert,Flickr8K-CF,Polarisにおいて既存手法を上回る結果を得た．