キャプション生成ゲームを通じた複数の視覚言語モデルのベイズ的統合

本研究では，複数の視覚言語モデル（VLM）を記号創発の枠組みで統合する手法である，メトロポリスヘイスティングスキャプション生成ゲーム（MHCG）を提案する．MHCGでは，異なるデータで事前学習したVLMエージェント間で画像に対するキャプションを提案・受容・更新するプロセスを通じて，モデル間の知識(本稿では画像に対する言語表現)を統合する．この手法は，既存のモデル統合の手法が持つ推論コストやモデル構造の一致の成約を受けない．実験では，COCOとCC3Mでそれぞれ事前学習した２体のエージェントがMHCGを行い，相手のエージェントの学習データに対するキャプション生成性能が向上することを示した．