キャプション生成ゲームを通じた複数の視覚言語モデルのベイズ的統合

複数の学習済みモデルを統合することで，汎化性能や予測精度がより高いモデルを開発する試みは広く行われている．既存のモデルの統合の手法として，それぞれのモデルの出力を統合するアンサンブル学習[1]や，パラメータをある重みに基づいて平均化することで統合する重み平均化[2]などの手法があり，大規模言語モデルやVLMに対しても適用されている[3]．しかし，アンサンブル学習は複数のモデルを同時に推論させるため推論にかかるコストが高くなる，重み平均化は同じ構造のネットワークを持つことが前提となるため，異なるアーキテクチャで学習されたVLMに適応することができないという制約がある．特にLLMの学習に使うコーパスに比べて，VLMの学習に使う画像キャプションペアは比較的少ないため，異なるデータで学習したVLMを追加の画像キャプションペアなしで統合する手法が求められる．ProposedCaptionPreviousCaptionAcceptanceprobabilityWherepathstellstoriesofcourage.Abikerlooksatabrokenbridgeandmistyhills.𝑅=0.92AcceptorRejectUpdateUpdatedCaptionLearningAbikerlooksatabrokenbridgeandmistyhills.SpeakerVLMListenerVLMTurn-takingandrepeatIntegratedVLMsプション生成ゲームを通して知識を統合する．そこで，マルチエージェントによる記号創発をモデル化したメトロポリスヘイスティングス名付けゲーム（Metropolis-HastingsNamingGame:MHNG)[4]をVLMに導入し，これらの制約を排除した統合手法について検討する．MHNGでは，物体の名前を提案し，それを受容・棄却することによる名付けと，各エージェントの学習とが分散的に行われるベイズ推論として定式化されている．これに事前学習済みのVLMを適用することで，キャプションを通じて各々の事前知識を共有し，それらを統合したVLMが得られると考えられる．しかし，MHNGはカテゴリカルなラベルを物体に割り当てる名付けを仮定した推論手法であるため，VLMを導入するためには，VLMが扱う言語情報であるキャプションを生成しあう推論手法として定式化する必要がある．本研究では，MHNGをVLMを導入するために拡張したメトロポリスヘイスティングスキャプション生成ゲーム(Metropolis-HastingsCaptioningGame:MHCG)を提案する．図1に示すように，VLMエージェントが相手の知識が含まれたキャプションを確率的に受容し，それに基づいて自身の認識を更新する．この過程を繰り返すことで，MHCGに参画す.𝐷𝜉𝐵𝐴𝐵𝜉𝐴𝑐𝑑𝑐𝑑𝐷𝑐𝑑𝐵𝜙𝐵𝜙𝐴𝐴𝑧𝑑𝑧𝑑𝜙𝐴𝜙𝐵𝐵𝐴𝑧𝑑𝑧𝑑𝐵𝜓𝐵𝐴𝜓𝐴𝑧𝑑𝑧𝑑𝜃𝐴𝜃𝐵𝐵𝐴𝑜𝑑𝑜𝑑𝐵𝜃𝐵𝜃𝐴𝐴𝑜𝑑𝑜𝑑AgentAAgentB(a)Inter-ProbVLMのグラフィカルモデル(b)分割後のグラフィカルモデル表記説明𝐷画像観測の総数𝑑∈{1,···,𝐷}𝑜∗𝑑𝑑番目の画像観測𝑤𝑑𝑑番目のキャプション𝑧∗𝑑𝑑番目の観測に対する潜在変数𝜉∗テキストデコーダのパラメータ(ClipCap[7])𝜙∗テキストエンコーダのパラメータ(ProbVLM[8])𝜓∗画像エンコーダのパラメータ(ProbVLM[8])𝜃∗画像デコーダのパラメータるVLMエージェントが持つ事前知識を統合したモデルが得られると期待される．本稿は，VLMエージェントにMH法を適用することによってキャプションを推論する筆者らの基礎検証[5]を基盤としている．従来の検証では扱っていないVLMのパラメータ更新を含むMHCGの推論を対象とし，その過程で両者の知識が統合されるかを検証する．