CLIPの埋め込み空間はテキストと画像で大きく分離している(modalitygap)ため，異なるモーダル間の類似度が低いことが問題となる．本研究では，事前実験として画像とテキストのデータを外部知識に持つRAGの検索器にCLIPを用い，画像が必要なケースにおいて正解画像データが検索上位に現れないことを確認する．そこで，外部知識のモーダルに応じて検索スコアを標準化することで，modalitygapを考慮した検索手法を提案する．評価実験により，画像の外部知識を必要とするケースの検索精度は0%から56%に改善し，RAGの生成精度はROUGE-1で0.26ポイント向上したことを確認した．

近年大規模言語モデル(LLM)の発達は著しく，質問応答(QA)など多様なタスクに活用されている．しかし，LLMは学習データに含まれていない知識を問われた際に，事実と異なる回答を生成する問題が広く知られている[1]．Retrieval-AugmentedGeneration(RAG)[2]はLLMに外部知識を参照させることで，LLMの回答精度を向上させるアプローチであり，主にQAタスクで用いられる．RAGでは質問文に関連する外部知識を検索し，LLMに検索結果の外部知識を参照させることで回答を生成する．さらに，LLMの実世界応用が重要視されつつあり，テキストのみでなく画像を扱えるLargeVision-LauguageModels(LVLMs)の研究が進んでいる[3]．LVLMsはテキストと画像を外部知識として扱うRAG(以下，マルチモーダルRAG)に活用され始めている[4,5,6]．マルチモーダルRAGの検索手法の1つとして，マルチモーダルな埋め込みモデルを用いたベクトル検索がある．ContrastiveLanguage-ImagePre-training(CLIP)[7]はテキスト・画像を共通の潜在空間に埋め込むことができるモデルとして知られており，CLIPによる埋め込みベクトルを利用した検索システムが広く構築されている．しかし，CLIPには“modalitygap”[8]と呼ばれる，テキストと画像の埋め込み空間がほぼ完全に分離する現象が知られている．そのため，CLIPの埋め込みベクトルに基づく検索では，クエリと同じモーダルの外部知識が検索上位を独占し，RAGの回答生成に悪影響を及ぼすと考えられる(図1(a))．この問題に対し，Eslamiら[9]はCLIPを同じモーダル同士についても対象損失をとる学習設計に改良することで，modalitygapを縮小した．また，Talmorら[10]は質問文に応じて正答に必要なモーダルを判別する手法を提案した．しかし，いずれの手法も学習データの作成やモデルの学習が必要となる．そこで本研究ではCLIPの追加学習などを必要とせず，modalitygapの影響を軽減した検索手法を提案する．提案手法は質問文と外部知識の埋め込みベクトル同士のcos類似度を，外部知識のモーダルに応じた標準化を施すことでスケールを調整する(図1(b))．実験により，提案手法はクエリと異なるモーダルの外部知識に対する検索精度，およびRAGの回答文の精度を向上させたことを確認した．