Vision-LanguageModelの学習に必要なVisualIn-structionTuningデータセットは、コストの観点から主に人手ではなくデータ合成によって作成される。合成データの利用における課題は、合成時に発生する不適切な合成データを取り除く上での正確性と、時間的効率性である。本稿では、CLIPおよびVLMasajudgeを用いたフィルタリングの正確性と効率性について検証する。実験の結果、VLMasajudgeは正確性が17.3%高いがCLIPの方が62倍高速に動作すること、これら手法の併用によりVLMasajudge単体に比べ正確性を損なうことなく36%高速にフィルタリング可能なことがわかった。

Vision-LanguageModels(VLM)とは、画像とテキストの指示プロンプトを紐づけ、適切な回答を出力し問題解決を行うモデルの総称である。多くのVLMは画像エンコーダと大規模言語モデル（LLM）が接続された構造を持ち、VisualInstructionTuning[1,2]と呼ばれる「画像」、「指示（質問）」、「回答」の3つ組で構成されるデータセットを用いて学習される。このVisualInstructionTuning用データセットの構築を人手で行うのは多大なコストと時間がかかるため、LLMやVLMによる合成データが一般的に用いられる[1,3,4,5]。特に、日本語を始めとした低資源の言語では、合成データ生成はより重要となる[6]。しかし、合成されたサンプルには、学習に不適切なサンプルが一定数混入する。例えば、画像と質問に対する誤った回答が含まれているサンプルは、VLMの学習に悪影響を及ぼし、ハルシネーションを助長する恐れがある。より良いVLMの構築には、不適切なサンプルのみを正確にフィルタリングし、できるだけ適切なサンプルで構成された高品質な∗SBIntuitions株式会社でのインターンシップ中の成果。データセットを用意することが不可欠である[7,8]。さらに、大規模な合成データ生成とフィルタリングを実現するためには、不適切なサンプルのみを取り除く正確性だけでなく、金銭的に低コストかつ時間的に高効率な手法が要求される[9,10]。そこで本研究では、合成されたVisualInstructionTuning用データセットの正確かつ効率的なフィルタリングの実現に向け、既存のマルチモーダルなフィルタリング手法を検証する。具体的には、日本語能力を持つVLMで日本語合成VQAデータセットを作成し、CLIP[11]を用いたフィルタリングと、近年VQAの評価方法として注目を集めているVLMasajudge[12]の2つのフィルタリング方法の有効性・特徴を分析する。また、上記手法を組み合わせることによる効率性の向上についても報告する。