日本語VLM構築に向けた合成データのフィルタリングの検討

Vision-LanguageModelの学習に必要なVisualIn-structionTuningデータセットは、コストの観点から主に人手ではなくデータ合成によって作成される。合成データの利用における課題は、合成時に発生する不適切な合成データを取り除く上での正確性と、時間的効率性である。本稿では、CLIPおよびVLMasajudgeを用いたフィルタリングの正確性と効率性について検証する。実験の結果、VLMasajudgeは正確性が17.3%高いがCLIPの方が62倍高速に動作すること、これら手法の併用によりVLMasajudge単体に比べ正確性を損なうことなく36%高速にフィルタリング可能なことがわかった。