物体検出モデルの信頼値を利用したVQAモデルによる

近年，大規模言語モデルの発展に伴い，マルチモーダルLLM(LargeLanguageModel)の活用が進んでいる．特に画像分類においては,画像内の状況や意味を理解することで，従来の物体検出モデルでは検出困難だった画像全体を考慮した判別や新規の物体を特定する可能性が注目されている．しかしながら，マルチモーダルAIの性能は，画像とテキストのペアデータセットの収集難易度や，学習データの影響により画像分類性能に課題がある．そこで，本研究ではこの課題を克服するために物体検出モデルとマルチモーダルLLMを組み合わせたハイブリッド画像分類手法OConfVQAC(ObjectdetectionConfidence-guidedVQAClassifier)の提案を行う．具体的には，物体検出モデルによって算出された信頼度をVQAモデルにプロンプトとして与え物体検出モデルの検出漏れを補完し，VQAモデルを用いた画像分類の性能向上を目指す．また，この提案手法の有効性を検証するために，テーマパークに関するSNSの投稿画像にぬいぐるみが映っているか否かの2値分類タスクに適用した．本研究では，VQAモデルの画像分類性能の向上の可能性を検証した．