近年，大規模言語モデルの発展に伴い，マルチモーダルLLM(LargeLanguageModel)の活用が進んでいる．特に画像分類においては,画像内の状況や意味を理解することで，従来の物体検出モデルでは検出困難だった画像全体を考慮した判別や新規の物体を特定する可能性が注目されている．しかしながら，マルチモーダルAIの性能は，画像とテキストのペアデータセットの収集難易度や，学習データの影響により画像分類性能に課題がある．そこで，本研究ではこの課題を克服するために物体検出モデルとマルチモーダルLLMを組み合わせたハイブリッド画像分類手法OConfVQAC(ObjectdetectionConfidence-guidedVQAClassifier)の提案を行う．具体的には，物体検出モデルによって算出された信頼度をVQAモデルにプロンプトとして与え物体検出モデルの検出漏れを補完し，VQAモデルを用いた画像分類の性能向上を目指す．また，この提案手法の有効性を検証するために，テーマパークに関するSNSの投稿画像にぬいぐるみが映っているか否かの2値分類タスクに適用した．本研究では，VQAモデルの画像分類性能の向上の可能性を検証した．

近年，多くの人々がSNSを活用している．様々な種類のSNSが普及し，それぞれの用途によって個人が自分の状況や考えを投稿できる．これらのSNSプラットフォームには，個人の日常や考えが投稿されており，投稿内容で企業や政府機関は分析を行いマーケティングや政策の策定に活用している．このような企業や政府機関のSNSの情報を活用する手法を「ソーシャルリスニング」という．ソーシャルリスニングによって，SNSの投稿情報を企業はマーケティング戦略や製品開発，ブランドイメージの向上に役立てている．ソーシャルリスニングを活用している例としてテーマパークなどの商業施設における分析がある．テーマパークなどの商業施設において，ソーシャルリスニングは顧客の意見を抽出することや，熱心なファンである「ヘビーユーザー」を特定する目的で活用される．尾関らの研究では，疑似ラベルを用いた手法によってSNSに投稿されたテキストからユーザーの意見を抽出することを行った[1]．また，小川，鈴木らの研究では投稿から熱心なファンを特定するヘビーユーザー特定のタスクを行っている[2]．このように顧客がSNSに投稿された文章からポジティブな意見や改善点を収集する「意見抽出」や，投稿の頻度や内容から特定の施設への関心度を評価する「ヘビーユーザー特定」といったタスクが行われているが，テーマパークにおけるソーシャルリスニングの研究ではテキストが中心であり画像を含めたものはあまりない．画像を分析対象に含めることでテキストだけでは得ることのできなかったユーザーの情報を収集することができると考えられるが，分析の課題として大量の画像データから目的にあった画像を抽出するのが困難な点があげられる．特定の商品について，ユーザーの利用状況を分析するにはその商品が映る画像に絞ることが必要だが，SNSには様々な画像が投稿されており人手で分類するのは困難である．そこで本研究では機械学習を用いた自動の画像分類器の提案を行う．画像内に映っている対象を判別する方法としてYOLO(YouOnlyLookOnce)やDETR(End-to-End.ObjectDetectionwithTransformers)のような物体検出モデルを活用することが考えられる．しかし，これらのモデルは特定のクラスに依存するため，未知の物体や文脈を理解する能力には限界がある．一方で，VQA(VisualQuestionAnswering)モデルは，画像内の状況を理解することが可能であると考えられている．例えば，「この商品はカチューシャですか？」という質問に対して，人物が頭に装着しているなどの「カチューシャらしさ」を推測して判断することが可能であると考えられる．ほかにも，VQAモデルは物体検出モデルと比較して状況把握から施策策定まで一気通貫で可能である点で優れている．例えば「この画像に映っているぬいぐるみはどのように使用されていますか？」という質問によってユーザーが商品をどのように楽しんでいるかを把握することができる．さらに「このぬいぐるみの利用状況に基づき，どのようなマーケティング施策ができますか？」という質問によって，新商品の開発やプロモーションの方向を策定できる．しかし，VQAモデルには画像の認識能力に課題がある．例えば「この画像にぬいぐるみはありますか？」という質問に対して実際には存在しないぬいぐるみに対してぬいぐるみが映っていると回答する課題があり，他にも，実物のぬいぐるみと2Dやイラストのキャラクターなど類似した物体の画像を見分けることができない可能性もある．このようにVQAモデルには高い状況把握能力とマーケティング施策提案までの応用性があると考えられるが，画像の分類器として利用するには課題がある．そこで，本研究では物体検出モデルとVQAモデルを組み合わせたハイブリッドな手法のOConfVQACによってVQAモデルの分類性能を向上させることを目指す．また，本研究はVQAモデルの特性とその課題点を検証するために具体的な対象として「ぬいぐるみ」を選定した．ぬいぐるみは様々な種類のキャラクターやデフォルメが施されたグッズが発売され，デザインや形状が多様であり，SNSの投稿に用いられることの多い商品の一つである．このように様々な形状があり，多様な角度から撮影される商品は物体検出モデルにおいては認識するのが困難であると考えられるため，VQAモデルの優位性を検証するために適していると考えた．さらに，ぬいぐるみはテーマパークにおいてユーザーの利用シーンやどのように楽しんでいるかを把握するのに重要な役割を果たす．例えば，ヘビーユーザー特定のタスクではぬいぐるみ商品を多く所有していることがヘビーユーザーであることを示す手掛かりにもなる．このように本研究では「ぬいぐるみ」がマーケティング的に重要であり，VQAモデルの性能を評価する上で適切であると考えられるので対象とした．