視覚言語モデルは高い画像認識能力を有しており、広告画像理解への応用に注目が集まっている。しかし、既存研究は広告画像単体を対象にしたものに限られている。そのため広告される対象である商材との関係を捉えた広告画像への視覚言語モデルの理解能力は明らかにすることで、自動生成された広告の推薦システム開発の支援に繋がる。そこで本研究では、モデルと人間との解釈の相関を測る評価用フレームワークを広告分野へ応用することでこの能力を明らかにする。実験結果より、視覚言語モデルは広告画像のランキング生成において関係性を十分に考慮できない場合が多かったが、一部のモデルで購買意欲を刺激するという観点を与えた場合に商材と広告画像の関係性を考慮し、ランキングに変化をもたらす可能性が示唆された。

広告は人間の意思決定に対して影響を与えるものである。広告される対象である商材は地域サービスから日用雑貨まで多種多様である。広告によって、サービス利用者や消費者は行動を変化させられる。また、求人募集への申し込みなど具体的な行動がランディングページ(LandingPage,LP)と呼ばれるウェブサイト訪問者が最初に訪れるページで提供され、インターネット広告ではより直接的にユーザの行動を変化させている。この結果、サービス利用や定期購入、高額な買い物などと直接結びつき、広告業界は市場規模を拡大している[1]。急速な発展に伴い、インターネット広告制作の自動化の需要が高まったことや事前学習済み言語モデルによる自然言語生成の技術革新[2,3,4]により、自然言語処理を用いた広告生成・理解に関する研究が活発化している[5,6,7]。さらに、広告制作の自ペルソナVLMVLMペルソナLP画像広告画像画像説明文AcneStudiosという名前が…画像は...LP画像ありの時画像の順位1.1