画像情報と画像表現がVLMエージェントのユーザー行動模倣に及ぼす影響の分析

近年，記憶検索や内省，計画などの機構を備えた大規模言語モデル（LLM）エージェントに人間の行動を再現させる研究が様々な分野で行われている[1,2,3,4,5]．これらのエージェントは，人間の属性や嗜好を表すペルソナをプロンプトで与えることで，個人に対応した行動模倣を可能としている．推薦システムの分野では，A/Bテストのようなユーザー反応を用いて性能を評価するオンライン評価のシミュレーションに，その活用が進められている[2,4]．オンライン評価は，推薦システムの性能を最も直接的に測定できる評価方法であるが，評価環境構築やデータ収集に要する時間やコストが大きく[6]，容易に実施することが難しい[7]．Zhang[2]らは実ユーザーの行動をエージェントが模倣することでオンライン評価を再現する手法Agent4Recを提案し，これらの課題にアプローチしている．本研究では，画像を扱える視覚言語モデル（VLM）をエージェントに用いて，推薦システムにおけるユーザーシミュレーションに画像情報を加えた場合に，エージェントが実ユーザーの行動をより忠実に再現できるかを検証することを目的とする．以下にリサーチクエスチョンを示す．RQ1：アイテムの提示情報に画像を加えることでエージェントの模倣精度は向上するか？RQ2：ペルソナのシステムプロンプトに画像表現を加えることでエージェントの模倣精度は向上するか？本研究では，画像表現の有無が異なるペルソナを用い，画像あり・なしの推薦におけるエージェントと実ユーザーの意思決定一致度を評価する（図1）．なお，RQ2では，実験環境を先行研究と揃えるため，システムプロンプトにペルソナ情報を入力した．この際，画像は直接入力できないため，base64にエンコードした画像表現をテキストとして用いた．