ロールプレイングゲームの画面情報分析による選択可能テキストの抽出

ビデオゲームを自動プレイさせるタスクは，強化学習モデルの問題解決能力を計るタスクとして長らく研究題材とされてきた[1]．学術分野においてこうした研究はモデルの能力の検証といった色彩が強いが，ゲーム産業分野において，自動プレイは，テストプレイ，QualityAssurance（QA）,難易度自動調整,さらには新しいゲームデザインの提唱など様々な応用範囲が期待できる．ロールプレイングゲーム（RPG）は，ビデオゲームの一つの大きなジャンルであるが，従来の強化学習研究の対象にされることは少なかった．その理由として，RPGが高度なテキスト処理を必要とする点にある．近年マルチモーダル大規模言語モデル（LLM）の隆盛と，そのエージェントとしての応用の研究が盛んになるにつれ，アクションRPGなどのテキスト処理能力を必要とするビデオゲームの自動プレイを行うLLMエージェントの研究が見られるようになってきた[2,3,4]．RPGには，画面上に表示されるテキストを選択することにより，プレイヤーが次の行動を決定する場面が多く存在する．RPGにおける，テキスト選択画面の例を図1，2に示す．これらの例では，カーソルが白い手として表現されており，図1においては，ミスリルソードを，図2においては，ねぶくろを指している．カーソルで選択されたテキストを選択(この例ではAボタンの押下)することで，武器の装備や，アイテムの使用といった行動をプレイヤーは取ることができる．これらの操作を自動化することは，RPGの自動プレイにおける重要なサブタスクである．本研究では，ゲームの画面からゲーム画面上に記されたテキストの内，ユーザーが選択可能なテキス.トを抽出する手法を提案し，その精度を検証する．また，テキストを抽出する際，そのテキストの選択に至るためのボタン操作が把握可能な形で抽出するために,選択が可能なテキストを行列形式で抽出する．手法としては，まず選択可能なテキストの行数と列数を推定し，推定した行数と列数，及びゲーム画面をマルチモーダルLLMに入力し，選択可能なテキストを行列形式で出力する．本研究の貢献は以下である．1.ゲーム画面から選択可能なテキストを抽出する手法を提案した．