ロールプレイングゲームの画面情報分析による選択可能テキストの抽出

本研究では，マルチモーダル大規模言語モデルを用いてロールプレイングゲーム（RPG）の画面から，選択対象のテキストを抽出する手法を提案し，その精度を検証した．テキスト情報を多く使用するビデオゲームのジャンルであるRPGの自動プレイを機械学習モデルが行うには，画面に表示されたテキスト情報の処理能力が必要となる．本研究では，RPGの自動プレイに必要なサブタスクの一つとして，選択肢の提示された画面から，選択可能なテキストを行列形式で抽出する手法を提案する．また，データベースとの照合によるフィードバック手法を導入し，精度が向上することを確認した．